I imported some custom log for file auditing. each log message is very long, it has 7 type of messages. To normalize /extra useful field from the raw log, I wrote 7 separate regex to fully extra every line of the log file. so props.conf file end up like this.
My question is : Is this a right/good way to manage field extraction in this situation, or I should write an app to manage this imperatively. Will this causing any performance issue?
Thanks
[customlog]
DATETIME_CONFIG =
NO_BINARY_CHECK = true
TIME_FORMAT = %y-%m-%dT%H:%M:%S.%3N
TIME_PREFIX = TimeCreated SystemTime=
category = Custom
disabled = false
pulldown_type = 1
SHOULD_LINEMERGE = false
TZ = Australia/Canberra
EXTRACT-Log Field for \\\\cdc-prod-nfs1\\log$1 = "(?[\w\-]+)" \w+="{(?[\-\w\d]+)}"\/><\w+>(?[\d]+)<\/\w+><\w+>(?[\w\s]+)<\/\w+><\w+>(?[\w\.]+)<\/\w+><\w+>(?\w+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?[\w\d]+)<\/\w+><\w+>(?\w+\s\w+)<\/\w+><\w+\s\w+="(?[^"]+)\"\/><\w+\/><\w+>(?\w+)<\/\w+><\w+>(?[\w\-\/]+)<\/\w+><\w+>(?[\w\-\d\/]+)<\/\w+><\w+\/><\/\w+><\w+><[\w\"=\s]+>(?[\d\.]+)<\/\w+><\w+\s\w+=\"\w+" \w+=\"(?\d+)\" \w+=\"(?\d+)\" \w+=\"(?\w+)\"><\/\w+><\w+\s\w+=\"\w+">(?[\w\-\d]+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?[\w\s]+)<\/\w+><\w+\s\w+=\"\w+">(?[\s\w\$]+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?[\w\d\;]+)<\/\w+><\w+\s\w+=\"\w+">(?[^<]+)<\/\w+><\w+\s\w+=\"\w+">(?[^<]+)<\/\w+><\w+\s\w+=\"\w+">(?[^<]+)<\/\w+><\w+\s\w+=\"\w+">(?[^<]+)<\/\w+><\w+\s\w+=\"\w+">(?(?=<)(?)|(?[^<]+))<\/\w+><\/\w+><\/\w+>
EXTRACT-Log Field for \\\\cdc-prod-nfs1\\log$2 = "(?[\w\-]+)" \w+="{(?[\-\w\d]+)}"\/><\w+>(?[\d]+)<\/\w+><\w+>(?[\w\s]+)<\/\w+><\w+>(?[\w\.]+)<\/\w+><\w+>(?\w+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?[\w\d]+)<\/\w+><\w+>(?\w+\s\w+)<\/\w+><\w+\s\w+="(?[^"]+)\"\/><\w+\/><\w+>(?\w+)<\/\w+><\w+>(?[\w\-\/]+)<\/\w+><\w+>(?[\w\-\d\/]+)<\/\w+><\w+\/><\/\w+><\w+><[\w\"=\s]+>(?[\d\.]+)<\/\w+><\w+\s\w+=\"\w+">(?\d+)<\/\w+><\w+\s\w+=\"\w+">(?[\-\w\d]+)<\/\w+><\w+\s\w+=\"\w+">(?[\s\w\$]+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?\d+)
EXTRACT-Log Field for \\\\cdc-prod-nfs1\\log$3 = "(?[\w\-]+)" \w+="{(?[\-\w\d]+)}"\/><\w+>(?[\d]+)<\/\w+><\w+>(?[\w\s]+)<\/\w+><\w+>(?[\w\.]+)<\/\w+><\w+>(?\w+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?[\w\d]+)<\/\w+><\w+>(?\w+\s\w+)<\/\w+><\w+\s\w+="(?[^"]+)\"\/><\w+\/><\w+>(?\w+)<\/\w+><\w+>(?[\w\-\/]+)<\/\w+><\w+>(?[\w\-\d\/]+)<\/\w+><\w+\/><\/\w+><\w+><[\w\"=\s]+>(?[\d\.]+)<\/\w+><\w+\s\w+=\"\w+">(?\d+)<\/\w+><\w+\s\w+=\"\w+">(?[\-\w\d]+)<\/\w+><\w+\s\w+=\"\w+">(?[\s\w\$]+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?\d+)
EXTRACT-Log Field for \\\\cdc-prod-nfs1\\log$4 = "(?[\w\-]+)" \w+="{(?[\-\w\d]+)}"\/><\w+>(?[\d]+)<\/\w+><\w+>(?[\w\s]+)<\/\w+><\w+>(?[\w\.]+)<\/\w+><\w+>(?\w+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?[\w\d]+)<\/\w+><\w+>(?\w+\s\w+)<\/\w+><\w+\s\w+="(?[^"]+)\"\/><\w+\/><\w+>(?\w+)<\/\w+><\w+>(?[\w\-\/]+)<\/\w+><\w+>(?[\w\-\d\/]+)<\/\w+><\w+\/><\/\w+><\w+><[\w\"=\s]+>(?[\d\.]+)<\/\w+><\w+\s\w+=\"\w+" \w+=\"(?\d+)\" \w+=\"(?\d+)\" \w+=\"(?\w+)\"><\/\w+><\w+\s\w+=\"\w+">(?[\w\-\d]+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?[\w\s]+)<\/\w+><\w+\s\w+=\"\w+">(?[\$\w\s]+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?[\w\d\;]+)<\/\w+><\w+\s\w+=\"\w+">(?[^<]+)<\/\w+><\w+\s\w+=\"\w+">(?[^<]+)<\/\w+><\/\w+><\/\w+>
EXTRACT-Log Field for \\\\cdc-prod-nfs1\\log$5 = "(?[\w\-]+)" \w+="{(?[\-\w\d]+)}"\/><\w+>(?[\d]+)<\/\w+><\w+>(?[\w\s]+)<\/\w+><\w+>(?[\w\.]+)<\/\w+><\w+>(?\w+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?[\w\d]+)<\/\w+><\w+>(?\w+\s\w+)<\/\w+><\w+\s\w+="(?[^"]+)\"\/><\w+\/><\w+>(?\w+)<\/\w+><\w+>(?[\w\-\/]+)<\/\w+><\w+>(?[\w\-\d\/]+)<\/\w+><\w+\/><\/\w+><\w+><[\w\"=\s]+>(?[\d\.]+)<\/\w+><\w+\s\w+=\"\w+">(?\d+)<\/\w+><\w+\s\w+=\"\w+">(?[\-\w\d]+)<\/\w+><\w+\s\w+=\"\w+">(?[\w\$\s]+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?\w+)<\/\w+><\w+\s\w+=\"\w+">(?[\w\d]+)<\/\w+><\w+\s\w+=\"\w+">(?\d+)
EXTRACT-Log Field for \\\\cdc-prod-nfs1\\log$6 = "(?[\w\-]+)" \w+="{(?[\-\w\d]+)}"\/><\w+>(?[\d]+)<\/\w+><\w+>(?[\w\s]+)<\/\w+><\w+>(?[\w\.]+)<\/\w+><\w+>(?\w+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?[\w\d]+)<\/\w+><\w+>(?\w+\s\w+)<\/\w+><\w+\s\w+="(?[^"]+)\"\/><\w+\/><\w+>(?\w+)<\/\w+><\w+>(?[\w\-\/]+)<\/\w+><\w+>(?[\w\-\d\/]+)<\/\w+><\w+\/><\/\w+><\w+><[\w\"=\s]+>(?[\d\.]+)<\/\w+><[^<]+<\/\w+><[\w\"\=\s]+>(?[\w\-]+)<\/\w+><[\w\"\=\s]+>(?\w+)<\/\w+><[\w\"\=\s]+>(?\w+)<\/\w+><[\w\"\=\s]+>(?[\w\_]+)<\/\w+><[\w\"\=\s]+>(?\w+)<\/\w+><[\w\"\=\s]+>[\d\w\;]+<\/\w+><[\w\"\=\s]+>[\d\w\;]+<\/\w+><[\w\"\=\s]+>(?[^<]+)<\/\w+><[\w\"\=\s]+>(?[^<]+)<\/\w+><[\w\"\=\s]+>(?)<\/\w+><\/\w+><\/\w+>
EXTRACT-Log Field for \\\\cdc-prod-nfs1\\log$7 = "(?[\w\-]+)" \w+="{(?[\-\w\d]+)}"\/><\w+>(?[\d]+)<\/\w+><\w+>(?[\w\s]+)<\/\w+><\w+>(?[\w\.]+)<\/\w+><\w+>(?\w+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?\d+)<\/\w+><\w+>(?[\w\d]+)<\/\w+><\w+>(?\w+\s\w+)<\/\w+><\w+\s\w+="(?[^"]+)\"\/><\w+\/><\w+>(?\w+)<\/\w+><\w+>(?[\w\-\/]+)<\/\w+><\w+>(?[\w\-\d\/]+)<\/\w+><\w+\/><\/\w+><\w+><[\w\"=\s]+>(?[\d\.]+)<\/\w+><[^<]+<\/\w+><[\w\"\=\s]+>(?[\w\-]+)<\/\w+><[\w\"\=\s]+>(?\w+)<\/\w+><[\w\"\=\s]+>(?\w+)<\/\w+><[\w\"\=\s]+>(?[\w\_]+)<\/\w+><[\w\"\=\s]+>(?\w+)<\/\w+><[\w\"\=\s]+>[\d\w\;]+<\/\w+><[\w\"\=\s]+>[\d\w\;]+<\/\w+><[\w\"\=\s]+>(?[^<]+)<\/\w+><[\w\"\=\s]+>(?\d+)<\/\w+><[\w\"\=\s]+>(?\d+)