ELK 处理 Percona 审计日志(填坑)
<h3><strong><b>前提</b></strong></h3><p>1、有强烈的审计需求。</p>
<p>2、能允许10%-15%左右的性能损失。</p>
<p>3、有强烈的对数据库操作实时查看需求(一般都是为了领导要求)。</p>
<h3><strong><b>Logstash 比较坑的配置</b></strong></h3>
<p></p><pre class="brush:bash;toolbar:false">input {
file {
path => ["/u02/backup/audit.log"]
codec => json
}
}
output {
elasticsearch {
hosts=> ["192.168.1.233"]
}
}</pre><p>上面的配置看上去是没有问题的，如果是一般的json数据哪就能解析成功了，</p>
<p>但是在 Percona audit plugin 中应用程序应用程序生成的SQL是五花八门，各种字符都有其中有。</p>
<p>如下审计的日志被 python 读取后的字符串展现(红色标记)：</p>
<p><img title="ELK 处理 Percona 审计日志(填坑)" class="alignnone size-full wp-image-12311" src="https://zhuji.jb51.net/uploads/img/20230519/213351ccb4f89c5526bb4063285a629a.jpg" width="851" height="126"></p>
<p>从上图可以看到有一些换行后tab的字符，这些字符使用 json.load 的时候会报错,不能解析成json</p>
<p>使用python json 模块解析相关日志文件报错：</p><pre class="brush:bash;toolbar:false">>>> json.loads(json_line)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/lib64/python2.7/site-packages/simplejson/__init__.py", line 516, in loads
return _default_decoder.decode(s)
File "/usr/lib64/python2.7/site-packages/simplejson/decoder.py", line 370, in decode
obj, end = self.raw_decode(s)
File "/usr/lib64/python2.7/site-packages/simplejson/decoder.py", line 400, in raw_decode
return self.scan_once(s, idx=_w(s, idx).end())
simplejson.scanner.JSONDecodeError: Invalid control character '\t' at: line 1 column 232 (char 231)</pre><p>所以在使用logstash的时候也就解析不了这样的json数据了，</p>
<p>最终logstash只能报错并将整个message记录到 Elasticsearch 中</p>
<h3><strong><b>解决办法</b></strong></h3>
<p>解决办法就是把这些字符替换掉。如下 Logstash 配置文件</p><pre class="brush:bash;toolbar:false">input {
file {
path => ["/u02/backup/audit.log"]
}
}
filter {
mutate {
gsub => ["message", "\\\\n", " "]
gsub => ["message", "\t", " "]
replace => [ "message", "%{message}" ]
}
json{
source => "message"
}
mutate {
remove_field => [ "message" ]
}
}
output {
elasticsearch {
hosts=> ["192.168.1.233"]
}
}</pre><p>该配置文件是投机取巧的办法, 把 (换行/tab) 字符替换成空格，要注意的一点最终显示的SQL和原来的有所差别。</p>
<p>这种方法有点不灵活如果sql语句中还有遇到一些json不能解析的字符又要进行处理。</p>
<blockquote><p>>>朋友们如果有更好的方法也告知一声哈！<<<</p></blockquote>
<h3><strong><b>还不能笑到最后</b></strong></h3>
<p>刚开始以为这一切都万事大吉了。其实还有个一坑就是在使用 Kibana 查看的时候，这时候问题就来了。</p>
<p>有是有过 Percona audit 插件的估计都有这样的问题，就是他记录的是时间是国际形式的(如上图黄色标记)，不像我们习惯了北京时间。因此在页面显示的时间会比我们平时的少 8 小时。</p>
<p>一般来说在ELK中使用国际的标准格式是合理的。因为在使用 Kibana 查看的时候会帮你自动转化成本地时间格式。也就是如果我们在中国他会自动把 timezone 转化为 Asia/Shanghai(东8区) 的。所以显示的时间应该是正确的才对。可是实际情况并没有。</p>
<h3><strong><b>没有转化的原因</b></strong></h3>
<p>是应为 Elasticsearch 将 "2016-08-30T01:45:30 UTC" 这串字符解析成了String类型。按道理应该解析成和@timestamp一样的date类型。</p>
<h3><strong><b>解决思路</b></strong></h3>
<p>将 "2016-08-30T01:45:30 UTC" 格式转化成和 @timestamp 一样的格式("2016-08-30T01:45:30Z")</p>
<h3><strong><b>最终配置文件如下</b></strong></h3>
<p></p><pre class="brush:bash;toolbar:false">input {
file {
path => ["/u02/backup/audit.log"]
}
}
filter {
mutate {
gsub => ["message", "\\\\n", " "]
gsub => ["message", "\t", " "]
replace => [ "message", "%{message}" ]
}
json{
source => "message"
}
mutate {
remove_field => [ "message" ]
gsub => ["", " UTC", "Z"]
replace => [ "", "%{}" ]
}
}
output {
elasticsearch {
hosts=> ["192.168.1.233"]
}
}</pre><p>使用上面配置就能顺利的将 时间格式 转化成 Elasticsearch 想要的时间格式，并且能在 Kibana 中正确显示。</p>
<p>祝大家好运。</p>
<p> </p>
<p>昵称: HH</p>
<p>QQ: 275258836</p>
<p>ttlsa群交流沟通(QQ群②: 6690706 QQ群③: 168085569 QQ群④: 415230207（新） 微信公众号: ttlsacom)</p>
<p>感觉本文内容不错，读后有收获？</p>
頁:
[1]