新版插件:

说明: 从5.0开始,插件都独立拆分成gem包,每个插件可独立更新,无需等待Logstash自身整体更新,具体管理命令可参考./bin/logstash-plugin --help帮助信息../bin/logstash-plugin list其实所有的插件就位于本地./vendor/bundle/jruby/1.9/gems/目录下

扩展: 如果GitHub上面(https://github.com/logstash-plugins/)发布了扩展插件,可通过./bin/logstash-plugin install <plugin-name>,当然升级也很方便./bin/logstash-plugin update <plugin-name>,如果要安装更新本地已有的插件可通过./bin/logstash-plugin install/update <plugin-path>即可.

注意: 默认./bin/logstash-plugin install/update时是到https://rubygems.org/下载包,速度非常慢,所以强烈推荐手动从https://github.com/logstash-plugins/或https://rubygems.org/下载下来更新

解码插件: https://www.elastic.co/guide/en/logstash/current/codec-plugins.html

说明: 编码插件可用于input/output区段中,可以改变事件的数据表示,之前版本只支持纯文本输入,现在可输入期处理不同类型的数据,数据流变为input | decode | filter | encode | output,codec的出现,使得更方便的与其它自定义数据格式的运维产品共存,支持如上列表中所有的插件

插件名称: json(https://www.elastic.co/guide/en/logstash/current/plugins-codecs-json.html)

input{file{path=>["/xm-workspace/xm-webs/xmcloud/logs/*.log"]type=>"dss-pubserver"codec=>jsonstart_position=>"beginning"}}output{stdout{codec=>rubydebug}}

说明: 很多时候为了降低过滤器的CPU负载,会直接输入预定义的Json数据,这样可以省略掉filter/grok配置,对于web服务器apache/nginx的访问日志可以很好的工作,不过如果作为代理服务器运行时,访问日志中有些变量如$upstream_response_time可能不是数字而是"-",导致输入数据验证异常,可以加双引号,也可以通过input插件的stdin从终端读取sed替换后导入.

插件名称: multilline(https://www.elastic.co/guide/en/logstash/current/plugins-codecs-multiline.html)

input{stdin{codec=>multiline{patterns_dir=>["/xm-workspace/xm-apps/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.0.2/patterns"]pattern=>"^%{YEAR}/%{MONTHNUM2}/%{MONTHDAY}%{TIME}"negate=>truewhat=>"previous"}}}output{stdout{codec=>rubydebug}}

生产案例:

2016/07/0910:19:49[notice]32715#0:startworkerprocess327172016/07/0910:20:19[error]32716#0:*1luaentrythreadaborted:runtimeerror:...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:387:attempttoindexupvalue'lua_url'(abooleanvalue)stacktraceback:coroutine0:...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:infunction'process_msg'...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:423:infunction<...stTool/test/Openresty/authserver_lua/lua/auth-server.lua:2>,client:10.2.5.51,server:,request:"POST/webservice/c928/%E4%B8%8A%E8%99%9E%E9%9C%87%E8%BF%9C&1468030819562&e118f0d7aca5a0de1abadb94866173a4&HTTP/1.1",host:"10.2.5.51:9902"2016/07/0910:24:24[notice]32715#0:signal15(SIGTERM)received,exiting

说明: 很多时候程序调试日志会包含丰富内容,为一个事件打印出很多行内容,可通过在输入中通过codec的multiline预多行处理,由于Logstash默认自带非常多的正则,可通过patterns_dir以数组的形式加载自带的或自定义的正则目录,它会自动扫描并加载目录下的正则文件,pattern指定正则表达式,negate和what配合使用表示当不匹配pattern时,此行属于前行,以此来累计直到匹配pattern的行结束作为一行内容.

扩展: 应用日志常常会用到Log4j,对于此类型日志虽然可通过codec=>multiline实现,但其实Logstash还提供了另一种input=>log4j(https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html),可直接处理TCP端口接收的数据.

插件名称: (https://www.elastic.co/guide/en/logstash/current/plugins-codecs-netflow.html)

input{udp{port=>9995codec=>netflow{definitions=>"/xm-workspace/xm-apps/logstash/vendor/bundle/jruby/1.9/gems/logstash-codec-netflow-3.1.2/lib/logstash/codecs/netflow/netflow.yaml"versions=>[5]}}}output{stdout{codec=>rubydebug}}

说明: NetFlow是Cisco创造的数据交换格式,常用于收集路由器等设备的NetFlow网络流量数据以便对数据进一步分析,Logstash codec=>netflow需要指定definitions默认包含定义的标准netflow字段文件,versions目前支持5/9版.