Linux中如何安装和使用Filebeat
这篇文章主要介绍Linux中如何安装和使用Filebeat,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
Filebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装,Filebeat监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或Logstash进行索引。
此次试验基于前几篇文章,需要先基于前几篇文章搭建基础环境。
二、安装Filebeat下载并安装Filebeat
wgethttps://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.0.1-x86_64.rpmyuminstall./filebeat-6.0.1-x86_64.rpm
修改Filebeat配置文件
vim/etc/filebeat/filebeat.yml#主配置文件\-type:log#文档类型paths:\-/var/log/httpd/access.log*#从哪里读入数据#输出在elasticsearch与logstash二选一即可output.elasticsearch:#将数据输出到Elasticsearch。与下面的logstash二者选一hosts:["localhost:9200"]output.logstash:#将数据传送到logstash,要配置logstash使用beats接收hosts:["172.18.68.14:5044"]
启动Filebeat
systemctlstartfilebeat三、配置Filebeat
配置Logstash接收来自Filebeat采集的数据
vim/etc/logstash/conf.d/test.confinput{beats{port=>5044#监听5044用于接收Filebeat传来数据}}filter{grok{match=>{"message"=>"%{COMBINEDAPACHELOG}"#匹配HTTP的日志}remove_field=>"message"#不显示原信息,仅显示匹配后}}output{elasticsearch{hosts=>["http://172.18.68.11:9200","http://172.18.68.12:9200","http://172.18.68.13:9200"]#集群IPindex=>"logstash-%{+YYYY.MM.dd}"action=>"index"document_type=>"apache_logs"}}
启动Logstash
/usr/share/logstash/bin/logstash-f/etc/logstash/conf.d/test.conf四、模拟日志访问
通过curl命令来模拟客户访问,生成访问日志
curl127.0.0.1curl172.18.68.51curl172.18.68.52curl172.18.68.53五、验证信息
清除之前实验的旧数据(删除时要在对话框中输入删除),然后可以看到filebeat采集数据经过Logtash过滤再送给Elasticsearch的数据。
扩展随着ELK日志系统逐渐升级,现在已经能基于Filebeat采集各节点日志,Logstash过滤、修剪数据,最后到ELasticsearch中进行索引构建、分词、构建搜索引擎。现在可以基于Elasticsearch的Head查看在浏览器中查看,但是Head仅仅能简单查看并不能有效进行数据分析、有好展示。要想进行数据分析、有好展示那就需要用到Kibana,Kibana依然放在下一篇文章中讲解,这里先放上架构图。
以上是“Linux中如何安装和使用Filebeat”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注亿速云行业资讯频道!
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。