39771

filebeat->redis->logstash->elasticsearch->kibana

<h1 id="整体流程">整体流程

<ol><li>filebeat收集openresty应用日志传输到Redis集群中</li> <li>Logstash从Redis集群中拉取数据,并传输到Elasticsearch集群</li> <li>使用Kibana可视化索引</li> <li>使用Elasticsearch-head管理lasticsearch集群</li> </ol>

注:Logstash不支持集群模式

<h1 id="环境">环境

均为CentOS 7.4 x64系统

openresty 192.168.0.10 1.15.8版本
filebeat 192.168.0.10 7.3.0版本
Redis集群 192.168.0.11 6381-6386端口(暂采用伪集群的方式) 5.0.5版本
Logstash 192.168.0.12 7.3.0版本
Elasticsearch集群 192.168.0.13-15 7.3.0版本
Kibana 192.168.0.16 7.3.0版本
Elasticsearch-head 192.168.0.17

软件下载地址
filebeat|Logstash|Elasticsearch|Kibana:https://www.elastic.co/cn/downloads/past-releases#elasticsearch
Elasticsearch-head:https://github.com/mobz/elasticsearch-head
Redis:https://redis.io/download

Redis集群开启外部访问,设置访问密码,防火墙放行端口

<h1 id="配置">配置

<h2 id="filebeat配置">filebeat配置</h2> <h3 id="安装">安装</h3>

软件采用通过下载rpm包的方式进行安装

rpm -ivh filebeat-7.3.0-x86_64.rpm systemctl daemon-reload systemctl enable filebeat.service systemctl start filebeat.service <h3 id="修改filebeat.yml配置文件">修改filebeat.yml配置文件</h3>

openresty日志文件路径:
access:/usr/local/openresty/nginx/logs/host.access.log
error:/usr/local/openresty/nginx/logs/error.log

文件路径:/etc/filebeat/filebeat.yml

注销其他的output输出

filebeat.inputs: - type: log enabled: true paths: - /usr/local/openresty/nginx/logs/host.access.log fields: log_source: access - type: log enabled: true paths: - /usr/local/openresty/nginx/logs/error.log fields: log_source: error output.redis: hosts: ["192.168.0.11:6381","192.168.0.11:6382","192.168.0.11:6383","192.168.0.11:6384","192.168.0.11:6385","192.168.0.11:6386"] password: foobar2000 db: 0 key: "log_list"

还有一些其他的优化参数,后期需要再添加

<h3 id="测试">测试</h3>

重启filebeat后,使用浏览器访问网址,确保先生成的有access和error日志,然后在Redis集群的第0库查看
会发现有一个key是log_list,值是list的数据,里面一行一行的数据就是收集过来的日志,这些日志加的有一些元数据
具体可以查看本博客的另一篇文章《使用filebeat收集日志传输到redis的各种效果展示》,这里面有详细的讲解。

<h2 id="logstash配置">Logstash配置</h2> <h3 id="安装-1">安装</h3> <ol><li>配置java环境</li> </ol>cd /usr/local/src tar -zxv -f openjdk-12_linux-x64_bin.tar.gz -C /usr/local/ vim /etc/profile.d/java.sh export JAVA_HOME=/usr/local/jdk-12 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar source /etc/profile.d/java.sh <ol><li>安装logstash</li> </ol>

软件采用通过下载rpm包的方式进行安装

rpm -ivh logstash-7.3.0.rpm systemctl daemon-reload systemctl enable logstash.service systemctl start logstash.service

修改启动文件,确保能找到java环境变量
文件路径:/usr/share/logstash/bin/logstash.lib.sh
在行首加入如下信息

export JAVA_HOME=/usr/local/jdk-12 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar <h3 id="msg.conf配置文件修改">msg.conf配置文件修改</h3>

logstash默认的配置文件时在/etc/logstash/conf.d/目录下创建以conf结尾的文件,本例中创建的是msg.conf
文件路径:/etc/logstash/conf.d/msg.conf
该文件内容如下

input { redis { # 若报错该redis不能访问,则不使用Redis集群,只使用一台redis,需要修改filebeat.yml文件 host => "192.168.0.11" port => 6381 password => foobar2000 data_type => "list" key => "log_list" db => 0 } } output { # 根据filebeat.yml中设置的不同日志来源进行区分,从而创建不同的索引 if [fields][log_source] == 'access' { elasticsearch { hosts => ["http://192.168.0.13:9200","http://192.168.0.14:9200","http://192.168.0.15:9200"] index => "filebeat-access-%{+YYYY.MM.dd}" id => "access_id" } } if [fields][log_source] == 'error' { elasticsearch { hosts => ["http://192.168.0.13:9200","http://192.168.0.14:9200","http://192.168.0.15:9200"] index => "filebeat-error-%{+YYYY.MM.dd}" id => "error_id" } } } <h3 id="测试-1">测试</h3>

查看redis的key值对应的list数据还有没,没有的话说明已经把日志传输给logstash了。

<h2 id="elasticsearch集群配置">Elasticsearch集群配置</h2> <h3 id="安装-2">安装</h3>

详细参考本博客另一篇文章《ElasticSearch集群》

<h3 id="elasticsearch.yml配置文件修改">elasticsearch.yml配置文件修改</h3>

文件路径:/etc/elasticsearch/elasticsearch.yml
详细参考本博客另一篇文章《ElasticSearch集群》

<h3 id="测试-2">测试</h3>

详细参考本博客另一篇文章《ElasticSearch集群》

<h1 id="elasticsearch-head配置">Elasticsearch-head配置

yum -y install epel-release yum -y install git npm git clone git://github.com/mobz/elasticsearch-head.git cd elasticsearch-head npm install npm run start

启动后会占用当前窗口,改用脚本启动方式
在当前目录下创建一个start.sh文件

#!/bin/bash nohup npm run start > /tmp/head.log 2>&1 &

默认访问地址是http://localhost:9100

这时可以通过使用nginx代理的方式进行访问
可以配置一个域名,同时设置一个nginx网站访问密码,具体参考本博客的另一篇文章《nginx配置访问密码,输入用户名和密码才能访问》

location /head { proxy_pass http://127.0.0.1:9100; #Proxy Settings proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_max_temp_file_size 0; proxy_connect_timeout 90; proxy_send_timeout 90; proxy_read_timeout 90; proxy_buffer_size 4k; proxy_buffers 4 32k; proxy_busy_buffers_size 64k; proxy_temp_file_write_size 64k; }

修改elasticsearch.yml配置文件,开启跨域访问
在每个集群节点的elasticsearch.yml配置文件末尾加上如下两行数据

http.cors.enabled: true http.cors.allow-origin: "*" <h2 id="kibana配置">Kibana配置</h2> <h3 id="安装-3">安装</h3>

软件采用通过下载rpm包的方式进行安装

rpm -Uvh kibana-7.3.0-x86_64.rpm systemctl daemon-reload systemctl enable kibana.service systemctl start kibana.service <h3 id="kibana.yml配置文件修改">kibana.yml配置文件修改</h3>

文件路径:/etc/kibana/kibana.yml
这个也采用nginx代理的方式进行访问,同时设置nginx的web访问密码
具体参考本博客的另一篇文章《nginx配置访问密码,输入用户名和密码才能访问》

后期可以结合X-pack插件进行用户角色和权限管理等功能

server.port: 5601 server.host: "127.0.0.1" server.basePath: "/kibana" # 跟nginx那个路径对应,否则无法加载静态资源 elasticsearch.hosts: ["http://192.168.0.13:9200","http://192.168.0.14:9200","http://192.168.0.15:9200"] i18n.locale: "zh-CN"

nginx配置文件内容

location /kibana/ { proxy_pass http://127.0.0.1:5601; proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; rewrite ^/kibana/(.*)$ /$1 break; }

使用http://ip/kibana进行访问,查看索引信息等

或者采用另一种配置
nginx配置文件

server { listen 80; server_name xxx.xxx.com; root /usr/share/nginx/html; expires -1; client_max_body_size 10m; location / { proxy_http_version 1.1; proxy_cache_bypass $http_upgrade; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Real-Port $remote_port; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; proxy_pass http://172.17.107.187:5600; } }

kibana.yml配置文件

server.port: 5601 server.host: "127.0.0.1" elasticsearch.hosts: ["http://192.168.0.13:9200","http://192.168.0.14:9200","http://192.168.0.15:9200"] i18n.locale: "zh-CN"

访问的话直接使用域名的方式,不加后缀kibana

注意这两种不同方式的配置

<h3 id="测试-3">测试</h3>

打开浏览器进行访问,查看索引,日志文件等

<h1 id="后期扩展">后期扩展

<ol><li>各软件之间的数据传输采用加密的方式进行</li> <li>结合X-pack给kibana的访问设置用户角色和权限控制等</li> <li>filebeat模块的功能还有待研究</li> <li>其他beats产品有待研究</li> <li>kibana的web界面使用还有待研究</li> <li>读取MySQL数据库数据到Elasticsearch功能还有待研究</li> <li>在Logstash中过滤数据还有待研究</li> <li>其他未了解的也都待研究</li> </ol>

来源:博客园

作者:三度

链接:https://www.cnblogs.com/sanduzxcvbnm/p/11425597.html

Recommend