Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)

冷漠人士 發表於 2019-6-11 19:39:00

Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)

<h3>ELK是由 Elasticsearch、Logstash和Kibana 三部分组件组成。</h3>
Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash 是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用 
kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。
+
Filebeat 是用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到 Logstash 或 Elasticsearch。 
 
 
 Docker 镜像统一从 https://hub.docker.com/ 下载（安装时请使用统一版本）
 
<h4>一、Docker 安装 Elasticsearch</h4>
官网镜像地址：https://hub.docker.com/_/elasticsearch
找到目前最新的(Tags)是 7.1.1
<div class="cnblogs_code">
<pre># 下载镜像查看镜像 docker pull elasticsearch:7.1.1 </pre>
<pre>docker images</pre>
</div>
<h3><img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190611185859779-1462120318.png" alt="" width="680" height="85"></h3>
<div class="cnblogs_code">
<pre># 创建自定义的网络(用于连接到连接到同一网络的其他服务(例如Kibana)) docker network create somenetwork # 运行 elasticsearch docker run -d --name elasticsearch --net somenetwork -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.1.1 # 查看容器状态 docker ps</pre>
</div>
<img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190611190237667-2087332888.png" alt="" width="1604" height="72">
<div class="cnblogs_code">
<pre># 检测 elasticsearch 是否启动成功 curl 127.0.0.1:9200</pre>
</div>
<img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190611190508108-1529487266.png" alt="" width="383" height="276">
<pre>Elasticsearch 安装启动完成</pre>
 
<h4>二、Docker 安装 Kibana</h4>
官网镜像地址：https://hub.docker.com/_/kibana
使用和 elasticsearch 相同版本镜像 7.1.1 （不一样可能会出现问题）
<div class="cnblogs_code">
<pre># 下载镜像查看镜像 docker pull kibana:7.1.1</pre>
<pre>docker images</pre>
</div>
<img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190611191726555-766382833.png" alt="" width="673" height="91">
注意:在本例中，Kibana使用默认配置，并希望连接到正在运行的Elasticsearch实例http://localhost:9200
<div class="cnblogs_code">
<pre># 运行 Kibana <code class="language-console">docker run -d --name kibana --net somenetwork -p 5601:5601 kibana:7.1.1 # 查看容器启动状态 docker ps</code></pre>
</div>
 <img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190611192218228-904415447.png" alt="" width="1594" height="92">
访问 http://127.0.0.1:5601  （启动可能会较慢，如失败等几秒再尝试刷新一下）
<img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190611192326476-1326817783.png" alt="" width="590" height="183">
 
<h4>Kibana 安装启动完成</h4>
 
<h4>三、Docker 安装 Logstash</h4>
官网镜像地址：https://hub.docker.com/_/logstash
使用同版本镜像 7.1.1 
<div class="cnblogs_code">
<pre># 下载镜像查看镜像
docker pull logstash:7.1.1
docker images</pre>
</div>
<img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190611193558890-719513393.png" alt="" width="738" height="96">
 
<div class="cnblogs_code">
<pre>我在工作目录建立一个 docker 目录并在里面创建了 logstash 目录，用来存放所有配置</pre>
</div>
 
<img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190614190211239-63983181.png" alt="" width="313" height="110">
<div class="cnblogs_Highlighter">
<pre class="brush:csharp;gutter:true;">里面放了 logstash 的配置文件</pre>
</div>
 <img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190614190402368-621546536.png" alt="" width="354" height="144">
<div class="cnblogs_code">
<pre>logstash.yml (文件内容)

path.config: /usr/share/logstash/conf.d/*.conf
path.logs: /var/log/logstash</pre>
</div>
<div class="cnblogs_code">
<pre>conf.d/test.conf (文件内容)

input {
beats {
port => 5044
codec => "json"
}
}

output {
elasticsearch { hosts => ["elasticsearch:9200"] }
stdout { codec => rubydebug }
}</pre>
</div>
<div class="cnblogs_code">
<div class="cnblogs_code">
<pre>启动 Logstash 记得映射上面两个目录 {path} docker run -it -d -p 5044:5044 --name logstash --net somenetwork -v {path}/logstash.yml:/usr/share/logstash/config/logstash.yml -v {path}/conf.d/:/usr/share/logstash/conf.d/ logstash:7.1.1 查看容器运行状态 docker ps </pre>
</div>
</div>
<h4><img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190614192201752-1827074561.png" alt="" width="1433" height="124"></h4>
<div class="cnblogs_code">
<pre>启动成功</pre>
</div>
 
<h4>四、Docker 安装 Filebeat</h4>
官网镜像地址：https://hub.docker.com/_/filebeat
使用同版本镜像 7.1.1 
<div class="cnblogs_code">
<pre># 下载镜像查看镜像
docker pull store/elastic/filebeat:7.1.1
docker images</pre>
</div>
<img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190613190649254-741401381.png" alt="" width="752" height="109">
<div class="cnblogs_code">
<div class="cnblogs_code">
<pre># 下载默认官方配置文件 (暂时在当前目录创建一个 filebeat 目录用来放 filebeat 配置文件) curl -L -O https://raw.githubusercontent.com/elastic/beats/7.1/deploy/docker/filebeat.docker.yml # 打开配置文件 vim filebeat.docker.yml</pre>
<img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190614191328010-1836750042.png" alt="" width="321" height="91">
<pre> # 增加下面的配置 (收集 .log 数据把数据发送到当前网络5044端口 (logstash 端口) ) # 这个地方的 .log 要保证有几条测试数据</pre>
<pre> filebeat.inputs: - type: log enabled: true paths: - /var/log/nginx/*.log output.logstash: hosts: ['{ip}:5044']</pre>
<pre> </pre>
<pre> # 运行Filebeat # 请更改下面两个路径 {nginx-path} = 本地的日志文件目录（映射到容器中作为数据源） {path} = Filebeat配置文件路径 {ip} = elasticsearch 地址</pre>
<pre><code class="language-console">docker run </code><code class="language-console">--name filebeat </code><code class="language-console">--user=root -d --net somenetwork --volume="{nginx-path}:/var/log/nginx/" --volume="{path}/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro" --volume="/var/lib/docker/containers:/var/lib/docker/containers:ro" --volume="/var/run/docker.sock:/var/run/docker.sock:ro" store/elastic/filebeat:7.1.1</code></pre>
<pre><code class="language-console"> </code></pre>
</div>
</div>
<div class="cnblogs_code">
<pre><code class="language-console"> # 查看容器启动状态 </code><code class="language-console">docker ps</code></pre>
</div>
<img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190614192058550-595709513.png" alt="" width="1613" height="131">
 
 
 
<div class="cnblogs_code">
<pre>启动成功 现在去 Kibana 查看数据，已经有数据了 </pre>
</div>
<img src="https://img2018.cnblogs.com/blog/1582745/201906/1582745-20190614192533132-758381878.png" alt="" width="1473" height="769">
 
<div class="cnblogs_code">
<pre>(大家不要拿来命令就执行啊，中间有些路径之类的要自己改改。) 到此最基本的几个软件通讯配置结束了。

还有很多要探索的地方。

待续...</pre>
</div>
 
 
<style>p.p1 { margin: 0; font: 12px "Helvetica Neue" }</style>
<style>p.p1 { margin: 0; font: 12px "Helvetica Neue" }</style>

</div>
<div id="MySignature" role="contentinfo">
生命在于过程, 每天一点点. 
来源：https://www.cnblogs.com/fbtop/p/11005469.html

頁: [1]

琼殿技术论坛's Archiver

Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)