ELK beats平台介绍(11th)
<p>beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash将数据发送elasticsearch。</p><p>beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。Filebeat用来收集日志，Topbeat用来收集系统基础设置数据如cpu、内存、每个进程的统计信息，Packetbeat是一个网络包分析工具，统计收集网络信息。这三个是官方提供的。后续会慢慢介绍这三个beat。</p>
<p>ELK的目标是建立一个平台，可以很容易的创建新的beats。为了这个目录，开发了libbeat，该Go库包含了所有beats公共部分来处理任务，如批量插入到elasticsearch，安全的发送事件到logstash，logstash和elasticsearch多节点的负载均衡，异步或同步的发送事件模式。该libbeat平台还提供了检测机制，当下游服务器负载高或者网络拥堵，自动的降低发送速率。</p>
<p>架构图如下：</p>
<p><img title="ELK beats平台介绍(11th)" class="alignnone wp-image-10723" src="https://zhuji.jb51.net/uploads/img/20230519/afe536e2412c1e2a3baa41f42b9207ba.jpg" width="670" height="351"></p>
<p>简而言之，libbeat可以将一切事件安全的可靠地有效的发送到logstash和elasticsearch。不仅如此，对于其它事情也兼顾到如配置、CLI标记和日志。因此当你创建新的beat时，只需要专注于捕捉你要的数据。分析平台的其它部分就交给libbeat、logstash、elasticsearch和kibana处理了。如社区提供了 Dockerbeat, Pingbeat, UWSGIbeat 和 Nginxbeat。</p>
<h3>Topbeat</h3>
<p>收集系统负载、内存、硬盘以及每个进程的情况。</p>
<p>Topbeat是跨平台的。周期性的发送指标到elasticsearch。可以通过kibana创建自定义仪表盘如系统负载、服务器概述、内存或cpu使用情况、top进程、每个进程占用cpu或内存比例、磁盘使用情况等等。</p>
<p><img title="ELK beats平台介绍(11th)" class="alignnone wp-image-10726" src="https://zhuji.jb51.net/uploads/img/20230519/cec20c99b8ab73670665a15e46e2399c.jpg" width="670" height="315"></p>
<h3>Packetbeat</h3>
<p>想象一下如果你想监控和解决一个复杂的分布式系统，每个组件使用不同的编程语言，web框架和数据库技术。Packetbeat是分布式的，实时的嗅探每个事务的请求与响应，并将相关数据插入到elasticsearch中。packetbeat被动的嗅探网络流量，因此不会干扰应用程序。</p>
<p>Packetbeat是开源的，任何人都可以添加支持新的协议。社区添加了对mongodb的支持，基于UDP和TCP的DNS支持等等。</p>
<p>当然，你也可以添加新的支持。期待ing</p>
<p><img title="ELK beats平台介绍(11th)" class="alignnone wp-image-10728" src="https://zhuji.jb51.net/uploads/img/20230519/eaf42310101a5f6a4d80790601d3f2df.jpg" width="670" height="274"></p>
<p><img title="ELK beats平台介绍(11th)" class="alignnone wp-image-10729" src="https://zhuji.jb51.net/uploads/img/20230519/3b8cac0b8d32d2674b04eba4fdc93b44.jpg" width="670" height="339"></p>
<h3>Filebeat</h3>
<p>Filebeat 是logstash forwarder替代品。本博客之前的文章中有介绍，《Filebeat 日志收集器 logstash-forwarder 的替代品》。</p>
<p>将日志经过logstash进一步处理后发送到elasticsearch上。有足够的智能来处理日志轮换，文件重命名，以及下游服务器不可用，因此不用担心会丢失数据。</p>
<p>强烈建议将logstash forwarder迁移到Filebeat上来，《Logtash-Forwarder 迁移到 Filebeat》。</p>
<p>下文慢慢介绍这三个beats，以后社区提供的beat。请关注。</p>
頁:
[1]