ELK topbeat 部署指南(14th)
<p>topbeat定期收集系统信息如每个进程信息、负载、内存、磁盘等等，然后将数据发送到elasticsearch进行索引。</p><p>topbeat收集的指标有：</p>
<p><span class="strong"><strong>系统统计信息</strong></span></p>
<div class="itemizedlist">
<ul class="itemizedlist" type="disc">
<li class="listitem">系统负载: 最后1分钟、最后5分钟、最后15分钟</li>
<li class="listitem">CPU使用情况: user (和百分比), system, idle, IOWait等等</li>
<li class="listitem"> 内存使用情况: 总共, 已用 (和百分比), 剩余等等</li>
<li class="listitem">swap使用情况:总共, 已用 (和百分比), 剩余等等</li>
</ul>
</div>
<p><span class="strong"><strong>每个进程的统计信息</strong></span></p>
<div class="itemizedlist">
<ul class="itemizedlist" type="disc">
<li class="listitem">进程名</li>
<li class="listitem">进程PID</li>
<li class="listitem">进程状态</li>
<li class="listitem">进程ID</li>
<li class="listitem">进程使用CPU情况: 用户 (和百分比), 系统, 总数 和 启动时间</li>
<li class="listitem">进程使用内存情况: 虚拟内存，常驻内存(和百分比) 和 共享内存</li>
</ul>
</div>
<p><span class="strong"><strong>文件系统统计信息</strong></span></p>
<div class="itemizedlist">
<ul class="itemizedlist" type="disc">
<li class="listitem">可用磁盘列表</li>
<li class="listitem">每个磁盘、名称、类型和挂载目录</li>
<li class="listitem">每个磁盘总大小、已用(和百分比)、剩余和可用空间</li>
</ul>
</div>
<p>Topbeat 可以将这些收集到的指标直接插入到elasticsearch或者是使用logstash。</p>
<p>要使用这个你要安装elasticsearch，kibana，参见前文。我这里直接存储到elasticsearch。</p>
<h3>安装</h3>
<p>参见上一篇文章，添加yum源。</p><pre class="brush:bash;toolbar:false"># yum install topbeat</pre><p></p>
<h3>配置</h3>
<p></p><pre class="brush:bash;toolbar:false"># vi /etc/topbeat/topbeat.yml
input:
period: 10
procs: [".*"]
stats:
system: true
proc: true
filesystem: true
output:
elasticsearch:
hosts: ["10.1.19.18:9200"]
shipper:
logging:
files:</pre><p>period 选项定义收集信息的频率，默认是10秒。</p>
<p>procs 选项定义正则表达式，以匹配你所要监控的进程。默认是所有正在运行的进程都进行监控。</p>
<p>如果不监控进程，可以这么做：</p><pre class="brush:bash;toolbar:false">input:
period: 10
procs: ["^$"]</pre><p></p>
<h3>导入elasticsearch索引模板</h3>
<p>将topbeat提供的索引模板导入到elasticsearch，以便elasticsearch知道哪些字段以哪种方式进行分析。</p><pre class="brush:bash;toolbar:false"># curl -XPUT 'http://10.1.19.18:9200/_template/topbeat' -d@/etc/topbeat/topbeat.template.json</pre><p></p>
<h3>运行topbeat</h3>
<p></p><pre class="brush:bash;toolbar:false"># /etc/init.d/topbeat start</pre><p></p>
<h3>加载kibana Dashboards</h3>
<p>官方提供了一些仪表盘样本方便我们查看监视，项目地址：https://github.com/elastic/beats-dashboards</p>
<p>加载方法如下：</p><pre class="brush:bash;toolbar:false"># wget http://download.elastic.co/beats/dashboards/beats-dashboards-1.0.0.tar.gz
# tar xzvf beats-dashboards-1.0.0.tar.gz
# cd beats-dashboards-1.0.0/
./load.sh http://10.1.18.19:9200</pre><p>创建了三个beat索引</p>
<ul>
<li>YYYY.MM.DD</li>
<li>YYYY.MM.DD</li>
<li>YYYY.MM.DD</li>
</ul>
<p><img title="ELK topbeat 部署指南(14th)" class="alignnone wp-image-10747" src="https://zhuji.jb51.net/uploads/img/20230519/705013f0afdbbbfd0ba33ccf9737902c.jpg" width="670" height="421"></p>
<p>以及仪表盘</p>
<p> </p>
<p><img title="ELK topbeat 部署指南(14th)" class="alignnone size-full wp-image-10748" src="https://zhuji.jb51.net/uploads/img/20230519/e92a65b7e59bb260513a8e956b7a60d0.jpg" width="365" height="437"></p>
<p><img title="ELK topbeat 部署指南(14th)" class="alignnone wp-image-10749" src="https://zhuji.jb51.net/uploads/img/20230519/523dd5199b0455195c4a02caa1c57a90.jpg" width="670" height="293"></p>
<h3>topbeat配置项</h3>
<p>beats公共配置选参见前文。这里主要说说topbeat的input部分的配置选。如下配置：</p><pre class="brush:bash;toolbar:false">input:
# In seconds, defines how often to read server statistics
period: 10
# Regular expression to match the processes that are monitored
# By default, all the processes are monitored
procs: [".*"]
# Statistics to collect (all enabled by default)
stats:
system: true
proc: true
filesystem: true</pre><p>前面说了period和procs。这里说下stats。</p>
<p>stats指定要收集的统计数据，可以是下面的设置：</p>
<ul class="itemizedlist" type="disc">
<li class="listitem">
<code class="literal">system: true</code> 捕捉系统的统计信息，如系统负载、CPU使用情况、内存使用情况、swap使用情况。</li>
<li class="listitem">
<code class="literal">proc: true</code> 捕捉每个进程的统计信息，如进程名、进程PID、状态、进程ID、CPU使用率和内存使用率。</li>
<li class="listitem">
<code class="literal">filesystem: true</code> 捕捉文件系统统计信息，如磁盘空间总大小、磁盘设备名、挂载目录。</li>
</ul>
頁:
[1]