ELK elasticsearch yum 安装(4th)
比起tar包安装，以yum方式安装对于启动和关闭elasticsearch服务更为方便。而对于CentOS与Ubuntu而言，apt 安装比yum 更为方便。楼主工作前期中是以CentOS系统为主，后面也使用Ubuntu。在这两款系统切换中，刚开始是有些不为习惯的，慢慢就好。
下面主要是说下RPM包的一些安装路径和参数。
1. 添加yum源
添加签证，这个涉及 ...
ELk elasticsearch 部署(3rd)
根据《ELK 产品支持的平台和软件》选定你所要安装的版本。这里将安装elasticsearch最新版本2.0.0。
1. jdk
elasticsearch只支持Oracle java 和 OpenJDK。
在这里不再重复了，参见《ELK 部署指南》详细的不能再详细了。搞不定跟帖说明吧。
2. 安装
elasticsearch 2.0.0版本不能以root用户启动。# wget -c https://download.e ...
ELK elasticsearch 快照与恢复模块(6th)
elasticsearch 快照和恢复模块可以创建单个索引或者整个集群的快照到远程的仓库。在最初的版本只支持共享文件系统存储，但是现在，各种后端可用通过官方支持的存储插件。
存储介质
在任何快照或者恢复操作之前，需要先完成一个快照存储介质的注册。
查看所有的存储介质：
curl localhost:9200/_snapshot/_all
curl localhos ...
ELK elasticsearch 插件管理(8th)
插件能额外扩展elasticsearch功能，提供各类功能等等。有三种类型的插件：
java插件
只包含JAR文件，必须在集群中每个节点上安装而且需要重启才能使插件生效。
网站插件
这类插件包含静态web内容，如js、css、html等等，可以直接从elasticsearch服务，如head插件。只需在一个节点上安装，不需要重启服务。可以通过下面的UR ...
ELK elasticsearch 1.7.2 升级到 2.0.0(7th)
前一文费了老大劲闲扯了半天快照与恢复，就是为了本文升级做准备的。在升级前需考虑下面三件事：
查看阅读新版本的更改内容
在测试环境下测试升级
升级之前备份数据，升级后是不能再回滚到旧版本的
elasticsearch滚动升级过程，不会造成服务中断。elasticsearch提供两种升级类型：全集群重启和滚动升级。
elasticsearch版 ...
ELK beats平台介绍(11th)
beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash将数据发送elasticsearch。
beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。Filebeat用来收集日志，Topbeat用来收集系统基础设置数据如cpu、内存、每个进程的统计信息，Packetbeat是一个网络包 ...
ELK sense 编辑器(10th)
sense 是一个elasticsearch REST API交互式的控制台。Marvel 1.X 版本有带这个工具。Marvel2.X版本，sense从Marvel分离出来了，集成到kibana平台上了，作为kibana的一个插件。
安装sense
首先要安装kibana4.2或更高版本，参见上一篇。然后执行下面命令：# ./bin/kibana plugin --install elastic/sense
# ./bin/kibana就可 ...
ELK kibana 安装和插件管理(9th)
kibana 本质上是elasticsearch web客户端，是一个分析和可视化elasticsearch平台，可通过kibana搜索、查看和与存储在elasticsearch的索引进行交互。可以很方便的执行先进的数据分析和可视化多种格式的数据，如图表、表格、地图等。
Discover页面: 交互式的浏览数据。可以访问所匹配的索引模式的每个索引的每个文档。可以提 ...
ELK beats通用配置说明(12th)
目录ShipperOutputRedis Output (不推荐)Beats配置文件是以YAML语法，该文件包含用于所有的beats的通用配置选项，以及其特点的选项。下面说说通用的配置，特定的配置要看各自beat文档。 通用的配置如下几部分：
Shipper
Output
Logging(可选)
Run Options（可选）
Shipper
包含beat配置选项和一些控制其行为的常规设置。
...
ELK topbeat 部署指南(14th)
topbeat定期收集系统信息如每个进程信息、负载、内存、磁盘等等，然后将数据发送到elasticsearch进行索引。
topbeat收集的指标有：
系统统计信息
系统负载: 最后1分钟、最后5分钟、最后15分钟
CPU使用情况: user (和百分比), system, idle, IOWait等等
内存使用情况: 总共, 已用 (和百分比), 剩余等等
swap使用情况:总 ...
ELK beats yum和命令行工具(13th)
这篇是配置yum源和beat命令行。
为yum添加beats库
下载并安装公共签名证书：# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch添加repo文件：# vim /etc/yum.repo.d/beats.repo
[beats]
name=Elastic Beats Repository
baseurl=https://packages.elastic.co/beats/yum/el/$basearch
enabled=1
gpgkey=http ...
ELK kibana查询与过滤(17th)
在kibana中，可通过搜索查询过滤事务或者在visualization界面点击元素过滤。
创建查询
在Discover界面的搜索栏输入要查询的字段。查询语法是基于Lucene的查询语法。允许布尔运算符、通配符和字段筛选。注意关键字要大写。如查询类型是http，且状态码是302。type: http AND http.code: 302。
字符串查询
查询可以包含一个或 ...
ELK Packetbeat 协议和进程配置项(16th)
Packetbeat 协议部分包含支持每个协议的配置项，如ports, send_request, send_response 和 特定的协议选项。
目前Packetbeat支持以下协议：
DNS
HTTP
Mysql
PostgreSQL
Redis
Thrift-RPC
MongoDB
Memcache
配置如下：protocols:
dns:
ports: [53]
http:
ports: [80, 8080, 8000, 5000, 8002]
memcache:
...
ELK Packetbeat 部署指南(15th)
Packetbeat 是一个实时网络数据包分析工具，与elasticsearch一体来提供应用程序的监控和分析系统。
Packetbeat通过嗅探应用服务器之间的网络通讯，来解码应用层协议类型如HTTP、MySQL、redis等等，关联请求与响应，并记录每个事务有意义的字段。
Packetbeat可以帮助我们快速发现后端应用程序的问题，如bug或性能问题等等， ...
ELK logstash 结构(22nd)
在命令行中指定-e参数，从标准输入到标准输出，并格式化结果。# /opt/logstash/bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
www.ttlsa.com
Settings: Default filter workers: 2
Logstash startup completed
{
"message" => "www.ttlsa.com",
"@version" => "1",
"@timestamp" => ...
ELK logstash升级到2.0以及logstash-forwarder迁移到Filebeat(21st)
将从logstash1.5版本升级到2.1版本，以及将《ELK部署指南》中使用的logstash-forwarder转移到Filebeat上。
升级步骤
停止logstash以及发送到logstash的所有管道。
更新apt或yum源或者下载新版包。
安装新版的logstash。
测试logstash配置文件是否正确。
启动logstash以及第一步停止的管道。
升级logstash和elasticsearch ...
ELK logstash 处理多行事件(25th)
有些日志是分多行输出的，为了能正确的处理这些多行的事件，logstash必须哪些行是单一事件的一部分。多行事件处理是比较复杂的，需依赖正确的事件顺序。最佳方法是尽早的在管道中处理以保证日志有序。这就是本文要说到的logstash管道multiline codec，专门来处理合并多行事件的。
multiline插件最重要的方面：
pattern ...
ELK logstash 配置语法(24th)
数据类型
logstash支持的数据类型有：
array
数组可以是单个或者多个字符串值。 path => [ "/var/log/messages", "/var/log/*.log" ]
path => "/data/mysql/mysql.log"如果指定了多次，追加数组。此实例path数组包含三个字符串元素。
boolean
布尔值必须是TRUE或者false。true和false不能有引号。 ssl_enable => true
byt ...
DistributedLog 分布式高性能日志复制服务
项目地址：http://distributedlog.io/index.html
DL是一个高性能的日志复制服务，提供了持久化、复制以及强一致性的功能，这对于构建可靠的分布式系统都是至关重要的，如复制状态机（replicated-state-machines）、通用的发布/订阅系统、分布式数据库以及分布式队列。
DistributedLog会分类维护记录的序列（sequences of re ...
ELK logstash 处理mongodb日志(27th)
上一篇是处理MySQL的慢查询日志的，其实，ELK内容就这么多，很有规律的说，一通百通，通一反万。下面说说对mongodb日志处理。 不同mongodb版本的日志格式不同，这个需要看mongodb官方对日志格式的定义，在处理前自己去做好这方面的功课。还有就是，要抓取自己感兴趣的内容，这个根据各自的需求来做，没有千篇一律的，全凭各 ...
