ELK logstash 处理MySQL慢查询日志(26th)
在生产环境下，logstash 经常会遇到处理多种格式的日志，不同的日志格式，解析方法不同。下面来说说logstash处理多行日志的例子，对MySQL慢查询日志进行分析，这个经常遇到过，网络上疑问也很多。
MySQL慢查询日志格式如下：# User@Host: ttlsa[ttlsa] @ [10.4.10.12] Id: 69641319
# Query_time: 0.000148 Lock_time: 0 ...
B站日志系统
目录原有日志系统Billions的演进系统的初建日志规范日志系统技术方案系统迭代shard管理日志采样data node硬件瓶颈解决logstash性能解决日志监控现有问题和下一步工作B站的日志系统（Billions）从2017年5月份开始建设，基于elastic stack，面向全站提供统一的日志采集、检索、监控服务。目前集群规模20台机器，接入业务200+ ...
etcd 集群管理维护
官方网站:
https://github.com/coreos/etcd/
环境:
CentOS7
etcd-3.0.4
3节点集群示例
etcd1:192.168.8.101
etcd2:192.168.8.102
etcd3:192.168.8.103
一.安装etcd(所有节点)
curl -L https://github.com/coreos/etcd/releases/download/v3.0.4/etcd-v3.0.4-linux-amd64.tar.gz -o etcd-v3.0.4-linux-amd64.tar.gz
tar xz ...
ELK 处理 Percona 审计日志(填坑)
前提
1、有强烈的审计需求。
2、能允许10%-15%左右的性能损失。
3、有强烈的对数据库操作实时查看需求(一般都是为了领导要求)。
Logstash 比较坑的配置
input {
file {
path => ["/u02/backup/audit.log"]
codec => json
}
}
output {
elasticsearch {
hosts => ["192.168.1.233"]
...
rsync安装模块—puppet系列
1. 客户端安装rsync模块
一定要下载，不然客户端的 /etc/rsyncd.conf 该文件是空的# cd /etc/puppet/modules #进入模块路径目录
# git clone https://github.com/onyxpoint/pupmod-concat && mv pupmod-concat concat
# git clone https://github.com/onyxpoint/pupmod-rsync && mv pupmod-rsync rsync如果你主机上没 ...
sudo管理和mysql的安装—puppet系列
云计算时代系统管理员会经常陷入一系列的重复任务中，如安装或重装系统，升级软件包，管理配置文件，添加、管理和配置系统服务等等，成百上千台服务器，够让我们抓狂的，因此自动化就非常有必要了。
Puppet 是一个客户端/服务器（C/S）架构的配置管理工具，在中央服务器上安装 puppet-server 服务器（puppet master），在需 ...
安装和客户端证书颁发—puppet系列
puppet简介
Puppet基于ruby语言开发的自动化系统配置工具，可以C/S模式或独立运行，支持对所有UNIX及类UNIX系统的配置管理，最新版本也开始支持对Windows操作系统有限的一些管理。Puppet适用于服务器管的整个过程 ，比如初始安装、配置更新以及系统下线。
Puppet的安装方式支持源码安装、yum安装以及ruby的gem安装。官网推 ...
saltstack快速安装
过几天就要离开这家公司了,原先计划做的自动化还没完成,群主推荐了saltstack,上网对比了相关软件puppet和func. 决定选择他来做自动化.前后研究了几天，今天把公司的服务器都上了saltstack，今天先分享下saltstack的简单安装方法.
以下是redhat6和centos6的安装过程, centos5的同学直接跳到后面.超快的安装方法.
1. 安装源
1 ...
基于saltstack实现的配置集中化管理
Saltstack是一个具备puppet与func功能为一身的集中化管理平台，saltstack基于python实现，功能十分强大，各模块融合度及复用性极高，官方极力推荐作为云计算平台的基础架构。轻松维护成千上万台服务器不是问题，现分享作者基于saltstack实现一个集中化的配置管理平台，以Nginx配置例子展开，涉及salt的grains、grains_modul ...
如何建立多Master的SaltStack环境
目录Master KeysConfigure MinionsSharing Files Between MastersMinion Keysfile_rootspillar_rootsMaster ConfigurationConslusion0.16.0版本的发布，带来了minion可以连接多Master的特性. 这种方式称为多master( multi-master )配置, 使环境中的SaltStack冗余。在这种配置下，Salt Minions将连接所有配置的Salt Master ...
saltstack自动化运维快速入门
今天没事发了2个小时 把以前研究过的saltstack 复习了一篇 准备没事开始上线部署下（先慢慢用） 以前一直研究这个研究 那个每次都是搞到一个初级水平 后来没需求了 就没研究了 这样过段时间了 啥都忘记完了 这次顺便把 复习过程记录下来 以后好查阅（这也是我写博客的最大原因）
关于saltstack 这个软件是干啥的 我这里就不 ...
saltstack应用之批量部署mysql
源码包：http://pan.baidu.com/s/1mgic8U8
应用环境：
使用salt写了个自动部署mysql的配置配置管理文件，由于mysql的有版本号，端口等不确定属性，需要使用pillar来单独配置每个minion的属性。
一，原始方法
例如，需要在salt id为10.1.1.1-centos.game.web的服务器上部署mysql，版本号为5.5.25，实例有3个，3306，3307,330 ...
saltstack web uiweb平台界面
Salt WebUI
saltstack web uiweb平台界面
saltapi项目主页： http://salt-api.readthedocs.org/en/latest/
halite 项目主页： https://github.com/saltstack/halite
官方文档 ： https://github.com/saltstack/
搭建过程：cd /var/www/
git clone https://github.com/saltstack/halite
cd halite/halite
./genindex.py ...
saltstack mine使用
今天没事看了一下saltstack的mine功能 说实话看完官方那点英文文档之后 我还是不知道这个是干嘛的 以后改这么用 不过我实验了一把 算是成功了把 所以我先记录下来 等以后深入了解后 可能会用到
下面我简单讲下官网文档说的是啥意思吧 （翻译得不好请见谅）
1.saltstack 这个功能 在0.15.0 版本后才有的一个新功能
2.saltsta ...
saltstack syndic使用测试
今天没事跟同事把saltstack的syndic实验了一把 准备把心得啥的 记录下 其实现在不适合讲syndic 因为saltstack的其他东西我还没搞清楚 大家都知道saltstack传统的架构都是 c/s 一个master管一堆minion的形式 syndic架构多了一层类似代理的东西 我下面去画个图 贴上来吧 稍等下
擦 真的不会画图 就先这样吧 syndic 相当于zab ...
saltstack grains和pillar介绍
昨天讲解了一下saltstack的一些基本应用（安装 部署 简单的应用 跟简单的资源管理） saltstack这东西 很强大 东西也很多今天我就简单讲解下
grains和pillar 这个单词这么读 我也不太清楚 这里简单介绍下吧
grains 这个跟puppet的facter一样 负责采集客户端一些基本信息（查看这些信息 上一篇文章已经介绍了） 这个也完全可 ...
Ansible 快速上手
最近纠结于在 Puppet、Chef、SaltStack、Ansible 等一干配置管理工具中如何选择。考虑到一旦开始没有选好，以后更改又是一堆麻烦事，所以就稍微有些慎重。
Puppet 和 SaltStack 我曾用过，但不是十分符合预期，所以先行排除。至于 Chef，虽然老早就听说过，但却一直没有找到机会尝试。翻了翻文档，Chef 跟 Puppet 及 SaltS ...
什么是Linux运维自动化
随着企业服务器数量越来越多，当到达几百台，上千台服务器之后，服务器日常管理也逐渐繁杂，每天如果通过人工去频繁的更新或者部署及管理这些服务器，势必会浪费大量的时间，而且有可能人为的操作也会造成某些疏忽而遗漏。那我们来看一下传统的运维以及今后运维的发展方向。
1、传统运维方式简介
传统的IT运维仍然是等到IT ...
saltstack pillar与grains实战
前面已经讲了5章关于saltstack 的一些基本应用与基本功能（基本而已 还有很多东西我也没弄） 但是目前就这些基本的功能就能满足我们线上的业务了 下面我整理了下关于我们全网统一squid配置文件的一个案例 我顺便记录下 以便下次接着扩展
先说下原始需求
1.我们全网的squid配置文件 配置比较乱 有视频 下载 web 3种业务的配 ...
Fabric动态生成主机列表和角色列表
动态生成主机列表
通过参考 Fabric 的官方文档的 Using execute with dynamically-set host lists，其中有这么一段示例代码：from fabric.api import run, execute, task
# For example, code talking to an HTTP API, or a database, or ...
from mylib import external_datastore
# This is the actual algorithm invo ...
