使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch
<blockquote><p>本文介绍如何使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch。</p>
</blockquote>
<h2 id="1go-mysql-elasticsearch简介">1.go-mysql-elasticsearch简介</h2>
<p>go-mysql-elasticsearch是一个将MySQL数据自动同步到Elasticsearch的服务。</p>
<p>它首先使用mysqldump获取原始数据，然后用binlog增量地同步数据。</p>
<p>github地址：https://github.com/siddontang/go-mysql-elasticsearch</p>
<p><strong>这里有几点注意事项：</strong></p>
<ul>
<li>1.Mysql的binlog必须是ROW模式，不然启动会报错。</li>
<li>2.连接Mysql的用户权限需要大一些。</li>
</ul>
<h2 id="2安装">2.安装</h2>
<h3 id="21-安装go">2.1 安装go</h3>
<p>安装go</p>
<pre><code>yum install -y go
</code></pre>
<p>安装godep</p>
<pre><code>go get github.com/tools/godep
</code></pre>
<p>下载go-mysql-elastisearch插件</p>
<pre><code>go get github.com/siddontang/go-mysql-elasticsearch
</code></pre>
<p>进入对应目录，比如我使用的如下目录/root/go/src/github.com/siddontang/go-mysql-elasticsearch</p>
<pre><code>cd /root/go/src/github.com/siddontang/go-mysql-elasticsearch
</code></pre>
<p>编译</p>
<pre><code>make
</code></pre>
<h3 id="22-mysql开启binlog">2.2 Mysql开启binlog</h3>
<p>接下来需要在mysql中开启binlog，首先查询一下是否开启了binlog。</p>
<p>进入mysql</p>
<pre><code>mysql -uroot -p
</code></pre>
<p>输入密码，然后输入如下命令查看binlog开启状态</p>
<pre><code>show variables like '%log_bin%';
</code></pre>
<p>如图所示，ON为开启了，如果没有开启的话为OFF。</p>
<p><img src="https://dalaoyang-prod.oss-cn-beijing.aliyuncs.com/dalaoyang.cn/article/109/1.jpg"></p>
<p>如果没有开启的话，需要在my.cnf配置中添加如下配置(其中server-id可以根据情况设置，这里设置为1，log-bin为日志位置，一定要给日志写的权限，不然会报错，binlog_format为模式，这里必须为ROW)：</p>
<pre><code>server-id=1
log-bin=/usr/local/mysql-log/mysql-bin.log
binlog_format="ROW"
</code></pre>
<p>设置完成后重启mysql.</p>
<pre><code>service mysqld restart
</code></pre>
<p>如图重启成功，如果失败可以查看一下错误日志，这里不做过多介绍。</p>
<p><img src="https://dalaoyang-prod.oss-cn-beijing.aliyuncs.com/dalaoyang.cn/article/109/2.jpg"></p>
<h2 id="3配置go-mysql-elasticsearch">3.配置go-mysql-elasticsearch</h2>
<p>需要配置一下go-mysql-elasticsearch，样例在：https://github.com/siddontang/go-mysql-elasticsearch/blob/master/etc/river.toml</p>
<p>本文测试的配置文件内容如下：</p>
<pre><code># MySQL 配置：地址，用户名，密码
my_addr = "ip:3306"
my_user = "root"
my_pass = "***"
# Elasticsearch地址
es_addr = "ip:端口"
# 存储数据的位置
data_dir = "./var"
# Inner Http status address
stat_addr = "127.0.0.1:12800"
# pseudo server id like a slave
server_id = 1001
# mysql or mariadb
flavor = "mysql"
# mysql备份文件，如果不设置或设置为空，则跳过
# mysqldump = "mysqldump"
# minimal items to be inserted in one bulk
bulk_size = 128
# force flush the pending requests if we don't have enough items >= bulk_size
flush_bulk_time = "200ms"
# Ignore table without primary key
skip_no_pk_table = false
# MySQL数据源，schema：数据库，tables：表
[]
schema = "test"
tables = ["link_info"]
[]
schema = "test"
table = "link_info"
index = "test_mysql2"
type = "link_info"
</code></pre>
<h2 id="4运行go-mysql-elasticsearch">4.运行go-mysql-elasticsearch</h2>
<p>配置完成后，运行go-mysql-elasticsearch</p>
<pre><code>bin/go-mysql-elasticsearch -config=river.toml
</code></pre>
<p>如图所示运行成功。</p>
<p><img src="https://dalaoyang-prod.oss-cn-beijing.aliyuncs.com/dalaoyang.cn/article/109/3.png"></p>
<h2 id="5检验">5.检验</h2>
<p>查看es-head，如图</p>
<p><img src="https://dalaoyang-prod.oss-cn-beijing.aliyuncs.com/dalaoyang.cn/article/109/4.jpg"></p>
<p>数据都存在，然后修改id为5的数据，查看go-mysql-elasticsearch控制台，果然监听到了变化，如图</p>
<p><img src="https://dalaoyang-prod.oss-cn-beijing.aliyuncs.com/dalaoyang.cn/article/109/5.jpg"></p>
<p>在次查看es-head，如图，数据也变化了。</p>
<p><img src="https://dalaoyang-prod.oss-cn-beijing.aliyuncs.com/dalaoyang.cn/article/109/6.jpg"></p>
<h2 id="6总结">6.总结</h2>
<p>由于没上过生产，所以只对我个人测试使用进行评价，安装上和数据同步感觉很友好，因为结合binlog的原因，可以实现同步增删改。对于网上说的日志很少和不成熟等说法，这里不评价。</p><br><br>
来源：https://www.cnblogs.com/dalaoyang/p/11018541.html
頁:
[1]