MongoDB迁移数据到Elasticsearch真实操作案例
<p>· 需求</p><pre><code>1、迁移MongoDB中的存量数据到Elasticsearch
2、增量数据业务方会写到MongoDB，但数据变更也要实时同步到Elasticsearch
</code></pre>
<p>经过数日的工具特性和我的需求对比之后，我选择了monstache来完成这次的需求。不言而喻，它可以满足我前面提到的需求。</p>
<ul>
<li>调试过程</li>
</ul>
<p>1、选择适合你的monstache版本（符合你的es版本、mongodb版本）<br>
版本参考如下：<br>
<img src="https://img2020.cnblogs.com/blog/1954818/202007/1954818-20200717051457837-1554380856.png"></p>
<p>我的各个版本如下：</p>
<pre><code> es: 6.7.0
mongo:3.2.13
所以我选择 monstache：4版本，对应master分支
</code></pre>
<p>2、monstache是使用golang语言开发，首先要安装go环境，需要注意的是要安装符合你monstache的go版本，怎么试？继续往下看，别着急。<br>
我这里需要安装go1.13.6</p>
<pre><code>1、安装
sudowget https://dl.google.com/go/go1.13.6.linux-amd64.tar.gz
tar -C /usr/local -xzf go1.13.6.linux-amd64.tar.gz
2、配置环境变量
vim /etc/profile
...
export GOROOT=/usr/local/go
export GOPATH=/home/go/
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin
export GOPROXY=https://mirrors.aliyun.com/goproxy/
...
source /etc/profile
</code></pre>
<p>3、安装monstache<br>
这里我直接把它安装到/usr/local目录下,省去了配置环境变量的过程。</p>
<pre><code> cd /usr/local/
git clone https://github.com/rwynn/monstache.git
cd monstache
到这里，下载完源码之后要按照你的mongo 和 es的版本来选择对应的monstache分支，我这里选择master分支
git checkout master #切换分支
go install #安装monstache，这一步可能会提示go版本不匹配，重新安装匹配的版本即可. 或者 sudo /usr/local/go/bin/go install
monstache -v #检测版本
</code></pre>
<p>4、配置同步任务</p>
<p>Monstache配置使用TOML格式，默认情况下，Monstache会使用默认端口连接本地主机上的ES和MongoDB，并追踪MongoDB oplog。在Monstache运行期间，MongoDB的任何更改都会同步到ES中。</p>
<ul>
<li>进入monstache安装目录，默认是没有配置文件的，所以我们要创建并且编辑配置文件。<br>
下面是我用到的配置，大家可以参考</li>
</ul>
<pre><code>#启用调试日志，这项要放在最上面，否则日志打印不到文件（坑了我几个小时）
verbose = true
#mongodb的链接地址
mongo-url = "xxx"
#es的链接地址
elasticsearch-urls = ["http://xxx:9200"]
#要监听的mongodb的集合格式是 库名.集合名，可以写多个，也可以使用正则来匹配多个，相应配置项为 namespace-regex
direct-read-namespaces = ["imcenter.im_ch","imcenter.im_chat",]
#es用户（没有可不填）
elasticsearch-user = "xxx"
#es密码（没有可不填）
elasticsearch-password = "xxx"
#monstache最多开几个线程同步到es,默认为4
elasticsearch-max-conns = 4
#mongodb删除集合或库时是否同步删除es中的索引
dropped-collections = false
dropped-databases = false
#记录同步位点，便于下次从该位置同步
resume = true
指定恢复策略。仅当resume为true时生效，默认为0-基于时间戳的变更流恢复
resume-strategy = 0
#生产环境记录日志必不可少，monstache默认是输出到标准输出的，这里指定它输出到指定的日志文件（这个也是踩坑踩出来的哦！）
info = "/home/admin/logs/monstore-center/info.log"
warn = "/home/admin/logs/monstore-center/wran.log"
error = "/home/admin/logs/monstore-center/error.log"
trace = "/home/admin/logs/monstore-center/trace.log"
#设置日志切割参数，下面的配置意思是：每个日志文件超过500M会被切割，最大保存最近60个日志文件，会压缩历史日志
max-size = 500
max-age = 60
compress = true
#高可用模式下需要配置集群名称，集群名称一样的进程会自动加入一个集群内，要注意这是个集群是高可用的，而不是负载均衡的。（看到其他文档里说这个参数是es集群的名称，其实并不是，自定义值）
cluster-name = 'HA-im'
#mapping定义mongodb数据到es的索引名称和type，namespace是库名.集合名
#这里需要注意一件事：最好是在es中创建好你要的索引结构，关闭es的自动创建索引功能，不然monstace会给mongodb中所有的集合都创建一个索引。我这里就对应了两个索引
[]
namespace = "ec-imcenter.im_chat"
index = "im_chat"
type = "im_chat"
[]
namespace = "ec-imcenter.im_ch"
index = "im_ch"
type = "im_ch"
</code></pre>
<p>5、启动</p>
<p>最好使用两台机器部署，防止一台机器出故障导致同步延迟。</p>
<p>启动有多种方式：这里提供两种吧</p>
<p>1)、systemd管理</p>
<pre><code>#添加配置
sudo vim/usr/lib/systemd/system/monstache.service
Description=monstache sync service
Type=notify
ExecStart=/usr/local/bin/monstache -f -cluster-name HA-im /etc/monstache/config.toml
WatchdogSec=30s
Restart=always
WantedBy=multi-user.target
#加载变更
sudo systemctl daemon-reload
#启动进程
sudo systemctl start monstache
</code></pre>
<p>2)、使用supervisord管理进程</p>
<pre><code>cat /etc/supervisord.d/monstache.ini
command=/home/admin/go/bin/monstache -cluster-name HA-im -f /mnt/alinas/monstache_im/config.toml
user=admin ; 运行用户
stopsignal=TERM ; 停止信号
stopwaitsecs = 30 ; 停止等待时间
autostart = true ; 是否自动启动
startsecs = 30 ; 启动时间
autorestart = true ; 是否异常自动重启
startretries = 30 ; 重启尝试次数
redirect_stderr = true ; 是否重定向错误信息
stdout_logfile_maxbytes = 500MB; stdout 日志文件大小，默认 50MB
stdout_logfile_backups = 1 ; stdout 日志文件备份数
stdout_logfile = /home/admin/logs/monstore-center/stdout.log
#启动进程
sudo systemctl restart supervisord
</code></pre>
<p>6、可能会遇到的问题</p>
<pre><code>a、日志没有输出到你指定的文件里
可能的原因：
1、 检查机器上是否已经启动monstache进程
2、检查配置文件是否设置了 verbose = true 参数，并且在配置文件的最前面。
3、检查配置文件是否设置了如下的logs参数和位置，使用绝对路径。
info = "xxx"
warn = "xxx"
error = "xxx"
trace = "xxx"
4、检查启动monstache的用户是否有日志目录的权限
-----------------------------------------------------------------------
b、启动报monstache未认证，不能在mongodb中创建一个什么集合的问题。
这个问题是因为开启高可用集群模式后，monstache需要创建一个集合来记录同步的位置和一起其他信息。问题的原因可能在于你的mongodb的uri配置问题，需要使用root用户admin库来链接mongo即可解决这个问题。
</code></pre>
<p>tips:</p>
<pre><code>1、如果要删除索引重新全量同步数据，如果使用的是集群模式，需要在mongodb中删除monstache集合，否则只会同步增量数据
2、monstache要求mongodb有副本集并开启oplog，否则gg。
</code></pre>
<p>官方文档：https://rwynn.github.io/monstache-site/start/</p><br><br>
来源：https://www.cnblogs.com/chaizhenhua/p/13324005.html
頁:
[1]