Mongodb的oplogsize修改

白首有我共你 發表於 2019-7-4 16:32:00

前景：
    由于某些情况，我们必须修改oplog size来增大同步窗口期，例如业务的快速增长，延迟节点无法跟上Primary节点的oplog增长速度；MongoDB在3.6版本后才对oplogSize支持了动态修改，但MongoDB版本低于3.6版本则需要逐个剔除副本集逐个扩容，至此记录修改oplogsize的步骤。
查询oplogsize大小命令：
repset:PRIMARY> db.getReplicationInfo()            #查看 oplog 的状态，输出信息包括 oplog 日志大小，操作日志记录的起始时间
repset:PRIMARY> db.printReplicationInfo()          #查看oplog的状态、总大小、使用大小、存储的时间范围、记录时长。
repset:PRIMARY> db.oplog.rs.stats().maxSize     #显示当前的oplog大小 maxSize<code class="docutils literal"> </code>
<div class="cnblogs_code">
<pre>repset:PRIMARY> db.getReplicationInfo()
{
"logSizeMB" : 1755.03173828125,
"usedMB" : 0.84,
"timeDiff" : 861042,
"timeDiffHours" : 239.18,
"tFirst" : "Mon Jun 24 2019 16:18:20 GMT+0800 (CST)",
"tLast" : "Thu Jul 04 2019 15:29:02 GMT+0800 (CST)",
"now" : "Thu Jul 04 2019 15:29:06 GMT+0800 (CST)"
}
repset:PRIMARY> db.printReplicationInfo()
configured oplog size: 1755.03173828125MB
log length start to end: 861132secs (239.2hrs)
oplog first event time:Mon Jun 24 2019 16:18:20 GMT+0800 (CST)
oplog last event time: Thu Jul 04 2019 15:30:32 GMT+0800 (CST)
now: Thu Jul 04 2019 15:30:36 GMT+0800 (CST)</pre>
</div>
一、修改MongoDB3.6版本以上的oplog
  3.6版本后支持的动态扩容方法
1、修改之前oplogsize的大小：
<div class="cnblogs_code">
<pre>repset:PRIMARY> db.getReplicationInfo()
{
"logSizeMB" : 1755.03173828125, #大小为1.8G
"usedMB" : 0.83,
"timeDiff" : 860512,
"timeDiffHours" : 239.03,
"tFirst" : "Mon Jun 24 2019 16:18:20 GMT+0800 (CST)",
"tLast" : "Thu Jul 04 2019 15:20:12 GMT+0800 (CST)",
"now" : "Thu Jul 04 2019 15:20:15 GMT+0800 (CST)"
}</pre>
</div>
登录到mongo shell后查看oplog.rs集合大小
<div class="cnblogs_code">
<pre>repset:PRIMARY> use local
switched to db local
repset:PRIMARY> db.oplog.rs.stats().maxSize
NumberLong(1840284160)#单位为bytes，即1.8G</pre>
</div>
2、通过管理命令修改
<div class="cnblogs_code">
<pre>repset:PRIMARY> use local
switched to db local
repset:PRIMARY> db.adminCommand({replSetResizeOplog:1,size:4096}) #单位为MB，扩容至4G
{
"ok" : 1,
"operationTime" : Timestamp(1562225042, 1),
"$clusterTime" : {
 "clusterTime" : Timestamp(1562225042, 1),
 "signature" : {
 "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
 "keyId" : NumberLong(0)
 }
}
}</pre>
</div>
3、验证是否成功
<div class="cnblogs_code">
<pre>repset:PRIMARY> db.oplog.rs.stats().maxSize
NumberLong("4294967296")</pre>
</div>
至此，Mongodb的oplogsize动态扩展成功。
注意：
   更改给定副本集成员 <code class="xref mongodb mongodb-dbcommand docutils literal">replSetResizeOplog</code>的oplog大小不会更改副本集中任何其他成员的oplog大小。必须<code class="xref mongodb mongodb-dbcommand docutils literal">replSetResizeOplog</code>在群集中的每个副本集成员上运行 ，以更改所有成员的oplog大小。
   减小OPLOG大小并不能自动收回磁盘空间。您必须<code class="xref mongodb mongodb-dbcommand docutils literal">compact</code>针对数据库中的 <code class="docutils literal">oplog.rs</code>集合运行<code class="docutils literal">local</code>。<code class="docutils literal">compact</code> 阻止它运行的数据库上的所有操作。运行<code class="docutils literal">compact</code>针对<code class="docutils literal">oplog.rs</code>因此防止OPLOG同步。有关调整oplog和压缩大小的过程 <code class="docutils literal">oplog.rs</code>，请参阅更改Oplog的大小。
二、修改MongoDB3.6版本以下的oplog
需求： Oplog扩容，尽量少的影响业务  
思路：先由从节点开始，一台一台的从复制集中剥离，修改，再回归复制集，最后操作主节点来减少业务影响时间。
流程：先关闭一个从节点，去掉–replSet启动参数,更换启动端口–port,将节点以单机模式启动。
备份：备份现有的oplog
详细过程：
1、关闭从节点 
<div class="cnblogs_code">
<pre># ps -ef|grep mongo
root 28527 10 14:46 ? 00:00:17 mongod -f /etc/mongod1.conf
root 28605 10 14:46 ? 00:00:18 mongod -f /etc/mongod2.conf
root 28686 10 14:46 ? 00:00:12 mongod -f /etc/mongod3.conf
root 30794 282820 15:50 pts/0 00:00:00 grep mongo
# mongod --shutdown -f /etc/mongod2.conf
killing process with pid: 28605</pre>
</div>
2、修改从节点配置文件，
    注释副本集配置参数并修改端口，及单击模式启动
<div class="cnblogs_code">
<pre># mongod -f /etc/mongod2.conf
about to fork child process, waiting until server is ready for connections.
forked process: 30940
child process started successfully, parent exiting</pre>
</div>
注：此时停止掉副节点的依旧保持在副本集中，不过此时它的状态为不可达，健康值为0。在作为单机模式启动修改完成，再以副本集模式启动即可。
3、备份节点oplog记录
<div class="cnblogs_code">
<pre># mongodump -h 172.17.136.124:27021 -dlocal -c oplog.rs -o /root/oplog
2019-07-04T15:59:01.603+0800 writing local.oplog.rs to
2019-07-04T15:59:01.630+0800 done dumping local.oplog.rs (8069 documents)</pre>
</div>
4、进入mongo，将现在的oplog中最新的位置复制到tmp表（local数据库）中：
<div class="cnblogs_code">
<pre>> use local
switched to db local
> db.temp.save( db.oplog.rs.find( { }, { ts: 1, h: 1 } ).sort( {$natural : -1} ).limit(1).next() )
WriteResult({ "nInserted" : 1 })
> db.temp.find()#验证记录是否存在
{ "_id" : ObjectId("5d1db2646bebcb3f6483cce3"), "ts" : Timestamp(1562226683, 1), "h" : NumberLong("2207544736706975504") }</pre>
</div>
 5、删除原有oplog集合
<div class="cnblogs_code">
<pre>> db.oplog.rs.drop()
true</pre>
</div>
6、创建新的oplog集合，为4G
<div class="cnblogs_code">
<pre>> db.runCommand({create:"oplog.rs",capped:true,size:(4*1024*1024*1024)})
{ "ok" : 1 }#创建成功</pre>
</div>
7、将tmp中的数据存储到新的oplog中，并验证
<div class="cnblogs_code">
<pre>> db.oplog.rs.save( db.temp.findOne() )
WriteResult({
"nMatched" : 0,
"nUpserted" : 1,
"nModified" : 0,
"_id" : ObjectId("5d1db2646bebcb3f6483cce3")
})
> db.oplog.rs.find()#验证
{ "_id" : ObjectId("5d1db2646bebcb3f6483cce3"), "ts" : Timestamp(1562226683, 1), "h" : NumberLong("2207544736706975504") }</pre>
</div>
8、关闭从节点，并恢复原有config配置，并在config中设置oplogSize为你之前设置的大小，并启动。
    关闭从节点
<div class="cnblogs_code">
<pre># mongod --shutdown -f /etc/mongod2.conf
killing process with pid: 30940</pre>
</div>
    恢复原有配置文件时，要注意oplogSizeMB参数值的修改，修改为扩容后的值
<div class="cnblogs_code">
<pre>#配置文件中指定oplog大小 replication:
oplogSizeMB: 4096
replSetName: repset</pre>
</div>
    重新启动从节点
<div class="cnblogs_code">
<pre># mongod -f /etc/mongod2.conf
about to fork child process, waiting until server is ready for connections.
forked process: 31702
child process started successfully, parent exiting</pre>
</div>
9、登陆mongoshell检查节点状态及oplog大小
<div class="cnblogs_code">
<pre># mongo 172.17.136.124:27018 repset:SECONDARY> db.getReplicationInfo()
{
"logSizeMB" : 4096,
"usedMB" : 0.01,
"timeDiff" : 0,
"timeDiffHours" : 0,
"tFirst" : "Thu Jul 04 2019 15:51:23 GMT+0800 (CST)",
"tLast" : "Thu Jul 04 2019 15:51:23 GMT+0800 (CST)",
"now" : "Thu Jul 04 2019 16:20:43 GMT+0800 (CST)"
}</pre>
</div>
    至此，oplog大小修改完毕，依次修改其他节点，修改主节点是可先降级或直接关闭主节点
<div class="cnblogs_code">
<pre>Primary>rs.stepDown() ---可以更有效的产生选举</pre>
</div>
补充：
1、若是在启动副本集是指定了oplogsize大小。在动态扩容后，oplog.rs集合大小已发生变化，但配置文件中最初指定的oplogsize大小不变，并且重启后依旧不变，但是oplogsize依旧是扩容之后的大小。
2、如果减小oplogsize的大小，可能会造成oplog记录丢失，导致节点异常，故不可减小。
参考文档：
https://docs.mongodb.com/manual/reference/command/replSetResizeOplog/#dbcmd.replSetResizeOplog  #oplog动态扩容官网资料
https://docs.mongodb.com/manual/core/replica-set-oplog/#oplog    #oplog及副本集相关文档
http://www.mongoing.com/oplog #oplog扩容参考文档
http://www.mongoing.com/blog/oplog-size #oplog大小设置估算
http://blog.itpub.net/31547523/viewspace-2214748/
https://www.cnblogs.com/operationhome/p/10688798.html 
来源：https://www.cnblogs.com/wushaoyu/p/11132795.html

頁: [1]

琼殿技术论坛's Archiver

Mongodb的oplogsize修改