MongoDB高可用分片集群搭建

艾儿喂 發表於 2021-2-5 09:49:00

<h4 id="1环境软件版本">1.环境软件版本</h4>
<table>
<thead>
<tr>
<th>环境&软件</th>
<th>版本</th>
</tr>
</thead>
<tbody>
<tr>
<td>Oracle VM VirtualBox</td>
<td></td>
</tr>
<tr>
<td>服务器&CentOS</td>
<td>7.8</td>
</tr>
<tr>
<td>数据库&MongoDB</td>
<td>4.1.3</td>
</tr>
<tr>
<td>远程连接&Xshell</td>
<td>6</td>
</tr>
</tbody>
</table>
<h4 id="2环境架构介绍">2.环境架构介绍</h4>
架构图如下图所示：
<table>
<thead>
<tr>
<th>ip</th>
<th>角色</th>
<th>权限</th>
</tr>
</thead>
<tbody>
<tr>
<td>192.168.124.136</td>
<td>Primary节点</td>
<td>读写</td>
</tr>
<tr>
<td>192.168.124.137</td>
<td>Secondary节点</td>
<td>只读</td>
</tr>
<tr>
<td>192.168.124.138</td>
<td>Secondary节点</td>
<td>只读</td>
</tr>
</tbody>
</table>
<img src="https://note.youdao.com/yws/api/personal/file/148263BC33E94DD2AB5268C128CFF802?method=download&shareKey=c291bbda7c715e5d386137771dd790fd" alt="" loading="lazy">
<h4 id="3复制集搭建">3.复制集搭建</h4>
<h5 id="31-mongodb安装3台">3.1 MongoDB安装（3台）</h5>
下载
去官网下载社区版 MongoDB 4.1.3 然后上传到Linux虚拟机
解压并重命名
<pre><code>tar -xvf mongodb-linux-x86_64-4.1.3.tgz
mv mongodb-linux-x86_64-4.1.3 mongodb
</code></pre>
主节点配置
192.168.124.136机器上操作如下：
<pre><code>mkdir /usr/local/mongodb/data/ -p
</code></pre>
切到mongodb目录，添加配置文件mongo.conf
<pre><code>vi mongo.conf
</code></pre>
配置文件如下：
<pre><code class="language-conf"># 数据存放路径
dbpath=/usr/local/mongo_cluster/data/
bind_ip=0.0.0.0
# 端口
port=27017
# 是否启用守护线程，即后台运行
fork=true
# 日志存放路径
logpath=/usr/local/mongo_cluster/data/logs/server.log
# 集群名称
replSet=myCluster
</code></pre>
从节点1配置
192.168.124.137机器上重复以上操作
从节点2配置
192.168.124.138机器上重复以上操作
初始化节点配置
分别在三台机器上执行如下命令，启动三个节点
<pre><code>./bin/mongod -config mongo.conf
</code></pre>
进入任意一个节点运行如下命令：
<pre><code>var cfg ={"_id":"myCluster",
     "protocolVersion" : 1,
"members":[
{"_id":1,"host":"192.168.124.136:27017","priority":10},
{"_id":2,"host":"192.168.124.137:27017"},
{"_id":3,"host":"192.168.124.138:27017"},
]
}
rs.initiate(cfg)
rs.status()
</code></pre>
<h4 id="4分片集群搭建">4.分片集群搭建</h4>
分片（sharding）是MongoDB用来将大型集合水平分割到不同服务器（或者复制集）上所采用的方法。
分片集群架构图如下：
<img src="https://note.youdao.com/yws/api/personal/file/93CC54E98F544F58AC35ECE96EE9E00C?method=download&shareKey=9b25b242f3ab0b8b772feaa01fa09c4c" alt="" loading="lazy">
4.1 分片集群组成
分片集群由以下3个服务组成：
<ul>
<li>Shards Server：每个shard由一个或多个mongod进程组成，用于存储数据。</li>
<li>Router Server: 数据库集群的请求入口，所有请求都通过Router(mongos)进行协调，不需要在应用程序添加一个路由选择器，Router(mongos)就是一个请求分发中心它负责把应用程序的请求转发到对应的Shard服务器上。</li>
<li>Config Server: 配置服务器。存储所有数据库元信息（路由、分片）的配置。</li>
</ul>
4.2 搭建过程
配置并启动config节点集群
<ul>
<li>节点1</li>
</ul>
192.168.124.136机器上操作如下：
<pre><code>tar -xvf mongodb-linux-x86_64-4.1.3.tgz
mv mongodb-linux-x86_64-4.1.3 mongo_shard_cluster

mkdir /data/cluster/config/logs -p
</code></pre>
切到mongo_shard_cluster目录，添加配置文件config.conf
<pre><code># 数据库文件位置
dbpath=/data/cluster/config
#日志文件位置
logpath=/data/cluster/config/logs/config.log
# 以追加方式写入日志
logappend=true
# 是否以守护进程方式运行
fork=true
bind_ip=0.0.0.0
port=17017
# 表示是一个配置服务器
configsvr=true
#配置服务器副本集名称
replSet=configsvr
</code></pre>
<ul>
<li>节点2</li>
</ul>
192.168.124.137机器上重复以上操作
<ul>
<li>节点3</li>
</ul>
192.168.124.138机器上重复以上操作
分别在三台机器上执行如下命令，启动三个节点
<pre><code>./bin/mongod -config config.conf
</code></pre>
进入任意节点的mongo shell并添加配置节点集群，注意这里必须使用admin库进行操作
<pre><code>./mongo --port 17017

use admin

var cfg ={"_id":"configsvr",
"members":[
{"_id":1,"host":"192.168.124.136:17017"},
{"_id":2,"host":"192.168.124.137:17017"},
{"_id":3,"host":"192.168.124.138:17017"}]
};
rs.initiate(cfg)
</code></pre>
配置shard集群
<ul>
<li>shard1集群搭建</li>
</ul>
分别在三台服务器上操作如下命令：
<pre><code>mkdir /data/cluster/shard1 -p
mkdir /data/cluster/shard2 -p
mkdir /data/cluster/shard3 -p
</code></pre>
添加配置文件shard-37017.conf
<pre><code>dbpath=/data/cluster/shard1
bind_ip=0.0.0.0
port=37017
fork=true
logpath=/data/cluster/shard1/shard1.log
replSet=shard1
shardsvr=true
</code></pre>
启动每个mongod，然后进入其中一个进行集群配置
<pre><code>./bin/mongod -config shard-37017.conf
./bin/mongod -config shard-37018.conf
./bin/mongod -config shard-37019.conf
</code></pre>
<pre><code>./bin/mongo --port 37017

var cfg ={"_id":"shard1",
"protocolVersion" : 1,
"members":[
{"_id":1,"host":"192.168.124.136:37017"},
{"_id":2,"host":"192.168.124.137:37017"},
{"_id":3,"host":"192.168.124.138:37017"}
]
};
rs.initiate(cfg)
rs.status()
</code></pre>
<ul>
<li>shard2集群搭建</li>
</ul>
分别在三台服务器上操作如下命令：
添加配置文件shard-37018.conf
<pre><code>dbpath=/data/cluster/shard2
bind_ip=0.0.0.0
port=37018
fork=true
logpath=/data/cluster/shard2/shard2.log
replSet=shard2
shardsvr=true
</code></pre>
启动每个mongod，然后进入其中一个进行集群配置
<pre><code>./bin/mongo --port 37018

var cfg ={"_id":"shard2",
"protocolVersion" : 1,
"members":[
{"_id":1,"host":"192.168.124.136:37018"},
{"_id":2,"host":"192.168.124.137:37018"},
{"_id":3,"host":"192.168.124.138:37018"}
]
};
rs.initiate(cfg)
rs.status()
</code></pre>
<ul>
<li>shard3集群搭建</li>
</ul>
分别在三台服务器上操作如下命令：
添加配置文件shard-37019.conf
<pre><code>dbpath=/data/cluster/shard3
bind_ip=0.0.0.0
port=37019
fork=true
logpath=/data/cluster/shard3/shard3.log
replSet=shard3
shardsvr=true
</code></pre>
启动每个mongod，然后进入其中一个进行集群配置
<pre><code>./bin/mongo --port 37019

var cfg ={"_id":"shard3",
"protocolVersion" : 1,
"members":[
{"_id":1,"host":"192.168.124.136:37019"},
{"_id":2,"host":"192.168.124.137:37019"},
{"_id":3,"host":"192.168.124.138:37019"}
]
};
rs.initiate(cfg)
rs.status()
</code></pre>
<ul>
<li>配置和启动路由节点</li>
</ul>
192.168.124.136机器上操作如下：
<pre><code>mkdir /data/cluster/route/logs -p
</code></pre>
切到mongo_shard_cluster目录下，添加配置文件route.conf
<pre><code>port=27017
bind_ip=0.0.0.0
fork=true
logpath=/data/cluster/route/logs/route.log
configdb=configsvr/192.168.124.136:17017,192.168.124.137:17017,192.168.124.138:17017
</code></pre>
使用mongos启动路由节点
<pre><code>./bin/mongos -f route.conf
</code></pre>
mongos（路由）中添加分片节点
进入路由mongos
<pre><code>./bin/mongo  --port 27017
sh.status()   
sh.addShard("shard1/192.168.124.136:37017,192.168.124.137:37017,192.168.124.138:37017");
sh.addShard("shard2/192.168.124.136:37018,192.168.124.137:37018,192.168.124.138:37018");
sh.addShard("shard3/192.168.124.136:37019,192.168.124.137:37019,192.168.124.138:37019");
sh.status()
</code></pre>
开启数据库和集合分片（指点片键）
继续使用mongos完成分片开启和分片大小设置
<pre><code>为数据库开启分片功能
sh.enableSharding("lg_resume")
为指定集合开启分片功能
sh.shardCollection("lg_resume.lg_resume_datas",{"name":"hashed"})
</code></pre>
向集合中插入数据测试
<pre><code>use  lg_resume;
for(var i=1;i<= 1000;i++){
  db.lg_resume_datas.insert({"name":"test"+i,
    salary:(Math.random()*20000).toFixed(2)});
}
</code></pre>
验证分片效果
分别进入 shard1、shard2和shard3中的数据库进行验证
<h4 id="5单节点添加安全认证">5.单节点添加安全认证</h4>
MongoDB 默认是没有账号的，可以直接连接，无须身份验证。实际项目中肯定是要权限验证的，否则后果不堪设想。
切换到admin数据库对用户的添加
<pre><code>use admin;

db.createUser({
user:"root",
pwd:"123456",
roles:[{role:"root",db:"admin"}]
})
</code></pre>
切换到lg_resume库对用户的添加
<pre><code>use lg_resume;

db.createUser({
user:"lagou_gx",
pwd:"abc321",
roles:[{role:"readWrite",db:"lg_resume"}]
})
</code></pre>
以auth方式启动mongod
修改mongo.conf配置文件，添加auth=true参数
验证用户
db.auth("账号","密码")
<h4 id="6分片集群添加安全认证">6.分片集群添加安全认证</h4>
开启安全认证之前进入路由创建管理员和普通用户
参考上面的单节点
关闭所有配置节点、分片节点、路由节点
<ul>
<li>
安装psmisc
<pre><code>yum install psmisc
</code></pre>
</li>
<li>
安装完之后可以使用killall 命令快速关闭多个进程
<pre><code>killall mongod
killall mongos
</code></pre>
</li>
</ul>
生成秘钥文件并修改权限
在每一台服务器操作如下命令
<pre><code class="language-shell">mkdir /data/cluster/keyFile -p
# 注意：秘钥文件生成一个即可，将其拷贝到其它服务器
openssl rand -base64 756 > /data/cluster/keyFile/myKey.file

scp -P22 /data/cluster/keyFile/myKey.file root@192.168.124.137:/data/cluster/keyFile/myKey.file
scp -P22 /data/cluster/keyFile/myKey.file root@192.168.124.138:/data/cluster/keyFile/myKey.file
scp -P22 /data/cluster/keyFile/myKey.file root@192.168.124.139:/data/cluster/keyFile/myKey.file

chmod 600 /data/cluster/keyFile/myKey.file
</code></pre>
配置节点集群和分片节点集群开启安全认证和指定密钥文件
<pre><code>auth=true
keyFile=/data/cluster/keyFile/myKey.file
</code></pre>
在路由配置文件中设置密钥文件
<pre><code>keyFile=/data/cluster/keyFile/myKey.file
</code></pre>
启动所有的配置节点分片节点和路由节点使用路由进行权限验证
分别在三台服务器上操作如下命令：
切到mongo_shard_cluster目录，创建mongo_startup.sh脚本
<pre><code>./bin/mongod -f config.conf

./bin/mongod -f shard-37017.conf
./bin/mongod -f shard-37018.conf
./bin/mongod -f shard-37019.conf

./bin/mongos -f route.conf
</code></pre>
赋予可执行权限
<pre><code>chmod +x mongo_startup.sh
</code></pre>
启动脚本
<pre><code>cd /usr/local/mongo_shard_cluster/ sh mongod.sh
</code></pre>
<h4 id="7spring-boot-连接安全认证的分片集群">7.Spring boot 连接安全认证的分片集群</h4>
<pre><code>spring.data.mongodb.username=lagou_gx
spring.data.mongodb.password=abc321
</code></pre> 
来源：https://www.cnblogs.com/jerry0612/p/14376120.html

頁: [1]

琼殿技术论坛's Archiver

MongoDB高可用分片集群搭建