RocketMQ(2)-Docker部署RocketMQ集群 - Powered by Discuz! Archiver

周剑君 發表於 2019-6-28 09:54:00

RocketMQ(2)---Docker部署RocketMQ集群

<h1 id="rocketmq2docker集群部署rocketmq-"><center>RocketMQ(2)—Docker集群部署RocketMQ </center></h1>
<code>=前言=</code>
<pre><code class="language-sql">1、因为自己只买了一台阿里云服务器，所以RocketMQ集群都部署在单台服务器上只是端口不同，如果实际开发，可以分别部署在多台服务器上。
2、这里有关 Broker 和 NameServer 分别都做了了集群部署(各部署两个），且BroKer是按两主进行部署。
</code></pre>
之所以选用Docker部署主要还是考虑：<code>通过Docker部署RocketMQ集群更快速，而且对系统的资源利用更好！</code>
之前有写过Liunx如何部署Docker的博客：【Docker】(3)---linux部署Docker、Docker常用命令
之前有关RocketMQ概念做了介绍的博客：RocketMQ(1)-架构原理
下面先写好所需配置文件，在运行配置文件，最终看运行结果！ 
 
<h2 id="一写配置文件-">一、写配置文件 </h2>
<h4 id="1创建所需文件夹">1、创建所需文件夹</h4>
<pre><code>mkdir -p/opt/rocketmq/logs/nameserver-a
mkdir -p/opt/rocketmq/logs/nameserver-b
mkdir -p /opt/rocketmq/store/nameserver-a
mkdir -p /opt/rocketmq/store/nameserver-b
mkdir -p /opt/rocketmq/logs/broker-a
mkdir -p /opt/rocketmq/logs/broker-b
mkdir -p /opt/rocketmq/store/broker-a
mkdir -p /opt/rocketmq/store/broker-b
mkdir -p /home/rocketmq/broker-a/
mkdir -p /home/rocketmq/broker-b/
</code></pre>
<h4 id="2创建brokerconf">2、创建broker.conf</h4>
<code>broker.conf是Broker的配置文件</code>，因为此时RocketMQ镜像还没有拉取,所以还没有默认的broker.conf。所以这里直接写好，到时候通过命令替换默认的broker.conf。
因为是双主模式部署，所以会有两个broker.conf,这里暂且命名broker-a.conf和 broker-b.conf
1) broker-a.conf
<pre><code class="language-php">brokerClusterName = rocketmq-cluster
brokerName = broker-a
brokerId = 0
#这个很有讲究如果是正式环境这里一定要填写内网地址（安全）
#如果是用于测试或者本地这里建议要填外网地址，因为你的本地代码是无法连接到阿里云内网，只能连接外网。
brokerIP1 = xxxxx
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
# 内网的(阿里云有内网IP和外网IP)
namesrvAddr=172.18.0.5:9876;172.18.0.5:9877
autoCreateTopicEnable=true
#Broker 对外服务的监听端口,
listenPort = 10911
#Broker角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
</code></pre>
这里配置的主要信息有：
1、当前Broker对外暴露的端口号 
2、注册到NameServer的地址，看到这里有两个地址，说明NameServer也是集群部署。 
3、当前Broker的角色，是主还是从，这里表示是主。
2）broker-b.conf
<pre><code class="language-php">brokerClusterName = rocketmq-cluster
brokerName = broker-b
brokerId = 0
brokerIP1 = xxxxx
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
# 内网的(阿里云有内网IP和外网IP)
namesrvAddr=172.18.0.5:9876;172.18.0.5:9877
autoCreateTopicEnable=true
#Broker 对外服务的监听端口,
listenPort = 10909
#Broker角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
</code></pre>
这个上面并无差别，只是当前Brocker对外暴露的端口不一样。
<h4 id="3编写-docker-composeyml">3、编写 docker-compose.yml</h4>
我们可以简单把docker-compose.yml理解成一个类似Shell的脚本，这个脚本定义了运行多容器应用程序的信息。
<pre><code class="language-php">version: '3.5'
services:
rmqnamesrv-a:
image: rocketmqinc/rocketmq:4.3.0
container_name: rmqnamesrv-a
ports:
 - 9876:9876
volumes:
 - /opt/rocketmq/logs/nameserver-a:/opt/logs
 - /opt/rocketmq/store/nameserver-a:/opt/store
command: sh mqnamesrv
networks:
 rmq:
 aliases:
 - rmqnamesrv-a

rmqnamesrv-b:
image: rocketmqinc/rocketmq:4.3.0
container_name: rmqnamesrv-b
ports:
 - 9877:9877
volumes:
 - /opt/rocketmq/logs/nameserver-b:/opt/logs
 - /opt/rocketmq/store/nameserver-b:/opt/store
command: sh mqnamesrv
networks:
 rmq:
 aliases:
 - rmqnamesrv-b

rmqbroker-a:
image: rocketmqinc/rocketmq:4.3.0
container_name: rmqbroker-a
ports:
 - 10911:10911
volumes:
 - /opt/rocketmq/logs/broker-a:/opt/logs
 - /opt/rocketmq/store/broker-a:/opt/store
 - /home/rocketmq/broker-a/broker-a.conf:/opt/rocketmq-4.3.0/conf/broker.conf
environment:
 TZ: Asia/Shanghai
 NAMESRV_ADDR: "rmqnamesrv-a:9876"
 JAVA_OPTS: " -Duser.home=/opt"
 JAVA_OPT_EXT: "-server -Xms256m -Xmx256m -Xmn256m"
command: sh mqbroker -c /opt/rocketmq-4.3.0/conf/broker.conf autoCreateTopicEnable=true &
links:
 - rmqnamesrv-a:rmqnamesrv-a
 - rmqnamesrv-b:rmqnamesrv-b
networks:
 rmq:
 aliases:
 - rmqbroker-a

rmqbroker-b:
image: rocketmqinc/rocketmq:4.3.0
container_name: rmqbroker-b
ports:
 - 10909:10909
volumes:
 - /opt/rocketmq/logs/broker-b:/opt/logs
 - /opt/rocketmq/store/broker-b:/opt/store
 - /home/rocketmq/broker-b/broker-b.conf:/opt/rocketmq-4.3.0/conf/broker.conf
environment:
 TZ: Asia/Shanghai
 NAMESRV_ADDR: "rmqnamesrv-b:9876"
 JAVA_OPTS: " -Duser.home=/opt"
 JAVA_OPT_EXT: "-server -Xms256m -Xmx256m -Xmn256m"
command: sh mqbroker -c /opt/rocketmq-4.3.0/conf/broker.conf autoCreateTopicEnable=true &
links:
 - rmqnamesrv-a:rmqnamesrv-a
 - rmqnamesrv-b:rmqnamesrv-b
networks:
 rmq:
 aliases:
 - rmqbroker-b
rmqconsole:
image: styletang/rocketmq-console-ng
container_name: rmqconsole
ports:
 - 9001:9001
environment:
 JAVA_OPTS: -Drocketmq.namesrv.addr=rmqnamesrv-a:9876;rmqnamesrv-b:9877 -Dcom.rocketmq.sendMessageWithVIPChannel=false
networks:
 rmq:
 aliases:
 - rmqconsole
networks:
rmq:
name: rmq
driver: bridge
</code></pre>
从配置文件可以大致看出几点：
1、通过Docker总共拉取了5条镜像记录。<code>rmqnamesrv-a</code>、<code>rmqnamesrv-b</code>、<code>rmqbroker-a</code>、<code>rmqbroker-b</code>、<code>rmqconsole</code>。 
2、<code>rmqconsole是一个可视化的工具</code>，可以通过页面来查看RocketMQ相关信息。 
3、可以看出对于broker的配置文件broker.conf已经被broker-a/b.conf替换。
 
<h2 id="-二环境部署"> 二、环境部署</h2>
上面仅仅是把配置文件写好，但启动RocketMQ还有很多前提条件
<h4 id="1所需环境">1、所需环境</h4>
<pre><code>1. 建议使用64位操作系统，Linux / Unix / Mac;
2. 64位JDK 1.8+;
3. Maven 3.2.x;
4. Git的;
5. 4g +免费磁盘用于Broker服务器
</code></pre>
同时需要运行docker-compose.yml还需要安装docker-compose
<h4 id="2安装docker-compose">2、安装docker-compose</h4>
有关的介绍可以看官方GitHub : https://github.com/docker/compose
安装docker-compose
<pre><code class="language-javascript">curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
</code></pre>
查看是否安装成功
<pre><code># docker-compose --version
docker-compose version 1.24.1, build 4667896b
</code></pre>
<h4 id="3关键一步">3、关键一步</h4>
前面所有的操作，都是为这一步的铺垫,通过<code>docker-compose执行docker-compose.yml</code>配置文件
<pre><code class="language-javascript">docker-compose -f docker-compose.yml up -d
</code></pre>
如果你看到，那说明你大功告成！
<img src="https://img2018.cnblogs.com/blog/1090617/201906/1090617-20190628101743236-1603071189.png" alt="" loading="lazy">
查看可视化界面
<img src="https://img2018.cnblogs.com/blog/1090617/201906/1090617-20190627141208024-73962321.png" alt="" loading="lazy">
完美！
<code>注意</code> 这里面涉及相关端口记得到阿里云后台开启！ 
<code>说明</code> 因为我这边是单机部署集群，我发现集群部署NameServer没有问题，集群部署Broker的会因为端口的问题只能使用一台。
 
<h3 id="-参考"> 参考</h3>
1、Apache RocketMQ
2、docker-compose
3、docker部署RocketMQ集群(非常感谢)
<img src="https://img2020.cnblogs.com/blog/1090617/202111/1090617-20211117135827845-311914362.gif" alt="" loading="lazy">
 
<pre><code>只要自己变优秀了，其他的事情才会跟着好起来（中将9）
</code></pre> 
来源：https://www.cnblogs.com/qdhxhz/p/11096682.html

頁: [1]

琼殿技术论坛's Archiver

RocketMQ(2)---Docker部署RocketMQ集群