今日分享 – 1000000 / 60S 的 RocketMQ 不停机，扩容，平滑升级！

启动

nohup sh bin/mqnamesrv &

nohup sh bin/mqbroker  -c conf/2m-noslave/broker-b.properties &

 

broker的写权限关闭

bin/mqadmin updateBrokerConfig -b 192.168.x.x:10911 -n 192.168.x.x:9876 -k brokerPermission -v 4

 

恢复该节点的写权限

bin/mqadmin updateBrokerConfig -b 192.168.x.x:10911 -n 192.168.x.x:9876 -k brokerPermission -v 6

 

 

停止

bin/mqshutdown broke

bin/mqshutdown namesrv

 

 

查看集群信息，集群、BrokerName、BrokerId、TPS等信息

./bin/mqadmin clusterList -n localhost:9876

 

 

 

 

获取全部topic

./bin/mqadmin topicList -n localhost:9876 -c DevCluster > topiclist

 

 

获取topic 路由信息

./bin/mqadmin topicRoute -t demo-cluster -n localhost:9876

 

 

 

 

获取topic offset

./bin/mqadmin topicStatus -t demo-cluster -n localhost:9876

 

 

 

 

打印Topic订阅关系、TPS、积累量、24h读写总量等信息

./bin/mqadmin statsAll  -n localhost:9876

 

 

 

 

修改broker 参数

./bin/mqadmin updateBrokerConfig -n localhost:9876 -b 10.0.xxx.2:10911 -k waitTimeMillsInSendQueue -v 500 -c TestCluste

 

 

发送消息

./bin/mqadmin sendMessage -n localhost:9876 -t lqtest -p "this is test"

 

 

 

 

消费

./bin/mqadmin consumeMessage -n localhost:9876 -t lqtest

复制

这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。

复制

一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下：

复制

优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；

复制

缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。

复制

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

复制

优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；

复制

缺点：Master宕机，磁盘损坏情况下会丢失少量消息。

复制

每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的优缺点如下：

复制

优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；

复制

缺点：性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机

复制

brokerClusterName=MQCluste

brokerName=broker-ali-76

brokerId=0

deleteWhen=04

fileReservedTime=360

brokerRole=ASYNC\_MASTER

flushDiskType=ASYNC\_FLUSH

storePathCommitLog=/data/rocketmq/store/commitlog

storePathConsumerQueue=/data/rocketmq/store/consumequeue

storePathRootDir=/data/rocketmq/store

autoCreateSubscriptionGroup=true

## if msg tracing is open,the flag will be true

traceTopicEnable=true

listenPort=10911

namesrvAddr=10.48.xx.76:9876;10.48.xx.77:9876

复制

cd /data/xxx\_tomcat



wget http://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.6.0/rocketmq-all-4.6.0-bin-release.zip



unzip rocketmq-all-4.6.0-bin-release

复制

cd /data/xxx\_tomcat/rocketmq-4.6.0/conf/2m-2s-sync



修改51、50 机器broker配置



修改配置 2m-2s-sync



修改 runbroker JVM配置，以免使用了默认配置导致内存不够

复制

两台差别只在brokerName 

brokerClusterName=MQCluste

brokerName=broker-60-50

brokerId=0

deleteWhen=04

fileReservedTime=48

brokerRole=ASYNC\_MASTER

flushDiskType=ASYNC\_FLUSH

storePathCommitLog=/data/alibaba-rocketmq/store/commitlog

storePathConsumerQueue=/data/rocketmq/store/consumequeue

storePathRootDir=/data/alibaba-rocketmq/store

autoCreateSubscriptionGroup=true

## if msg tracing is open,the flag will be true

traceTopicEnable=true

listenPort=10911

namesrvAddr=192.168.xxx.50:9876;192.168.xxx.51:9876

复制

jps -l



sh bin/mqshutdown namesrv

cd /data/xxx\_tomcat/rocketmq-4.6.0



nohup sh bin/mqnamesrv &



./bin/mqadmin clusterList -n localhost:9876

复制

jps -l



sh bin/mqshutdown broke

cd /data/xxx\_tomcat/rocketmq-4.6.0



ps -ef|grep mq  //检查使用的配置文件



nohup sh bin/mqbroker  -c conf/2m-2s-sync/broker-b.properties &



./bin/mqadmin clusterList -n localhost:9876

复制

./bin/mqadmin sendMessage -n localhost:9876 -t lqtest -p "this is test"



./bin/mqadmin consumeMessage -n localhost:9876 -t lqtest

复制