最近新搞的项目，一开始使用的是ruoyi的springcloud版本，nacos、redis、gateway、auth和system都是一个服务，另外一个业务服务部署了2个，可以进行简单的负载均衡。

高可用部署后：nacos集群3台，redis集群3台，mysql服务2台(主从备份)，nginx服务2台，gateway服务2台，auth服务2台，system服务1台，业务服务4台。

1.nacos设置权重时报500错误

后来发现，业务服务需要更新的时候，需要使用到nacos的权重设置，发现设置的时候会报错，这里是遇到的第一个问题，百度大法后，删除了nacos/data/目录下的protocol目录，重启后就可以设置权重了。

2.nacos的集群部署

接着领导提出，单体服务可靠性太低，万一哪天深更半夜服务挂了，那么使用我们服务的设备，就不能继续工作了，那么会带来很大的舆情问题，需要提供一个备用服务，进行集群部署，这样就体现出了高可用，即使其他一台服务挂了，还有另外一台能继续提供服务。

需要修改nacos的配置文件application.properties里加上如下的配置，不然总会出现一串字符串:8848的服务，这个服务会导致，修改权重报400错误。

nacos.inetutils.ip-address=${NACOS_APPLICATION_IP:127.0.0.1}
然后用以下命令，依次启动3个nacos，形成集群。
docker run -d  -p 8848:8848 -p 9848:9848 -p 9849:9849 -p 7848:7848 --name nacostest --privileged=true --restart=always -v /home/nacos/logs/:/home/nacos/logs/ -v /home/nacos/data/:/home/nacos/data/ -v /home/nacos/conf/:/home/nacos/conf/ -e JVM_XMS=256m -e JVM_XMX=256m --env PREFER_HOST_MODE=hostname --env MODE=cluster --env NACOS_APPLICATION_IP=本机ip --env NACOS_SERVERS="ip1:8848 1ip2:8848 ip3:8848" nacos/nacos-server

3.redis哨兵部署

原本的服务就是一个redis，但是出于一个服务万一挂了，还是一样会引起重大问题，所以使用了哨兵模式来部署redis。这里使用的redis是新版，跟老板的配置主从有区别(REPLICAOF 10.0.96.98 6379)。

先修改主redis的配置文件redis.conf：

requirepass redis密码 #这里是重点，需要配置密码的话
bind 0.0.0.0
port 6379
protected-mode no
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile ""
databases 16
always-show-logo no
set-proc-title yes
proc-title-template "{title} {listen-addr} {server-mode}"
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
rdb-del-sync-files no
dir /data
replica-serve-stale-data yes
replica-read-only yes
repl-diskless-sync yes
repl-diskless-sync-delay 5
repl-diskless-sync-max-replicas 0
repl-diskless-load disabled
repl-disable-tcp-nodelay no
replica-priority 100
acllog-max-len 128
lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
replica-lazy-flush no
lazyfree-lazy-user-del no
lazyfree-lazy-user-flush no
oom-score-adj no
oom-score-adj-values 0 200 800
disable-thp yes
appendonly yes
appendfilename "appendonly.aof"
appenddirname "appendonlydir"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
aof-use-rdb-preamble yes
aof-timestamp-enabled no

save 900 1
save 300 10
save 60 10000

slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-listpack-entries 512
hash-max-listpack-value 64
list-max-listpack-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-listpack-entries 128
zset-max-listpack-value 64
hll-sparse-max-bytes 3000
stream-node-max-bytes 4096
stream-node-max-entries 100
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit replica 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
dynamic-hz yes
aof-rewrite-incremental-fsync yes
rdb-save-incremental-fsync yes
jemalloc-bg-thread yes

masterauth redis密码 #这里是重点，如果配置密码需要加这行

接着修改2个从redis的配置文件redis.conf，从机的配置一样。

requirepass redis密码 #这里是重点，需要配置密码的话
bind 0.0.0.0
port 6379
protected-mode no
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile ""
databases 16
always-show-logo no
set-proc-title yes
proc-title-template "{title} {listen-addr} {server-mode}"
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
rdb-del-sync-files no
dir /data
replica-serve-stale-data yes
replica-read-only yes
repl-diskless-sync yes
repl-diskless-sync-delay 5
repl-diskless-sync-max-replicas 0
repl-diskless-load disabled
repl-disable-tcp-nodelay no
replica-priority 100
acllog-max-len 128
lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
replica-lazy-flush no
lazyfree-lazy-user-del no
lazyfree-lazy-user-flush no
oom-score-adj no
oom-score-adj-values 0 200 800
disable-thp yes
appendonly yes
appendfilename "appendonly.aof"
appenddirname "appendonlydir"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
aof-use-rdb-preamble yes
aof-timestamp-enabled no

save 900 1
save 300 10
save 60 10000

slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-listpack-entries 512
hash-max-listpack-value 64
list-max-listpack-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-listpack-entries 128
zset-max-listpack-value 64
hll-sparse-max-bytes 3000
stream-node-max-bytes 4096
stream-node-max-entries 100
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit replica 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
dynamic-hz yes
aof-rewrite-incremental-fsync yes
rdb-save-incremental-fsync yes
jemalloc-bg-thread yes

REPLICAOF 主机ip 6379 #确定主机redis
masterauth redis密码 #这里是重点，如果配置密码需要加这行

用如下命令，启动三个redis，先启动主机的，再启动从机，这样redis主从就配置好了。

docker run -p 6379:6379 --restart=always --name redis --privileged=true -v /home/docker/redis/redis.conf:/etc/redis/redis.conf -v /home/docker/redis/data:/data -d redis redis-server /etc/redis/redis.conf

下面是配置3个哨兵的 sentinel.conf：

主机哨兵配置：

bind 0.0.0.0
port 26378

dir "/data"

logfile "sentinel-98.log"

sentinel monitor mymaster 主机ip 6379 1 #这里可以是1也可以是2
sentinel auth-pass mymaster redis密码
sentinel down-after-milliseconds mymaster 10000

sentinel failover-timeout mymaster 600008

从机哨兵配置，配置和主机配置一样：

bind 0.0.0.0
port 26378

dir "/data"

logfile "sentinel-100.log"

sentinel monitor mymaster 主机ip 6379 1
sentinel auth-pass mymaster redis密码
sentinel down-after-milliseconds mymaster 10000

sentinel failover-timeout mymaster 600008

分别启动三个哨兵，如果是同一台机器，那么3个启动的端口需要不一样。

docker run -p 26378:26378 --name sentine -v /home/redis/sentinel.conf:/etc/redis/sentinel.conf  --privileged=true --net=host  -d  redis redis-server /etc/redis/sentinel.conf --sentinel

进行如下操作查看redis主从配置。

1.docker exec -it redis bash进入容器。

2.再使用redis-cli命令进入redis。

3.如果有密码需要输入： auth 密码，来进行密码验证。

4.输入info Replication来查看主从配置，出现如下信息，则配置成功：

# Replication
role:master
connected_slaves:2
slave0:ip=ip2,port=6379,state=online,offset=447747248,lag=1
slave1:ip=ip3,port=6379,state=online,offset=447747248,lag=1
master_failover_state:no-failover
master_replid:3ad7f43fbe54ced61048c11ed5b1b2e025f25f4f
master_replid2:5c7d0aede42a12899c6296c7311285dc2ac2271a
master_repl_offset:447753859
second_repl_offset:18130
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:446696880
repl_backlog_histlen:1056980

接下来查询哨兵配置

1.docker exec -it sentine bash进入容器。

2.redis-cli -p 26378进入哨兵。

3.info Sentinel查看哨兵运行情况，出现如下情况，表示配置ok：

# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_tilt_since_seconds:-1
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=主ip:6379,slaves=2,sentinels=3

4.依次启动gateway、auth等服务

可以在两台服务器上，分别启动两套gateway、auth服务，注册服务的nacos地址可以配置成本机的nacos服务，这样就在两个nacos服务上分别注册，形成了nacos集群效果，即使某个nacos或者gateway、auth挂了，也不会影响服务的整体运行。

nginx同样也可以部署两套，这样就提供了两套服务入口。