Ubuntu下keepalived和nginx实现高可用性负载均衡
发表于:2022-07-01 |

概述
1. 前导知识
Ubuntu安装keepalived
Ubuntu安装nginx并配置负载均衡

2. 本文项目目标
在Ubuntu下使用keepalived和nginx搭建高可用性负载均衡。
keepalived虚拟IP为192.168.229.130,两台服务器的IP地址分别为192.168.229.128,192.168.229.129。
两台服务器中81端口模拟网站,80端口为负载均衡端口。

3. 系统环境
Ubuntu 20.04.2 LTS 桌面版(192.168.229.128)
Ubuntu 20.04.2 LTS 服务器版(192.168.229.129)

配置nginx负载均衡
《Ubuntu安装nginx并配置负载均衡》中,配置完成了一台服务器(192.168.229.128)的负载均衡,

sudo vim /etc/nginx/conf.d/ningx.conf

upstream vue {
    server 192.168.228.129:81;
}
location / {
    proxy_pass http://vue;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_connect_timeout 600;
    proxy_send_timeout 600;
    proxy_read_timeout 600;

    }





保存后,重启 nginx。
测试192.168.229.129服务器的负载均衡:

至此,192.168.229.128,192.168.229.129两台服务器的负载均衡全部配置完成。

安装配置keepalived
1. 安装
参照Ubuntu安装keepalived

sudo apt-get install keepalived

2. 设置随系统自启动
编辑 /etc/rc.local文件
sudo vim /etc/rc.local

在文件中增加一行service keepalived start &:

#!/bin/sh -e
# 上面一行不要删除
# 服务类要以 & 结尾一行,表示不要等待运行结束
service keepalived start &
 
#文末必须以exit 0结束
exit 0

3. keepalived的配置
编辑配置文件:

sudo vim /etc/keepalived/keepalived.conf

3.1 keepalived配置说明
! Configuration File for keepalived 
global_defs {
   #检测到realserver或者负载均衡出现故障后, 通知的邮箱地址
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   #发送通知的邮箱的地址
   notification_email_from Alexandre.Cassen@firewall.loc
   #利用的stmp服务器地址
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   #自定义主机名,建议使用IP地址
   router_id 192.168.229.128
   vrrp_skip_check_adv_addr 
   vrrp_iptables
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
#预先定义一个脚本,方便后面调用,也可以定义多个,方便选择;
vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_chk.sh"  #具体脚本路径
    interval 2  #脚本循环运行间隔,s
}
#一个虚拟路由器组的物理实例, 同一组KA里的实例不能重名
vrrp_instance VI_1{
    #当前节点在此虚拟路由器上的初始状态,状态为MASTER或者BACKUP
    state MASTER
    #非抢占模式;如果开启非抢占模式,上面的state需要都配置城BACKUP,利用优先级确定谁是MASTER
    #nopreempt 
     #绑定为当前虚拟路由器使用的物理接口,需要据实查询填写
    interface ens33
     #当前虚拟路由器惟一标识,也叫做分组名称,该组内的设备需要相同,范围是0-255
    virtual_router_id 100
    #当前物理节点在此虚拟路由器中的优先级,值越大优先级越大;范围1-254
    priority 101
    #vrrp通告的时间间隔,默认1s, 谁的优先级高, vip跑在哪个节点上, 就由哪个节点发送通告, backup节点接收通告。组内要一致
    advert_int 1
    #设置验证信息,组内一致
    authentication {
        #有PASS 和 AH 两种,常用 PASS
        auth_type PASS
        #仅前8位字符有效, 每一组负载均衡器使用相同的密码即可
        auth_pass 1111
    }
    #虚拟IP, 要和服务器在同一个网段, 能和服务器网关进行通信的, 而且是没有被占用的
    #可以设置多个IP
    virtual_ipaddress {
        192.168.229.130
    }
     #使用在这个域中使用预先定义的脚本,上面定义的
    track_script {   
        chk_nginx
    }
    #当前节点成为主节点时触发的脚本
    #notify_master <STRING>|<QUOTED-STRING>
    #当前节点称为备用节点时触发的脚本
    #notify_backup <STRING>|<QUOTED-STRING>
    #当前节点转为“失败”状态时触发的脚本 
    # 一般不会使用, 一般一个节点不是master就是backup状态, 
    #很少出现fault, 除非是ip地址冲突或者资源不足, 导致角色切换失败会出现fault状态
    #notify_fault <STRING>|<QUOTED-STRING>
    #通用格式的通知触发机制,一个脚本可完成以上三种状态的转换时的通知
    #notify <STRING>|<QUOTED-STRING>
}

3.2 去除注释的精简版配置
服务器192.168.229.128使用的配置文件:
global_defs {
   router_id 192.168.229.128
}
vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_chk.sh"  
    interval 2  
}
vrrp_instance VI_1{
    state MASTER
    interface ens33
    virtual_router_id 100
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.229.130
    }
    track_script {   
        chk_nginx
    }
}

服务器192.168.229.129使用的配置文件:
global_defs {
   router_id 192.168.229.129
}
vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_chk.sh"  
    interval 2  
}
vrrp_instance VI_1{
    state BACKUP
    interface ens33
    virtual_router_id 100
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.229.130
    }
    track_script {   
        chk_nginx
    }
}

其中,interface参数的值ens33要通过ifconfig指令查询,找到要进行虚拟化的物理网卡的名称。
ifconfig



3.3 nginx_chk脚本
脚本文件
脚本文件/etc/keepalived/nginx_chk.sh用于检查nginx相关服务器是否启动,如果没有启动则重启。如果重启不成功,则杀死keepalived服务,切换到备用服务
#!/bin/bash
#上面这句注释不可删除
#检查是否有nginx相关的进程
A=`ps -C nginx --no-header |wc -l`
#如果没有  
if [ $A -eq 0 ];then
    # 重启nginx,延迟2秒 
    service nginx restart
    sleep 2  
    # 重新检查是否有nginx相关的进程
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then  
        # 仍然没有nginx相关的进程,杀死当前keepalived,切换到备用机
        killall keepalived  
    fi  
fi 

为脚本文件添加执行权限
sudo chmod +x /etc/keepalived/nginx_chk.sh

测试脚本,如果有错误会输出错误信息,没有错误什么也不输出
cd /etc/keepalived
./nginx_chk.sh



两台服务器都要添加这个脚本和权限。
4. 重启keepalived
sudo service keepalived restart

5. 检查keepalived重启是否成功
systemctl status keepalived.service

不成功的例子
如果不成功,根据提示信息检查哪里有错误

成功的例子

测试
1. 检查虚拟IP是否设置成功,以及能否切换
ip a

192.168.229.128的虚拟IP已经设置进来了:

192.168.229.129(BACKUP)上没有虚拟IP:

停掉Master的keepalived再检查

sudo service keepalived stop
ip a

Master的虚拟IP没有了:

backup上有了虚拟IP:


2. 检查页面能否访问
先将上面停掉的master上的keepalived启动起来
sudo service keepalived start

通过虚拟IP 192.168.229.130访问页面:


停掉master上的keepalived,再次通过虚拟IP访问页面,仍然能正常
3. 检查停掉nginx后是否能自动重启
在任意master或者backup上停止掉nginx:
sudo service nginx stop

再次通过虚拟IP访问页面,应仍能访问到不断切换的两个页面
结论
高可用性负载均衡配置成功
上一篇:
SQL:sqlite3数据库常用操作
下一篇:
kubeadm安装k8s