操作系统

LVS+Keepalived负载均衡主备&双主架构全攻略

Jager · 12月18日 · 2013年 · · · · · · · 10625次已读

LVS+Keepalived 介绍
LVS
LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术(VS/NAT、VS/TUN和VS/DR);
十种调度算法(rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq)。

Keepalvied
Keepalived在这里主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现


一、LVS+Keepalived负载均衡主备架构

I. 网站负载均衡拓朴图

(略)

IP信息清单:
名称 IP

  1. LVS-DR-Master 192.168.2.98
  2. LVS-DR-Backup 192.168.2.99
  3. LVS-DR-VIP 192.168.2.100
  4. Realserver01 192.168.2.101
  5. Realserver02 192.168.2.102
  6. Realserver03 192.168.2.103
  7. Realserver04 192.168.2.104

II.安装ipvsadmkeepalived软件包

ipvsadm: http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz

keepalived:http://www.keepalived.org/software/keepalived-1.1.15.tar.gz

下载后建议统一放置在/usr/local/src/lvs

#uname -r   
2.6.18-53.el5PAE   //查看内核版本   
#ln -s /usr/src/kernels/2.6.18-53.el5PAE-i686/  /usr/src/linux  //防止报错   
#tar zxvf ipvsadm-1.24.tar.gz   
#cd ipvsadm-1.24   
#make && make install   
#find / -name ipvsadm  # 查看ipvsadm的位置   
#tar zxvf keepalived-1.1.15.tar.gz   
#cd keepalived-1.1.15   
#./configure  && make && make install   
#find / -name keepalived  # 查看keepalived位置                  
#cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/   
#cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/   
#mkdir /etc/keepalived   
#cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/   
#cp /usr/local/sbin/keepalived /usr/sbin/   
#service keepalived start|stop     #做成系统启动服务方便管理.

III. 配置Realserver脚本

在4台Realserver主机上建立如下脚本,然后执行

#!/bin/bash   
VIP=192.168.2.100   
/etc/rc.d/init.d/functions   
case “$1″ in   
start)   
           ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP up   
           /sbin/route add -host $VIP dev lo:0   
           echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore   
           echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce   
           echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore   
           echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce   
           sysctl -p >/dev/null   
           echo "RealServer Start OK"  
           ;;   
stop)   
           ifconfig lo:0 down   
           route del $VIP 2>/dev/null   
           echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore   
           echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce   
           echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore   
           echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce   
           echo "RealServer Stoped"  
           ;;   
*)   
           echo "Usage: $0 {start|stop}"  
           exit 1   
esac   
exit 0

IV. 配置keepalived实现负载均衡和和高可用性

1.在LVS-DR-Master主机上编辑keepalived的配置文件 : vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived   
  
global_defs {   
notification_email {   
//此处填写你的邮件地址 }   
notification_email_from your email!   
  
smtp_server smtp.**.com   
smtp_connect_timeout 30   
router_id LVS_DEVEL   
}   
vrrp_instance VI_1 {   
state MASTER   
interface eth0   
lvs_sync_daemon_inteface eth0 //如是同一个网卡,可省略   
virtual_router_id 77 //标识ID,请务必保证内网唯一性,和备机必须一致!   
priority 100 //权重需比备机高   
advert_int 2 //主备检测间隔   
authentication { //主备通信密码,必须一致   
auth_type PASS   
auth_pass 1111   
}   
virtual_ipaddress {   
192.168.2.100 VIP,多个请换行填写   
  
}   
}   
  
virtual_server 192.168.2.100 80 {   
delay_loop 6 //每隔6秒检测Realserver健康状况   
lb_algo wlc //wlc算法,其他算法请参考ipvsadm十大算法   
lb_kind DR // 采用DR模式,即直接路由,其他还有TUN和NAT两种模式。   
persistence_timeout 1800 //设置超时未半小时   
protocol TCP   
  
real_server 192.168.2.101 80 { //第一个realserver,请注意80和后面{之间有个空格!   
weight 100 //权重   
HTTP_GET { //通过检测网页来检查Realserver健康状态   
url {   
path /XX/index.jsp //Realserver上的网页,如/model/index.jsp   
status_code 200 //正确的返回值,一般是200   
}   
connect_timeout 3 //超时3秒,则失败   
nb_get_retry 3 //失败重试次数   
delay_before_retry 3 //重试间隔时间   
}   
}   
  
real_server 192.168.2.102 80 {   
weight 100   
TCP_CHECK { //此范例为TCP检查方法,区别于HTTP方法,推荐使用HTTP方法。   
connect_timeout 10   
nb_get_retry 3   
delay_before_retry 3   
connect_port 80   
}   
}   
}   
  
real_server 192.168.2.103 80 {   
weight 100   
HTTP_GET {   
url {   
path /XX/index.jsp   
status_code 200   
}   
connect_timeout 3   
nb_get_retry 3   
delay_before_retry 3   
}   
}   
  
real_server 192.168.2.104 80 {   
weight 100   
HTTP_GET {   
url {   
path /XX/index.jsp   
status_code 200   
}   
connect_timeout 3   
nb_get_retry 3   
delay_before_retry 3   
}   
}

 

 

2.编辑LVS-DR-Backup上的keepalived配置文件(可拷贝Master上的),然后如下修改:

state BACKUP //主机上则为Master   
priority 90 //权值小于主机

其余保持不变即可。

V. 启动LVS

Realserver脚本启动之后不需要操作,然后依次启动LVS主机上的keepalived服务即可: service keepalived start


二、LVS+Keepalived负载均衡双主互备架构

IP信息清单:
名称 IP

  1. LVS-DR-Master 192.168.2.98
  2. LVS-DR-Backup 192.168.2.99
  3. LVS-DR-VIP1 192.168.2.100
  4. LVS-DR-VIP2 192.168.2.105
  5. Realserver01 192.168.2.101
  6. Realserver02 192.168.2.102
  7. Realserver03 192.168.2.103
  8. Realserver04 192.168.2.104

双主互备方案需要2个VIP,分别绑定到两台LVS主机上,然后修改keepalived.conf让两台LVS互相作为备机,代码稍作修改即可:

! Configuration File for keepalived   
  
global_defs {   
notification_email {   
//此处填写你的邮件地址 }   
notification_email_from your email!   
  
smtp_server smtp.**.com   
smtp_connect_timeout 30   
router_id LVS_DEVEL   
}   
vrrp_instance VI_1 {   
state MASTER   
interface eth0   
lvs_sync_daemon_inteface eth0 //如是同一个网卡,可省略   
virtual_router_id 77 //标识ID,请务必保证内网唯一性,和备机必须一致!   
priority 100 //权重需比备机高   
advert_int 2 //主备检测间隔   
authentication { //主备通信密码,必须一致   
auth_type PASS   
auth_pass 1111   
}   
virtual_ipaddress {   
192.168.2.100 VIP,多个请换行填写   
  
}   
}   
  
virtual_server 192.168.2.100 80 {   
delay_loop 6 //每隔6秒检测Realserver健康状况   
lb_algo wlc //wlc算法,其他算法请参考ipvsadm十大算法   
lb_kind DR // 采用DR模式,即直接路由,其他还有TUN和NAT两种模式。   
persistence_timeout 1800 //设置超时未半小时   
protocol TCP   
  
real_server 192.168.2.101 80 { //第一个realserver,请注意80和后面{之间有个空格!   
weight 100 //权重   
HTTP_GET { //通过检测网页来检查Realserver健康状态   
url {   
path /XX/index.jsp //Realserver上的网页,如/model/index.jsp   
status_code 200 //正确的返回值,一般是200   
}   
connect_timeout 3 //超时3秒,则失败   
nb_get_retry 3 //失败重试次数   
delay_before_retry 3 //重试间隔时间   
}   
}   
  
real_server 192.168.2.102 80 {   
weight 100   
TCP_CHECK { //此范例为TCP检查方法,区别于HTTP方法,推荐使用HTTP方法。   
connect_timeout 10   
nb_get_retry 3   
delay_before_retry 3   
connect_port 80   
}   
}   
}   
  
real_server 192.168.2.103 80 {   
weight 100   
HTTP_GET {   
url {   
path /XX/index.jsp   
status_code 200   
}   
connect_timeout 3   
nb_get_retry 3   
delay_before_retry 3   
}   
}   
  
real_server 192.168.2.104 80 {   
weight 100   
HTTP_GET {   
url {   
path /XX/index.jsp   
status_code 200   
}   
connect_timeout 3   
nb_get_retry 3   
delay_before_retry 3   
}   
}   
  
vrrp_instance VI_2 {   
state BACKUP   
interface eth0   
lvs_sync_daemon_inteface eth0 //如是同一个网卡,可省略   
virtual_router_id 78 //标识ID,请务必保证内网唯一性,和备机必须一致!   
priority 90 //权重需比备机高   
advert_int 2 //主备检测间隔   
authentication { //主备通信密码,必须一致   
auth_type PASS   
auth_pass 1111   
}   
virtual_ipaddress {   
192.168.2.105 VIP,多个请换行填写   
  
}   
}   
  
virtual_server 192.168.2.105 80 {   
delay_loop 6 //每隔6秒检测Realserver健康状况   
lb_algo wlc //wlc算法,其他算法请参考ipvsadm十大算法   
lb_kind DR // 采用DR模式,即直接路由,其他还有TUN和NAT两种模式。   
persistence_timeout 1800 //设置超时未半小时   
protocol TCP   
  
real_server 192.168.2.101 80 { //第一个realserver,请注意80和后面{之间有个空格!   
weight 100 //权重   
HTTP_GET { //通过检测网页来检查Realserver健康状态   
url {   
path /XX/index.jsp //Realserver上的网页,如/model/index.jsp   
status_code 200 //正确的返回值,一般是200   
}   
connect_timeout 3 //超时3秒,则失败   
nb_get_retry 3 //失败重试次数   
delay_before_retry 3 //重试间隔时间   
}   
}   
  
real_server 192.168.2.102 80 {   
weight 100   
TCP_CHECK { //此范例为TCP检查方法,区别于HTTP方法,推荐使用HTTP方法。   
connect_timeout 10   
nb_get_retry 3   
delay_before_retry 3   
connect_port 80   
}   
}   
}   
  
real_server 192.168.2.103 80 {   
weight 100   
HTTP_GET {   
url {   
path /XX/index.jsp   
status_code 200   
}   
connect_timeout 3   
nb_get_retry 3   
delay_before_retry 3   
}   
}   
  
real_server 192.168.2.104 80 {   
weight 100   
HTTP_GET {   
url {   
path /XX/index.jsp   
status_code 200   
}   
connect_timeout 3   
nb_get_retry 3   
delay_before_retry 3   
}   
}

说明:以上则为一台LVS主机的keepalived配置,由于篇幅过长,就不另提供相应的互备配置了,其实很简单,就是一边为MARSTER时,对应的互备配置就是BACKUP,然后其他对应位置均做修改即可,通过2个VIP让2台LVS主机均处于工作状态,互为主备结构,提高资源利用率!

最佳建议:将域名同时绑定到2个VIP,然后轮询解析,实现均衡流量的目的!

由于篇幅过长,有的地方可能没写到位,若涧客们有任何疑问请留言~

2 条回应
  1. magicboy8040 2017-1-22 · 10:20

    如果找你做win的负载均衡,付费可以吗

  2. chen755672829 2020-10-26 · 16:12

    您好,我也在做 LVS+Keepalived负载均衡 双主互备。
    在lvs1:192.168.75.130上的keepalived配置文件如:
    ! Configuration File for keepalived

    global_defs {
    router_id LVS_DEVEL
    vrrp_mcast_group4 224.0.0.18
    }

    #keepalive的配置
    vrrp_instance VI_1 {
    state MASTER #定义当前服务器keepalive的角色 MASTER为主服务器,BACKUP为备用服务器
    interface eth0 #网卡名称
    lvs_sync_daemon_interface eth0
    virtual_router_id 51 #虚拟路由ID号,0~255,MASTER和BACKUP必须是一致的
    priority 100 #定义优先级,数字越大 优先级越高 MASTER的优先级高于BACKUP优先级
    advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
    authentication { #设置验证类型和密码
    auth_type PASS #设置验证类型,主要有PASS和AH两种
    auth_pass 1111 #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码
    #密码生成openssl rand -base64 6取前8位即可
    }
    virtual_ipaddress { #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个
    192.168.75.100/24 dev eth0 label eth0:1
    }
    }
    #添加虚拟服务
    #ipvsadm -A -t 192.168.75.100:80 -s wrr

    virtual_server 192.168.75.100 80 {
    delay_loop 1 #设置运行情况检查时间,单位是秒
    lb_algo rr #设置负载调度算法
    lb_kind DR #设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选
    #persistence_timeout 50 #会话保持,持久连接,同一个ip访问LVS调度器,在50秒之内访问同一台服务器
    protocol TCP #指定转发协议类型,有TCP和UDP两种

    real_server 192.168.75.128 80 {
    # weight 2
    # inhibit_on_failure
    HTTP_GET { #http进行检测
    url {
    path /index.html
    status_code 200
    }
    connect_timeout 2 #表示3秒无响应超时
    nb_get_retry 2 #表示重试次数
    delay_before_retry 2 #表示重试间隔
    }
    }
    real_server 192.168.75.129 80 {
    # weight 6
    # inhibit_on_failure
    HTTP_GET { #http进行检测
    url {
    path /index.html
    status_code 200
    }
    connect_timeout 2 #表示3秒无响应超时
    nb_get_retry 2 #表示重试次数
    delay_before_retry 2 #表示重试间隔
    }
    }
    }
    vrrp_instance VI_2 {
    state BACKUP #定义当前服务器keepalive的角色 MASTER为主服务器,BACKUP为备用服务器
    interface eth0 #网卡名称
    lvs_sync_daemon_interface eth0
    virtual_router_id 52 #虚拟路由ID号,0~255,MASTER和BACKUP必须是一致的
    priority 99 #定义优先级,数字越大 优先级越高 MASTER的优先级高于BACKUP优先级
    advert_int 2 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
    authentication { #设置验证类型和密码
    auth_type PASS #设置验证类型,主要有PASS和AH两种
    auth_pass 1111 #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码
    #密码生成openssl rand -base64 6取前8位即可
    }
    virtual_ipaddress { #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个
    192.168.75.99/24 dev eth0 label eth0:2
    }
    }
    virtual_server 192.168.75.99 80 {
    delay_loop 1 #设置运行情况检查时间,单位是秒
    lb_algo rr #设置负载调度算法
    lb_kind DR #设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选
    #persistence_timeout 50 #会话保持,持久连接,同一个ip访问LVS调度器,在50秒之内访问同一台服务器
    protocol TCP #指定转发协议类型,有TCP和UDP两种

    real_server 192.168.75.128 80 {
    # weight 2
    # inhibit_on_failure
    HTTP_GET { #http进行检测
    url {
    path /index.html
    status_code 200
    }
    connect_timeout 2 #表示3秒无响应超时
    nb_get_retry 2 #表示重试次数
    delay_before_retry 2 #表示重试间隔
    }
    }
    real_server 192.168.75.129 80 {
    # weight 6
    # inhibit_on_failure
    HTTP_GET { #http进行检测
    url {
    path /index.html
    status_code 200
    }
    connect_timeout 2 #表示3秒无响应超时
    nb_get_retry 2 #表示重试次数
    delay_before_retry 2 #表示重试间隔
    }
    }
    }

    在lvs2:192.168.75.133上的keepalived的配置:
    ! Configuration File for keepalived

    global_defs {
    router_id LVS_DEVEL_2
    vrrp_mcast_group4 224.0.0.18
    }

    #keepalive的配置
    vrrp_instance VI_1 {
    state BACKUP #定义当前服务器keepalive的角色 MASTER为主服务器,BACKUP为备用服务器
    interface ens33 #网卡名称
    lvs_sync_daemon_interface ens33
    virtual_router_id 51 #虚拟路由ID号,0~255,MASTER和BACKUP必须是一致的
    priority 99 #定义优先级,数字越大 优先级越高 MASTER的优先级高于BACKUP优先级
    advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
    authentication { #设置验证类型和密码
    auth_type PASS #设置验证类型,主要有PASS和AH两种
    auth_pass 1111 #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码
    #密码生成openssl rand -base64 6取前8位即可
    }
    virtual_ipaddress { #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个
    192.168.75.100/24 dev ens33 label ens33:1
    }
    }
    #添加虚拟服务
    #ipvsadm -A -t 192.168.75.100:80 -s wrr

    virtual_server 192.168.75.100 80 {
    delay_loop 1 #设置运行情况检查时间,单位是秒
    lb_algo rr #设置负载调度算法
    lb_kind DR #设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选
    #persistence_timeout 50 #会话保持,持久连接,同一个ip访问LVS调度器,在50秒之内访问同一台服务器
    protocol TCP #指定转发协议类型,有TCP和UDP两种

    real_server 192.168.75.128 80 {
    # weight 2
    HTTP_GET { #http进行检测
    url {
    path /index.html
    status_code 200
    }
    connect_timeout 2 #表示3秒无响应超时
    nb_get_retry 2 #表示重试次数
    delay_before_retry 2 #表示重试间隔
    }
    }
    real_server 192.168.75.129 80 {
    # weight 6
    HTTP_GET { #http进行检测
    url {
    path /index.html
    status_code 200
    }
    connect_timeout 2 #表示3秒无响应超时
    nb_get_retry 2 #表示重试次数
    delay_before_retry 2 #表示重试间隔
    }
    }
    }
    #keepalive的配置
    vrrp_instance VI_2 {
    state MASTER #定义当前服务器keepalive的角色 MASTER为主服务器,BACKUP为备用服务器
    interface ens33 #网卡名称
    lvs_sync_daemon_interface ens33
    virtual_router_id 52 #虚拟路由ID号,0~255,MASTER和BACKUP必须是一致的
    priority 100 #定义优先级,数字越大 优先级越高 MASTER的优先级高于BACKUP优先级
    advert_int 2 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
    authentication { #设置验证类型和密码
    auth_type PASS #设置验证类型,主要有PASS和AH两种
    auth_pass 1111 #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码
    #密码生成openssl rand -base64 6取前8位即可
    }
    virtual_ipaddress { #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个
    192.168.75.99/24 dev ens33 label ens33:2
    }
    }

    virtual_server 192.168.75.99 80 {
    delay_loop 1 #设置运行情况检查时间,单位是秒
    lb_algo rr #设置负载调度算法
    lb_kind DR #设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选
    #persistence_timeout 50 #会话保持,持久连接,同一个ip访问LVS调度器,在50秒之内访问同一台服务器
    protocol TCP #指定转发协议类型,有TCP和UDP两种

    real_server 192.168.75.128 80 {
    # weight 2
    HTTP_GET { #http进行检测
    url {
    path /index.html
    status_code 200
    }
    connect_timeout 2 #表示3秒无响应超时
    nb_get_retry 2 #表示重试次数
    delay_before_retry 2 #表示重试间隔
    }
    }
    real_server 192.168.75.129 80 {
    # weight 6
    HTTP_GET { #http进行检测
    url {
    path /index.html
    status_code 200
    }
    connect_timeout 2 #表示3秒无响应超时
    nb_get_retry 2 #表示重试次数
    delay_before_retry 2 #表示重试间隔
    }
    }
    }

    客户端执行获取脚本,脚本如下:

    for((i=0;i<2;i++))
    do
    curl 192.168.75.100
    curl 192.168.75.99
    done

    发现问题:
    在lvs1上查看连接情况:
    [[email protected] keepalived]# ipvsadm -Ln
    IP Virtual Server version 1.2.1 (size=33554432)
    Prot LocalAddress:Port Scheduler Flags
    -> RemoteAddress:Port Forward Weight ActiveConn InActConn
    TCP 192.168.75.99:80 rr
    -> 192.168.75.128:80 Route 1 0 0
    -> 192.168.75.129:80 Route 1 0 0
    TCP 192.168.75.100:80 rr
    -> 192.168.75.128:80 Route 1 0 1
    -> 192.168.75.129:80 Route 1 0 1
    在lvs2上查看连接情况:
    [[email protected]_2 keepalived]# ipvsadm -Ln
    IP Virtual Server version 1.2.1 (size=4096)
    Prot LocalAddress:Port Scheduler Flags
    -> RemoteAddress:Port Forward Weight ActiveConn InActConn
    TCP 192.168.75.99:80 rr
    -> 192.168.75.128:80 Route 1 0 1
    -> 192.168.75.129:80 Route 1 0 1
    TCP 192.168.75.100:80 rr
    -> 192.168.75.128:80 Route 1 0 1
    -> 192.168.75.129:80 Route 1 0 1
    可见:lvs1上 虚ip:192.168.75.99的连接表没有同步。
    博主,是不是我keepalived哪里配置错了?请指点一下:谢谢