LVS+Keepalived 介绍
LVS
LVS 是 Linux Virtual Server 的简写,意即 Linux 虚拟服务器,是一个虚拟的服务器集群系统。本项目在 1998 年 5 月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。目前有三种 IP 负载均衡技术(VS/NAT、VS/TUN 和 VS/DR);
十种调度算法(rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq)。
Keepalvied
Keepalived 在这里主要用作 RealServer 的健康状态检查以及 LoadBalance 主机和 BackUP 主机之间 failover 的实现
一、LVS+Keepalived负载均衡主备架构
I. 网站负载均衡拓朴图
(略)
IP 信息清单:
名称 IP
- LVS-DR-Master 192.168.2.98
- LVS-DR-Backup 192.168.2.99
- LVS-DR-VIP 192.168.2.100
- Realserver01 192.168.2.101
- Realserver02 192.168.2.102
- Realserver03 192.168.2.103
- Realserver04 192.168.2.104
II.安装ipvsadm和keepalived软件包
ipvsadm: http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
keepalived:http://www.keepalived.org/software/keepalived-1.1.15.tar.gz
下载后建议统一放置在/usr/local/src/lvs
#uname -r 2.6.18-53.el5PAE //查看内核版本 #ln -s /usr/src/kernels/2.6.18-53.el5PAE-i686/ /usr/src/linux //防止报错 #tar zxvf ipvsadm-1.24.tar.gz #cd ipvsadm-1.24 #make && make install #find / -name ipvsadm # 查看 ipvsadm 的位置 #tar zxvf keepalived-1.1.15.tar.gz #cd keepalived-1.1.15 #./configure && make && make install #find / -name keepalived # 查看 keepalived 位置 #cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ #cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/ #mkdir /etc/keepalived #cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/ #cp /usr/local/sbin/keepalived /usr/sbin/ #service keepalived start|stop #做成系统启动服务方便管理.
III. 配置Realserver脚本
在 4 台 Realserver 主机上建立如下脚本,然后执行
#!/bin/bash VIP=192.168.2.100 /etc/rc.d/init.d/functions case “$1″ in start) ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP up /sbin/route add -host $VIP dev lo:0 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce sysctl -p >/dev/null echo "RealServer Start OK" ;; stop) ifconfig lo:0 down route del $VIP 2>/dev/null echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce echo "RealServer Stoped" ;; *) echo "Usage: $0 {start|stop}" exit 1 esac exit 0
IV. 配置keepalived实现负载均衡和和高可用性
1.在 LVS-DR-Master 主机上编辑 keepalived 的配置文件 : vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived global_defs { notification_email { //此处填写你的邮件地址 } notification_email_from your email! smtp_server smtp.**.com smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_instance VI_1 { state MASTER interface eth0 lvs_sync_daemon_inteface eth0 //如是同一个网卡,可省略 virtual_router_id 77 //标识 ID,请务必保证内网唯一性,和备机必须一致! priority 100 //权重需比备机高 advert_int 2 //主备检测间隔 authentication { //主备通信密码,必须一致 auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.2.100 VIP,多个请换行填写 } } virtual_server 192.168.2.100 80 { delay_loop 6 //每隔 6 秒检测 Realserver 健康状况 lb_algo wlc //wlc 算法,其他算法请参考 ipvsadm 十大算法 lb_kind DR // 采用 DR 模式,即直接路由,其他还有 TUN 和 NAT 两种模式。 persistence_timeout 1800 //设置超时未半小时 protocol TCP real_server 192.168.2.101 80 { //第一个 realserver,请注意 80 和后面{之间有个空格! weight 100 //权重 HTTP_GET { //通过检测网页来检查 Realserver 健康状态 url { path /XX/index.jsp //Realserver 上的网页,如/model/index.jsp status_code 200 //正确的返回值,一般是 200 } connect_timeout 3 //超时 3 秒,则失败 nb_get_retry 3 //失败重试次数 delay_before_retry 3 //重试间隔时间 } } real_server 192.168.2.102 80 { weight 100 TCP_CHECK { //此范例为 TCP 检查方法,区别于 HTTP 方法,推荐使用 HTTP 方法。 connect_timeout 10 nb_get_retry 3 delay_before_retry 3 connect_port 80 } } } real_server 192.168.2.103 80 { weight 100 HTTP_GET { url { path /XX/index.jsp status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.2.104 80 { weight 100 HTTP_GET { url { path /XX/index.jsp status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } }
2.编辑 LVS-DR-Backup 上的 keepalived 配置文件(可拷贝 Master 上的),然后如下修改:
state BACKUP //主机上则为 Master priority 90 //权值小于主机
其余保持不变即可。
V. 启动LVS
Realserver 脚本启动之后不需要操作,然后依次启动 LVS 主机上的 keepalived 服务即可: service keepalived start
二、LVS+Keepalived负载均衡双主互备架构
IP 信息清单:
名称 IP
- LVS-DR-Master 192.168.2.98
- LVS-DR-Backup 192.168.2.99
- LVS-DR-VIP1 192.168.2.100
- LVS-DR-VIP2 192.168.2.105
- Realserver01 192.168.2.101
- Realserver02 192.168.2.102
- Realserver03 192.168.2.103
- Realserver04 192.168.2.104
双主互备方案需要 2 个 VIP,分别绑定到两台 LVS 主机上,然后修改 keepalived.conf 让两台 LVS 互相作为备机,代码稍作修改即可:
! Configuration File for keepalived global_defs { notification_email { //此处填写你的邮件地址 } notification_email_from your email! smtp_server smtp.**.com smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_instance VI_1 { state MASTER interface eth0 lvs_sync_daemon_inteface eth0 //如是同一个网卡,可省略 virtual_router_id 77 //标识 ID,请务必保证内网唯一性,和备机必须一致! priority 100 //权重需比备机高 advert_int 2 //主备检测间隔 authentication { //主备通信密码,必须一致 auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.2.100 VIP,多个请换行填写 } } virtual_server 192.168.2.100 80 { delay_loop 6 //每隔 6 秒检测 Realserver 健康状况 lb_algo wlc //wlc 算法,其他算法请参考 ipvsadm 十大算法 lb_kind DR // 采用 DR 模式,即直接路由,其他还有 TUN 和 NAT 两种模式。 persistence_timeout 1800 //设置超时未半小时 protocol TCP real_server 192.168.2.101 80 { //第一个 realserver,请注意 80 和后面{之间有个空格! weight 100 //权重 HTTP_GET { //通过检测网页来检查 Realserver 健康状态 url { path /XX/index.jsp //Realserver 上的网页,如/model/index.jsp status_code 200 //正确的返回值,一般是 200 } connect_timeout 3 //超时 3 秒,则失败 nb_get_retry 3 //失败重试次数 delay_before_retry 3 //重试间隔时间 } } real_server 192.168.2.102 80 { weight 100 TCP_CHECK { //此范例为 TCP 检查方法,区别于 HTTP 方法,推荐使用 HTTP 方法。 connect_timeout 10 nb_get_retry 3 delay_before_retry 3 connect_port 80 } } } real_server 192.168.2.103 80 { weight 100 HTTP_GET { url { path /XX/index.jsp status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.2.104 80 { weight 100 HTTP_GET { url { path /XX/index.jsp status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } vrrp_instance VI_2 { state BACKUP interface eth0 lvs_sync_daemon_inteface eth0 //如是同一个网卡,可省略 virtual_router_id 78 //标识 ID,请务必保证内网唯一性,和备机必须一致! priority 90 //权重需比备机高 advert_int 2 //主备检测间隔 authentication { //主备通信密码,必须一致 auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.2.105 VIP,多个请换行填写 } } virtual_server 192.168.2.105 80 { delay_loop 6 //每隔 6 秒检测 Realserver 健康状况 lb_algo wlc //wlc 算法,其他算法请参考 ipvsadm 十大算法 lb_kind DR // 采用 DR 模式,即直接路由,其他还有 TUN 和 NAT 两种模式。 persistence_timeout 1800 //设置超时未半小时 protocol TCP real_server 192.168.2.101 80 { //第一个 realserver,请注意 80 和后面{之间有个空格! weight 100 //权重 HTTP_GET { //通过检测网页来检查 Realserver 健康状态 url { path /XX/index.jsp //Realserver 上的网页,如/model/index.jsp status_code 200 //正确的返回值,一般是 200 } connect_timeout 3 //超时 3 秒,则失败 nb_get_retry 3 //失败重试次数 delay_before_retry 3 //重试间隔时间 } } real_server 192.168.2.102 80 { weight 100 TCP_CHECK { //此范例为 TCP 检查方法,区别于 HTTP 方法,推荐使用 HTTP 方法。 connect_timeout 10 nb_get_retry 3 delay_before_retry 3 connect_port 80 } } } real_server 192.168.2.103 80 { weight 100 HTTP_GET { url { path /XX/index.jsp status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.2.104 80 { weight 100 HTTP_GET { url { path /XX/index.jsp status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } }
说明:以上则为一台 LVS 主机的 keepalived 配置,由于篇幅过长,就不另提供相应的互备配置了,其实很简单,就是一边为 MARSTER 时,对应的互备配置就是 BACKUP,然后其他对应位置均做修改即可,通过 2 个 VIP 让 2 台 LVS 主机均处于工作状态,互为主备结构,提高资源利用率!
最佳建议:将域名同时绑定到 2 个 VIP,然后轮询解析,实现均衡流量的目的!
由于篇幅过长,有的地方可能没写到位,若涧客们有任何疑问请留言~
如果找你做win的负载均衡,付费可以吗
您好,我也在做 LVS+Keepalived负载均衡 双主互备。
在lvs1:192.168.75.130上的keepalived配置文件如:
! Configuration File for keepalived
global_defs {
router_id LVS_DEVEL
vrrp_mcast_group4 224.0.0.18
}
#keepalive的配置
vrrp_instance VI_1 {
state MASTER #定义当前服务器keepalive的角色 MASTER为主服务器,BACKUP为备用服务器
interface eth0 #网卡名称
lvs_sync_daemon_interface eth0
virtual_router_id 51 #虚拟路由ID号,0~255,MASTER和BACKUP必须是一致的
priority 100 #定义优先级,数字越大 优先级越高 MASTER的优先级高于BACKUP优先级
advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
authentication { #设置验证类型和密码
auth_type PASS #设置验证类型,主要有PASS和AH两种
auth_pass 1111 #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码
#密码生成openssl rand -base64 6取前8位即可
}
virtual_ipaddress { #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个
192.168.75.100/24 dev eth0 label eth0:1
}
}
#添加虚拟服务
#ipvsadm -A -t 192.168.75.100:80 -s wrr
virtual_server 192.168.75.100 80 {
delay_loop 1 #设置运行情况检查时间,单位是秒
lb_algo rr #设置负载调度算法
lb_kind DR #设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选
#persistence_timeout 50 #会话保持,持久连接,同一个ip访问LVS调度器,在50秒之内访问同一台服务器
protocol TCP #指定转发协议类型,有TCP和UDP两种
real_server 192.168.75.128 80 {
# weight 2
# inhibit_on_failure
HTTP_GET { #http进行检测
url {
path /index.html
status_code 200
}
connect_timeout 2 #表示3秒无响应超时
nb_get_retry 2 #表示重试次数
delay_before_retry 2 #表示重试间隔
}
}
real_server 192.168.75.129 80 {
# weight 6
# inhibit_on_failure
HTTP_GET { #http进行检测
url {
path /index.html
status_code 200
}
connect_timeout 2 #表示3秒无响应超时
nb_get_retry 2 #表示重试次数
delay_before_retry 2 #表示重试间隔
}
}
}
vrrp_instance VI_2 {
state BACKUP #定义当前服务器keepalive的角色 MASTER为主服务器,BACKUP为备用服务器
interface eth0 #网卡名称
lvs_sync_daemon_interface eth0
virtual_router_id 52 #虚拟路由ID号,0~255,MASTER和BACKUP必须是一致的
priority 99 #定义优先级,数字越大 优先级越高 MASTER的优先级高于BACKUP优先级
advert_int 2 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
authentication { #设置验证类型和密码
auth_type PASS #设置验证类型,主要有PASS和AH两种
auth_pass 1111 #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码
#密码生成openssl rand -base64 6取前8位即可
}
virtual_ipaddress { #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个
192.168.75.99/24 dev eth0 label eth0:2
}
}
virtual_server 192.168.75.99 80 {
delay_loop 1 #设置运行情况检查时间,单位是秒
lb_algo rr #设置负载调度算法
lb_kind DR #设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选
#persistence_timeout 50 #会话保持,持久连接,同一个ip访问LVS调度器,在50秒之内访问同一台服务器
protocol TCP #指定转发协议类型,有TCP和UDP两种
real_server 192.168.75.128 80 {
# weight 2
# inhibit_on_failure
HTTP_GET { #http进行检测
url {
path /index.html
status_code 200
}
connect_timeout 2 #表示3秒无响应超时
nb_get_retry 2 #表示重试次数
delay_before_retry 2 #表示重试间隔
}
}
real_server 192.168.75.129 80 {
# weight 6
# inhibit_on_failure
HTTP_GET { #http进行检测
url {
path /index.html
status_code 200
}
connect_timeout 2 #表示3秒无响应超时
nb_get_retry 2 #表示重试次数
delay_before_retry 2 #表示重试间隔
}
}
}
在lvs2:192.168.75.133上的keepalived的配置:
! Configuration File for keepalived
global_defs {
router_id LVS_DEVEL_2
vrrp_mcast_group4 224.0.0.18
}
#keepalive的配置
vrrp_instance VI_1 {
state BACKUP #定义当前服务器keepalive的角色 MASTER为主服务器,BACKUP为备用服务器
interface ens33 #网卡名称
lvs_sync_daemon_interface ens33
virtual_router_id 51 #虚拟路由ID号,0~255,MASTER和BACKUP必须是一致的
priority 99 #定义优先级,数字越大 优先级越高 MASTER的优先级高于BACKUP优先级
advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
authentication { #设置验证类型和密码
auth_type PASS #设置验证类型,主要有PASS和AH两种
auth_pass 1111 #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码
#密码生成openssl rand -base64 6取前8位即可
}
virtual_ipaddress { #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个
192.168.75.100/24 dev ens33 label ens33:1
}
}
#添加虚拟服务
#ipvsadm -A -t 192.168.75.100:80 -s wrr
virtual_server 192.168.75.100 80 {
delay_loop 1 #设置运行情况检查时间,单位是秒
lb_algo rr #设置负载调度算法
lb_kind DR #设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选
#persistence_timeout 50 #会话保持,持久连接,同一个ip访问LVS调度器,在50秒之内访问同一台服务器
protocol TCP #指定转发协议类型,有TCP和UDP两种
real_server 192.168.75.128 80 {
# weight 2
HTTP_GET { #http进行检测
url {
path /index.html
status_code 200
}
connect_timeout 2 #表示3秒无响应超时
nb_get_retry 2 #表示重试次数
delay_before_retry 2 #表示重试间隔
}
}
real_server 192.168.75.129 80 {
# weight 6
HTTP_GET { #http进行检测
url {
path /index.html
status_code 200
}
connect_timeout 2 #表示3秒无响应超时
nb_get_retry 2 #表示重试次数
delay_before_retry 2 #表示重试间隔
}
}
}
#keepalive的配置
vrrp_instance VI_2 {
state MASTER #定义当前服务器keepalive的角色 MASTER为主服务器,BACKUP为备用服务器
interface ens33 #网卡名称
lvs_sync_daemon_interface ens33
virtual_router_id 52 #虚拟路由ID号,0~255,MASTER和BACKUP必须是一致的
priority 100 #定义优先级,数字越大 优先级越高 MASTER的优先级高于BACKUP优先级
advert_int 2 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
authentication { #设置验证类型和密码
auth_type PASS #设置验证类型,主要有PASS和AH两种
auth_pass 1111 #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码
#密码生成openssl rand -base64 6取前8位即可
}
virtual_ipaddress { #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个
192.168.75.99/24 dev ens33 label ens33:2
}
}
virtual_server 192.168.75.99 80 {
delay_loop 1 #设置运行情况检查时间,单位是秒
lb_algo rr #设置负载调度算法
lb_kind DR #设置LVS实现负载均衡的机制,有NAT、TUN、DR三个模式可选
#persistence_timeout 50 #会话保持,持久连接,同一个ip访问LVS调度器,在50秒之内访问同一台服务器
protocol TCP #指定转发协议类型,有TCP和UDP两种
real_server 192.168.75.128 80 {
# weight 2
HTTP_GET { #http进行检测
url {
path /index.html
status_code 200
}
connect_timeout 2 #表示3秒无响应超时
nb_get_retry 2 #表示重试次数
delay_before_retry 2 #表示重试间隔
}
}
real_server 192.168.75.129 80 {
# weight 6
HTTP_GET { #http进行检测
url {
path /index.html
status_code 200
}
connect_timeout 2 #表示3秒无响应超时
nb_get_retry 2 #表示重试次数
delay_before_retry 2 #表示重试间隔
}
}
}
客户端执行获取脚本,脚本如下:
for((i=0;i<2;i++))
do
curl 192.168.75.100
curl 192.168.75.99
done
发现问题:
在lvs1上查看连接情况:
[[email protected] keepalived]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=33554432)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.75.99:80 rr
-> 192.168.75.128:80 Route 1 0 0
-> 192.168.75.129:80 Route 1 0 0
TCP 192.168.75.100:80 rr
-> 192.168.75.128:80 Route 1 0 1
-> 192.168.75.129:80 Route 1 0 1
在lvs2上查看连接情况:
[[email protected]_2 keepalived]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.75.99:80 rr
-> 192.168.75.128:80 Route 1 0 1
-> 192.168.75.129:80 Route 1 0 1
TCP 192.168.75.100:80 rr
-> 192.168.75.128:80 Route 1 0 1
-> 192.168.75.129:80 Route 1 0 1
可见:lvs1上 虚ip:192.168.75.99的连接表没有同步。
博主,是不是我keepalived哪里配置错了?请指点一下:谢谢