LVS DR模式

Net21-冰冻vs西瓜 • • Linux干货

一、测试环境说明

操作系统：CentOS6.7-X64

IP_VS版本：1.2.26

DR：10.10.10.130

VIP:10.10.10.140

RS1：10.10.10.131

RS2：10.10.10.132


二、LVS-DR模式原理

blob.png

a）客户端发送一个请求（源地址为CIP，目标地址为VIP，我们简称为CIP:VIP）到LVS的DR

b）通过在调度器上修改数据包的目的MAC地址来实现转发（仍旧保持为CIP:VIP）

c）请求的报文经过调度器，而RS响应处理后的报文无需经过调度器，直接将返回请求给客户端（VIP:CIP）

d）因为DR模式是通过MAC地址的改写机制来实现的转发，因此，所有RS节点和调度器只能在同一个LAN中

e）RS节点需要绑定VIP(如果有多个VIP地址，lo:vip,lo1:vip)以及配置ARP抑制问题

f）RS节点默认网关不需要是调度器的DIP,而直接是IDC机房分配的上级路由器的IP(这是RS带有外网IP的情况），理论上：只要RS可以出网即可，不需要配置外网IP

h）由于DR模式的调度器仅进行了目的MAC地址的改写，因此，调度器无法改变请求的报文的目的端口

i）调度器支持大多数UNIX及Linux（暂不支持windows），RS可以是windows


三、实际操作配置

1）DR上的配置：

关闭iptables：
[root@DR1 ~]# iptables -X
[root@DR1 ~]# iptables -F
[root@DR1 ~]# iptables -Z
[root@DR1 ~]# service iptables stop
iptables：将链设置为政策 ACCEPT：filter                    [确定]
iptables：清除防火墙规则：                                 [确定]
iptables：正在卸载模块：                                   [确定]
[root@DR1 ~]# chkconfig iptables off
安装配置http服务，并设置好软链接：
[root@DR1 ~]# yum -y install httpd
[root@DR1 ~]# sevice httpd start
[root@DR1 ~]# chkconfig httpd on
[root@DR1 ~]# echo "网站维护中">/var/www/html/index.html
[root@DR1 ~]# ln -s /usr/src/kernels/2.6.32-573.el6.x86_64/ /usr/src/linux
[root@DR1 ~]# ll /usr/src/
总用量 8
drwxr-xr-x. 2 root root 4096 9月  23 2011 debug
drwxr-xr-x. 3 root root 4096 7月   5 23:49 kernels
lrwxrwxrwx  1 root root   39 8月  31 08:49 linux -> /usr/src/kernels/2.6.32-573.el6.x86_64/
安装并加载ip_vs模块：
[root@DR1 ~]# yum -y install libnl* popt*
[root@DR1 ~]# lsmod | grep ip_vs
[root@DR1 ~]# cd /usr/local/src/
[root@DR1 src]# wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz
root@DR1 src]# tar -zxvf ipvsadm-1.26.tar.gz
[root@DR1 src]# cd ipvsadm-1.26
[root@DR1 ipvsadm-1.26]# make
[root@DR1 ipvsadm-1.26]# make install 
[root@DR1 ipvsadm-1.26]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
说明：也可以使用modprobe ip_vs
[root@DR1 ipvsadm-1.26]# lsmod | grep ip_vs
ip_vs                 126534  0 
libcrc32c               1246  1 ip_vs
ipv6                  335589  285 ip_vs,cnic,ip6t_REJECT,nf_conntrack_ipv6,nf_defrag_ipv6
配置VIP地址：
[root@DR1 ~]# ifconfig eth0:0 10.10.10.140/24 up
[root@DR1 ~]# route add -host 10.10.10.140 dev eth0 
[root@DR1 ~]# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 00:0C:29:53:CF:52  
          inet addr:10.10.10.130  Bcast:10.10.10.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe53:cf52/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2849 errors:0 dropped:0 overruns:0 frame:0
          TX packets:955 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:268088 (261.8 KiB)  TX bytes:112049 (109.4 KiB)
eth0:0    Link encap:Ethernet  HWaddr 00:0C:29:53:CF:52  
          inet addr:10.10.10.140  Bcast:10.10.10.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:6 errors:0 dropped:0 overruns:0 frame:0
          TX packets:6 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:344 (344.0 b)  TX bytes:344 (344.0 b)
  
查看路由表信息：
[root@DR1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
10.10.10.140    0.0.0.0         255.255.255.255 UH    0      0        0 eth0
10.10.10.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
0.0.0.0         10.10.10.2      0.0.0.0         UG    0      0        0 eth0
手动配置LVS-ipvs规则：
[root@DR1 ~]# ipvsadm -A -t 10.10.10.140:80 -s rr
[root@DR1 ~]# ipvsadm -A -t 10.10.10.140:80 -s rr -p 20
可选：-p，是会话保持时间
[root@DR1 ~]# ipvsadm -a -t 10.10.10.140:80 -r 10.10.10.131 -g -w 1
[root@DR1 ~]# ipvsadm -a -t 10.10.10.140:80 -r 10.10.10.132 -g -w 1
-g：代表DR模式
-w 1：指的是设置权重为1
查看ipvs，可以看到使用rr算法，下面的real server分别是10.10.10.131和10.10.10.132
[root@DR1 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.10.10.140:80 rr persistent 20
  -> 10.10.10.131:80              Route   1      0          0         
  -> 10.10.10.132:80              Route   1      0          0 
  
扩充选项：
a) 删除LVS
[root@DR1 ~]# ipvsadm -D -t 10.10.10.140:80 -s rr -p 20
[root@DR1 ~]# ipvsadm -D -t 10.10.10.140:80
[root@DR1 ~]# ipvsadm -d -t 10.10.10.140:80 -r 10.10.10.131
[root@DR1 ~]# ipvsadm -d -t 10.10.10.140:80 -r 10.10.10.132 
 
b) 查看连接状态
[root@DR1 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.10.10.140:80 rr
  -> 10.10.10.131:80              Route   1      0          194       
  -> 10.10.10.132:80              Route   1      0          194       
[root@DR1 ~]# watch -n 2 ipvsadm -L -n
[root@DR1 html]# watch -n 2 ipvsadm -L -n --stats

2）RS1的配置：

停用iptables规则：
[root@C67-X64-A2 ~]# iptables -X
[root@C67-X64-A2 ~]# iptables -F
[root@C67-X64-A2 ~]# iptables -Z
[root@C67-X64-A2 ~]# service iptables stop
iptables：将链设置为政策 ACCEPT：filter                    [确定]
iptables：清除防火墙规则：                                 [确定]
iptables：正在卸载模块：                                   [确定]
[root@C67-X64-A2 ~]# chkconfig iptables off
绑定lo地址（注意网关为255.255.255.255）：
[root@RS1 ~]# ifconfig lo:0 10.10.10.140 netmask 255.255.255.255 up
[root@RS1 ~]# route add -host 10.10.10.140 dev lo
[root@RS1 ~]# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 00:0C:29:38:73:A5  
          inet addr:10.10.10.131  Bcast:10.10.10.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe38:73a5/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2794 errors:0 dropped:0 overruns:0 frame:0
          TX packets:504 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:188141 (183.7 KiB)  TX bytes:52385 (51.1 KiB)
lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:4 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:240 (240.0 b)  TX bytes:240 (240.0 b)
lo:0      Link encap:Local Loopback  
          inet addr:10.10.10.140  Mask:255.255.255.255
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
  
[root@RS1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
10.10.10.140    0.0.0.0         255.255.255.255 UH    0      0        0 lo
10.10.10.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
0.0.0.0         10.10.10.2      0.0.0.0         UG    0      0        0 eth0
配置httpd服务：
[root@RS1 ~]# yum -y install httpd
[root@RS1 ~]# service httpd start
[root@RS1 ~]# chkconfig httpd on
[root@RS1 ~]# echo "10.10.10.131">/var/www/html/index
配置ARP抑制：
[root@RS1 ~]# echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore
[root@RS1 ~]# echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
[root@RS1 ~]# echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
[root@RS1 ~]# echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
补充资料：
arp_announce：
说明：对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口 
0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址 
1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 
2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信
arp_ignore：
说明：定义对目标地址为本地IP的ARP询问不同的应答模式0 
0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求 
1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求 
2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内 
3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应 
4-7 - 保留未使用 
8 -不回应所有（本地地址）的arp查询

RS2的配置：

清空iptables策略：
[root@C67-X64-A3 ~]# iptables -X
[root@C67-X64-A3 ~]# iptables -F
[root@C67-X64-A3 ~]# iptables -Z
[root@C67-X64-A3 ~]# service iptables stop
iptables：将链设置为政策 ACCEPT：filter                    [确定]
iptables：清除防火墙规则：                                 [确定]
iptables：正在卸载模块：                                   [确定]
[root@C67-X64-A3 ~]# chkconfig iptables off
绑定lo地址（注意网关为255.255.255.255）：
[root@RS2 ~]# ifconfig lo:0 10.10.10.140 netmask 255.255.255.255 up
[root@RS2 ~]# route add -host 10.10.10.140 dev lo
[root@RS2 ~]# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 00:0C:29:D7:1F:73  
          inet addr:10.10.10.132  Bcast:10.10.10.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fed7:1f73/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2671 errors:0 dropped:0 overruns:0 frame:0
          TX packets:450 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:176939 (172.7 KiB)  TX bytes:48342 (47.2 KiB)
lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:4 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:240 (240.0 b)  TX bytes:240 (240.0 b)
lo:0      Link encap:Local Loopback  
          inet addr:10.10.10.140  Mask:255.255.255.255
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
  
[root@RS2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
10.10.10.140    0.0.0.0         255.255.255.255 UH    0      0        0 lo
10.10.10.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
0.0.0.0         10.10.10.2      0.0.0.0         UG    0      0        0 eth0
配置httpd服务：
[root@RS2 ~]# yum -y install httpd
[root@RS2 ~]# service httpd start
[root@RS2 ~]# chkconfig httpd on
[root@RS2 ~]# echo "10.10.10.132">/var/www/html/index
配置ARP抑制：
[root@RS2 ~]# echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore
[root@RS2 ~]# echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
[root@RS2 ~]# echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
[root@RS2 ~]# echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
补充资料：
arp_announce：
说明：对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口 
0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址 
1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 
2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信
arp_ignore：
说明：定义对目标地址为本地IP的ARP询问不同的应答模式0 
0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求 
1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求 
2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内 
3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应 
4-7 - 保留未使用 
8 -不回应所有（本地地址）的arp查询

到此LVS-DR模式的配置基本完成，实际工作中，我们大多不会手动进行配置，而是写成配置脚本

编译LVS报错：（解决CentOS 6.7下编译安装ipvsadm-1.26报错）

[root@DR1 ipvsadm-1.26]# make
make -C libipvs
make[1]: Entering directory `/usr/local/src/ipvsadm-1.26/libipvs'
gcc -Wall -Wunused -Wstrict-prototypes -g -fPIC -DLIBIPVS_USE_NL  -DHAVE_NET_IP_VS_H -c -o libipvs.o libipvs.c
gcc -Wall -Wunused -Wstrict-prototypes -g -fPIC -DLIBIPVS_USE_NL  -DHAVE_NET_IP_VS_H -c -o ip_vs_nl_policy.o ip_vs_nl_policy.c
ar rv libipvs.a libipvs.o ip_vs_nl_policy.o
ar: creating libipvs.a
a - libipvs.o
a - ip_vs_nl_policy.o
gcc -shared -Wl,-soname,libipvs.so -o libipvs.so libipvs.o ip_vs_nl_policy.o
make[1]: Leaving directory `/usr/local/src/ipvsadm-1.26/libipvs'
gcc -Wall -Wunused -Wstrict-prototypes -g  -DVERSION=\"1.26\" -DSCHEDULERS=\""rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq"\" -DPE_LIST=\""sip"\"  -DHAVE_NET_IP_VS_H -c -o ipvsadm.o ipvsadm.c
ipvsadm.c: 在函数‘print_largenum’中:
ipvsadm.c:1383: 警告：域宽 的类型应该是‘int’，但实参 2 的类型为‘size_t’
gcc -Wall -Wunused -Wstrict-prototypes -g  -DVERSION=\"1.26\" -DSCHEDULERS=\""rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq"\" -DPE_LIST=\""sip"\"  -DHAVE_NET_IP_VS_H -c -o config_stream.o config_stream.c
gcc -Wall -Wunused -Wstrict-prototypes -g  -DVERSION=\"1.26\" -DSCHEDULERS=\""rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq"\" -DPE_LIST=\""sip"\"  -DHAVE_NET_IP_VS_H -c -o dynamic_array.o dynamic_array.c
gcc -Wall -Wunused -Wstrict-prototypes -g -o ipvsadm ipvsadm.o config_stream.o dynamic_array.o libipvs/libipvs.a  -lnl
ipvsadm.o: In function `parse_options':
/usr/local/src/ipvsadm-1.26/ipvsadm.c:432: undefined reference to `poptGetContext'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:435: undefined reference to `poptGetNextOpt'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:660: undefined reference to `poptBadOption'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:502: undefined reference to `poptGetNextOpt'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:667: undefined reference to `poptStrerror'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:667: undefined reference to `poptBadOption'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:670: undefined reference to `poptFreeContext'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:677: undefined reference to `poptGetArg'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:678: undefined reference to `poptGetArg'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:679: undefined reference to `poptGetArg'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:690: undefined reference to `poptGetArg'
/usr/local/src/ipvsadm-1.26/ipvsadm.c:693: undefined reference to `poptFreeContext'
collect2: ld 返回 1
make: *** [ipvsadm] 错误 1
[root@DR1 ipvsadm-1.26]# echo $?
2

解决方法：

[root@DR1 ipvsadm-1.26]# yum -y install popt-static
[root@DR1 ipvsadm-1.26]# make
make -C libipvs
make[1]: Entering directory `/usr/local/src/ipvsadm-1.26/libipvs'
make[1]: Nothing to be done for `all'.
make[1]: Leaving directory `/usr/local/src/ipvsadm-1.26/libipvs'
gcc -Wall -Wunused -Wstrict-prototypes -g -o ipvsadm ipvsadm.o config_stream.o dynamic_array.o libipvs/libipvs.a -lpopt -lnl
[root@DR1 ipvsadm-1.26]# echo $?
0

参考资料：

http://vqiao.blog.51cto.com/9368913/1571200

http://oldboy.blog.51cto.com/2561410/1240412

lvs-dr为前段调度器的脚本

lvs-rs为后端Real Server的脚本

LVS DR模式lvsdr.txt

LVS DR模式lvsrs.txt

原创文章，作者：Net21-冰冻vs西瓜，如若转载，请注明出处：http://www.178linux.com/42589

赞 (0)
Net21-冰冻vs西瓜Net21-冰冻vs西瓜
0
上一篇 2016-09-19
下一篇 2016-09-19

相关推荐

  • 网络N22期 第1周作业

    一、计算机组成及其功能 计算机由硬件部分和软件部分组成。     硬件部分包括，         1、CPU：包括运算器、控制器、寄存器、缓存，具有对数据控制和计算功能。         2、存储器：内部存储器、外部存储器，对数据提供存储功能。   …

    Linux干货 2016-08-15

  • 谈谈对于vmware Workstation 网络连接三种模式的认识.

    简介: VM(VMware Workstation简称VM,后面都将用VM代替阐述)是一款功能强大的虚拟化软件.VM支持在 单一的桌面上同时运行多款不同的操作系统,能够模拟完整的网络环境,支持pxe功能.实时快照,等等多种强 大的功能.能够测试软件和部署新的业务测试.同时节约了很多资源.节约了企业成本.所以对于广大的互联网 从业者是不可多得的好工具. 本文中…

    Linux干货 2015-08-24

  • Awk

    awk各种详细使用方法

    Linux干货 2018-01-02

  • LAMP及nfs、samba的综合练习

    练习一： 配置第一台主机：服务端共享目录： [root@localhost /]# yum install nfs-utils [root@localhost /]# systemctl start rpcbind [root@localhost /]# sy…

    Linux干货 2016-10-24

  • IP地址的三种表示格式及在Socket编程中的应用

       使用TCP/IP协议进行网络应用开发的朋友首先要面对的就是对IP地址信息的处理。IP地址其实有三种不同的表示格式:        1)Ascii(网络点分字符串)-        2) 网络地址（32位无符号整形，网络字节序，大头） &nbsp…

    Linux干货 2015-04-10

  • 关于大型网站技术演进的思考（十四）–网站静态化处理—前后端分离—上（6）

    原文出处： 夏天的森林    前文讲到了CSI技术，这就说明网站静态化技术的讲述已经推进到了浏览器端了即真正到了web前端的范畴了，而时下web前端技术的前沿之一就是前后端 分离技术了，那么在这里网站静态化技术和前后端分离技术产生了交集，所以今天我将讨论下前后端分离技术，前后端分离技术讨论完后，下一篇文章我将会以网站 静态化技术…

    Linux干货 2015-03-11
电话咨询
在线咨询