LVS详解

LVS（Linux Virtual Server），意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。

• LVS 是一个工作在四层的负载均衡器，实现和 iptables/netfilter 类似，工作在内核空间的 TCP/IP 协议栈上，LVS 工作在 INPUT Hook Funtion 上，并在 INPUT 设置附加规则，一旦客户端请求的是集群服务，LVS 会强行修改请求报文，将报文发往 POSTROUTING，转发至后端的主机。

LVS的组成：

ipvsadm：管理集群服务的命令行工具，工作于用户空间

ipvs：为lvs提供服务的内核模块，工作于内核空间INPUT链上，所以lvs与iptables在INPUT链不能同时使用。

在linux内核2.4.23之前的内核中模块默认是不存在的，需要自己手动打补丁，然后把此模块编译进内核才可以正常使用。

目标

• 使用集群技术和Linux操作系统实现一个高性能、高可用的服务器。

• 很好的可伸缩性

• 很好的可靠性

• 很好的可管理性

集群分类：

• 负载均衡集群LB： Load balancing clusters

  通过一个或者多个前端负载均衡器，将工作负载分发到后端的一组服务器上，从而达到整个系统的高性能和高可用性。

• 高可用性集群HA： High-availability (HA) clusters

  一般指当集群中某个节点失效时，其上的任务会自动转移到其他正常的节点上。

• 高性能计算集群HP： High-performance (HPC) clusters

  将计算任务分配到集群的不同计算节点而提高计算能力，因而主要应用在科学计算领域。

集群常用术语：

Director：复制调度集群的主机  
 VIP：Virtual IP，向外提供服务的IP  
 RIP：real IP，内部真实提供服务的主机IP  
 DIP：向内部的IP通信的IP，在Director主机上  
 CIP：客户端IP

LVS工作模型：

• LVS-NAT：修改请求报文的目标IP

  地址转换类型，主要是做目标地址转换，类似于iptables的DNAT
   LVS 修改请求报文的目标地址为 RIP，转发至后端的 RealServer，并修改后端响应报文的源地址为 VIP，响应至客户端。

  

 特性：

1. 集群节点跟 Director 必须在同一个 IP 网络中，并且其网关需要指向DIP的地址

2. RIP地址通常为私有地址，仅用于各个集节点之间通信

3. Director位于client和Real Server之间，处理进出所有报文，大型应用易成为瓶颈。

4. Real Server必须将网关指向DIP

5. 支持端口映射

.

• LVS-DR：操纵封装新的MAC地址；默认类型

  

  直接路由，为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；
   每个Real Server上都有两个IP：VIP和RIP，VIP是隐藏的，不会接收请求，用来做请求响应的源IP
   Director上只需要一个网卡利用别名配置两个IP：VIP和DIP

 特性：

1. 保证前端路由器将目标地址为 VIP 的报文通过 ARP 解析后送往 Director。

1. 静态绑定：在前端路由将 VIP 对应的目标 MAC 地址静态配置为Director VIP 接口的 MAC 地址。

2. arptables：在各 Realserver 上，通过 arptables 规则拒绝其响应对 VIP 的 ARP 广播请求

3. 修改内核参数：在 Realserver 上修改内核参数，限制arp通告及应答级别

2. 各RIP 必须与 DIP 在同一个物理网络中

3. RS 的 RIP 可以使用私有地址，也可以使用公网地址，Realserver 不能将网关指向 DIP

4. Director 仅负责处理入站请求，响应报文由 Realserver 直接发往客户端

5. 不支持端口映射

.

• LVS-TUN：在原请求IP报文之外新加一个IP首部；

  

  转发方式：在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；
   Real Server接收到请求以后，先拆除第一层封装后拆除第二层封装，然后把响应数据直接传输给Client

 特性：

1. 集群节点可以跨越Internet

2. Director的VIP和RIP必须为公网IP

3. Director仅处理入站请求，响应报文则由Real Server直接发往客户端

4. Real Server的网关不能指向Director

5. Real Server 需支持隧道协议

6. 不支持端口映射

.

• LVS-FULLNAT：同时修改请求报文的源和目标IP；默认不支持

特点：

1. RIP，DIP 可以使用私有地址

2. RIP 和 DIP 可以不再同一网络中，且 RIP 的网关不需要指向 DIP

3. 支持端口映射

4. 请求和响应报文都经由 Director

LVS调度算法

静态调度算法：只根据算法进行调度 不考虑后端服务器的实际连接情况和负载情况

• rr：round robin，轮询，简单在各主机间轮流调度

• wrr：weighted round robin，加权轮询，根据各主机的权重进行轮询

• sh：source hash，源地址哈希，对客户端地址进行哈希计算，保存在 Director 的哈希表中，一段时间内，同一个客户端 IP 地址的请求会被调度至相同的 Realserver。实现 session affinity（会话绑定），一定程度上损害了负载均衡的效果。

• dh：destination hash，和 sh 类似，dh 将请求的目标地址进行哈希，将相同目标 IP 的请求发送至同一主机。当 Realserver 为透明代理缓存服务器时，提高缓存的命中率。

动态调度算法：根据各RS当前负载状态及调度算法进行调度

• lc：least connted，最少连接，根据 overhead = active*256 + inactive 计算负载状态，每次选择 overhead 最小的服务器

• wlc：weighted lc，默认，加权最少连接，根据 overhead = (active*256+inactive)/weight 来计算负载，每次选择 overhead 最小的服务器，

• sed：shortest expected delay，最短期望延迟，不对 inactive 状态的连接进行计算，根据 overhead = (active+1)*256/weight 计算负载，选择 overhead 最小的服务器进行调度

• nq：never queue，当有空闲服务器时，直接调度至空闲服务器，所有服务器都繁忙时，使用 SED 算法进行调度

• LBLC：locality based least connection，基于本地的最少连接，相当于 dh + wlc，正常请求下使用 dh 算法进行调度，如果服务器超载，则使用 wlc 算法调度至其他服务器

• LBLCR：locality based least connection with replication，基于本地的带复制功能的LBLC，判断后端连接数，当A的连接很多，而B的很空闲，会将A的部分连接分配到B上，避免大范围不公平。主要用于Cache 集群系统

ipvsadm/ipvs

• 集群服务管理：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

-A|E VIP添加修改服务地址

-D -t|u|f VIP 删除集群

-t|u|f类型： tcp | udp | 防火墙标记

-s scheduler指定集群调度算法，默认wlc

• RS管理：

ipvsadm -a|e -t|u|f VIP -r RIP [-g|i|m] [-w weight] 添加修改RS

-g|i|m lvs模型： DR | TUN | NAT 默认DR

-w weight 指定权重

清空定义：
ipvsadm -C

查看：
ipvsadm -ln

保存和重载：
ipvsadm -S = ipvsadm-save
ipvsadm -R = ipvsadm-restore

示例：

ipvsadm -A -t 10.1.235.55:80 -s wrr
ipvsadm -a -t 10.1.235.55:80 -r 10.1.235.6 -g -w 2
ipvsadm -a -t 10.1.235.55:80 -r 10.1.235.7 -g -w 3