LVS类型及工作原理

lvs工作原理

lvs(Linux Virtual Server)，工作于layer4，其原理是根据请求报文的目标IP和PORT将其转发至后端主机集群中的某一提供服务的主机，具体转发到哪一台后端主机需要由挑选算法来决定。通俗来说，lvs的功能是通过在内核空间的netfilter上的INPUT链上的ipvs实现的，当报文由物理网络接口进入主机后，ipvs将流经至INPUT链即将进入用户空间的报文强行改变其流向，即PREROUTING-->INPUT-->POSTROUTING。

lvs的架构

• 调度器：director，dispatcher，balancer

• RS：Real Server

• CIP：Client IP

• VIP：Director Virtual IP

• DIP：Director IP

• RIP：Real server IP

lvs type

lvs-nat(MASQUERADE)

实现过程

当客户端发出的请求报文经Director的VIP所在的物理网卡流入主机的内核空间时，报文的源IP是CIP，目标IP是VIP。此时，ipvs将强行改变报文的流经方向，即修改报文的目标IP并经DIP所在的物理网卡调度至后端的Real Server，此时，报文的源IP是CIP，而目标IP是RIP。后端RS接收报文并处理后，构建响应报文(源IP是RIP，目标IP是CIP)将经DIP发送至Director，此时，ipvs将修改报文的源IP为VIP，并经VIP所在的物理网卡发送给客户端。

功能实现的本质

多目标的DNAT(iptables)，它通过修改请求报文的目标IP地址(同时可能会修改目标端口实现端口映射) 至挑选出某RS的RIP地址实现转发。

特性

• RIP和DIP应该使用私网地址，且RS的网关要指向DIP；

• 请求和相应报文都要经由director转发，极高负载的场景中，director可能会成为系统瓶颈；

• 支持端口映射；

• RS可以使用任意OS；

• RIP和DIP必须在同一物理网络。

lvs-dr(GATEWAY)

几个理解要点

• Director和RS只需要一块物理网卡；

• Director和RS连接至同一台交换机；

• 每台RS均配置有VIP，并且配置在lo的别名上，如，lo:0

• 由于RS均有VIP，在路由器进行广播时，为了避免都进行相应，需进行设定，有三种方案

• 静态绑定：在交换机的配置文件直接进行指定

• arptables：通过arptables进行设置

• 修改RS主机内核参数

实现过程

客户端发出的请求报文经过层层路由，到达服务器所在网络的路由器(此时报文的源IP是CIP，目标IP是VIP)。与路由器相连的交换机此时要进行广播获得Director的mac地址，路由器将报文重新进行封装(源mac是路由器的mac地址，目标mac是Director的MAC地址将)，并将报文转发至Director。此时，Director亦要进行广播获得RS的mac地址，并重新将报文进行封装(目标mac是RS的mac地址)转发给交换机，交换机收到报文后根据mac转发给对应的RS。报文到达RS后由物理网卡流入内核空间，并再次经lo进入用户空间。报文处理后，构建响应报文(源IP是VIP，目标IP是CIP)经lo到物理网卡转发至路由器，响应给客户端。

实现本质

通过请求报文目标mac地址进行转发。

特性

• 保证前端路由器将目标IP为VIP的请求发送给director；

• RIP可以使用私有地址，也可以使用公网地址；

• RS跟Director必须处于同一物理网络中；

• 请求报文经Director调度，但相应报文一定不能经由Director；

• 不支持端口映射；

• RS可以是大多数的OS；

• RS的网关不能指向DIP。

lvs-tun(IPIP)

实现本质

不修改请求报文的ip首部，而是通过在原有的ip首部之外，再封装一个ip首部。需要考虑的问题是再封装后会超出MTU，而再进行报文切片，但是一般情况下请求报文都比较小，不太可能超出MTU。

特性

• RIP、VIP和DIP全得是公网地址；

• RS的网关不能指向DIP；

• 请求报文必须经由Director调度，但相应报文必须不能经由Director；

• 不支持端口映射；

• RS的OS必须支持隧道功能。

lvs-fullnat：

实现本质：

Director同时修改请求报文的源地址和目标地址进行转发。但是在内核中并没有支持此种模式，若要使用需要到官方网站下载补丁包。

实现过程

Director收到报文后, 将源IP(CIP)修改为(DIP),目标地址(VIP)修改为(RIP),然后经过层层路由，转发给RIP,。当RS主机收到报文后,回应时,源IP为RIP,目标IP为VIP.Director收到报文后,将源IP修改为自己(VIP), 目标IP修改为CIP。此模型适用与多机房且机房不位于同一地区。

特性

• VIP是公网地址，RIP和DIP是私网地址，且二者无需在同一网络中；

• RS接收到的请求报文的源地址是DIP，因此要响应给DIP；

• 请求报文和响应报文都必须经由Director；

• 支持断就映射机制；

• RS可以是任意OS。

lvs scheduler

静态方法：仅根据算法本身进行调度。

• RR：Round Robin，轮调；

• WRR：Weighted RR，加权轮调；

• SH：Source Hash，将来自于同一个ip的请求始终调度至同一RS，实现session保持的机制；

• DH：Destination Hash，将对同一个目标的请求始终发往同一个RS；

动态方法：根据算法及各RS的当前负载(overhead)状态进行调度。

• LC：Least Connection，overhead=Active*256+Inactive；

• WLC：Weighted LC，overhead=(Active*256+Inactive)/weight；

• SED：Shortest Expection Delay，overhead=(Active+1)*256/weight

• NQ：Never Queue，SED算法的改进；

• LBLC：Locality-Based LC，正向代理情况下的cache server调度；

• LBLCR：Locality-Based Least-Connection with Replication，带复制功能的LBLC算法。

ipvsadm工具的使用

管理集群服务

ipvsadm -A|E -t|u|f service-address [-s scheduler]
ipvsadm -D -t|u|f service-address
    service-address(VIP):
        tcp: -t ip:port
        udp: -u ip:port
        fwm: -f mark
    -s scheduler:
        默认为wlc

管理集群服务中的RS

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
    server-address(RIP):
        ip[:port]
    lvs-type:
        -g: gateway,dr
        -i: ipip,tun
        -m: masquerade,nat

查看和清空

ipvsadm -C
ipvsadm -L|l [options]
    -n: numeric，基于数字 格式显示地址和端口
    -c：connection，显示ipvs连接；
    --stats：显示统计数据；
    --rate：显示速率；
    --exact：显示精确值。

保存和重载–> /etc/sysconfig/ipvsadm

ipvsadm -R --> ipvsadm--restore
ipvsadm -S --> ipvsadm--save

置零计数器

ipvsadm -Z [-t|u|f service-address]