LVS 之 初识LVS

0x00 概述

LVS : Linux Virtual Server

lvs 工作在 IOS 第四层(tcp), 所以又称 l4: 四层交换,四层路由
LVS 由 ipvs、ipvsadm 两部分组成
ipvs 工作于 input 链上

lvs 与 nginx 工作模式上的区别：

lvs 工作于 IOS 的4 层，仅作请求分发用，没有流量。(根据请求报文的目标IP和目标协议 及PORT 将其调度转发至某 后端主机集群(RealServer) 的某一台主机，根据调度算法来挑选RS；)

nginx工作在网络的第7层，所以它可以针对http–来做分流策略，比如针对域名、目录结构等，相比之下lvs并不具备这样的功能

0x01 LVS拓扑结构图：

ipvs 工作于内核空间的netfilter的 INPUT 钩子上的框架， 通过 ipvsadm 命令来管理。

lvs集群类型中的术语 :

VS：Virtual Server, Director, Dispatcher, Balancer (调度器)
RS：Real Server, upstream server, backend server
CIP：Client IP,
VIP: Virtual serve IP,
DIP: Director IP,
RIP: Real server IP,

0x02 lvs-type

有 lvs-nat , dr , tun , fullnat 四种

lvs-nat

修改请求报文的目标IP 和 端口.   ( masquerade )

• lvs-nat 拓扑结构

• 特性要点：
  1. DIP 和 RIP 在同一IP 网络，且使用私有地址。 RIP 的网关要指向DIP
  2. 请求报文和响应报文都必须经由Director转发；极高负载的场景中，Director易于成为系统瓶颈；
  3. 支持端口映射，可修改请求报文的目标PORT；
  4. vs必须是Linux系统，rs可以是任意系统；

lvs-dr

保留原IP 首部，为新的帧首部的目标MAC 定义 为选定的RS MAC; （即：封装帧首部完成转发）  ( gateway )

• lvs-dr 拓扑结构

• lvs-dr 请求过程

  1. 请求报文到达前端路由器，ARP 广播，得到vip 的 MAC地址, 将报文送达 VIP
  2. director 由于工作于 dr 模型，只拆封 MAC 封闭， 根据调度算法得到 RS
  3. DIP 进行 ARP 广播， 获得RS 中的 RIP 所在网卡的MAC 地址; 重新封装MAC首部( S_mac:DIP, D_mac:RIP )，发往 RS
  4. RIP 所在网卡得到报文, 解封装，得到 源IP(CIP),目标IP(VIP)。

  若目标IP 不是自己，则拒收。所以各主机上均需要配置VIP，但是，前端路由进行ARP 广播时，RS 的VIP 都能响应, 产生地址冲突。

  • 解决地址冲突的方式有三种：
    (1) 在前端网关做静态绑定；
    (2) 在各RS使用arptables；
    (3) 在各RS修改内核参数，来限制arp响应(arp_ignore)和通告(arp_announce)的级别；

    • 限制响应级别：arp_ignore:
      0：默认值，表示可使用本地任意接口上配置的任意地址进行响应；
      1: 仅在请求的目标IP配置在本地主机的接收到请求报文接口上时，才给予响应；

    • 限制通告级别：arp_announce:
      0：默认值，把本机上的所有接口的所有信息向每个接口上的网络进行通告；
      1：尽量避免向非直接连接网络进行通告；
      2：必须避免向非本网络通告；

• 特性要点

  1. 保证前端路由将目标IP 为VIP 的请求报文发送给director
     a) 静态绑定 ( 前端路由 )
     b) arptables （RS）
     c) 修改RS 主机内核的参数

  2. DIP, RIP 可以是私网地址,也可以使用公网地址，因为它们不作为跟客户端通信的地址，仅用于本地间 主机网络通信

  3. RS 跟Director 必须在同一物理网络中
  4. 请求报文经由Director 调度, 但响应报文一定不能经由Director
  5. 不支持端口映射
  6. RS 可以是大多数的OS
  7. RS 的网关不能指向DIP

nat 与 dr 都不支持远距离转发, 要想实现远距离转发，则采用隧道模式进行转发

lvs-tun

保留原IP 首部，在原请求IP报文之外新加一个IP 首部;   ( ip-ip )

• lvs-tun 拓扑结构

• 转发方式：
  不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而是在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）；

• 特性要点

  1. DIP, VIP, RIP都应该是公网地址；
  2. RS的网关不能，也不可能指向DIP；
  3. 请求报文要经由Director，但响应不能经由Director；
  4. 不支持端口映射；
  5. RS的OS得支持隧道功能；

lvs-fullnat :

修改请求报文的目标IP 和 端口， 以及源IP地址。

• lvs-dr 拓扑结构

• 特性要点
  1. VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP；
  2. RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client；
  3. 请求和响应报文都经由Director；
  4. 支持端口映射；
  5. RS 可以使用任意OS;

0x03 调度算法（scheduler）

根据其调度时是否考虑各RS当前的负载状态，分为 静态( static) , 动态( dynamic) 两类
static: RR/WRR, SH, DH (请求时间差不多的情形)
dynamic: LC/WLC, SED, NQ, LBLC, LBLCR (请求时间不一的情形)

静态方法：仅根据算法本身进行调度；
RR : Round Robin, 轮询

WRR：Weighted RR, 加权轮询

SH : Source Hashing, 实现session sticy，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定

DH：Destination Hashing；目标地址哈希，将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理, web cache 中的负载均衡

动态方法：主要根据每RS当前的负载状态及调度算法进行调度；

Overhead=

LC: Least Connections （挑选出连接最少的用做 RS）

WLC: Weighted LC,
Overhead=(activeconns*256+inactiveconns)/weight

SED：Shortest Expection Delay (最短期望延迟)
Overhead=(activeconns+1)*256/weight

NQ：Never Queue， 按权重由大到小的顺序，每个RS 分配一个请求，余下的再以SED 算法进行调度。

LBLC：Locality-Based LC，动态的DH算法；
正向代理情形下的 cache server 调度

LBLCR：LBLC with Replication，带复制功能的LBLC；