Linux Cluster之LVS

一、Linux Cluster 基础：

Cluster：计算机集合为解决某个特定问题组合起来形成的单个系统

Linux Cluster类型：

LB（Load Banlancing）：负载均衡

HA（High Availability）：高可用。提高服务可用性，避免出现单点故障

HP（High Performance）：高性能

可用性衡量公式：

A=MTBF/(MTBF+MTTR)

MTBF：平均无故障时间

MTTR：平均故障修复时间

A的取值范围（0,1）

系统扩展方式：

Scale UP:向上扩展。提升设备性能

Scale Out：向外扩展。

二、LB CLuster：

1、LB Cluster的实现：

硬件：

F5 Big-IP

Citrix Netscaler

A10 A10

软件：

lvs：Linux Virtual Server

nginx

haproxy

ats：apache traffic server

perlbal

pound

基于工作的协议层次划分：

传输层（通用）：基于DIP Dport分发，类似于四层交换机。主要根据目标端口

lvs

nginx：基于stream机制模拟

haproxy：基于mode tcp机制模拟

应用层（专用）：根据请求的内容进行分发

proxy server：

http：nginx(upstream), httpd(balancer), haproxy(mode http), …

fastcgi：nginx, httpd, …

mysql：mysql-proxy, …

ats、perball、pound

用户的会话保持：

(1) session sticky

在服务器端维护session会话表

Source IP

Cookie

(2) session replication;

session cluster

(3) session server

三、LVS：Linux Virtual Server

VS：Virtual Server，Director，Dispatcher，Balancer

RS：Real Server，Upstream Server，backend server

VS：工作在TCP/IP第四层。其作用为根据请求报文的目标IP和目标协议及端口将其调度转发至某Real Server，遵循调度算法来挑选RS

LVS：ipvsadm/ipvs

ipvsadm：用户空间的命令行工具，规则管理器，用于管理集群服务及Real Server；

ipvs：工作于内核空间的netfilter的INPUT钩子之上的框架；

CIP<–>VIP==DIP<–>RIP

在VS上需要开启ipv4的端口转发功能

四、LVS集群的类型：

1)、lvs-nat：类似于多目标的DNAT，修改请求报文的目标IP

2)、lvs-dr：在原请求之外，通过封装新的mac首部进行转发

3)、lvs-tun：ipip隧道。在原请求ip报文之外新加一个IP首部

4)、lvs-fullnat：修改请求报文的源和目标IP。

1、lvs-nat：多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的Rip和Port实现转发。

（1）RIP和DIP必须在同一个IP网络，且应该使用私网地址；RS的网关要指向DIP。

（2）请求报文和响应报文都必须经由Director抓发；Director易于称为系统瓶颈。

（3）支持端口映射，可修改请求报文的目标Port。

（4）VS必须是Linux系统，RS可以是任意系统。

2、lvs-dr：Direct Routing

通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是挑选出来的RS的RIP所在的接口的MAC地址；源IP/PORT以及目标IP/PORT均保持不变。

DR的最初目的：

客户的请求到达VR之后，由VS挑选出一个RS进行直接响应，此响应不再经由VR。由此，可以增加VR的并发请求。要实现此目的：需要在每个RS上配置一个VIP，但需确保RS上的VIP不发送广播报文，因此RS上的VIP需配置在lo接口上。

1）确保前段路由器将目标IP为VIP的请求报文发往VS。如何实现VIP地址不冲突。

a）在前端网关做静态绑定

b）在RS上使用arptables

c）在RS上修改内核参数以限制arp通告及应答级别

arp_announce

arp_ignore

2）RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一网络

3）RS跟VS需要在同一物理网络

4）请求报文经由VS，但响应报文不能经由VS，即RIP的网关不能为DIP，而是由RS直接法网Client

5）不支持端口映射

3、lvs-tun：实现跨互联网通信。VS与RS不在同一网络。

转发方式：不修改请求报文的IP首部（CIP：VIP），而是在原IP报文之外在封装一个IP首部（DIP：RIP），再将报文发送给挑选出的RS。

1）DIP、VIP、RIP都应该是公网地址

2）RS的网关不能执行DIP

3）请求报文经由VS，但响应不经由VS，而是RS直接发送给客户端

4）不支持端口映射

5）RS需支持隧道功能

4、lvs-fullnat：

通过同时修改请求报文的源IP地址和目标IP地址进行转发；

CIP –> DIP

VIP –> RIP

(1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP；

(2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client；

(3) 请求和响应报文都经由Director；

(4) 支持端口映射；

注意：此类型默认不支

五、LVS调度方法

ipvs scheduler：根据其调度时是否考虑各RS当前的负载状态，可分为静态方法及动态方法

1、静态方法：

RR：RoundRorbin，轮询

WRR：Weighted RR。加权轮询。权重越大，意味着其负载能力越强。

SH：Source Hashing，实现session sticky，源地址hash；将来自同一个ip地址的请求始终发往第一次挑中的RS，从而实现会话绑定。应用场景：实现会话绑定

DH：Destination Hash，目标地址hash，将发往同一目标地址的请求始终发至第一次挑中的RS。应用场景：缓存服务器

2、动态方法：主要根据每RS当前的负载状态及调度算法进行调度

LC（Least Connections）：最少连接。

Overhead=activeconns*256+inactiveconns

overhead值小的获胜

WLC：Weighted LC

Overhead=（activeconns*256+inactiveconns）/weight

overhead值小的获胜

SED：Shortest Expection Delay

Overhead=（（activeconns+1）*256）/weight

NQ：Never Queue

每台RS先接受一个请求，之后再按SED算法进行挑选。

LBLC：Locally-Based LC，动态的DH算法

LBLCR：LBLC with Replication，带复制功能的LBLC

六、使用ipvsadm管理lvs

1、管理集群服务：增、改、删；

增、改：ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] 删：ipvsadm -D -t|u|f service-address

service-address： VR服务器地址

-t|u|f：

-t: TCP协议的端口，VIP:TCP_PORT

-u: TCP协议的端口，VIP:UDP_PORT

-f：firewall MARK，是一个数字；

[-s scheduler]：指定集群的调度算法，默认为wlc；

2、管理集群上的RS：增、改、删；

增、改：ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

删：ipvsadm -d -t|u|f service-address -r server-address

server-address：rip[:port]

选项：

设定lvs类型：

-g: gateway, dr类型

-i: ipip, tun类型

-m: masquerade, nat类型

-w weight：设定权重；

3、清空定义的所有内容：ipvsadm -C

4、查看：

ipvsadm -L|l [options]

–numeric, -n：numeric output of addresses and ports

–exact：expand numbers (display exact values)

–connection， -c：output of current IPVS connections

–stats：output of statistics information

–rate ：output of rate information

5、保存和重载：

ipvsadm -S = ipvsadm-save

ipvsadm -R = ipvsadm-restore

七、配置lvs-nat示例

实验环境：

VS CentOS6.8 interface：vmnet1,桥接网络 DIP：192.168.40.90 VIP：10.1.154.166

RS1 CentOS6.8 interface：vmnet1 RIP：192.168.40.100

RS2 CentOS6.8 interface：vmnet1 RIP：192.168.40.101

配置步骤：

1、确保RS1、RS2、VS三台服务器的时间是同步的。

2、在RS1配置IP地址，配置httpd服务，指定默认路由为DIP；RS2上同样的配置。

3、在VS上开启端口转发功能，安装ipvsadm，配置ipvsadm。

ipvsadm -A -t 10.1.154.166:80 -s rr

ipvsadm -a -t 10.1.154.166 -r 192.168.40.100:80 -m

ipvsadm -a -t 10.1.154.166 -r 192.168.40.101:80 -m

4、其他查看示例

八、负载均衡集群设计要点

1、是否需要会话保持

2、是否需要共享存储

共享存储解决方案：NAS、SAN、DS（分布式存储）

数据同步：rsync（不适用于数据量较大场景）+inotify实现数据同步

九、LVS-DR的实现

1、DR模型中，VR和SR上均需要配置VIP，解决地址冲突的方式有三种：

(1) 在前端网关做静态绑定；

(2) 在各RS使用arptables；

(3) 在各RS修改内核参数，来限制arp响应和通告的级别；

限制响应级别：arp_ignore

0：默认值，表示可使用本地任意接口上配置的任意地址进行响应；

1: 仅在请求的目标IP配置在本地主机的接收到请求报文接口上时，才给予响应；

限制通告级别：arp_announce

0：默认值，把本机上的所有接口的所有信息向每个接口上的网络进行通告；

1：尽量避免向非直接连接网络进行通告；

2：必须避免向非本网络通告；

2、LVS-DR实验1：DIP、VIP、RIP属于同一网络

a、网络结构

b、在RS1上的配置：

1）配置内核参数，限制arp响应及通告。

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

2）在lo网卡上配置VIP

ifconfig lo:0 192.168.154.200 netmask 255.255.255.255

3）配置主机路由

route add -host 192.168.154.200 lo

4）开启httpd服务

c、RS2上的配置同RS1

d、在VS上配置：

1）配置VIP

ifconfig eth1:0 192.168.154.200 netmask 255.255.255.255

2）配置ipvsadm

ipvsadm -A -t 192.168.154.200:80 -s wrr

ipvsadm -a -t 192.168.154.200:80 -r 192.168.154.127:80 -g -w 1

ipvsadm -a -t 192.168.154.200:80 -r 192.168.154.128:80 -g -w 2

e、在客户端上做测试

十、基于FWM配置集群服务

在RS1、RS2上新增mysql服务，将其定义为一个集群。

此时http与mysql集群并不会被当作一个集群服务进行调度，如何实现将多个服务使用同一个集群服务来调度。需要用到FWM

FWM：FireWall Mark

借助于防火墙标记来分类报文，而后基于标记定义集群服务；可将多个不同的应用使用同一个集群服务进行调度；

配置步骤

1、在防火墙上打标记

iptables -t mangle -A PREROUTING -d 192.168.154.200 -p tcp -m multiport –dports 80,3306 -j MARK –set-mark 11

2、基于标记配置ipvs

ipvsadm -A -f 11 -s wrr

ipvsadm -a -f 11 -r 192.168.154.127 -g -w 1

ipvsadm -a -f 11 -r 192.168.154.128 -g -w 1

十一：LVS持久链接（Persistence）

持久连接模板：实现无论使用任何算法，在一定时间之内，实现将来自同一个ip地址的请求始终发往同一个RS。

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

测试

mysql服务连接的也是RS2

port Affinity：

每端口持久：每集群服务单独定义，并定义其持久性；

每防火墙标记持久：基于防火墙标记定义持久的集群服务；可实现将多个端口上的应用统一调度，即所谓的port Affinity；

每客户端持久：基于0端口定义集群服务，即将客户端对所有应用的请求统统调度至后端主机，而且可使用持久连接进行绑定；

十二：ipvsadm规则的保存与重载

1、保存：建议保存至/etc/sysconfig/ipvsadm

ipvsadm-save > /PATH/TO/IPVSADM_FILE

ipvsadm -S > /PATH/TO/IPVSADM_FILE

systemctl stop ipvsadm.service

2、重载：

ipvsadm-restore < /PATH/FROM/IPVSADM_FILE

ipvsadm -R < /PATH/FROM/IPVSADM_FILE

systemctl restart ipvsadm.service

考虑：

(1) Director不可用，整个系统将不可用；SPoF单点故障

解决方案：高可用

keepalived

heartbeat/corosync

(2) 某RS不可用时，Director依然会调度请求至此RS；

解决方案：对各RS的健康状态做检查，失败时禁用，成功时启用；

keepalived

heartbeat/corosync, ldirectord

检测方式：

(a) 网络层检测；ping

(b) 传输层检测，端口探测；

(c) 应用层检测，请求某关键资源；

测试多次，间隔测试，多次失败，判断失败

请求超时时间，请求时间间隔，请求次数。

ok –> failure

failure –> ok

但，director无法完成健康状态检测，需要keepalived来配合完成。