lvs集群搭建

Linux Cluster：

Cluster：计算机集合，为解决某个特定问题组合起来形成的单个系统；

Linux Cluster类型：
LB：Load Balancing，负载均衡；
HA：High Availiablity，高可用；
A=MTBF/（MTBF+MTTR）
(0,1)：90%, 95%, 99%, 99.5%,  99.9%, 99.99%, 99.999%, 99.9999%
HP：High Performance，高性能；

分布式系统：
分布式存储
分布式计算

系统扩展方式：
Scale UP：向上扩展
Scale Out：向外扩展
Cluster

LB Cluster：    
LB Cluster的实现：                 #负载均衡集群
硬件：
F5 Big-IP
Citrix Netscaler
A10 
软件：
lvs：Linux Virtual Server
nginx
haproxy
ats：apache traffic server 
perlbal
pound

基于工作的协议层次划分：
传输层（通用）：（DPORT）
lvs：
nginx：（stream）
haproxy：（mode tcp）
应用层（专用）：（自定义的请求模型分类）
proxy server：
http：nginx, httpd, haproxy(mode http), …
fastcgi：nginx, httpd, …
mysql：mysql-proxy, …
…

站点指标：
PV：Page View               #页面浏览
UV：Unique Vistor           #独立用户
IP：

会话保持：
(1) session sticky      #会话绑定
Source IP
Cookie
(2) session replication;    #会话共享集群
session cluster   
(3) session server          #会话服务器

lvs：Linux Virtual Server 
VS: Virtual Server              #虚拟服务器
RS: Real Server                 #真实服务器

作者：章文嵩；alibaba –> didi

l4：四层路由器，四层交换机；
VS：根据请求报文的目标IP和目标协议及端口将其调度转发至某RealServer，根据调度算法来挑选RS；

iptables/netfilter：
iptables：用户空间的管理工具；
netfilter：内核空间上的框架；
流入：PREROUTING –> INPUT 
流出：OUTPUT –> POSTROUTING
转发：PREROUTING –> FORWARD –> POSTROUTING

DNAT：目标地址转换； PREROUTING；

lvs: ipvsadm/ipvs
 ipvsadm：用户空间的命令行工具，规则管理器，用于管理集群服务及RealServer
 ipvs：工作于内核空间的netfilter的INPUT钩子之上的框架；

lvs集群类型中的术语：
vs：Virtual Server, Director, Dispatcher, Balancer
rs：Real Server, upstream server, backend server

CIP：Client IP, VIP: Virtual serve IP, RIP: Real server IP, DIP: Director IP
CIP <–> VIP == DIP <–> RIP 

lvs集群的类型：
lvs-nat：修改请求报文的目标IP；多目标IP的DNAT；
lvs-dr：操纵封装新的MAC地址；
lvs-tun：在原请求IP报文之外新加一个IP首部；
lvs-fullnat：修改请求报文的源和目标IP；

回顾：
Linux Cluster：
LB/HA/HP
LB Cluster：
硬件：Big-IP/Netscaler/A10
软件：
四层：lvs/nginx(stream)/haproxy(mode tcp)
七层：
http: nginx(http upstream)/haproxy(mode http)/ats/httpd/perlbal/pound/…
lvs：Linux Virtual Server
vs <–> rs

lvs-type：
lvs-nat：修改请求报文的目标IP实现调度；
lvs-dr：操纵报文的帧首部（目标MAC是某挑选出的RS的RIP所在接口的MAC地址）；
lvs-tun：在原IP首部（cip/vip）之外再封装一个新的IP首部（dip/rip）； 

LVS（2）：
lvs-nat：
多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发；

（1）RIP和DIP必须在同一个IP网络，且应该使用私网地址；RS的网关要指向DIP；
（2）请求报文和响应报文都必须经由Director转发；Director易于成为系统瓶颈；
（3）支持端口映射，可修改请求报文的目标PORT；
（4）vs必须是Linux系统，rs可以是任意系统；

lvs-dr：
Direct Routing，直接路由；

通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变；

Director和各RS都得配置使用VIP；
(1) 确保前端路由器将目标IP为VIP的请求报文发往Director：
(a) 在前端网关做静态绑定；
(b) 在RS上使用arptables；
(c) 在RS上修改内核参数以限制arp通告及应答级别；
arp_announce         #通告级别
arp_ignore              #应答级别
(2) RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director；
(3) RS跟Director要在同一个物理网络；
(4) 请求报文要经由Director，但响应不能经由Director，而是由RS直接发往Client；
(5) 不支持端口映射；

lvs-tun：
转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而是在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）

(1) DIP, VIP, RIP都应该是公网地址；
(2) RS的网关不能，也不可能指向DIP；
(3) 请求报文要经由Director，但响应不能经由Director；
(4) 不支持端口映射；
(5) RS的OS得支持隧道功能；

lvs-fullnat：
通过同时修改请求报文的源IP地址和目标IP地址进行转发；
CIP –> DIP 
VIP –> RIP 

(1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP；
(2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client；
(3) 请求和响应报文都经由Director；
(4) 支持端口映射；

注意：此类型默认不支持；

总结：
lvs-nat, lvs-fullnat：请求和响应报文都经由Director；
lvs-nat：RIP的网关要指向DIP；
lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信；
lvs-dr, lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client；
lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发；
lvs-tun：通过在原IP报文之外封装新的IP报文实现转发，支持远距离通信

ipvs scheduler：       #十大调度算法
根据其调度时是否考虑各RS当前的负载状态，可分为静态方法和动态方法两种：

静态方法：仅根据算法本身进行调度；
RR：roundrobin，轮询；
WRR：Weighted RR，加权轮询；
SH：Source Hashing，实现session sticy，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定；
DH：Destination Hashing；目标地址哈希，将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡；

动态方法：主要根据每RS当前的负载状态及调度算法进行调度；
Overhead=

LC：least connections
Overhead=activeconns*256+inactiveconns
WLC：Weighted LC
Overhead=(activeconns*256+inactiveconns)/weight
SED：Shortest Expection Delay
Overhead=(activeconns+1)*256/weight
NQ：Never Queue

LBLC：Locality-Based LC，动态的DH算法；
LBLCR：LBLC with Replication，带复制功能的LBLC；

ipvsadm/ipvs：
集群和集群之上的各RS是分开管理的；
集群定义
RS定义

ipvs：
~]# grep -i -C 10 “ipvs” /boot/config-VERSION-RELEASE.x86_64

支持的协议：TCP， UDP， AH， ESP， AH_ESP,  SCTP；

ipvs集群：
集群服务
服务上的RS

ipvsadm：
程序包：ipvsadm
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config

ipvsadm命令：
核心功能：
集群服务管理：增、删、改；
集群服务的RS管理：增、删、改；
查看：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [–pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

管理集群服务：增、改、删；
增、改：
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

删：
ipvsadm -D -t|u|f service-address

service-address：
-t|u|f：
-t: TCP协议的端口，VIP:TCP_PORT
-u: UDP协议的端口，VIP:UDP_PORT
-f：firewall MARK，是一个数字；

[-s scheduler]：指定集群的调度算法，默认为wlc；

管理集群上的RS：增、改、删；
增、改：
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

删：
ipvsadm -d -t|u|f service-address -r server-address

server-address：
rip[:port]

选项：
lvs类型：
-g: gateway, dr类型
-i: ipip, tun类型
-m: masquerade, nat类型

-w weight：权重；

清空定义的所有内容：
ipvsadm -C

查看：
ipvsadm -L|l [options]         #大小写都行
–numeric, -n：numeric output of addresses and ports 
–exact：expand numbers (display exact values)

–connection， -c：output of current IPVS connections
–stats：output of statistics information
–rate ：output of rate information

保存和重载：
ipvsadm -S = ipvsadm-save
ipvsadm -R = ipvsadm-restore 

负载均衡集群设计时要注意的问题：
(1) 是否需要会话保持；
(2) 是否需要共享存储；
共享存储：NAS， SAN， DS（分布式存储）
数据同步：
课外作业：rsync+inotify实现数据同步 

lvs-nat：
设计要点：
(1) RIP与DIP在同一IP网络, RIP的网关要指向DIP；外网ip是VIP
   exam：DIP:192.168.1.10/24
         VIP:对外的网络IP
         RIP1:192.188.1.11/24 gw 192.168.1.10
         RIP2:192.188.1.12/24 gw 192.168.1.10
(2) 支持端口映射；
(3) Director要打开核心转发功能，就是打开路由转发功能

lvs-dr：
dr模型中，各主机上均需要配置VIP，解决地址冲突的方式有三种：
(1) 在前端网关做静态绑定；
(2) 在各RS使用arptables；      #arp包过滤
(3) 在各RS修改内核参数，来限制arp响应和通告的级别；
限制响应级别：arp_ignore
0：默认值，表示可使用本地任意接口上配置的任意地址进行响应
1: 仅在请求的目标IP配置在本地主机的接收到请求报文接口上时，才给予响应；
限制通告级别：arp_announce
0：默认值，把本机上的所有接口的所有信息向每个接口上的网络进行通告；
1：尽量避免向非直接连接网络进行通告；
2：必须避免向非本网络通告；

RS的预配置脚本：
#!/bin/bash
#
vip=10.1.0.5
mask=’255.255.255.255′

case $1 in
start)
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

ifconfig lo:0 $vip netmask $mask broadcast $vip up
route add -host $vip dev lo:0
;;
stop)
ifconfig lo:0 down

echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce

;;
*) 
echo “Usage $(basename $0) start|stop”
exit 1
;;
esac

VS的配置脚本：
#!/bin/bash
#
vip=’10.1.0.5′
iface=’eno16777736:0′
mask=’255.255.255.255′
port=’80’
rs1=’10.1.0.7′
rs2=’10.1.0.8′
scheduler=’wrr’
type=’-g’

case $1 in
start)
ifconfig $iface $vip netmask $mask broadcast $vip up
iptables -F

ipvsadm -A -t ${vip}:${port} -s $scheduler
ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
;;
stop)
ipvsadm -C
ifconfig $iface down
;;
*)
echo “Usage $(basename $0) start|stop”
exit 1
;;
esac