LVS介绍及工作原理

LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。

本节索引:

一、Cluster集群概念

二、LVS介绍

三、LVS模式与算法

四、ipvsadm命令

 

一、Cluster集群概念

集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况

下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中

的核心技术。

 

系统扩展方式:

Scale UP:向上扩展,增强

Scale Out:向外扩展,增加设备,调度分配问题,Cluster

Cluster:集群,为解决某个特定问题将多台计算机组合起来形成的单个系统

Linux Cluster类型:

LB:Load Balancing,负载均衡

HA:High Availiablity,高可用,SPOF(single Point Of failure)

MTBF:Mean Time Between Failure 平均无故障时间

MTTR:Mean Time To Restoration( repair)平均恢复前时间

A=MTBF/(MTBF+MTTR) (0,1):99%, 99.5%, 99.9%, 99.99%, 99.999%

HPC:High-performance computing,高性能 www.top500.org

 

分布式系统:

分布式存储:云盘

分布式计算:hadoop,Spark

分布式文件系统:fastfs

 

集群与分布式:

简单来说集群是解决高可用的,而分布式是解决高性能、高并发的

集群:同一个业务,部署在多个服务器上

分布式:一个业务分拆多个子业务,部署在不同的服务器上

 

 

Cluster分类

LB Cluster的实现

硬件

F5 Big-IP

Citrix Netscaler

A10 A10

软件

lvs:Linux Virtual Server

nginx:支持七层调度

haproxy:支持七层调度

ats:apache traffic server,yahoo捐助

perlbal:Perl 编写

pound

 

 

基于工作的协议层次划分:

传输层(通用):DPORT

LVS:

nginx:stream

haproxy:mode tcp

应用层(专用):针对特定协议,自定义的请求模型分类

proxy server:

http:nginx, httpd, haproxy(mode http), …

fastcgi:nginx, httpd, …

mysql:mysql-proxy, …

 

会话保持:负载均衡

(1)session sticky:同一用户调度固定服务器

Source IP:LVS sh算法(对某一特定服务而言)

Cookie

(2)session replication:每台服务器拥有全部session

session multicast cluster

(3)session server:专门的session服务器

Memcached,Redis

 

HA集群实现方案

keepalived:vrrp协议

ais:应用接口规范

heartbeat

cman+rgmanager(RHCS)

coresync_pacemaker

 

 

二、LVS介绍

LVS:Linux Virtual Server,负载调度器,集成内核 章文嵩 阿里

官网http://www.linuxvirtualserver.org/

VS:Virtual Server,负责调度

RS:Real Server,负责真正提供服务

L4:四层路由器或交换机

工作原理:VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度

算法来挑选RS

iptables/netfilter:

iptables:用户空间的管理工具

netfilter:内核空间上的框架

流入:PREROUTING –> INPUT

流出:OUTPUT –> POSTROUTING

转发:PREROUTING –> FORWARD –> POSTROUTING

DNAT:目标地址转换; PREROUTING

 

LVS集群的通用结构:

1

 

LVS工作原理

LVS集群类型中的术语:

VS:Virtual Server,Director Server(DS),Dispatcher(调度器),Load Balancer

RS:Real Server(lvs), upstream server(nginx),backend server(haproxy)

CIP:Client IP

VIP: Virtual serve IP VS外网的IP

DIP: Director IP VS内网的IP

RIP: Real server IP

访问流程:CIP <–> VIP == DIP <–> RIP

 

lvs:ipvsadm/ipvs

ipvsadm:用户空间的命令行工具,规则管理器

用于管理集群服务及RealServer

ipvs:工作于内核空间netfilter的INPUT钩子上的框架

 

lvs集群的类型:

lvs-nat:修改请求报文的目标IP,多目标IP的DNAT(重点)

lvs-dr:操纵封装新的MAC地址(重点)

lvs-tun:在原请求IP报文之外新加一个IP首部

lvs-fullnat:修改请求报文的源和目标IP

 

三、LVS模式与调度算法

lvs-nat模式

本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑

出的RS的RIP和PORT实现转发

LVS-NAT的体系结构如下图所示:

2

(1)RIP和DIP应在同一个IP网络,且应使用私网地址;RS的网关要指向DIP

(2)请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈

(3)支持端口映射,可修改请求报文的目标PORT

(4)VS必须是Linux系统,RS可以是任意OS系统

 

LVS-NAT数据流程时序图:

2-2

 

 

LVS-DR模式

LVS-DR:Direct Routing直接路由,LVS默认模式,应用最广泛,通过为请求报文重新

封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出

的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变

LVS-DR的体系结构如下图所示:

3

(1) Director和各RS都配置有VIP

(2) 确保前端路由器将目标IP为VIP的请求报文发往Director

在前端网关做静态绑定VIP和Director的MAC地址

在RS上使用arptables工具

arptables -A IN -d $VIP -j DROP

arptables -A OUT -s $VIP -j mangle –mangle-ip-s $RIP

在RS上修改内核参数以限制arp通告及应答级别

/proc/sys/net/ipv4/conf/all/arp_ignore

/proc/sys/net/ipv4/conf/all/arp_announce

(3)RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;

RIP的网关不能指向DIP,以确保响应报文不会经由Director

(4)RS和Director要在同一个物理网络

(5)请求报文要经由Director,但响应报文不经由Director,而由RS直接发往

Client

(6)不支持端口映射(端口不能修败)

(7)RS可使用大多数OS系统

 

LVS-DR数据流程时序图:

3-2

 

lvs-tun模式

转发方式:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文

之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标

RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP)

LVS-TUN的体系结构如图所示:

4

(1) DIP, VIP, RIP都应该是公网地址

(2) RS的网关一般不能指向DIP

(3) 请求报文要经由Director,但响应不能经由Director

(4) 不支持端口映射

(5) RS的OS须支持隧道功能

 

LVS-TUN数据流程时序图:

4-2

 

 

LVS-FULLNAT模式

lvs-fullnat:通过同时修改请求报文的源IP地址和目标IP地址进行转发

CIP –> DIP

VIP –> RIP

(1) VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络;因此,

RIP的网关一般不会指向DIP

(2) RS收到的请求报文源地址是DIP,因此,只需响应给DIP;但Director还

要将其发往Client

(3) 请求和响应报文都经由Director

(4) 支持端口映射

注意:此类型kernel默认不支持

 

 

 

三种 主要IP 负载均衡技术比较:

优缺点

lvs-nat与lvs-fullnat:请求和响应报文都经由Director

lvs-nat:RIP的网关要指向DIP

lvs-fullnat:RIP和DIP未必在同一IP网络,但要能通信

lvs-dr与lvs-tun:请求报文要经由Director,但响应报文由RS直接发往Client

lvs-dr:通过封装新的MAC首部实现,通过MAC网络转发

lvs-tun:通过在原IP报文外封装新IP头实现转发,支持远距离通信

 

lvs-nat 的优点是服务器可以运行任何支持 TCP/IP 的操作系统,它只需要

一个 IP 地址配置在调度器上,服务器组可以用私有的 IP 地址。缺点是它的伸缩

能力有限,当服务器结点数目升到 20 时,调度器本身有可能成为系统的新瓶颈,

因为在 lvs-nat 中请求和响应报文都需要通过负载调度器。

 

lvs-dr优点是负载调度器可以处理大量的请求,因为调度器只处理客户到服

务器端的连接,响应数据可以直接从独立的网络路由返回给客户,这可以极大地

提高 LVS 集群系统的伸缩性。缺点是要求负载调度器与实际服务器都有一块网

卡连在同一物理网段上,服务器网络设备(或者设备别名)不作 ARP 响应,或

者能将报文重定向(Redirect)到本地的 Socket 端口上。

 

lvs-tun 的优点是负载调度器可以处理大量的请求,它甚至可以调度百台以

上的服务器(同等规模的服务器),而它不会成为系统的瓶颈,因为负载调度器

只将请求调度到不同的后端服务器,后端服务器将应答的数据直接返回给用户。

 

 

LVS的调度算法

轮训算法 加权轮训算法 最小连接算法 加权最下连接算法 …..

LVS Scheduling Method LVS的调度方法:

1.Fixed Scheduling Method  静态调度方法

(1).RR         轮询

(2).WRR    加权轮询

(3).SH         源地址hash;实现session sticky,源IP地址hash;将来自于同一

个IP地址的请求始终发往第一次挑中的RS,从而实现会话绑定

(4).DH        目标地址hash;目标地址哈希,将发往同一个目标地址的请求始终转

发至第一次挑中的RS,典型使用场景是正向代理缓存场景中的负载均

衡,如:宽带运营商

2.Dynamic Scheduling Method 动态调度方法

(1).LC         最少连接;适用于长连接应用

          Overhead=activeconns*256+inactiveconns

(2).WLC    加权最少连接(默认调度方法)

  Overhead=(activeconns*256+inactiveconns)/weight 

(3).SED      最少期望延迟

Overhead=(activeconns+1)*256/weight

(4).NQ       第一轮均匀分配,后续SED

(5).LBLC   基于本地的最少连接;动态的DH算法,使用场景:根据负载状态实现正向代理

(6).LBLCR  带复制的基于本地的最少连接;带复制功能的LBLC解决LBLC负载不均衡

问题,从负载重的复制到负载轻的RS

 

 

四、ipvsadm命令

核心功能:

集群服务管理:增、删、改

集群服务的RS管理:增、删、改

查看

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [–pe

persistence_engine] [-b sched-flags]

ipvsadm -D -t|u|f service-address 删除

ipvsadm –C 清空

ipvsadm –R 重载

ipvsadm -S [-n] 保存

ipvsadm -a|e -t|u|f service-address -r server-address [options]

ipvsadm -d -t|u|f service-address -r server-address

ipvsadm -L|l [options]

ipvsadm -Z [-t|u|f service-address]

 

管理集群服务:增、改、删

增、改:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

删除:

ipvsadm -D -t|u|f service-address

service-address:

-t|u|f:

-t: TCP协议的端口,VIP:TCP_PORT

-u: UDP协议的端口,VIP:UDP_PORT

-f:firewall MARK,标记,一个数字

[-s scheduler]:指定集群的调度算法,默认为wlc

 

管理集群上的RS:增、改、删

增、改:ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

删:ipvsadm -d -t|u|f service-address -r server-address

server-address:

rip[:port] 如省略port,不作端口映射

选项:

lvs类型:

-g: gateway, dr类型,默认

-i: ipip, tun类型

-m: masquerade, nat类型

-w weight:权重

 

清空定义的所有内容:ipvsadm –C

清空计数器:ipvsadm -Z [-t|u|f service-address]

查看:ipvsadm -L|l [options]

–numeric, -n:以数字形式输出地址和端口号

–exact:扩展信息,精确值

–connection,-c:当前IPVS连接输出

–stats:统计信息

–rate :输出速率信息

ipvs规则: /proc/net/ip_vs

ipvs连接:/proc/net/ip_vs_conn

本文来自投稿,不代表Linux运维部落立场,如若转载,请注明出处:http://www.178linux.com/102230

发表评论

登录后才能评论

This site uses Akismet to reduce spam. Learn how your comment data is processed.

联系我们

400-080-6560

在线咨询

工作时间:周一至周五,9:30-18:30,节假日同时也值班

QR code