LVS负载均衡初接触

Linux Cluster :

Cluster : 计算机集合, 为解决某个特定问题组合起来形成的单个系统;

Linux Cluster 类型 :

LB : Load Balancing, 负载均衡;()
HA : High Avaiibality, 高可用;( 通过冗余的方式让活动主机出现问题时取而代之, 并具有原主机一致的功能)
HP : High Performance, 高性能;(组合多台计算机分散计算量)

 系统扩展方式:

Scale UP:向上扩展
Scale Out:向外扩展
Cluster

LB Cluster :

实现 :

硬件 :

F5 Big-IP
Citrix Netscaler
A10 A10

软件 :

lvs : Linux Virtual Server (内核级别实现)
nginx :
haproxy :(实现功能与nginx相似)
ats :

基于工作协议层次划分(承前启后) :

传输层 : (通用解决方案)(DIP : DPORT)(四层路由器)
lvs :
nginx : (基于stream机制模拟调度)
haproxy : (基于TCP模型)
应用层 : (应用专用)(根据请求模型分类进行分发)
proxy sferver:

http:nginx, httpd, haproxy(mode http), …
fastcgi:nginx, httpd, …
mysql:mysql-proxy, …

VS : 根据请求报文的目标IP和目标协议将其调度转发至某realserver, 根据调度算法来挑选

Director 和各RS 都得配置实用VIP

lvs : ipvsadm/ipvs
报文的流程 : PREROUTING —> INPUT上的ipvs —-> POSTROUTING
ipvsadm : 用户空间的命令行工具, 规则管理器, 用于管理集群服务及RealServer
ipvs : 工作与内核空间
lvs 集群的类型 :

lvs-nat : 修改请求报文的目标IP
lvs-dr : 封装新的MAC地址
lvs-tun : 在原请求IP报文之外新加一个IP首部
lvs-fullnat : 修改请求报文的源和目标IP

lvs-nat :

多目标IP的DNAT机制, 通过将请求报文中的目标地址和目标端口修改为某挑出的RS和RIP的PORT实现转发

1. RIP 和DIP 必须在同一个IP 网络, 且应该使用私网地址; RS的网关要指向DIP
2. 请求报文和响应报文都必须经由Director转发, Director易于成为系统瓶颈
3. 支持端口映射, 可修改请求报文的目标PORT;
4. vs 必须是Linux 系统, rs 可是任意系统

LVS

lvs-dr :

通过为请求报文重新封装一个MAC首部进行转发, 源MAC 是DIP 所在接口的MAC, 目标MAC是某挑选出的RS的RIP所在接口的MAC地址, 源IP/PORT, 以及目标IP/PORT均保持不变

1. 确保前端路由器将目标IP为VIP的请求报文发完Director :
a. 在前端网关左静态绑定
b. 在RS 上使用arptables
c. 在RS 上修改内核参数以限制ARP通过及应答基本

arp_announce

echo 1  > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 1  > /proc/sys/net/ipv4/conf/lo/arp_ignore

arp_ignore

echo 2  > /proc/sys/net/ipv4/conf/all/arp_announce

echo 2  > /proc/sys/net/ipv4/conf/lo/arp_announce

2. RS 的RIP 可以使用私网地址, 也可以是公网地址, RIP 与DIP 在同一网络, RIP 的网关不能指向DIP, 以确保响应报文不会经由Director
3. RS跟Director要在同一个物理网络;
4. 请求报文要经由Director,但响应不能经由Director,而是由RS直接发往Client;
5. 不支持端口映射;

报文从那个接口出去源IP就为此接口的IPLVS-DR

1. DIP, VIP, RIP 都应该是公网地址
2. RS 的网关不能, 也不可能指向DIP
3. 请求报文要经由Director, 但响应不能经由Director
4. 不支持端口映射
5. RS 的OS 得支持隧道功能

为了支持dr模式, 有下列几种方法解决 :

1. ARPtables 将IP和MAC地址进行绑定
2. 内核参数, 将VIP地址绑定在一个比较特殊的接口上, 使其不能直接在内网响应请求
3. 路由器设置 (有路由器的管理权限)

lvs-fullnat :

同时修改请求报文和源IP地址和目标IP地址进行转发
CIP —> DIP
VIP —> RIP
1. VIP 是公网地址, RIP和DIP是私网地址, 通常不在

ipvs scheduler 根据其调度时是否考虑当前RS的负载情况, 可分为动态方法和静态方法.(调度算法)

静态方法 :

RR : roundrobin 轮询
WRR : Weighted RR 加权轮询(考虑服务器的权重(服务器的服务能力))
SH : Source Hashing 源IP地址HASH, 实现 session sticy(WRR 是其原生算法), 完成会话绑定, 将来自于同一个IP地址的请求始终发往第一次挑中的RS, 从而实现会话的绑定.
DH : Destination Hashing 目标地址HASH, 将发往同一个目标地址的请求始终发至第一次挑中的RS
动态方法 : 主要根据每RS 当前的负载状态及调度算法进行调度;
LC : Last Connections
Overhead = activeconns*256+inactiveconns (最初的时候, 自上而下的进行接收请求)
WLC : Weighted LC 加权LC
Overhead = (activeconns*256+inactiveconns)/weight
SED : Shortest Expection Delay 最短期望延迟
Overhead = (activeconns*256+inactiveconns + 1)/weight
NQ : Never Queue 不排队算法

LBLC : Locality-Based LC 动态的DH算法
LBLCR : LBLC with Replication 带复制功能的LBLC

ipvs 集群 :
(先定义服务, 在定义集群)
集群服务 :
服务上的RS :
ipvsadm (管理集群, 管理集群服务, 查看)
ipvsadm命令:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [–pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

管理集群服务:增、改、删;
增、改:

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

删:

ipvsadm -D -t|u|f service-address

service-address:

-t|u|f:

-t: TCP协议的端口,VIP:TCP_PORT
-u: TCP协议的端口,VIP:UDP_PORT
-f:firewall MARK,是一个数字;

[-s scheduler]:指定集群的调度算法,默认为wlc;

管理集群上的RS:增、改、删;

增、改:

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

删:

ipvsadm -d -t|u|f service-address -r server-address
server-address:

rip[:port]

选项:

lvs类型:

-g: gateway, dr类型
-i: ipip, tun类型
-m: masquerade, nat类型
-w weight:权重;权重越高优先级越高

清空定义的所有内容:

ipvsadm -C

查看:
ipvsadm -L|l [options]

–numeric, -n:numeric output of addresses and ports 数字格式显示IP和PORT
–exact:expand numbers (display exact values) 精确值
–connection, -c:output of current IPVS connections 显示IPVS连接
–stats:output of statistics information 统计数据
–rate :output of rate information 速率

保存和重载:

ipvsadm -S = ipvsadm-save
ipvsadm-save > /path/file
ipvsadm -R = ipvsadm-restore
ipvsadm-restore < /path/file

重置清零 :
ipvsadm -Z

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port         CPS(每秒连接数量)    InPPS(每秒入站报文数)   OutPPS(每秒出站报文数)    InBPS   OutBPS
-> RemoteAddress:Port
TCP  192.168.48.142:80                   1        6        4      474      454
-> 10.1.99.99:80                       0        3        2      232      217
-> 10.1.99.100:80                      0        3        2      242      237

同一个Director 可负载多个集群

负载均衡的设计要点 :

1. 是否需要回话保持
2. 是否需要共享存储

共享存储 : DS(分布式存储)
数据同步 : rsync + inotify 实现数据同步

设计要点 :
1. RIP与DIP在同一IP网络, RIP的网关要指向DIP
2. 支持端口映射
lvs-dr :
为了提升网络的承载能力的设计方案

dr 模型中, 各主机上均需要配置VIP, 解决地址冲突的方式有三种 :

1. 在前端网卡做静态绑定;
2. 在各RS使用arptables;
3. 在个RS修改内核参数, 来限制arp响应和通告的级别;

限制响应级别 : arp_ignore

0 : 默认值, 表示可使用本地任意接口上配置的任意地址进行响应
1 : 仅在请求目标IP 配置在本地主机的接收到请求报文接口上时, 才给予响应;
限制通告级别 : apr_announce

原创文章,作者:M20-石俊,如若转载,请注明出处:http://www.178linux.com/55129

(0)
上一篇 2016-10-28 08:46
下一篇 2016-10-28 10:09

相关推荐

  • PHP高效率写法(详解原因)

    1.尽量静态化:    如果一个方法能被静态,那就声明它为静态的,速度可提高1/4,甚至我测试的时候,这个提高了近三倍。   当然了,这个测试方法需要在十万级以上次执行,效果才明显。   其实静态方法和非静态方法的效率主要区别在内存:静态方法在程序开始时生成内存,实例方法在程序运行中生成内存,所以静…

    Linux干货 2015-05-28
  • sed&awk

    Evernote Export 1、总结sed和awk的详细用法; awk Linux文本处理工具三剑客:grep、sed和awk。其中grep是一种文本过滤工具,sed是文本编辑器,而awk是一种报表生成器,就是对文件进行格式化处理的,这里的格式化不是文件系统的格式化,而是对文件内容进行各种“排版”,进而格式化显示。 在Linux之上我们使用的是GNU a…

    Linux干货 2017-01-05
  • 初学Linux之 vim 文本编辑器

    vim 的模式切换;命令模式相关操作,拓展命令模式的相关操作;可视化和多窗口;定制vim的工作特性;vim帮助

    2017-12-31
  • 马哥教育网络班22期+第7周课程练习

    1、创建一个10G分区,并格式为ext4文件系统;    (1) 要求其block大小为2048, 预留空间百分比为2, 卷标为MYDATA, 默认挂载属性包含acl;       [root@localhost ~]#…

    Linux干货 2016-10-09
  • python Django分页

    自定义html_helper.py  —>  Page_helper类 #coding:utf-8 from django.utils.safestring import mark_safe class Page_Helper(object):    …

    Linux干货 2016-08-22
  • 计算机基础知识

    命令总结 echo :回显 echo $PATH:显示命令定义的路径变量 Init 3,5:关闭和打开图形界面 chvt切换虚拟终端(此命令只能本机切换) startx从新打开图形界面 powerr off关机 hostname 显示当前主机名 lsb_release -a显示操作系统版本 lscpu显示cpu信息 cat查看 who am显示当前用户身份 …

    Linux干货 2016-07-26