LVS详解及基于LVS实现web服务器负载均衡

前言

LVS(Linux Virtual Server)Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。通过LVS提供的负载均衡技术和Linux操作系统可实现一个高性能、高可用的服务器群集,从而以低成本实现最优的服务性能。

集群基础

集群简介

集群(Cluster)是一组相互独立的、通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用时,集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。集群系统的主要优点:高可扩展性、高可用性、高性能、高性价比。

集群类型

LB:Load Balancing 高可拓展,伸缩集群

HA:High Availability 高可用集群

HP:High Performance 高性能集群

集群方案

LB:

    硬件级:F5 BIG-IP、Citrix Netscaler、 A10 A10、Array、Redware

    软件级:lvs (传输层)、haproxy, nginx (应用层)

HA:

    heartbeat 、corosync + pacemaker、 cman + rgmanager、cman + pacemaker、keepalived

HP:

    hadoop

LVS详解

LVS组成

ipvsadm:用于管理集群服务的命令行工具,工作于Linux系统中的用户空间。

ipvs:为lvs提供服务的内核模块,工作于内核空间 

LVS术语

VIP:Director用来向外部提供服务的IP地址,也就是DNS通过域名解析到的IP

RIP:集群节点(后台真正提供服务的服务器)所使用的IP地址

DIP:Director用来和RIP进行交互的IP地址

CIP:客户端使用的IP或公网IP

RS:集群节点服务器Real server

LVS类型

LVS-NAT:Network Address Translation 网络地址转换

LVS-DR:Direct Routing 直连路由

LVS-TUN:Tunneling 隧道

LVS各类型特性

NAT类型的特性:

①RS应用使用私有地址,RS的网关必须指向DIP

②请求和响应都要经过Director,高负载场景中,Director易成为性能瓶颈

③支持端口映射

④RS可以使用任意OS

DR类型的特性:

①保证前端路由将目标地址为VIP的报文统统发往Directory,而不能是RS

解决方案:

(1) 静态地址绑定:在前端路由器上操作

前提:必须要有路由操作权限

(2) aprtables

(3) 修改RS上内核参数,将RS上的VIP配置在lo接口的别名上,并限制其不能响应对VIP地址解析请求

②RS可以使用私有地址,但也可以使用公网地址,此时可通过互联网通过RIP对其直接访问

③RS跟Directory必须在同一物理网络中

④请求报文经由Director,但响应报文必须不能经过Director

⑤不支持端口映射

⑥RS可以是大多数常见的OS

⑦RS的网关绝不允许指向DIP

TUN类型的特性:

①RIP、VIP、DIP全部是公网地址

②RS的网关不会也不可能指向DIP

③请求报文经由Director,但响应报文必须不能经过Director

④不支持端口映射

⑤RS的OS必须支持隧道功能

LVS调度算法

静态方法:仅根据调度算法本身进行调度   

rr: round robin,轮流,轮询,轮叫
wrr: weighted round robin, 加权轮询
sh:source hashing,session绑定
dh: destination hashing, 目标地址hash

动态方法:根据算法及各RS当前的负载状况进行调度

lc: least connection,最少连接
wlc: weighted lc,加权最少连接
sed: shortest expection delay,最少期望延迟
nq: never queue,永不排队
lblc: Locality-Based Least Connection,基于局部性的最少连接
lblcr:Replicated lblc,基于局部性的带复制功能的最少连接

LVS配置(ipvsadm)

命令格式

ipvsadm -A|E -t|u|f service-address [-s scheduler]
              [-p [timeout]] [-M netmask]
      ipvsadm -D -t|u|f service-address
      ipvsadm -C
      ipvsadm -R
      ipvsadm -S [-n]
      ipvsadm -a|e -t|u|f service-address -r server-address
              [-g|i|m] [-w weight] [-x upper] [-y lower]
      ipvsadm -d -t|u|f service-address -r server-address
      ipvsadm -L|l [options]
      ipvsadm -Z [-t|u|f service-address]
      ipvsadm --set tcp tcpfin udp
      ipvsadm --start-daemon state [--mcast-interface interface]
              [--syncid syncid]
      ipvsadm --stop-daemon state
      ipvsadm -h

命令详解

定义集群服务:
-A 添加一个集群服务
-D 删除一个集群服务 
-E 修改一个集群服务
-t VIP:端口 定义集群服务的类型为TCP的某个端口
-u VIP:端口 定义集群服务的类型为UDP的某个端口
-f 防火墙标记 定义集群服务的类型为防火墙标记
-s 调度算法 指定集群服务的调度算法 
定义集群节点:
-a 添加一个节点到集群服务
-d 从集群服务中删除一个节点
-e 修改集群服务器中的节点
-r 节点IP:端口  定义节点的IP及类型
-m 定义为NAT模型
-g 定义为DR模型
-i 定义为TUN模型
-w 权重 定义服务器的权重
查看已经定义的集群服务及RS:
ipvsadm -L -n
    -c: 查看各连接
    --stats: 统计数据
    --rate: 速率
    --exact: 精确值
从集群服务中删除RS:
ipvsadm -d -t|u|f service-address -r server-address
删除集群服务:
ipvsadm -D -t|u|f service-address
清空所有的集群服务:
ipvsadm -C 
保存集群服务定义:
ipvsadm -S > /path/to/some_rule_file
ipvsadm-save > /path/to/some_rule_file
让规则文件中的规则生效:
ipvsadm -R < /path/from/some_rule_file
ipvsadm-restore < /path/from/some_rule_file

LVS-NAT模型

LVS-NAT.jpg

配置过程

#以下实验都是临时性配置,若要永久生效,请自行配置
Real Server 1
#ifconfig eth0 172.16.10.100/16 up
#route add default gw 172.16.10.12
Real Server 2
#ifconfig eth0 172.16.10.212/16 up
#route add default gw 172.16.10.12
Director Server
#ifconfig eth0 192.168.1.10/24 up
#ifconfig eth1 172.16.10.12/16 up
#yum -y install ipvsadm 
#echo 1 > /proc/sys/net/ipv4/ip_forward
#ipvsadm -A -t 192.168.1.10:80 -s rr
#ipvsadm -a -t 192.168.1.10:80 -r 172.16.10.100 -m 
#ipvsadm -a -t 192.168.1.10:80 -r 172.16.10.212 -m

LVS-DR模型

上面说了NAT模型的实现方式,但NAT模型有个缺陷,因为进出的每个数据包都要经过Director Server,当集群系统负载过大的时候Director Server将会成为整个集群系统的瓶颈,而DR模型就避免了这样的情况发生,DR模型在只有请求的时候才会经过Director Server, 回应的数据包由Real Server 直接响应用户不需要经过Director Server。

LVS-DR.jpg

配置过程

内核参数:
arp_ignore: 定义接收到ARP请求时的响应级别
0:只要本地配置的有相应地址,就给予响应
1:仅在请求的目标地址配置请求到达的接口上的时候,才给予响应
arp_announce:定义将自己地址向外通告时的通告级别
0:将本地任何接口上的任何地址向外通告
1:试图仅向目标网络通告与其网络匹配的地址
2:仅向与本地接口上地址匹配的网络进行通告
Real Server 1
#ifconfig eth0 172.16.10.100/16 up
#echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
#echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
#echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
#echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
#ifconfig lo:0 192.168.1.10 netmask 255.255.255.255 broadcast 192.168.1.10 up
#route add -host 192.168.1.10 dev lo:0
Real Server 2
#ifconfig eth0 172.16.10.212/16 up
#echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
#echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
#echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
#echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
#ifconfig lo:0 192.168.1.10 netmask 255.255.255.255 broadcast 192.168.1.10 up
#route add -host 192.168.1.10 dev lo:0
Director Server
#ifconfig eth0 172.16.10.12/16 up
#ifconfig eth0:0 192.168.1.10 netmask 255.255.255.255 broadcast 192.168.1.10 up
#echo 1 > /proc/sys/net/ipv4/ip_forward
#route add -host 192.168.1.10 dev eth0:0
#yum install ipvsadm -y
#ipvsadm -A -t 192.168.1.10:80 -s rr
#ipvsadm -a -t 192.168.1.10:80 -r 172.16.10.100 -g 
#ipvsadm -a -t 192.168.1.10:80 -r 172.16.10.212 -g

基于LVS实现web服务器负载均衡

实验拓扑

基于LVS实现web负载均衡.jpg

环境介绍

系统环境:CentOS6.6

Director Server:192.168.1.10(VIP) 172.16.10.12(DIP) 

Real Server 1:192.168.1.10(VIP) 172.16.10.100(RIP )

Real Server 2:192.168.1.10(VIP) 172.16.10.212(RIP ) 

PHP服务器:172.16.10.110 

NFS服务器:172.16.10.110

数据库服务器:172.16.10.211

要求:web服务器上部署discuz,基于LVS实现负载均衡

NFS服务器配置

创建共享目录,并设置权限

1.jpg

编辑配置文件,设置共享目录及客户端

[root@scholar ~]# vim /etc/exports 

/web/discuz     172.16.10.100(rw,sync) 172.16.10.212(rw,sync)

站点文件准备

[root@scholar ~]# unzip Discuz_7.2_FULL_SC_GBK.zip
[root@scholar ~]# chmod -R 777 upload 
[root@scholar ~]# mv upload/* /web/discuz/
[root@scholar ~]# chown -R apache.apache /web/discuz

启动服务,设置开机自启

2.jpg

数据库服务器配置

3.jpg

RS1和RS2配置

配置VIP

4.jpg

配置虚拟主机

[root@RS1 ~]# vim /etc/httpd24/extra/httpd-vhosts.conf 

<VirtualHost *:80>
    DocumentRoot "/web/discuz"
    ProxyRequests Off
    ProxyPassMatch ^/(.*\.php)$ fcgi://172.16.10.110:9000/web/discuz/$1
</VirtualHost>

挂载共享目录

5.jpg

#可设置开机自动挂载
[root@scholar ~]# vim /etc/fstab 
 
172.16.10.110:/web/discuz  /web/discuz             nfs     defaults,_netdev 0 0

检查语法,启动服务

6.jpg

Director Server配置

配置VIP

7.jpg

定义集群

8.jpg

安装测试及访问测试

9.jpg

10.jpg

11.jpg

12.png

安装完成,我们来发一个帖子测试一下

13.jpg

过一会儿,刷新一下页面

14.jpg

此过程中是否实现了负载均衡,我们在Director Server上查看一下是哪台服务器响应的请求就知道了

15.jpg

由此可见,基于LVS实现web服务器的负载均衡功能已完成

The end

OK,基于LVS的负载均衡就说到这里了,负载均衡集群的配置还是比较简单的,几条命令就搞定了,不要因为简单看一眼就略过,只有理解原理结合实践才能真正掌握知识,配置过程中遇到问题可留言呦。以上仅为个人学习整理,如有错漏,大神勿喷~~~

原创文章,作者:书生,如若转载,请注明出处:http://www.178linux.com/4855

(0)
上一篇 2015-06-01 19:14
下一篇 2015-06-01 19:17

相关推荐

  • yum前端软件包管理器

    yum是什么     Yum (Yellow dog Updater, Modified) 由Duke University团队,修改Yellow Dog Linux的Yellow Dog Updater开发而成,是一个基于 RPM 包管理的字符前端软件包管理器。能够从指定的服务器自动下载…

    Linux干货 2015-05-13
  • linux查找命令locate、find

    本次博主来介绍下超实用的查找命令,没有查不到,只有做不到。 直接上干货:查找命令:locate和find,常用find,我们重点介绍find locate 通过查询系统上预建的文件索引数据库全盘查找所需文件,locate是透过update程序将硬盘中的所有档案和目录资料先建立一个索引数据库,在执行loacte时直接找该索引,查询速度会较快,索引的构建是在系统…

    2017-08-12
  • 正则

    Edit 正则 概述: 正则表达式,Regular Expression,缩写regex、regexp、RE 正则表达式是文本处理极为重要的技术,用它可以对字符串按照某种规则进行检索、替换 1970年,Unix之父ken Thompson将正则表达式引入到Unix中文本编辑器ed和grep命令中,由此正则表达式普及开来 1980年后,perl语言对Henry…

    Linux干货 2017-11-06
  • 马哥教育网络班21期+第四周课程练习

    1、复制/etc/skel目录为/home/tuser1,要求/home/tuser1及其内部文件的属组和其它用户均没有任何访问权限; [root@localhost /]# cp -r /etc/skel /home/tuser1 [root@localhost /]# chmod&nb…

    Linux干货 2016-07-22
  • 网络基础

    计算机网络     计算机网络,是指将地理位置不同的具有独立功能的多台计算机及其外部设备,通过通信线路连接起来,在网络操作系统,网络管理软件及网络通信协议的管理和协调下,实现资源共享和信息传递的计算机系统。 1、网络通信设备     网络通信设备种类繁多,且日新月异,网络通信设备通常由网络线缆、网卡、集线器、中继器、网桥、交换机、路由器等组成。 网桥(Bri…

    Linux干货 2016-12-16
  • Linux 第二天: (07月22日) Linux入门

    Linux 第二天: (07月22日) Linux入门       root管理员帐户,超级用户,除非必要,不要用root登录 /dev/console 物理终端/dev/tty 虚拟终端, CentOS 6默认6个虚拟终端/dev/pts 模拟终端tty 查看当前终端设备     GUI 图形用户界面 GN…

    Linux干货 2016-08-08

评论列表(5条)

  • stanley
    stanley 2015-06-01 19:17

    精彩的博客无需解释

  • […] 转载自:http://www.178linux.com/archives/4855 […]

  • jy00278439
    jy00278439 2015-06-03 17:50

    请问你用的是什么拓扑图软件?

    • stanley
      stanley 2015-06-03 21:27

      @jy00278439应该是visio

    • 书生
      书生 2015-06-20 12:31

      @jy00278439不好意思 评论提示邮件都去垃圾箱了 没及时看到 画图软件是一款在线编辑器Cacoo