redis主从复制(4)— client buffer

1、 client buffer的设计

redis server以单进程的方式处理接收到的请求,而redis完成请求有些工作比较慢,比如网络IO和磁盘IO等比较慢的操作。redis为了提高处理客户端请求的响应时间,做了很多优化。比如网络io和磁盘io是异步完成、使用后台进程完成bgsave和bgrewriteaof工作,在server端为客户提供读buffer等等。

client buffer是在server端实现的一个读取缓冲区。redis server在接收到客户端的请求后,把影响结果写入到client buffer中,而不是直接发送给客户端。server把结果写入到client buffer中后,继续处理客户端的其他请求。这样异步处理方式使redis server不会因为网络原因阻塞其他请求的处理。之前的文章中replication buffer也是client buffer中的一种。

2、client buffer参数设置

redis client buffer的配置参数为”client-output-buffer-limit”,默认值为:

127.0.0.1:6379> CONFIG GET "*output*"
 
    1) "client-output-buffer-limit"
 
    2) "normal 0 0 0 slave 0 0 0 pubsub 0 0 0"

参数设置方法如下:

client-output-buffer-limit <class> <hard limit> <soft limit> <soft seconds>

具体参数含义如下:

class : 客户端种类,normal、slave、pubsub。

– mormal:普通的客户端

– slave: 从库的复制客户端

– pub/sub: 发布与订阅的客户端的

hard limit: 缓冲区大小的硬性限制。

soft limit: 缓冲去大小的软性限制。

soft seconds: 缓冲区大小达到了(超过)soft limit值的持续时间。

client-output-buffer-limit参数限制分配的缓冲区的大小,防止内存无节制的分配。参数的默认值都为0,意思是不做任何限制。

3、client buffer保护机制

redis server触发保护机制主要有两种情况:

1) client buffer的大小达到了soft limit并持续了soft seconds时间,将立即断开和客户端的连接。

2) client buffer的大小达到了hard limit,server也会立即断开和客户端的连接。

slave replication buffer这里不再讨论,而是讨论普通客户端的client buffer。

思考问题:是否要设置client-output-buffer-limit normal参数(默认参数不做任何限制),如何设置?

1)client-output-buffer-limit参数一定要设置,不能使用默认的参数,防患于未然。client buffer实际上是占用redis的数据内存空间(unlike replication buffers, memory allocation for client buffers is taken from Redis’ data memory space.)。redis的最大数据内存空间由maxmemory参数限定。当数据内存空间达到maxmemory参数限定值时,redis会开始evict数据,或者直接提示客户端OOM(out of memory)。

这种情况下主要发生在客户端执行大批量数据读取, 比如keys *、smembers、lrange、hgetall等操作。
如果单次查询的数据太多,导致redis的used memory增长一倍。

2)client-output-buffer-limit也不能设置太小,这个会导致客户端读取不到数据。

这篇文章包含了top redis headaches for devops – client buffers里面的一些内容,而不是简答的翻译。

转自:http://mdba.cn/?p=833

原创文章,作者:s19930811,如若转载,请注明出处:http://www.178linux.com/2486

(0)
s19930811s19930811
上一篇 2016-03-28 23:18
下一篇 2016-03-28 23:19

相关推荐

  • ftp的用户权限配置

    文件服务: 应用层:ftp; 内核级网络文件系统:nfs POSIX(可移植操作系统接口 Portable Operating System Interface of UNIX,缩写为 POSIX ) API(应用程序编程接口) 跨平台的网络文件系统:cifs (samba)   网络存储: NAS:NetworkAttached Stoage,文…

    Linux干货 2017-05-02
  • Bash Shell语法之三函数简介

     Bash Shell语法之三函数简介 一、什么是Bash函数 像其他编程语言一样,Shell 也支持函数。Shell函数必须先定义后使用。函数可以让我们将一个复杂功能划分成若干模块,让程序结构更加清晰,代码重复利用率更高。 二、Bash函数定义格式 [ function ] fun () {     &nb…

    Linux干货 2015-05-11
  • httpd服务之虚拟主机、访问控制、https配置详解

    前言 上文讲解了http协议及httpd的一些特性,是学习web服务需要掌握的一些基础知识,接下来让我们进一步了解httpd相关功能的配置,本文讲解的是虚拟主机,访问控制及https等功能的配置。 httpd之虚拟主机 虚拟主机共分为三种模式:基于IP、基于端口、基于主机名(FQDN) 实验环境介绍 开始之前,先介绍一下httpd在CentOS6.6版本及文…

    Linux干货 2015-04-14
  • 系统基础之权限管理作业题

    1.问题:  在/data/testdir里创建的新文件自动属于g1组,组g2的成员如: alice能对这些新文件有读写权限,组g3的成员如:tom只能对新文件有读权限,其它用户(不属于g1,g2,g3)不能访问这个文件夹。 [root@wen-7 testdir]# mkdir -p /data/…

    Linux干货 2016-08-04
  • 计算机的组成及其功能

    计算机由运算器,控制器、存储器及输入、输出装置五部分组成。 第一,运算器(Arithmetical and Logical Unit),也称作算术逻辑单元,主要是对数据进行各种运算。 第二,控制器(Control Unit)是计算机的控制中心,协调各计算机各部分按照预先的目标和步骤有序的工作。控制器从存储器中逐条取出指令,分析每条指令规定的操作和所需数据的存…

    Linux干货 2016-09-17
  • Linux基础知识——网络管理基础

    OSI七层模型与TCP/IP模型的区别 写一个脚本,使用ping命令探测172.168.250.1-172.168.250.254之间的所有主机的在线状态,在线的用绿色表示,不在线的使用红色表示 #!/bin/bash for ((IP=1;IP<=254;IP++))     do  &nb…

    Linux干货 2016-12-11