解决Redis 延迟故障

前一段时间redis客户端在使用php connect 连接redis 的经常报一个redis server went away 等信息。

首先想到的想到的是reids超时设置的问题,timeout、tcp-keepalive、以及php的default_socket_timeout时间

 127.0.0.1:6381> CONFIG GET *
  17) "timeout"
  18) "0"
  19) "tcp-keepalive"
  20) "0"

 vim  xxx/php_path/php.ini
 default_socket_timeout = 300

注意这个socket时间不能改成0 要是0的话你会悲剧的。

测试 不解决还是ent away

php改 pconnect不解决。好吧,这个诡异的问题已经越来越严重了。

 # vmstat  1 3
 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
  r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
  0  0      0 6022256 383340 10371320    0    0     0    25    0    0  0  0 100  0  0
  0  0      0 6022380 383340 10371368    0    0     0   116 6401 3463  0  0 100  0  0
  0  0      0 6022380 383340 10371368    0    0     0    16 5880 3022  0  0 100  0  0

 # iostat -x -k 1                    
 Linux 2.6.18-308.el5 (yq-bbsrqueue1)    12/24/2015

 avg-cpu:  %user   %nice %system %iowait  %steal   %idle
            0.07    0.00    0.05    0.00    0.00   99.87

 Device:         rrqm/s   wrqm/s   r/s   w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
 cciss/c0d0        0.00     2.52  0.00  0.51     0.20    12.12    48.39     0.00    0.47   0.25   0.01
 cciss/c0d0p1      0.00     2.52  0.00  0.51     0.20    12.12    48.39     0.00    0.47   0.25   0.01
 cciss/c0d1        0.00    91.90  0.00  3.32     0.44   380.88   229.15     0.03    9.40   0.19   0.06
 cciss/c0d1p1      0.00    91.90  0.00  3.32     0.44   380.88   229.15     0.03    9.40   0.19   0.06

好吧检查网络
没问题…

哪还有什么能造成延迟呢?
AOF 和硬盘I/O操作延迟、数据过期造成的延迟、redis看门狗的延迟

从iostat上来看aof基本不会造成这方面的延迟可以排除掉

key过期:
好吧我们看看文档

  Latency generated by expires
 Redis evict expired keys in two ways:
 One lazy way expires a key when it is requested by a command, but it is found to be already expired.
 One active way expires a few keys every 100 milliseconds.

就是说有两种方式:
lazy 在key被请求的时候才检查是否过期
active 每0.1秒进行一次过期检查
好吧问问拍黄片的哥哥是否有大面积过期的key。咨询木有。

那找找看门狗吧

 127.0.0.1:6381> config get watchdog
 (empty list or set)

木有….

难道就真的没有办法了嘛
(当时没有抓包)苦恼的只能看配置 看日志找问题了

那就在重新浏览配置吧

能出问题的配置项只有:
timeout
tcp-keepalive
tcp-backlog
maxclients

查看一下当前的连接数 :

 # redis-stat host 10.xx.xxx.xxx port 6381                        
 ------- data ------ --------------------- load -------------------- - child -
 keys       mem      clients blocked requests            connections          
 4325509    2.00G    25      0       526898898 (+526898898) 100841471   
 4325510    2.00G    14      0       526899989 (+1091)   100841670   
 4325511    2.00G    20      0       526901583 (+1594)   100841933   
 4325509    2.00G    16      0       526903336 (+1753)   100842128   
 4325511    2.00G    9       0       526904748 (+1412)   100842328

出问题的timeout tcp-keepalive 。
哪还有什么地址配置的呢?
sysctl
那查看一下 tcp方面的配置 主要是时间和队列长度的
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 150
net.ipv4.tcp_max_tw_buckets = 20000

那只能改一下这俩个试试了

测试解决

最后改成
net.ipv4.tcp_fin_timeout = 60
最后这个问题应该是应用层和内核层 连接时间不匹配导致的。
内核层超时断开了,应用层以为还能用,请求就过不去,只能再重新走一遍,就会间接性延迟。

可惜当时没有抓包。

http://www.redis.io/topics/latency
官方文档

原创文章,作者:可乐,如若转载,请注明出处:http://www.178linux.com/10503

(0)
可乐可乐
上一篇 2016-02-14
下一篇 2016-02-14

相关推荐

  • 马哥教育网络班21期+第9周课程练习

    1、写一个脚本,判断当前系统上所有用户的shell是否为可登陆shell(即用户的shell不是/sbin/nologin);分别这两类用户的个数;通过字符串比较来实现; #!/bin/bash while read line; do     if [[ $line&n…

    Linux干货 2016-09-01
  • lvs基础知识

    简介  Cluster是什么?    Cluster其实就是组织多个主机构建高实现性能、高可靠、多并发、大容量的同一功能的系统。  常见的集群类型:   (1) Load Balancing: 负载均衡集群   (2) High Avaiability: 高可用集群   (3) …

    Linux干货 2015-06-23
  • 【招聘需求】高级运维工程师/上海虹口区/待遇20k左右

    上海虹口区/待遇20k左右 有意向者发简历至@管家邮箱 邮件名是:[求职]Net-姓名-花名-工作年限 岗位职责:1、降低技术壁垒,建设运维工具、运维平台,实现运维自动化,包括 运维自动化、配置管理中心等。2、具备前瞻性,带领运维技术团队完成业务支撑,负责定位、分析、跟踪和相协调处理重大事故,使之对业务影响降至最低。3、技术支持、培训、知识库建设。4、运维接…

    Linux干货 2015-03-12
  • 马哥教育网络班22期+第八周课程练习

    1、请描述网桥、集线器、二层交换机、三层交换机、路由器的功能、使用场景与区别。    网桥:工作在OSI模型的数据链路层,将两个局域网连起来,根据MAC地址来转发帧,可以看作是一个“低层的路由器”(路由器工作在OSI模型的网络层,根据网络地址如IP地址进行转发)。它可以有效地联接两个LAN,使本地通信限制在本网段内,并…

    Linux干货 2016-11-17
  • bind简单配置之子域、主从、视图

    [bind简单配置之子域、主从、视图] 标签:bind简单配置、子域、主从、视图 [逻辑拓扑结构图] ns.mylinux.com主机上面有两种网卡用来模拟两个不通的网段。 [子域配置]         域名内部还可以继续划分子域,进行分片管理。下面是正向子域授权的配置: &nb…

    Linux干货 2015-10-22
  • 马哥教育网络班21期-第六周课程练习

    第六周作业 请详细总结vim编辑器的使用并完成以下练习题 1、复制/etc/rc.d/rc.sysinit文件至/tmp目录,将/tmp/rc.sysinit文件中的以至少一个空白字符开头的行的行首加#; [root@qq tmp]# cp /etc/rc.d/rc.sysinit /tmp [root@qq&nbsp…

    Linux干货 2016-08-02

评论列表(1条)

  • stanley
    stanley 2016-02-14 10:22

    宝贵的排查思路,文章如果精心打造可以推公众号了~