先讲个不算冷的知识点:生产环境里Redis请求超时,真正被定位到“Redis自身性能问题”的,其实不到一半。我见过太多团队把timeout参数从3秒调到5秒、再调到10秒,最后发现是网络链路在中间某个节点悄悄丢包的案例。
丢包这事的迷惑性在于,它不会让服务完全不可用,而是让你在最想骂人的时候来一下——偶尔一次GET卡了2秒,下一分钟又秒回,日志里报一句Read timed out,等你连上去看的时候Redis一切正常,CPU、内存、慢查询全都没问题。于是问题就被归咎于“Redis不稳定”,甚至被甩锅给“业务高峰期抖动”。
今天这篇就专门讲怎么把“疑似Redis超时”一步步拆解到“确实是网络丢包”,以及确认之后应该怎么处理。整个排查思路不只适用于Redis,对MySQL、MQ、任何走TCP协议的服务都通用。你只要把本文的方法吃透,下次再遇到“偶发超时”就能少走一大半弯路。
1. 超时现象分类与初步定位思路
1.1 三种超时类型的区分
Redis请求超时不是一个模糊的“卡了”,在客户端日志里它其实分得很清楚,只是很多人没细看。
- 连接超时(Connection timeout):客户端根本没能和Redis建立TCP连接,通常表现为
connect timed out。这类问题往往指向网络不可达、防火墙拦截、连接数耗尽或Redis本身accept队列满。 - 读取超时(Read timeout):连接建立成功,请求也发出去了,但在规定时间内没等来响应。HTTP里有
Read timed out,Jedis里对应JedisConnectionException: Unexpected end of stream或socket read timeout。这是网络丢包判断的重灾区。 - 写入超时(Write timeout):客户端向Redis发送命令时阻塞,通常是发送缓冲区满或对端接收能力下降。MySQL、Kafka等也常见这种,Redis下相对少一些,但一旦出现,基本就是大问题。
从运维和开发角度看,读取超时最值得警惕。因为连接能建立,说明网络“大体通”,但响应迟迟不来,说明数据包在链路某个环节丢了或被延迟处理了。很多人在第一步就没分清类型,直接把timeout调大,问题只会被掩盖,不会消失。
1.2 先别急着上工具,做三个快速判断
接到超时告警,我的习惯是先花三分钟回答三个问题,这三个答案决定后续排查方向。
第一,超时是普遍性的还是偶发性的?所有实例都超时,还是只有某一台业务服务器连某个Redis节点超时?前者大概率是Redis节点或网络骨干出问题,后者大概率是单台机器网卡、路由或连接池问题。
第二,超时集中在什么时间点?如果总是出现在业务高峰、定时任务执行时段、大key删除之后,那怀疑点完全不同。高峰期的超时往往伴随带宽打满或CPU冲击。
第三,Redis自身指标正不正常?在Redis上执行INFO,重点看connected_clients、instantaneous_ops_per_sec、used_memory、rejected_connections这几个值。如果客户端都连不上Redis,但它自身指标一切正常,那问题就基本锁定在网络链路上。
注意:执行
INFO本身也可能卡住。如果连INFO都无响应,说明问题已经很严重了,这时优先检查物理链路和交换机端口,而不是在Redis层面找原因。
1.3 日志时间戳里的门道
排查超时,日志时间戳一定要精确到毫秒级。很多业务系统默认时间戳只到秒,在偶发超时场景下,秒级精度根本看不出问题——同一个秒内请求可能成功了999次,失败了1次,你要能区分出失败请求和成功请求在时间上的差异。
我在实际项目中会做这样一个预处理:把客户端报超时的时间和Redis服务端的INFO里的uptime_in_seconds对齐,然后查看该时间点Redis有没有慢查询、有没有RDB持久化导致的分叉、有没有evicted_keys暴涨。这一步能快速过滤掉Redis服务端自身导致的超时。
如果Redis侧干净,客户端侧也排除了应用线程池阻塞,下一步就该系统性检查网络链路了。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 网络链路诊断:从ping到tcpdump的完整工具链
2.1 ping并不是简单地“能通就行”
很多人用ping检查网络,看到能通就走了。但在排查丢包场景下,ping的输出信息量很大,不能只看通不通。
bash复制ping -i 0.2 -c 1000 10.0.0.10
-i 0.2表示每0.2秒发一个包,-c 1000表示发包1000个,这样能在合理时间内测出丢包率。不加参数的直接ping默认每秒一个包,测200秒才200个包,对偶发丢包几乎没什么参考价值。
重点看三列数据:
loss百分比:如果连续1000个包中出现哪怕1%的丢包,对Redis这种低延迟要求的服务来说都可能是致命的。time的波动幅度:time=0.3ms和time=50ms混在一起,即使没有丢包,也说明链路存在拥塞或队列延迟。min/avg/max三个值之间的差距:max和avg之间差几十倍,说明链路上有突发拥塞点。
不过有个坑必须提醒:ping响应是ICM
