写这篇文章的起因,是我上周帮一个朋友排查线上接口偶发超时的问题。业务方反馈说服务响应不稳定,有时几十毫秒,有时十几秒。我先是看了监控,CPU、内存都正常,数据库也没有慢查询,最后用 ss -ant 一看连接状态,发现大量连接堆积在 CLOSE_WAIT,那一刻我就意识到,问题多半是出在 TCP 连接的异常断开和回收上。修好之后我就在想,很多做后端开发的同事,平时 CURD 写得多,"三次握手、四次挥手"能脱口而出,但真当线上出问题,面对一堆连接状态和抓包数据时,却不知道从哪下手。这篇文章我想把这些年对 TCP 内核协议栈的理解、线上排障的经验,以及并发服务器从零到一的实战过程,Systematic 地掰开揉碎讲清楚。不仅是应付面试,更重要的是帮你建立起一套自己的网络问题排查方法论。
1. 三次握手,不只是 SYN、SYN-ACK、ACK 三个包
1.1 为什么一定要三次,两次不行吗
先问一个问题:建立一个 TCP 连接,客户端和服务端各自需要确认什么?
答案是:双方都要确认"自己能发数据,对方也能收数据",以及"对方能发数据,自己也能收数据"。
从数学组合上来说,如果不考虑历史重复报文导致的混乱,理论上"两次握手"其实可以保证双方收发能力正常。但 TCP 运行在不可靠的 IP 网络之上,会存在延迟到达的旧报文。假设客户端发出一个 SYN 请求建立连接,由于网络拥塞,这个 SYN 堵在中间,客户端超时重传了一个新的 SYN,并且成功建立了连接,传完数据后关闭。这时候,那个被堵在路上的旧 SYN 才慢悠悠地到达服务端。服务端无法分辨这个 SYN 是不是过期的,如果采用两次握手,服务端直接分配资源并进入 ESTABLISHED 状态,那么这条幽灵连接就会白白占用服务端的资源,直到超时。
三次握手的核心价值就在这里——通过第三次握手,让服务端确认"客户端收到了我的 SYN-ACK"。如果服务端收到的是旧 SYN,它回复 SYN-ACK 后,客户端一看序号对不上,不会回应 ACK,服务端就知道这是个历史连接,直接丢弃,不分配资源。
这也是为什么 SYN_RCVD 状态的连接有超时机制(Linux 默认 63 秒),就是为了防这种半开连接长期占用资源。
1.2 第二次握手丢失,会发生什么
握手过程中任何一次丢包,都会触发超时重传机制。最典型的面试场景是:客户端发出 SYN,服务端收到后回复 SYN-ACK,但这个 SYN-ACK 在网络中丢失了。
此时服务端处于 SYN_RCVD 状态,客户端处于 SYN_SENT 状态。客户端在 1 秒后(初始 RTO 通常为 1 秒)没有收到 SYN-ACK,会触发超时重传 SYN,重传次数由 net.ipv4.tcp_syn_retries 控制,默认 6 次。服务端则会不断重传 SYN-ACK,次数由 net.ipv4.tcp_synack_retries 控制,默认 5 次。
我在实际抓包中见过非常典型的现象:客户端重传 SYN,服务端重传 SYN-ACK,双方各自按自己的步调重传,直到其中一方放弃。这种情况通常出现在中间网络设备丢包或服务端 accept 队列已满导致内核丢弃 SYN-ACK。
所以排查握手问题,不能只看客户端,还要确认服务端是否真的回复了 SYN-ACK。用 tcpdump 在服务端抓包是最直接的验证手段。
1.3 握手序列号与 ISN:看似随机,实则精心设计
每次连接建立时,双方都会初始化一个 32 位的序列号(ISN,Initial Sequence Number)。旧版 Linux 的 ISN 生成算法很粗糙,直接用时间戳相关函数,容易被预测,带来伪造 RST 的风险。现在的内核通过加密哈希函数生成 ISN,基本不可预测。
序列号的初始值是随机数,但序列号的递增是有规律的:每发送一个字节,序列号加 1;SYN 和 FIN 标志位本身也会消耗一个序列号。所以三次握手里,服务端的 SYN-ACK 里 ack 等于客户端的 seq + 1,这是很多人背过的规则,但很少人去想"为什么 SYN 占一个序号"——正是为了让 ACK 语义保持统一:ACK 号表示"我期望收到对方的下一个字节序号"。
1.4 用 tcpdump 和 Wireshark 验证一次完整握手
理论讲得再多,不如自己抓一次包。我强烈建议你亲手操作一遍:
bash复制# 终端 A:抓取本机访问百度时的 TCP 握手包
sudo tcpdump -i eth0 -nn 'tcp port 80 and host 220.181.38.148' -S -w handshake.pcap
# 终端 B:发起 HTTP 请求
curl -I http://220.181.38.148
用 Wireshark 打开 handshake.pcap,过滤 tcp.flags.syn == 1,你会看到:
- 第 1 帧:客户端 → 服务端,SYN,
seq=0(相对序列号显示) - 第 2 帧:服务端 → 客户端,SYN-ACK,
seq=0, ack=1 - 第 3 帧:客户端 → 服务端,ACK,
seq=1, ack=1
注意 Wireshark 默认显示相对序列号,即从 0 开始计数。在实战排障中,我更习惯在 tcpdump 抓包时加 -S 参数显示绝对序列号,因为这样可以核对 ISN 是否落在预期范围,也能排除掉一些 NAT 设备对序列号做手脚的情况。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 四次挥手与 TIME_WAIT:线上故障的高发区
2.1 挥手流程的完整状态机推演
断开一个 TCP 连接需要四次交互,大多数人都能背出 FIN、ACK、FIN、ACK 的顺序,但实际状态迁移才是排障的关键。
以客户端主动关闭为例:
- 客户端调用
close(),发送 FIN,进入FIN_WAIT_1 - 服务端收到 FIN,回复 ACK,进入
CLOSE_WAIT - 客户端收到 ACK,进入
FIN_WAIT_2 - 服务端处理完数据,调用
close(),发送 FIN,进入LAST_ACK - 客户端收到 FIN,回复 ACK,进入
TIME_WAIT,等待 2MSL 后关闭 - 服务端收到最后的 ACK,进入
CLOSED
你发现没有,连接断开不是对称的。主动关闭方必须承担"最后一个 ACK 可能丢失"的风险,所以它要进入 TIME_WAIT,等 2 倍的 MSL(Maximum Segment Lifetime,报文最大生存时间),确保旧连接上的重复报文在网络中彻底消失,也确保被动关闭方能收到重传的 FIN。
2.2 TIME_WAIT 与 CLOSE_WAIT 的正确理解
很多人一看到服务器上 TIME_WAIT 很多,就紧张。其实 TIME_WAIT 多是主动关闭方的正常现象,高并发的短连接服务(比如典型的关系型数据库连接池、HTTP 代理)必然会产生大量 TIME_WAIT。
真正需要警惕的是 CLOSE_WAIT 堆积。CLOSE_WAIT 表示被动关闭方收到了对方的 FIN,回复了 ACK,但自己的业务代码还没有调用 close() 关闭 socket。换言之,连接被对方断开了,但你的程序不知道(或者没处理)。
我那个朋友的线上问题,就是某个线程池里的连接被数据库主动断开,但 DAO 层没有及时捕获连接失效异常并清理 socket,导致大量连接卡在 CLOSE_WAIT,fd 泄漏,最终把进程的可用文件描述符耗尽,新连接根本无法建立。
排查 CLOSE_WAIT 堆积,工具链很简单:
bash复制# 查看当前所有 CLOSE_WAIT 连接
ss -ant | awk '$1 == "CLOSE-WAIT" {print $4}' |
