1. TCP问题排查的底层逻辑
TCP协议作为互联网的基石，其问题排查需要从协议栈工作原理入手。理解TCP的状态机模型是分析问题的关键——从三次握手建立连接（SYN_SENT→SYN_RCVD→ESTABLISHED）到四次挥手释放连接（FIN_WAIT_1→FIN_WAIT_2→TIME_WAIT），每个状态转换都对应着特定的网络行为。
在实际环境中，我们常遇到的状态异常包括：
- 连接卡在SYN_SENT状态（对端无响应）
- 大量TIME_WAIT堆积（短连接频繁创建）
- CLOSE_WAIT状态滞留（应用未正确关闭连接）
经验提示：使用
ss -antp命令可以显示完整的TCP状态统计，比netstat性能更好，特别是在连接数超过1万时
2. 典型问题场景与诊断工具链
2.1 连接建立失败问题
当出现"Connection timeout"或"No route to host"错误时，需要分层排查：
- 物理层：
ethtool eth0检查网卡状态 - 网络层：
ping测试基础连通性 - 传输层：
telnet 目标IP 端口测试TCP可达性 - 应用层：
curl -v查看HTTP层交互细节
典型案例：某次线上服务调用超时，通过tcpdump抓包发现SYN包重传6次（默认值）后才放弃，通过调整/proc/sys/net/ipv4/tcp_syn_retries为3缩短故障感知时间。
2.2 传输性能问题诊断
当遇到传输速度慢、吞吐量下降时，需要关注以下指标：
- 带宽利用率：
iftop -nNP实时监控 - 重传率：
nstat -az | grep -i retrans - 缓冲区状态：
cat /proc/net/sockstat
工具组合示例：
bash复制# 实时监控TCP重传
watch -n 1 "nstat -az TcpRetransSegs"
# 跟踪特定连接的拥塞窗口
ss -it dst 10.0.0.1
3. 高级诊断技巧
3.1 内核参数调优分析
常见影响TCP性能的内核参数：
bash复制# 增大本地端口范围
echo "32768 60999" > /proc/sys/net/ipv4/ip_local_port_range
# 调整TIME_WAIT回收策略
echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse
# 修改FIN_WAIT2超时（默认60秒）
echo 30 > /proc/sys/net/ipv4/tcp_fin_timeout
关键提醒：修改前务必记录原始值，生产环境建议通过sysctl.conf持久化配置
3.2 全链路追踪方案
对于跨主机的复杂问题，需要建立端到端的分析视角：
- 客户端抓包：
tcpdump -i any -w client.pcap port 80 - 服务端抓包：
tcpdump -i eth0 -w server.pcap host 客户端IP - 中间链路检查：
mtr --report 目标IP分析路由跳数 - 使用Wireshark进行时序分析（TCP流图、IO图表）
4. 实战案例解析
4.1 服务端连接耗尽问题
现象：新连接间歇性失败，ss -s显示Total: 397 (kernel 0)
排查步骤：
- 确认最大文件描述符限制：
ulimit -n - 检查应用连接泄漏（对比ESTAB与进程fd数量）
- 分析连接来源：
ss -ntp | awk '{print $5}' | cut -d: -f1 | sort | uniq -c
最终定位到某客户端未正确关闭HTTP长连接，通过添加Keep-Alive超时解决：
nginx复制keepalive_timeout 60s;
keepalive_requests 100;
4.2 网络抖动导致RTO激增
某金融系统出现周期性延迟，通过以下手段定位：
- 记录TCP_INFO信息：
python复制import socket
s = socket.socket()
s.connect(('target',80))
print(s.getsockopt(socket.IPPROTO_TCP, socket.TCP_INFO))
- 绘制RTT变化曲线，发现与交换机STP收敛周期吻合
- 解决方案：调整生成树协议参数，启用PortFast特性
5. 深度排查工具箱
5.1 系统级观测工具
dstat -tcn --tcp：综合TCP指标监控tcpretrans：专用于重传分析bpftrace -e 'tracepoint:tcp:tcp_retransmit_skb'：内核级追踪
5.2 自定义指标采集
bash复制# 采集关键TCP指标
grep -H . /proc/sys/net/ipv4/tcp* /proc/net/netstat /proc/net/snmp
# 监控队列积压
watch -n 1 'cat /proc/net/sockstat | grep backlog'
5.3 性能基线对比
建立健康状态的TCP指标快照：
bash复制# 连接数基准
ss -s | grep -i total > baseline_conn.txt
# 内核参数归档
sysctl -a | grep tcp > baseline_sysctl.txt
在实际排查中我发现，结合应用日志（如Nginx的$upstream_response_time）和TCP层指标（如srtt）进行关联分析，往往能快速定位出是网络问题还是应用处理瓶颈。某次事故中，正是通过发现HTTP响应时间与TCP重传时间的强相关性，最终定位到机房之间的光纤衰减问题。