平时接到性能排查的工单,十有八九都绕不开网络IO。有人说是应用慢,有人说是数据库慢,抓了半天包最后发现连接都没建起来。这些事做多了以后,我养成了一个习惯:不管报什么问题,只要涉及网络,先把链路从下往上拆开,TCP层看连接和传输,HTTP层看协议和应用,一层一层过滤,大部分问题都能快速定位到根因。
这篇文章就当是我这些年排查网络问题的一次沉淀,从TCP到HTTP把性能优化的手段串起来讲一遍。内容会覆盖连接怎么复用、内核参数怎么调、HTTP/1.1和HTTP/2到底差在哪、连接池和压缩缓存这些细节怎么配,最后再用一个压测从220ms降到63ms的实操案例收尾。适合后端开发、运维、SRE,以及所有被线上接口性能问题折磨过的同学参考。
1. 优化前先梳理网络链路,别急着调参
很多同学一听到“网络性能优化”,第一反应就是上网找“内核优化一键脚本”,或者去调tomcat的maxThreads。但我要泼一盆冷水:没搞清楚瓶颈在哪之前,盲目调参往往比不调更糟糕。我见过有人把net.core.rmem_max调成16MB,结果是内存占用暴涨、GC频繁,吞吐反而掉了。所以优化的第一步,永远是先看清链路,再动手。
1.1 一次请求从发起到返回,到底经过哪些关卡
想象一个最简单的场景:移动端App请求一个HTTPS接口。请求从手指点下屏幕到页面显示,中间至少经过这些环节:
- DNS解析:把域名换成IP。这一步看似无关紧要,但如果DNS配置了递归查询,或者走的公共DNS有缓存策略差异,延迟可能从几毫秒到几百毫秒不等。
- TCP三次握手:SYN、SYN-ACK、ACK,至少一个RTT(Round-Trip Time,往返时间)。
- TLS握手:如果是HTTPS,还有TLS握手。TLS 1.2需要2个RTT,TLS 1.3优化到1个RTT,配合会话恢复可以做到0-RTT。
- HTTP请求发送:应用进程把数据包从用户态拷贝到内核态,经TCP协议栈分包,再交给网卡驱动发出。
- 服务端处理:网卡收到数据、触发中断、数据进入socket接收队列,应用进程从队列里取出请求开始业务处理。
- 响应返回:同样走一遍TCP协议栈和网络链路,最后到客户端。
这里每一项单独看都不惊人,但叠加起来就很可观。一个跨地域的请求,假如RTT是40ms,光TCP+TLS握手就要花掉80-120ms,业务代码还一行没跑。这也是为什么网络IO优化的核心思路是“层层优化”——每层省一点点,叠加起来才能看到质变。
我在排查问题时经常发现一个现象:客户端说服务端慢,服务端却看到请求根本没到应用层,最后定位到是内核的accept队列溢出,连接直接在内核态被丢弃了。这就是没有梳理链路、只盯着应用层排查的典型教训。
1.2 先分清指标:你要优化的是延迟还是吞吐
网络IO优化有两个核心指标,很多人混为一谈,导致优化方向跑偏:
- 延迟(Latency):单次请求的快慢,直接影响用户体感。单位是毫秒,关注p50、p90、p99这些分位值。
- 吞吐(Throughput):单位时间能处理多少请求或传输多少数据。单位是QPS(每秒请求数)或带宽。
这两个指标经常互相制约。举个例子:一个接口单次响应50ms,但是为了压低延迟,我们选择不开启批量聚合,每条消息都立即发送;这时候延迟确实低,但网络报文变多,吞吐可能上不去。反过来,一个日志上报服务为了提升吞吐,把日志攒1秒再批量发送,单条日志的延迟就从毫秒级变成了秒级。
所以优化的第一件事,是问清楚业务要什么。查询接口、实时推送,优先压延迟;数据同步、日志上报、大文件传输,优先提吞吐。我接手的项目里,有人在日志上报通道上纠结单次请求延迟,这属于目标没想清楚,优化做得再多也白费。
理清这个之后,再进入具体的TCP层优化。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. TCP层优化:把连接管理和传输参数打扎实
TCP是网络传输的底座,HTTP是跑在TCP之上的应用协议。TCP层没打好底子,HTTP层再怎么优化都是空中楼阁。这一部分的优化,核心就三件事:连接怎么建、连接怎么管、数据怎么传。
2.1 三次握手的隐性成本与连接复用方案
TCP三次握手的成本,比很多人想象的高。一次握手至少一个RTT,同机房可能只要0.1ms,跨地域网络可能就要20-50ms。如果每次请求都新建连接,这笔开销会直接叠加在延迟上,谁都没办法靠业务代码抵消掉。
那么怎么省下这笔钱?三个方向:
第一是长连接复用。HTTP Keep-Alive和连接池(Connection Pool)都是干这个的。思路很简单:连接用完之后不关闭,留给下一个请求复用,这样后续请求就省掉了一次握手。我在压测里见过最夸张的情况:一个内部服务,TPS从2000提到8000,仅仅是因为客户端从“每次新建连接”改成了“连接池复用”。
第二是TCP Fast Open(TFO)。它在SYN报文里携带应用数据,让首个数据包跟握手一起发出去,省掉一次RTT。开启方式是sysctl -w net.ipv4.tcp_fastopen=3
