说个我最近面试实习生时经常问的问题:你写了好几年接口,知不知道服务端是怎么把网络里那一串 TCP 字节流变成一个 HTTP 请求对象的?大多数人能答到“框架帮我解析了”,但再往下问,TCP 和 HTTP 的消息边界、半包粘包、Content-Length 怎么用、状态机是什么,就开始含糊了。
这篇文章就是想把这条链路彻底讲透:从数据进网卡开始,到内核协议栈把它放进 socket 接收队列,再到应用层用状态机按字节解析出请求行、请求头、请求体,最后得到一个像 HttpRequest(method='POST', path='/api/login', headers={...}, body=b'...') 这样的结构化请求对象。我会顺手用 Python 从零写一个能跑的教学版解析器,让你对“解析”这件事有非常直观的体感。
适合谁看?后端开发、网关/代理开发、中间件维护者,还有那些被 400、502、超时问题折腾到失眠的人。不需要多深的网络背景,我会从 TCP 和 HTTP 的基础讲起,但也不会啰嗦到让你想关页面。核心就一句话:请求不是“读完的”,是“解析出来的”。
1. 先理清一条请求从进入到被识别的完整链路
1.1 从网卡到应用层,一个字节的旅程
一个 HTTP 请求真正进入你的服务端代码,要经历的路程远超想象。首先,数据以电信号或光信号到达网卡,网卡通过 DMA 把数据写到内核分配的内存缓冲区,然后网卡驱动触发中断,内核协议栈开始处理。这里有校验和检查、TCP 序列号排序、去重、重传处理等一系列工作,最后数据被放到对应 socket 的接收队列里。
这里面有一个非常重要的前置:TCP 三次握手发生在数据传输之前。客户端发 SYN,服务端回 SYN+ACK,客户端再回 ACK,连接建立后数据才开始流动。很多人觉得这段和 HTTP 解析无关,但实际上,服务端 accept() 返回新 fd 时,TCP 层的连接状态、缓冲区、窗口大小都已经就绪。这些底层状态会直接影响你 read() 数据的行为——比如对方发了数据但你没及时读,内核接收窗口变小,对方就会放慢发送速度,这就是背压。
然后是应用层的事。服务端调用 recv() 或者 read(),把内核 socket 接收队列里的数据拷贝到用户态缓冲区。注意这里是一次“拷贝”,所以如果数据量很大,频繁 recv() 会带来不小的性能开销,这也是后面第 5 章要讲的零拷贝、减少拷贝等优化的出发点。
到了这一步,你手里拿到的其实就是一个字节数组,比如:
code复制b'POST /api/login?from=web HTTP/1.1\r\nHost: example.com\r\n...'
绝大多数人会天然认为“一个 read 就是一个请求”,但真实世界完全不是这样。
1.2 HTTP报文长什么样:三件套结构
在动手写解析器之前,先背熟 HTTP/1.1 报文的组织方式。一个请求报文分三个部分:请求行(request line)、请求头(headers)、请求体(body)。请求行和请求头之间、头部和 body 之间,全部用 CRLF 也就是 \r\n 分隔。
看一个最典型的例子:
code复制POST /api/login?from=web HTTP/1.1\r\n
Host: example.com\r\n
Content-Type: application/json\r\n
Content-Length: 27\r\n
\r\n
{"username":"alice"}
请求行格式是 METHOD SP URL SP VERSION CRLF,三部分之间用空格分隔。注意 URL 里可能带上 query string,比如这里的 ?from=web。严格说这是请求目标(request-target),可以包含协议、端口、路径和参数。
请求头是若干行“名字: 值”,每行以 CRLF 结尾。头部一直持续到一个空行,也就是连续的 \r\n\r\n 为止。空行之后才是 body。
body 不一定存在,GET 请求通常没有 body。有没有 body、body 有多长,靠 Content-Length 这个头部字段告诉服务端。如果一个请求既没有 Content-Length、也没有 Transfer-Encoding: chunked,按规范它就是没有 body 的,服务端解析完空行就可以认为请求结束了。
这段内容看起来简单,但它决定了后面所有解析逻辑。我还要特别强调:\r\n 不是 \n。很多自己写解析器的人用 \n 切行,结果抓包一测就出问题,因为标准 HTTP 永远用 CRLF,哪怕网络上存在大量只发 \n 的非标准实现。
1.3 为什么Read到的是字节流而不是请求对象
回到 TCP 的本质。TCP 是流式协议,只保证字节的可靠、按序到达,但不保证消息边界。什么意思?你调用一次 send() 发送 100 个字节,对端可能一次 read() 读到 100 个字节,也可能分 10 次,每次读 8 到 10 个字节;反过来,你调用两次 send() 分别发两个请求,对端完全可能一次 read() 把两段数据一起读走。
前者叫半包(split packet),后者叫粘包(coalesced packet)。具体出现哪种,取决于网络 MTU、Nagle 算法、TCP_NODELAY、内核缓冲区、对端读取时机、发送间隔等等,非常不可控。
举两个实际场景。场景一:客户端连续 send("GET /a HTTP/1.1\r\nHost: x\r\n\r\n") 和 send("GET /b HTTP/1.1\r\nHost: x\r\n\r\n"),如果服务端只调一次 recv(),很可能一次性读到两个完整请求拼在一起的字节流。如果用“一个 recv 等于一个请求”的思路去处理,第二个请求就丢了。场景二:客户端发送一个包含较大 body 的 POST 请求,网络不理想时,服务端第一次 recv() 可能只读到请求行和部分头部,剩下的数据还在路上。如果此时就去解析,会发现数据不够。
这就是为什么必须有一个“积攒数据、按边界切分、没凑齐就等待”的解析循环。这里多提一句 TCP 四次挥手,虽然跟解析没有直接关系,但排查问题时会遇到:正常关闭时主动方发 FIN,对端 read() 返回 0,表示对端不再发送数据。如果这时候你的请求还没解析完,那基本可以断定请求不完整,该报 400 然后关闭连接。很多线上偶发 400 就是这么来的——请求还没发完,客户端因为超时或异常先关了连接。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 解析器的核心设计:切分边界与状态机
2.1 消息边界:Content-Length、chunked 与连接关闭
所有 HTTP 解析器的第一个任务,不是解析字段,而是回答一个问题:一段字节流里,哪里是一个请求的结束?HTTP/1.1 提供了三种官方边界方案。
第一种是 Content-Length。头部里明确写了 body 的字节数,服务端读完空行后,再精确读 N 个字节就算完事。这是最常用、最直接的方案。比如 Content-Length: 27,意味着空行后面必须再读 27 个字节。
第二种是 `Transfer-Encoding:
