1. 为什么“超长对话”成了内存泄漏的重灾区
最近不少做对话类AI应用的朋友找我聊天,三句话离不开同一个问题:对话轮数一上去,内存就像漏了底的水桶,一点点见底,最后整个服务卡死重启。我自己在调一个基于大语言模型的多轮对话系统时,也踩过同样的坑。一开始以为是模型推理本身吃内存,后来逐一排查才发现,真正的问题出在执行图(Execution Graph)的内存管理上。
如果你也遇到过这种情况:对话进行到几十轮以后,响应越来越慢,内存占用线性上涨甚至指数上涨,最终OOM被杀掉,那这个标题大概率能帮到你。Runtime Profiling,简单说就是在程序运行过程中,对每一个关键节点做内存占用的采样和监控,把“内存去哪了”这个问题落到具体代码路径上,而不是靠猜。这篇文章我会结合一个实际的多轮对话组件,从原理到实操,讲清楚怎么给执行图里的每个节点做内存画像,怎么定位泄漏点,以及怎么把优化落回代码里。
适合谁来读?如果你在做对话系统、Agent框架、流式数据处理管线,或者任何需要长时间运行的服务,尤其是那种“跑得越久越容易挂”的服务,这篇文章应该能给你一套可以直接上手的排查思路。基础要求不高,只要你会Python的基本语法,理解装饰器和上下文管理器,剩下的我都会拆开讲。
先给个定心丸:内存泄漏不是玄学,Runtime Profiling也不是只有大厂才能用的高级手段。用对工具和方法,几十分钟内就能把泄漏点圈定在一个很小的范围内。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 执行图的内存模型:先从根上理解内存去哪了
2.1 执行图到底是什么
很多做业务开发的同事一听到“执行图”三个字就觉得这东西离自己很远,觉得那是编译器或者深度学习框架才有的概念。实际上,执行图的思想渗透在几乎所有复杂系统中:你的一次对话请求,会被拆解成多个子任务,比如意图识别、上下文检索、Prompt拼接、模型调用、结果后处理、记忆存储,这些子任务之间是有依赖关系的,串联起来就是一张有向执行图。
我当前维护的对话引擎,执行图长这样:入口节点接收用户输入,然后并行触发三个分支——历史上下文压缩、知识库检索、情感分析;三个分支的结果汇合到Prompt构造节点;接着进入大模型调用节点;最后经过输出校验和记忆回写两个收尾节点。一共8个节点,每个节点都有自己的输入输出缓冲、临时对象和缓存引用。
问题就在这里:每个节点运行完以后,它产生的中间数据理论上应该被回收,但如果某个节点持有上一个节点的引用没有释放,或者缓存没有设置上限,这些数据就会像滚雪球一样越滚越大。短对话看不出问题,因为Python的垃圾回收还能靠引用计数及时清理;一旦对话变长,执行图被反复展开,泄漏的积累效应就出来了。
2.2 为什么Python里“局部变量用完就没了”是错觉
写Python的人最容易犯的一个认知错误是:函数返回后,里面的局部变量就会被回收。这个说法只在最简单的场景下成立。实际上,一个对象是否被回收,取决于还有没有引用指向它。如果你的执行框架把每次调用的上下文都塞进了一个全局的session对象里,或者把中间结果append到了某个列表中,那这些对象就永远不会被释放。
之前排查一个泄漏时,我打印了gc.get_objects(),发现有大量重复的Prompt模板对象,数量随着对话轮数线性增长。原因就是代码里把每一轮的构建结果都append到了一个缓存列表里,原意是方便调试,结果这个list永远活着。这就是典型的“看起来局部、实际全局”的引用陷阱。
执行图场景更是如此:图本身是一个长生命周期对象,每个节点如果持有输入输出的强引用,那么整张图跑完一次,就会积累一份完整的中间数据。跑一百次,就有一百份。除非你手动清理,否则GC只能干瞪眼。
2.3 内存泄漏和内存膨胀的区别
排查内存问题,第一步不是优化代码,而是搞清楚你面对的是泄漏还是膨胀。这两个东西处理方式完全不同。
内存泄漏指的是本应释放的对象没有被释放,导致可用内存持续减少,典型特征是:如果你用tracemalloc对比快照,会发现某些分配点(traceback位置)的对象数量持续增加,但这些对象已经不可达了。内存膨胀则相反,对象确实还被引用着,只是引用的量超出了合理范围——比如缓存没设上限、历史消息无限堆积。
判断方法其实不复杂:先强制gc.collect(),看内存有没有明显回落。回落了,说明对象还是可达的,是膨胀;没回落,才有可能是真泄漏。但这里有一个坑——如果泄漏的对象被某个长生命周期的容器间接引用,gc.collect()照样不回收,不能直接下结论。更可靠的方法是快照对比,后面我会详细讲。
3. Runtime Profiling 的核心机制:给每一个节点装上“内存仪表盘”
3.1 最低成本方案:Tracemalloc + 执行图钩子
Python自带的tracemalloc模块是我们的第一件武器。它能跟踪每个Python对象的分配位置,记录分配的文件名、行号和栈信息,并且支持对当前内存快照做对比,找出哪些分配点的增量最大。关键是它不需要改业务代码,只需要在程序启动时调用tracemalloc.start()。
配合执行图,思路就很清晰了:在每个节点执行前打一个快照,执行后再打一个快照,两个快照的差值就是这个节点“制造”出来的内存增量。如果你再往前推一步,把差值记录挂到节点ID上,运行过程中就能实时看到每个节点的内存画像。
这里有一个很重要的实操经验:tracemalloc默认只跟踪Python层面的内存分配,对于numpy数组、tensor等通过C扩展分配的内存,它是看不懂的。不过对于大模型对话场景,模型权重通常是常驻显存或内存的,临时张量才是波动的主要来源。我在实践中的做法是:Python对象用tracemalloc,系统级内存用resource模块的ru_maxrss,两层都看,互相验证。
python复制import tracemalloc
import resource
from contextlib import contextmanager
from collections import defaultdict
class RuntimeProfiler:
def __init__(self):
self.node_stats = defaultdict(list)
def profile_node(self, node_name):
"""装饰器方式,给每个执行节点打上内存探针"""
def decorator(func):
def wrapper(*args, **kwargs):
tracemalloc.start()
snapshot_before = tracemalloc.take_snapshot()
rss_before = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
result = func(*args, **kwargs)
