我研究Agent系统的时间越长,越觉得大多数Agent像一条只有七秒记忆的鱼:你在一个会话里告诉它"以后发邮件都抄送给我助理",它这一轮做得很好,但第二天又忘了。这也正是AAAI'26那篇关于Agent个性化偏好理解的Oral让我眼前一亮的原因——它明确把"用户长期行为"纳入Agent的推理闭环,并且给出了可评估、可优化的完整思路,而不是继续在上下文窗口里堆tokens。
这篇分享,我打算从一个实际做Agent研发的视角,拆解这类系统到底难在哪、该怎么评估、又该从哪些方向优化。无论你是做Agent框架、做推荐系统,还是单纯在调教自己的AI助手,这篇应该都能给你一些能落地的判断标准。
1. 从"任务型对话"到"行为型人格":Agent个性化理解的问题边界
1.1 单轮聪明的假象:上下文窗口再大也装不下人生
先说一个最反直觉的事实:很多Agent产品看起来单轮对话很聪明,是因为它每次都能把当前问题处理得很好,但你一旦跨出这个会话窗口,它就完全"失忆"了。有人会说,加大上下文窗口不就行了?现在模型已经支持百万级token了,把用户一年的聊天记录、点击日志、购买记录都塞进Prompt里,不是很直观吗?
问题在于,长期行为不是"更多文本",而是"结构化的事件流"。你点过什么、搜过什么、取消过什么、在哪个时间点拒绝了什么,这些事件如果全部平铺到上下文里,模型的注意力会被大量无关细节稀释。而且成本不是线性增长的,一个活跃用户一天可能产生几千条行为记录,一年就是上百万条事件,逐个传给大模型既慢又贵,更重要的是,真正影响偏好判断的往往是少数几个"关键转折点",而不是全部数据。
我习惯用一个类比来理解这个困境:一个律师接手老客户,不能只看最近三天的邮件,而是要翻过去五年的案卷。但律师不会把五年卷宗全部打印出来堆在桌上,他会先做案卷摘要、按主题分类、标出关键时间点,再根据当前案件调取相关材料。Agent做长期行为理解,本质上也是同一套操作:压缩、索引、按需提取。AAAI'26这项工作想要解决的核心,正是这个"案卷管理"过程中的评估与优化问题,而不是简单地把更多历史记录喂给模型。
1.2 个性化偏好的三层结构:显性偏好、隐性偏好、情境偏好
聊偏好之前,我们先定义清楚"偏好"是什么。很多团队在做的所谓个性化,其实只是统计用户点击了哪个品类,然后加大类似内容的推荐权重。但Agent需要理解的偏好,至少包含三个层次。
第一层是显性偏好。用户主动表达出来的规则和要求,比如"我不吃香菜""汇报邮件控制在三行以内""我喜欢用表格而不是幻灯片"。这种偏好最容易被提取,也最容易被验证,但恰恰是这个最简单的问题,很多Agent产品都做不好,因为它们从不把用户的指令沉淀成长期规则。
第二层是隐性偏好。用户没有明说,但从行为模式中可以推断出来。比如一个用户连续三周都在周日晚上九点左右打开日历规划下周日程,说明他养成了"周日晚上做周计划"的习惯。再比如用户总是把某个同事的邮件标记为已读但不回复,说明这个同事的信息优先级很低。隐性偏好是长期行为建模最核心也是最难的部分,因为需要跨时间点关联事件,而不是单看一次行为。
第三层是情境偏好。同一个用户在不同情境下可能有完全不同的偏好。工作日下午两点和他沟通项目进展,他希望回复越快越好;但晚上十点如果你还给他推送工作消息,他会非常反感。情境偏好意味着"偏好"不是一个绝对标签,而是一个条件化函数,输入是当前场景,输出是应该遵循的规则。AAAI'26这篇Oral里一个很重要的观点,就是评估Agent的偏好理解时,必须把这三层拆开来看。如果你只测"模型能不能猜中用户喜欢什么",而不区分它是靠显性规则、行为习惯还是场景推断出来的,那这个评估结果会非常误导人。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. "懂我"如何度量:长期行为偏好理解评估框架的设计思路
2.1 传统推荐评估指标的局限
做推荐系统的同行听到"个性化偏好",本能地会搬出AUC、Recall@K、NDCG这套指标。这套指标的核心假设是:用户有一个"下一个要点击/购买的商品",你只要把预测排序做对就行。
但Agent面对的任务完全不是这样。Agent需要根据偏好去规划、决策、生成,甚至主动执行。举个例子,一个智能助手帮用户安排一天的工作会议,如果它把会议都安排在用户习惯的"深度工作时间段"之前,这算不算正确?用推荐指标根本没法衡量,因为不存在一个"标准答案"物品
