大模型口语理解评估：构建多维评测基准与优化策略

1. 项目背景与核心挑战

最近在准备ICLR'26投稿时，我们团队发现当前大模型在口语理解领域存在一个关键评估盲区——现有测试集大多停留在字面匹配或简单意图识别层面，缺乏对语音信号深层语义推理能力的系统化测评。这个问题在医疗问诊、法律咨询等专业场景中尤为突出，模型常常表现出"答非所问"或"机械复述"的缺陷。

去年参与某智能客服项目时，我们就遇到过典型case：当用户用方言说"我那个转账老是不成功，是不是限额搞的鬼？"，GPT-4虽然准确转写了文本，却把"搞的鬼"简单归类为负面情绪表达，完全忽略了这句话实际是在询问账户限额问题。这种"听得见但听不懂"的现象，促使我们着手构建这个综合性评测基准。

2. 基准设计框架

2.1 多维评估体系架构

我们采用"洋葱模型"分层设计，从外到内包含五个评估维度：

1. 语音特征层：考察音素识别、方言适应、语速鲁棒性等基础能力
2. 字面理解层：测试转写准确率、关键词抽取、基础意图分类
3. 隐含逻辑层：评估指代消解、省略补全、因果推理等能力
4. 领域知识层：验证专业术语理解、行业规范应用等场景化能力
5. 社会共识层：检测俗语理解、文化隐喻、伦理判断等社会认知

以医疗场景的测试题为例：

• 语音层：包含咳嗽、喘息等背景音
• 字面层："我这咳了半个月了，吃头孢也不见好"
• 隐含层：需要推断患者已尝试抗生素治疗
• 知识层：需判断细菌耐药可能性
• 社会层：理解"不见好"表达的焦虑情绪

2.2 数据采集方法论

我们采用"真实场景+可控变量"的混合采集策略：

• 真实语料库：从合作医院、律所获取2000+小时脱敏录音
• 情境模拟实验：在消声室录制500+组对照语音，系统化控制：
  • 方言比例（覆盖8大主要方言区）
  • 语速梯度（120-400字/分钟）
  • 背景噪声（SNR 0-30dB）
• 对抗样本生成：通过语音对抗攻击工具制造：
  • 音素混淆样本（如"四十四"→"是是是"）
  • 语义对抗样本（如"我不想活了"→"我不想火了"）

3. 核心评测任务设计

3.1 九大挑战性任务

1. 模糊指代解析：
   • 输入："昨天说的那个事，你帮我办了吗？"
   • 预期输出：关联前