做数字人项目做到第5篇,模型、材质、灯光这些视觉层面的东西基本都解决了,但你会发现一个特别现实的问题:用户对着屏幕说了半天话,数字人完全没反应,这哪里叫交互。语音输入就是数字人的耳朵,语音识别则是耳朵后面的听觉皮层,没有这一环,前面做的写实渲染再漂亮也只是个高级手办。这篇我就把“语音输入和语音识别”这块掰开揉碎,讲清楚它在HDRP数字人里的完整接入方式、选型逻辑和一系列我在实际项目中踩过的坑。
这篇内容主要服务两类人:一类是正在用Unity HDRP做写实数字人,卡在“不知道怎么把用户声音变成文字”这个阶段的开发者;另一类是想做数字人直播、虚拟助手、数字人导览,但不确定用本地识别还是云端识别,也不清楚麦克风数据怎么在Unity里正确采集和转发的人。我会沿着从整体链路到具体代码,再到平台差异和线上排查的顺序,把整个音频识别通道完整过一遍。
1. 先理清链路:语音识别在数字人系统里的位置与作用
1.1 数字人的“听-想-说-演”完整链路
先给整套系统画个像。一个能自然对话的写实数字人,内部其实是一条流水线:
用户说话 -> 麦克风采集 -> 语音识别(ASR) -> 大模型/语义理解(LLM/NLP) -> 语音合成(TTS) -> 数字人发声 -> 口型同步/表情/动作
这条链路里,语音输入负责的是最前面那段:把麦克风捕捉到的空气振动,转换成压缩后的音频数据;语音识别负责的是紧接着那段:把音频数据里的语音内容转成文本。这两个环节合起来,就是数字人的“耳朵”和“听觉处理中枢”。
第5篇聚焦的正是从“用户开口”到“文字上屏”这一整段。它的输出,是后面大模型模块的输入;它的延迟和准确率,直接影响用户对数字人“灵不灵”的第一印象。
1.2 为什么语音识别值得单独开一篇:难点根本不在SDK
很多新手容易有个错觉:语音识别不就是调个API吗?把音频文件扔过去,等一个返回字符串,完事。真要这么做,你会在HDRP数字人项目里死得很难看。
难点集中在四个方面:
- 实时性要求高:数字人交互不是“录完一整段再识别”,而是“边说边识别”,首字延迟控制在1秒内才算及格。这要求采集、编码、传输、识别、回调全链路流式处理。
- 音频格式转换:Unity的AudioClip拿到的是float数组,识别服务要的是16bit PCM或特定编码的WAV,采样率还要对齐。很多“识别结果乱码”的报错,根因都是这个环节。
- 线程与生命周期:WebSocket回调、网络线程、Unity主线程、音频采集线程,四者之间数据怎么同步,队列怎么设计,稍不注意就会出现崩溃或者界面卡死。
- 平台差异:Windows、Android、iOS对麦克风权限、音频会话、采样率支持都不一样,PC上跑通的代码,打包到手机直接罢工是常态。
这就像请了一位专业翻译(识别服务),但你必须自己把会场的声音接出来,经过降噪、编码、排队,实时送到翻译耳边,还得及时把翻译结果传回主持人手里。翻译本身厉害没用,你的“音频管道”得先能跑起来。
所以这篇不打算只给一堆API调用截图,我会直接给你一套可在HDRP工程里落地的语音输入管理器方案,加上本地/云端两种识别接入方式,以及数字人动画系统如何消费识别结果。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 选型:本地识别还是云端识别,我为什么这么选
2.1 三种主流方案对比
做数字人语音识别,绕不开几个现实选项。我用过讯飞、Azure、阿里云这类云端ASR,也深度用过sherpa-onnx这类本地开源方案,还看过一些团队自训模型的方案。先给你一张对比表:
| 方案 | 识别方式 | 首字延迟 | 成本 | 离线可用 | 中文效果 | 部署复杂度 |
|---|---|---|---|---|---|---|
| 讯飞/Azure等云端ASR | 云端API/WebSocket | 0.4-1.5秒 | 按量付费,有免费额度 | 不支持 | 高,支持热词 | 低,SDK接入 |
| sherpa-onnx本地ASR | 本地onnx模型推理 | 0.3-0.8秒 | 无流量成本 | 支持 | 不错,zipformer中文模型可用 | 中,需自己启动服务或嵌入 |
| 自训练/私有化部署 | 自建推理服务 | 取决于资源 | 高昂 | 支持 | 取决于训练数据 | 高,需算法团队 |
这个表格里的延迟数据是我在数字人对话场景下的实测范围,不是官方宣传值。实际数字会受设备性能、网络状况、VAD参数影响,但这个数量级是有参考意义的。
2.2 我的选型结论与判断逻辑
先说结论:数字人直播、虚拟助手这类正式项目,我现在默认用本地ASR做实时监听和唤醒,再按需切到云端做高精度正式识别;如果是赶Demo、快速验证玩法,直接调云端HTTP接口,一天内跑通。
这么选的原因很实际:
- 实时性优先:数字人交互场景里,“用户说完话1秒后数字人才有反应”和“用户说完话2秒后才有反应”,体验完全不一样。本地ASR省去网络RTT,首字延迟明显更可控。
- 成本与隐私:直播场景可能连续开几个小时,如果全部走云端按量付费,成本随并发涨得很快。本地推理只吃CPU/GPU,且用户语音不出设备,省了很多隐私合规方面的麻烦。
- 精度与热词权衡:本地方案的泛化能力确实比头部云端差一点,尤其是口音重的用户。但它支持热词表,把项目里的专有名词、品牌词、人名词条灌进去之后,大多数场景够用。真遇到本地识别置信度低的情况,再升级到云端识别也不迟。
- 断网兜底:线下展会、门店数字人经常遇到网络不稳的情况,本地识别保证基础交互不中断。
我用生活里的逻辑类比一下:本地识别就像是自己请了个驻场翻译,随叫随到、按天付费;云端识别像是给翻译公司打电话,翻译质量高,但每次都要拨号、等待接通、计费。驻场翻译能覆盖90%的日常沟通,那剩下10%的电话翻译需求,按场景按需调用就好。
选型的核心不是“哪个效果好”,而是“哪个适合你的业务场景和预算结构”。先想清楚你的数字人部署在什么环境、用户是谁、在乎延迟还是在乎准确率,再选方案。
3. 实战前准备:HDRP工程里的麦克风采集与音频处理
3.1 工程侧准备
在Unity里做语音输入,不用装太多额外插件。HDRP项目创建好之后,Audio系统本身是默认可用的。你需要根据识别方案补几个东西:
- 如果用新输入系统(Input System):建议装上,麦克风权限请求和旧输入系统行为有差异,统一用新的省心。
- 如果用WebSocket连云端识别:Unity自
