最近聊数字人的项目明显变多了,但大部分人卡住的不是建模,不是灯光,而是"怎么让角色动起来像个人"。我接手过好几个团队的数字人项目,模型捏得漂漂亮亮,放进去一动就像提线木偶,问题几乎都出在动作生产这条链路上。传统做法是光学动捕或惯性动捕,投入大、周期长;手K动画又太吃人力。现在AI视频动捕把门槛打下来了一大截——直接拿一段普通视频,交给AI解算成骨骼动画,导进UE,重定向到数字人身上,这套流程我已经在多个项目里跑通了,这篇就把完整链路和踩过的坑拆开讲清楚。
1. 为什么"AI视频动捕"能成为数字人动作的主流方案
1.1 传统动捕的三个门槛
先聊聊为什么过去做数字人动作这么难。光学动捕(Vicon、OptiTrack这类)需要专门场地、十几台高刷红外相机、演员穿带Mark点的紧身衣,硬件加场地几十万起步,还得有专人标定、清理数据。惯性动捕(Xsens、诺亦腾这类)相对便宜些,但得穿动捕服,传感器长时间使用会漂移,穿脱调试也很折腾。至于纯手K动画,一个有经验的动画师一天能打磨出三五秒高质量动作就不错了,一条30秒的数字人表演,团队得排一两周工期,根本快不起来。
所以当AI视频动捕工具出现后,项目方的第一反应都是"靠谱吗"——因为它看起来太简单了:上传一段视频,刷刷刷出来一个带骨骼的FBX,套到UE里就能用。实际测试下来,只要素材拍得规矩,输出质量真的能到生产可用级别,尤其适合风格化角色、中远景镜头、不涉及极端肢体动作的场景。它解决的是"快速拿到一段可信底稿"的问题,而不是完全替代动画师。
1.2 AI视频动捕到底在解什么数学题
理解AI视频动捕的原理,能帮你判断它在什么场景下会翻车。它的核心链路可以拆成三段:2D姿态估计、3D姿态重建、骨骼参数拟合。
第一步,算法在每一帧视频里识别出人物的主要关节,生成二维关键点,比如肩膀、手肘、手腕、膝盖、脚踝,常见的有17点、23点、33点等不同配置。这一步靠的是卷积神经网络对图像语义的理解,类似你远远看一个人影,就知道他大概的肢体朝向。
第二步,计算机把连续的二维关键点序列映射到三维空间,重建出每帧的3D姿态。这一步最难,因为单目摄像头天然有深度歧义——同样一个挥手的动作,手伸向镜头还是伸向侧面,在画面里可能很像,但三维空间里完全两码事。所以很多动捕工具都要求演员尽量侧对或面向相机做动作,目的就是减少深度估计的歧义。
第三步,把重建出的3D姿态点云拟合到一个带层级结构的骨骼上,输出标准骨骼数据。这条数据通常以FBX、BVH或者GLB格式保存,骨骼层级、每个关节旋转、根骨骼位移都包含在内。你可以把它想象成:AI看懂了每一帧上"人形骨架子"应该怎么摆放,然后逐帧记录下来。
搞清楚这个原理,你就能推断出AI视频动捕的边界了——深度歧义、肢体遮挡、画面模糊,都会直接导致解算错误。这也是为什么后面我要专门强调素材拍摄要求,因为素材质量直接决定AI输出质量,比工具选哪个更关键。
1.3 哪些环节仍然不能偷懒
AI视频动捕省掉的是硬件投入和大部分重复劳动,但有一个环节无论如何不能省:清理和修正。我刚入坑的时候也幻想过"视频一传,动画直接能用",结果发现输出经常带着各种问题:脚步在地面滑动、手臂偶尔扭曲、手部抖动、脊柱有一段微小的不自然旋转。这些不是工具的bug,而是单目视频重建的固有误差。
所以在整个工作流里,我始终把AI视频动捕定位成"生产底稿",而不是"最终成品"。动作的节奏、力度、起承转合、角色性格,仍然需要人去看、去调。这也是这篇博文想传达的最重要一句话:AI动捕解决的是产能问题,审美和判断还是要靠自己。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 从视频到FBX:动捕工具选型与素材拍摄要求
2.1 主流工具怎么选
市面上能出FBX的AI视频动捕工具不少,不同工具侧重点差异很大。我按使用场景把它们分成了三类,方便你按自己的项目情况对号入座。
第一类是纯离线解算工具,代表作有Rokoko Video、Move.ai、Plask、Wonder Dynamics这类网页端平台。它们的基本用法一致:上传视频、云端解算、在线预览、下载FBX。Rokoko Video的免费额度对个人创作者比较友好,输出骨骼结构完整,支持手部追踪;Move.ai主打手机拍摄的全身动捕,精度在同类里比较突出,但对拍摄要求也更苛刻;Plask早期用户多,胜在便宜,不过更新速度已经放缓;Wonder Dynamics更偏CG角色替换,适合做带特效的完整视频,不只是出动画。离线方案适合制作短视频、PV、动画片段的场景,胜在可控性强。
第二类是本地可部署的管线,典型组合是MediaPipe + 自定义处理脚本 + 导出插件。MediaPipe是Google开源的机器学习框架,自带姿态估计模型,可以实时输出33个身
