视觉问答数据集实战选型指南:从Text-VQA到多语言场景的深度解析
视觉问答(VQA)技术正在经历从通用场景向文本密集型任务的转型,而数据集的选择往往决定了模型的上限。过去三年,我参与了七个不同规模的VQA项目,从电商商品问答到多语言文档理解,踩过的坑比解决的问题还多——最深刻的教训就是:选错数据集,等于在错误的方向上狂奔。
1. 主流VQA数据集全景扫描
1.1 Text-VQA:文本理解的基准测试场
作为最早聚焦文本问答的数据集,Text-VQA的28,408张图像全部来自Open Images,这种单一数据源特性带来两个实战影响:
- 优势:标注一致性高,适合作为baseline测试平台
- 劣势:39%的问题无法通过OCR结果回答(来自论文验证)
典型问题示例:
python复制{
"question": "药品包装上标注的每日最大剂量是多少?",
"image_id": "IMG_123.jpg",
"answers": ["200mg", "200mg", "200毫克", ...] # 10个标注答案
}
在最近一个药品说明书解析项目中,我们发现Text-VQA预训练模型在此类问题上的准确率比ST-VQA低17%,原因就在于其问题设计更依赖图像整体理解而非纯文本。
1.2 ST-VQA:OCR鲁棒性的试金石
这个数据集的23,038张图像来自6个不同来源(COCO-Text、VizWiz等),这种多样性造就了其独特价值:
| 特性 | Text-VQA | ST-VQA |
|---|---|---|
| 多源数据 | × | √ |
| OCR依赖度 | 61% | 98% |
| 问题歧义率 | 22% | 8% |
| 平均答案长度 | 1.58词 | 2.1词 |
提示:当你的应用场景需要处理街头随手拍的照片(如路牌、店铺招牌),ST-VQA的多样性会带来更好的泛化性
1.3 OCR-VQA:百万级规模的极端测试
这个包含100万
