视觉问答数据集实战选型指南：从Text-VQA到多语言场景的深度解析

视觉问答（VQA）技术正在经历从通用场景向文本密集型任务的转型，而数据集的选择往往决定了模型的上限。过去三年，我参与了七个不同规模的VQA项目，从电商商品问答到多语言文档理解，踩过的坑比解决的问题还多——最深刻的教训就是：选错数据集，等于在错误的方向上狂奔。

1. 主流VQA数据集全景扫描

1.1 Text-VQA：文本理解的基准测试场

作为最早聚焦文本问答的数据集，Text-VQA的28,408张图像全部来自Open Images，这种单一数据源特性带来两个实战影响：

• 优势：标注一致性高，适合作为baseline测试平台
• 劣势：39%的问题无法通过OCR结果回答（来自论文验证）

典型问题示例：

python复制{
  "question": "药品包装上标注的每日最大剂量是多少？",
  "image_id": "IMG_123.jpg",
  "answers": ["200mg", "200mg", "200毫克", ...] # 10个标注答案
}

在最近一个药品说明书解析项目中，我们发现Text-VQA预训练模型在此类问题上的准确率比ST-VQA低17%，原因就在于其问题设计更依赖图像整体理解而非纯文本。

1.2 ST-VQA：OCR鲁棒性的试金石

这个数据集的23,038张图像来自6个不同来源（COCO-Text、VizWiz等），这种多样性造就了其独特价值：

提示：当你的应用场景需要处理街头随手拍的照片（如路牌、店铺招牌），ST-VQA的多样性会带来更好的泛化性

1.3 OCR-VQA：百万级规模的极端测试

这个包含100万问答对的数据集全部采用书籍封面图像，创造了三个"最"：

• 最大规模：比前两个数据集总和大20倍
• 最高OCR难度：艺术字体占比达63%
• 最强文本依赖：100%问题需通过文本回答

在字体识别模块的压测中，我们使用OCR-VQA发现了传统CRNN模型的致命缺陷：对弯曲文本的识别准确率不足40%，这直接促使团队转向Transformer-based的OCR方案。

2. 中英双语场景的破局者：EST-VQA

2.1 数据构成的双语特性

EST-VQA的25,239张图像包含中英文混合场景，其数据分布呈现明显特点：

python复制# 语言分布统计（单位：问题数）
english_questions = 15056  # 53.7%
chinese_questions = 13006  # 46.3%

# 数据来源
sources = {
    "英文": ["Total-Text", "ICDAR2013", "COCO-Text"],
    "中文": ["LSVT"]
}

去年我们为某跨境支付平台开发票据理解系统时，EST-VQA成为唯一能同时满足：

• 中英文混合识别
• 文本位置标注（边界框证据）
• 问题类型覆盖（金额、日期、收款方等）

2.2 证据标注的独特价值

与其他数据集不同，EST-VQA为每个答案标注了对应的文本边界框。这种"证据链"设计带来两个实战优势：

1. 可解释性增强：模型需要指出答案依据的具体文本区域
2. 评估维度扩展：除答案准确性外，还能考核定位精度

python复制# 标注示例
{
  "question": "发票号码是多少？",
  "image_id": "receipt_42.jpg",
  "answer": "FP20230001",
  "evidence_boxes": [[125,89,215,110]]  # x1,y1,x2,y2坐标
}

3. 四维决策矩阵：如何选择你的"本命"数据集

3.1 评估维度拆解

通过12个工业级项目的经验总结，我提炼出数据集选型的四个核心维度：

1. 语言需求

   • 纯英文：Text-VQA/ST-VQA/OCR-VQA
   • 中英混合：仅EST-VQA

2. OCR依赖度

   • 低依赖（<50%）：Text-VQA通用子集
   • 高依赖（>90%）：ST-VQA/OCR-VQA

3. 数据多样性

   • 单一场景测试：OCR-VQA（书籍）
   • 复杂场景验证：ST-VQA（多源）

4. 评估严格度

   • 学术研究：Text-VQA（标准基准）
   • 工业落地：EST-VQA（证据要求）

3.2 典型场景决策树

根据项目目标快速匹配数据集：

code复制if 需要处理中文场景:
    选择EST-VQA
elif 测试OCR鲁棒性:
    选择ST-VQA或OCR-VQA（视字体复杂度）
elif 构建通用VQA系统:
    组合使用Text-VQA（通用理解）+ST-VQA（文本侧重）

4. 实战中的隐藏技巧与陷阱

4.1 数据增强的禁忌

在ST-VQA上有效的几何变换增强（旋转、透视），用在OCR-VQA上会导致准确率下降23%。这是因为：

• 书籍封面本身具有标准视角
• 合成失真与真实场景分布不符

更安全的做法是：

python复制# 适合文本数据集的增强策略
augmentation = [
    ColorJitter(brightness=0.3),  # 光照变化
    GaussianBlur(kernel_size=(3,3)), 
    RandomNoise(var_limit=0.1)  # 模拟低质量拍摄
]

4.2 评估指标的认知偏差

Text-VQA官方采用soft accuracy（10个标注答案中任一对即算正确），但在工业场景中，我们发现：

注意：学术论文喜欢报告的soft accuracy可能掩盖模型真实表现，交付前务必用严格指标验证

4.3 跨数据集的迁移学习配方

在计算资源有限时，可以采用阶梯式训练策略：

1. 用OCR-VQA（百万级）预训练文本编码器
2. 用ST-VQA（多源）微调视觉模块
3. 最后用目标数据集（如EST-VQA）做领域适配

这种方案在某金融合同解析项目中，将少样本场景的F1值从0.41提升到0.67。