1. 项目概述
1.1 核心需求解析
这个项目源于一次内部讨论:我们需要构建一个能同时理解医学影像和临床文本的模型,用于辅助医生做诊断决策、生成影像报告、以及回答患者咨询。在模型规模上,团队内部有一个明确的倾向——32B参数级别。为什么是32B?因为在2024年末这个节点,32B某种程度上是个平衡点:显存需求相对可控(用A100或H100可以做全参数微调,消费级硬件也能通过量化跑LoRA),性能又明显强于7B/14B级别的中小模型,在中文医疗领域的任务上能给出更可靠的结果。
“多模态医疗模型”这个提法包含两个核心点:第一是模态融合,我们不光要让模型看懂CT片子或者皮肤照片,还要让它结合病历文本、检验报告来做综合判断;第二是医疗领域的泛化能力,模型要能理解解剖位置、疾病名称、药物信息、手术方式这些专业概念,而不是简单地把图像映射到几个固定的疾病标签上。
从实际落地角度,这个模型要服务三个场景:
- 影像报告生成:输入CT/MRI图像,输出结构化的诊断描述
- 临床辅助问答:医生提问“这个病人的肺部结节需要随访还是手术?”,模型结合影像和病历给出建议
- 多模态检索:用自然语言在影像库中检索相似病例(这是后续加的需求,但影响训练数据的构建方式)
这篇文章先讲上半程,也就是从需求梳理到数据准备、模型选型和训练方案设计的过程,下一个部分再讲训练过程中的具体问题和调优细节。
1.2 技术路线与整体架构
很多人看到“训练一个大模型”就上来想直接下载权重、拼显存、跑训练脚本,这个路径在纯开源模型上可行,但在医疗领域走不通。原因很简单:通用基座模型在医学知识上的表现远不够用,你必须做领域适配。
我们的整体技术路线分四层:
-
基座模型:选择支持图像和文本联合输入的开源多模态模型,我们在Qwen2-VL-7B和Qwen2.5-VL-7B之间做了长时间评估,最终选定了Qwen2.5-VL-7B作为基座,后续分布式扩展时升级到32B版本作对照实验
-
数据层:医学影像数据(CT、MRI、X光、病理切片) + 医学文本数据(病历、报告、文献、指南),经过清洗去重、脱敏、结构化解析后,形成图像-文本对训练集
-
训练层:两阶段策略——第一阶段用大规模医学图像-文本对做视觉语言预训练适配;第二阶段用任务特定的指令数据做监督微调,再配合RLHF类偏好对齐
-
评估层:构建医学领域的专项评测集,覆盖分类、描述、推理、问答等多个子任务,不做量化指标对比就没有说服力
这四层是递进关系,每一层的问题都要在前一层解决,尽量不要跨层打补丁。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数据工程:医疗模型训练的命门
2.1 数据来源与采集策略
医疗模型的数据获取和通用领域完全不是一个量级。通用模型可以用Common Crawl几亿网页随便筛,但医学影像数据受隐私保护、标注成本高、类目分布不均衡等因素制约,采集难度非常大。
我们实际用了三类数据源:
第一类是公开数据集。 这类数据集质量参差不齐,但作为冷启动是必需的。比如:
- 胸部X光:ChestX-ray14有超过10万张胸部X光片和14种疾病标签,虽然标签噪声不小,但胜在量大
- 皮肤病变:ISIC数据集(国际皮肤成像协作组),包含数万张皮肤镜图像,标注了良恶性
- 病理切片:TCGA(癌症基因组图谱),虽然以数据下载受限著称,但部分子集可用
- 医学影像分割:nnU-Net生态下的各种挑战赛数据集(LiTS肝脏、BraTS脑肿瘤等)
这些公开数据解决一个问题:让模型“见过”医学图像长什么样,学会基础的视觉特征——边缘、纹理、组织密度分布等。
第二类是合作医院的脱敏临床数据。 这是模型达到可用水平的关键。我们和两家三甲医院签了合作协议,拿到脱敏后的CT影像和对应报告文本。需要注意,脱敏不只是去掉姓名和ID那么简单,还包括:影像DICOM头文件里的患者姓名、年龄、设备型号等元信息,以及报告中可能出现的医生姓名、科室名称、住院号等。这些细节漏掉一个就出大问题。
第三类是合成数据。 针对一些公开数据不足的场景(比如罕见病、特定造影剂过敏反应),我们尝试用生成模型构造一些合成影像样本。坦白说,合成数据在医疗领域只能作为数据增强的补充手段,不能作为核心训练数据——即使最逼真的合成影像,和真实病例仍有分布差异(domain shift),模型可能会学到不真实的纹理特征。
从数据量上看,最终用于预训练适配的图像-文本对大约有80万对,其中公开数据占60%,临床脱敏数据占30%,合成增强数据占10%;指令微调阶段用的是约15万条人工构造和半自动生成的指令数据。
2.2 数据清洗与结构化处理
医疗数据的清洗比通用文本清洗复杂得多。通用文本清理HTML标签、去重、过滤低质量内容就够了,医疗文本还要面对几个特有难题:
术语归一化。 同一个概念在报告里可能有多种写法。比如“肺腺癌”“肺腺Ca”“腺癌(肺)”指的是同一个东西,“右肺上叶”和“右上肺”也是同一个位置。我们维护了一个医学同义词表,结合规则匹配和embedding相似度做归一化。这个环节必须有临床医生参与审核,否则同义词表会引入错误映射。
影像和报告的配对质量。 从医院拿到的影像和报告,并不总是“这一张图对应这一段文字”。一份CT报告可能对应几十张序列帧,而关键病灶只在其中几帧上表现。我们的做法是:和放射科医生一起制定配对规则——选取病灶层面图像和报告的关键描述段做配对,而不是把整份报告和所有帧做配对,否则模型学到的关联关系会被大量无关信息稀释。
报告文本清洗。 影像报告有固定的书写格式,通常包括“影像所见”和“影像诊断”两部分,其中“影像诊断”部分还分主要诊断和次要诊断。我们用正则加规则模板把这两部分拆开,并将诊断结论从自然语言转成结构化的“疾病-部位-程度-建议”四元组。这个结构化的好处是后续构造指令数据时,可以自动生成大量QA对,不用纯靠人工写。
清洗完之后的数据长什么样?举一个典型样本:
code复制{
"image": "chest_ct/patient_00321/slice_0142.png",
"text": "右肺上叶后段见磨玻璃密度结节,大小约1.2cm×0.9cm,边界清楚,可见浅分叶。患者无吸烟史。",
"diagnosis": "右肺上叶磨玻璃结节,建议3-6个月随访复查。"
}
2.3 医疗数据标注的实战经验
标注是医疗数据工程里最耗时、最容易出错的环节,也是外行最容易低估的部分。我分享一下我们踩过的坑和调整后的方案。
标注者结构。 刚开始我们想一步到位用高年资医生做全部标注,目标是高质量,但
