陈冠男做深度学习项目这几年，我见过太多人把精力全砸在网络结构、调参技巧、训练轮数上，结果模型效果总是差那么一口气。最后排查来排查去，问题基本都出在数据准备这一环。说句不那么好听的话：数据准备才是深度学习模型实践里真正拉开差距的地方，尤其是在工业缺陷检测、目标检测这类落地场景里，数据做得好不好，直接决定你的模型是能上线还是只能躺在实验报告里。
这篇东西不聊玄乎的理论，就聊聊我在实际项目里怎么准备数据，从数据集获取、清洗、标注、增强到组织格式，一条龙捋下来。无论你是刚入门想跑通一个分类模型，还是已经在用 Halcon 或者 mmdetection 做检测项目，这篇文章里的思路和坑都适用。读完之后你会发现，数据准备不是简单的“收集图片加标注”，而是一套有方法、有顺序、有检查点的工程流程。
1. 数据准备的整体思路：先想清楚再动手
1.1 数据准备不只是“收集图片”，而是完整的工程环节
很多人一提到数据准备，第一反应就是“多找点图，标注一下”。这个理解太浅了。我习惯把数据准备拆成五个环节：需求分析、数据获取、数据清洗、数据标注、数据组织。每个环节都有明确的产出物和检查点。需求分析要回答“这个任务到底需要什么样的数据”，数据获取要解决“数据从哪来、要多少”，数据清洗要保证“进模型的每一张图都是有效的”，数据标注要确保“标签和真实情况一致”，数据组织则是“让训练脚本能高效读取”。
这五个环节不是线性走一遍就完事的。实际项目里经常要来回迭代，比如清洗完发现正负样本比例失衡，就得回去重新采集；标注完抽检发现错误率超标，就得返工。所以数据准备这件事，你得把它当成一个独立的子项目来管理，给它排期，给它定验收标准。我见过不少团队给模型训练留了两周，给数据准备只留了两三天，结果训练阶段反复被数据问题打断，总工期反而翻倍。
1.2 从任务类型反推数据需求：分类、检测、分割各有各的规矩
数据准备的第一步不是打开爬虫或者相机，而是先搞清楚你的任务类型。同样是深度学习模型，图像分类、目标检测、语义分割对数据的要求完全不一样。
图像分类最简单，每张图一个标签就行，你要关心的是类别的覆盖度和类间均衡。目标检测就不一样了，除了图片本身，每个目标的位置框也得标注，你要关心的是目标尺寸分布、遮挡情况、密集程度。语义分割最费劲，每个像素都要有类别，标注成本是检测的好几倍。
这里有个很实际的经验：如果你发现标注成本实在扛不住，可以考虑从检测任务退一步做分类，或者用弱监督的方式先跑通流程，但这会影响模型上限。拿工业缺陷检测来说，有些缺陷区域特别小，比如几像素的划痕，做检测框标注很容易漏，这时候你需要的是像素级标注还是检测框，取决于你的最终需求。如果只是为了判断“有没有缺陷”，分类就够用；如果要定位“缺陷在哪里”，就得检测；如果还要计算缺陷面积、形状，那必须分割。任务类型没定清楚之前，别急着去标注，否则返工成本极高。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数据集从哪里来：公开数据集、自采数据、合成数据三选一
2.1 公开数据集的选择与判断标准
如果你是做通用场景的模型验证，或者刚入门跑通流程，优先用公开数据集。像 ImageNet、COCO、VOC 这些经典数据集，社区资料多，踩坑记录也多，适合用来验证你的网络结构和训练流程是否正确。
但公开数据集有个问题：它和你的实际场景大概率有分布差异。用 COCO 预训练的模型去做工业零部件检测，效果一般不会好到哪去，因为工业场景的光照、背景、目标形态跟自然图像差距太大。所以我把公开数据集定位成“用来跑通流程”的工具，而不是“最终模型”的训练来源。
选公开数据集时，不只要看类别和数量，还要看几点：图片分辨率分布、标注质量、拍摄条件。有些数据集标注很糙，框偏了、类别标错的不少，用来训练模型会被带偏。我的建议是，拿到一个数据集先抽 10% 的样本自己做一次人工抽检，如果标注错误率超过 5%，这个数据集就得谨慎使用，要么做一轮清洗，要么换一个。
2.2 自采数据的采集规范：光照、角度、设备一个都不能马虎
工业场景下，公开数据集几乎帮不上忙，你必须自己采集。自采数据的关键不是“拍多少张”，而是“怎么拍才有效”。我踩过的坑是：用手机拍了 2000 张产品图，高高兴兴开始标注，结果训练出来的模型换到产线摄像头下完全不能用。原因很简单，手机拍摄的视角、光照、分辨率跟产线工业相机差异太大。
自采数据要严格按照目标场景的成像条件来。如果你最终要用海康或者 Basler 的工业相机部署，那采集数据时最好就用同一型号的相机，至少在分辨率、镜头焦距、光照条件上保持一致。采集时覆盖这几类变量：不同光照强度（这直接影响缺陷的可见度）、不同拍摄角度（尤其是目标形态变化大的情况）、不同表面状态（比如金属件反光和哑光表面的差异）。这些变量不是随便拍的借口，而是要有意识地记录成元数据，方便后面分析模型在哪个子集上表现差。
另外采集数量上有个底线参考：单类别分类任务，每类至少 500 到 1000 张；目标检测单类别，至少 1000 到 3000 个实例；分割任务单类别，至少 200 到 500 张像素级标注图。这只是底线，实际项目中通常要翻倍才稳。参考热词里总有人问“深度学习样本数量少的缺点”，答案很明确：样本少模型容易过拟合，训练集上表现得很好，验证集上掉点严重，更别说泛化到新数据。
2.3 合成数据与半自动标注：当你真的凑不齐样本量
有些场景你就是凑不齐足够的真实样本。比如缺陷检测中某一类缺陷非常罕见，生产线上一个月都出不了几个。这时候合成数据和半自动标注就是值得考虑的方向。
合成数据就是用渲染、生成对抗网络或程序化生成的方式来制造训练样本。比如用三维渲染软件把产品模型和缺陷模型组合，渲染出不同光照、角度下的图像。好处是标注完全免费且精确，坏处是合成图像与真实