1. ImageNet数据集的获取与预处理
ImageNet作为计算机视觉领域的基石数据集,至今仍是各类模型性能测试的黄金标准。我第一次接触这个庞然大物是在2014年参加某个图像识别比赛时,当时花了整整三天才下载完1.2TB的原始数据。虽然现在官方下载渠道需要教育邮箱认证,但通过学术种子站依然可以获取完整数据。
1.1 数据下载的实用技巧
对于国内研究者,我强烈建议使用学术种子站(如Academic Torrents)的分流下载。实测用qBittorrent配合以下磁链,下载速度能提升5-10倍:
bash复制# 训练集磁链
magnet:?xt=urn:btih:a306397ccf9c2ead27155983c254227c0fd938e2
# 验证集磁链
magnet:?xt=urn:btih:5d6d0df7ed81efd49ca99ea4737e0ae5e3a5f2e5
下载完成后务必进行完整性校验,这个步骤我吃过亏。曾经因为跳过校验导致训练时出现诡异错误,后来发现是压缩包损坏:
python复制import hashlib
def check_md5(file_path):
with open(file_path, 'rb') as f:
md5 = hashlib.md5(f.read()).hexdigest()
return md5
# 正确校验码
train_md5 = '1d675b47d978889d74fa0da5fadfb00e'
val_md5 = '29b22e2961454d5413ddabcf34fc5622'
1.2 高效解压方案
原始数据采用嵌套tar包结构,直接解压会占用双倍空间。我推荐这个改进方案,可以边解压边处理:
python复制import tarfile
from pathlib import Path
def extract_nested_tar(main_tar, target_dir):
with tarfile.open(main_tar) as outer:
for member in outer:
if member.name.endswith('.tar'):
inner_path = Path(target_dir) / member.name[:-4]
inner_path.mkdir(parents=True)
with tarfile.open(fileobj=outer.extractfile(member)) as inner:
inner.extractall(inner_path)
解压后的目录结构应该如下所示:
code复制ILSVRC2012/
├── train/
│ ├── n01440764/
│ │ ├── n01440764_10026.JPEG
│ │ └── ...
├── val/
│ ├── ILSVRC2012_val_00000001.JPEG
│ └── ...
1.3 元数据解析技巧
devkit中的meta.mat文件藏着宝藏信息。这个MATLAB二进制文件记录了完整的类别树结构,用以下方法可以提取关键信息:
