【自动驾驶场景实战】基于DeepLabv3+与Kitti数据集的道路场景语义分割全流程解析

1. 环境配置与工具准备

第一次接触DeepLabv3+时，我也被复杂的依赖环境搞得头大。后来发现只要按步骤来，半小时就能搞定所有环境。这里分享我的配置过程，帮你避开那些坑。

我的工作环境是Ubuntu 20.04，显卡RTX 3090。不过别担心，就算你用Windows子系统或Colab也能跑通。关键是要注意CUDA版本匹配——这是90%报错的根源。建议先用nvidia-smi查看驱动支持的CUDA最高版本，再安装对应PyTorch。

创建conda环境时有个小技巧：先装Python 3.7再装其他包，能避免很多依赖冲突。具体命令如下：

bash复制conda create -n deeplabv3+ python=3.7
conda activate deeplabv3+
pip install torch==1.8.1+cu111 torchvision==0.9.1+cu111 -f https://download.pytorch.org/whl/torch_stable.html

安装完基础环境后，记得测试CUDA是否可用：

python复制import torch
print(torch.__version__)  # 应该输出1.8.1
print(torch.cuda.is_available())  # 必须返回True

数据集准备方面，Kitti官网下载速度较慢，建议用百度云备份。我整理好的2011_09_29_drive_0004数据集包含完整的道路场景，解压后目录结构应该是：

code复制raw_data/
└── 2011_09_29
    ├── image_02
    ├── velodyne_points
    └── calib

2. 数据预处理实战技巧

原始Kitti数据需要转换成Cityscapes格式才能直接用预训练模型。这个转换过程我踩过三个坑，分享我的解决方案：

首先安装官方工具包：

bash复制pip install cityscapesscripts

然后用这个Python脚本转换标签（注意修改路径）：

python复制from cityscapesscripts.helpers.labels import id2label
import numpy as np

def convert_kitti_to_cityscapes(kitti_label_path):
    kitti_label = np.loadtxt(kitti_label_path)
    cityscapes_label = np.zeros_like(kitti_label)
    for kitti_id in np.unique(kitti_label):
        if kitti_id in KITTI_TO_CITYSCAPES_MAP:
            cityscapes_label[kitti_label == kitti_id] = KITTI_TO_CITYSCAPES_MAP[kitti_id]
    return cityscapes_label

这里有个关键映射表需要自定义：

python复制KITTI_TO_CITYSCAPES_MAP = {
    0: 0,   # 未标注 → 未标注
    1: 24,  # 道路 → 道路
    2: 25,  # 人行道 → 人行道
    3: 26   # 建筑物 → 建筑物
    # 其他类别根据实际需求补充
}

处理图像时建议批量resize到1024x512分辨率，既能保持细节又不会爆显存。我用OpenCV写的预处理管道：

python复制import cv2

def preprocess_image(img_path):
    img = cv2.imread(img_path)
    img = cv2.resize(img, (1024, 512))
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    return img.astype(np.float32) / 255.0

3. 模型训练与调参经验

直接加载Cityscapes预训练权重能省80%训练时间。下载好的.pth文件放checkpoints目录后，用这个命令启动训练：

bash复制python train.py \
    --dataset kitti \
    --model deeplabv3plus_mobilenet \
    --ckpt checkpoints/best_deeplabv3plus_mobilenet_cityscapes_os16.pth \
    --batch_size 8 \
    --lr 0.001 \
    --epochs 50

重点调参经验：

1. 学习率：从0.01开始，每10epoch降10倍
2. 数据增强：必须加随机旋转和颜色抖动
3. 损失函数：交叉熵+lovasz_softmax联合效果最好

训练过程监控可以用TensorBoard：

bash复制tensorboard --logdir runs/

遇到显存不足时，可以尝试这些技巧：

• 减小batch size到4
• 使用--freeze_bn参数冻结BN层
• 开启AMP混合精度训练

4. 预测与可视化全流程

预测单张图片时有个隐藏功能：通过--show参数实时显示结果：

bash复制python predict.py \
    --input test.jpg \
    --dataset kitti \
    --model deeplabv3plus_mobilenet \
    --ckpt checkpoints/best_deeplabv3plus_mobilenet_kitti_os16.pth \
    --save_val_results_to outputs \
    --show

批量预测时建议用多进程加速（特别是处理视频时）：

python复制from multiprocessing import Pool

def process_image(img_path):
    # 预测代码...
    
with Pool(4) as p:
    p.map(process_image, glob.glob('images/*.jpg'))

可视化我推荐用matplotlib自定义颜色映射：

python复制def visualize_mask(mask):
    color_map = np.array([
        [0, 0, 0],       # 背景
        [128, 64, 128],  # 道路
        [244, 35, 232]   # 行人
    ])
    return color_map[mask]

最后将预测结果与原图叠加显示：

python复制plt.imshow(cv2.addWeighted(
    original_img, 0.6, 
    colored_mask, 0.4, 0
))

5. 实际道路场景优化策略

在真实道路测试时，我发现三个常见问题及解决方案：

问题1：远处物体分割不准确

• 解决方案：在训练数据中加入更多远距离场景样本
• 代码实现：用透视变换增强远处物体

问题2：阴影区域误识别

• 解决方案：在HSV颜色空间做数据增强
• 代码片段：

python复制img_hsv = cv2.cvtColor(img, cv2.COLOR_RGB2HSV)
img_hsv[:,:,2] = np.clip(img_hsv[:,:,2]*random.uniform(0.8,1.2), 0, 255)
aug_img = cv2.cvtColor(img_hsv, cv2.COLOR_HSV2RGB)

问题3：实时性不足

• 优化方案：
  1. 改用MobileNetV3 backbone
  2. 启用TensorRT加速
  3. 减小输入分辨率到512x256

实测优化前后对比：

虽然精度略有下降，但实时性提升近3倍，更适合车载设备部署。