激活函数实战指南：用PyTorch/TensorFlow对比Sigmoid、ReLU与Swish的性能差异

在深度学习项目中，激活函数的选择往往决定了模型训练的成败。许多开发者习惯性地使用ReLU作为默认选项，却忽略了不同任务场景下激活函数的微妙差异。本文将带您通过实际代码演示，直观比较Sigmoid、ReLU、Leaky ReLU和Swish等主流激活函数在图像分类任务中的表现差异，并揭示那些教科书上不会告诉你的实战陷阱。

1. 实验环境搭建与基准模型设计

我们先构建一个标准的对比实验框架。使用CIFAR-10数据集作为测试基准，这个包含10类彩色图像的数据集既能体现复杂特征提取需求，又不会使实验时间过长。以下是使用PyTorch搭建的基础实验环境：

python复制import torch
import torch.nn as nn
import torchvision
from torch.utils.data import DataLoader

# 数据准备
transform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor(),
    torchvision.transforms.Normalize((0.5,0.5,0.5), (0.5,0.5,0.5))
])
train_set = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)
train_loader = DataLoader(train_set, batch_size=64, shuffle=True)

# 基准模型架构
class BenchmarkModel(nn.Module):
    def __init__(self, activation_fn):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 32, 3, padding=1)
        self.act1 = activation_fn
        self.pool1 = nn.MaxPo