“扩散模型对抗样本的baseline”这两年突然变成一个高频词,我经常在组会和学术群里看到有人问:“有没有现成的attack baseline可以跑?”、“AdvDM和MIST区别到底是什么?”、“为什么同一个PGD方法在Stable Diffusion上能work,换个scheduler就失效了。”我的感觉是,扩散模型本身已经够复杂了,一旦叠加对抗样本,很多人不是卡在理论上,而是卡在“没人告诉你这些baseline到底分别适合验证什么问题、从哪里改起”。
这篇文章就纯粹站在“复现者”的角度,把扩散模型对抗样本领域里那些绕不开的经典baselines梳理一遍。我会按攻击发生的位置和方法目的做分类,而不是按论文时间线平铺;然后把每个方法的适用场景、核心思想完整讲清楚。也会补充一个最小可落地的评估框架的设计思路,以及我实际复现时踩过的坑。适合的人群很明确:正在做AIGC安全评估、生成模型鲁棒性研究的研究生和算法工程师,或者准备把扩散模型护送到生产环境的安全同学。如果你是刚接触对抗样本的新手,前面的数学和背景部分也应该能跟上。
1. 整体领域梳理:扩散模型对抗样本到底在研究什么
1.1 攻击对象不再只是一个分类器
传统对抗样本研究的对象非常单薄:一个分类器,输入图像,输出类别标签。攻击者要做的事情就是给输入图像加上一个轻微扰动,让分类结果出错。CNN时代的PGD、FGSM、CW等都是围绕这个闭环设计的。
但扩散模型的对抗攻击形态完全不同。以Stable Diffusion这类文生图系统为例,整个pipeline里至少有四个可攻击的输入出口:文本提示词(prompt)、输入的参考图(image condition)、条件引导模块(classifier guidance或embedding)、以及生成过程中的噪声初始化。被攻击的目标也多种多样,有的想让模型输出特定内容绕过审核,有的想毁掉一次生成,有的想防止自己的作品被拿来训练模仿画风。
所以“对抗样本”这个词在这个领域被扩展了:它既可以指图像空间里的像素扰动(继承自经典定义),也可以指文本空间里的一小段对抗提示(属于离散对抗样本的范畴),还可以指latent空间里加入的微小偏移。这是理解baselines的第一个关键点:不是所有方法都在攻击同一个对象,把他们堆在一起对比意义不大。
1.2 主流baselines的分类逻辑
我从复现者的角度把经典方法分成三类:
第一类攻击发生在图像输入端,典型代表是AdvDM和MIST,他们面向“图生图、图像编辑、训练数据保护”场景,目标是在原图上加扰动,让扩散模型难以正确重建或模仿。
第二类攻击发生在条件输入和生成阶段,典型代表是Safety RLAIF相关的那批attack benchmark、SneakyPrompt和Ring-A-Bell,他们攻击的是文本到图像生成里的对齐护栏,目标是让安全过滤器失效或生成指定内容。
第三类攻击发生在采样/去噪阶段,通过在latent或中间特征上加扰动来误导整个采样过程,这类方法数量很多但多是学术上的白盒攻击变体,实际用途不如前两类明确。
这样分类之后你会发现,每个baseline背后的“受害者”模型都不一样。AdvDM的受害模型是扩散模型的unet本身;SneakyPrompt攻击的对象是文本编码器和安全分类器。评测维度自然也完全不同。
1.3 为什么经典PGD不能直接照搬
还有一个很多新手会问的问题:把经典PGD直接拿来,对扩散模型的loss做梯度上升行不行?原理上可以,实践上问题很大。
经典PGD假设梯度路径短且稳定,但扩散模型的完整前向推理是一长串去噪step的叠加,每一步unet都有成百上千层。要端到端地展开梯度,显存消耗非常大。更麻烦的是扩散模型采样过程包含大量随机性(噪声采样、scheduler的随机项),按传统方式展开全部计算图做端到端反传后,梯度经常会因为长链路中的非线性而消失或者爆炸。
所以现在的baselines很少真的“端到端展开全部采样链”,而是用各种代理目标来绕过这个问题:有的只扰动一步去噪的loss;有的用确定性采样器近似全链路;有的用一个可微代理模型替代整个扩散网络。理解这个背景,后面看baseline实现就不容易迷路。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 详细介绍经典baselines的设定与适用场景
2.1 AdvDM:面向图像输入的对抗扰动,保护创作者作品
AdvDM(Adversarial Diffusion Modeling)是相对早期也容易被误解的一个代表性的baseline。很多人以为它是一个通用的文生图攻击框架,其实它的定位非常具体:给一张“要被扩散模型学习的图”加上轻微扰动,使得模型训练或模仿画风的loss变大,从而避免被直接复刻。
论文里的思想可以概括成:如果把扩散模型的训练目标(去噪误差)当作“模仿画风”的核心指标,那攻击者就最大化这个去噪误差。比如某个作者不希
