清华北邮联合发文：扩散式VLM的安全防线，正在被「跨步条件传播」逐层打穿

2026年10月17日

图文一拼，模型还能看出风险吗？

视觉语言模型现在干的不只是读文字了。办公助手要同时理解图片和文字之间的关系，内容审核要看图文合在一起是什么意思，机器人和智能终端更是要在真实场景里持续处理图像。问题也随之变得复杂：一句话单独看没有明显风险，一张图单独看也没触发拒答，可图文拼在一起，模型还能不能判断出对方的真实意图？

这个问题的答案，最近在清华和北邮联合发表的一篇 EMNLP'26 工作里被翻了旧账。论文给出一个有点扎心的观察：当模型从「看一次图再回答」变成「在生成过程中反复参考同一张图」，安全防线就不是静态输入检查能兜住的了。

机制差异就在这。传统自回归视觉语言模型，大致可以理解为先看图、再从左到右写答案，图片编码后像一段视觉前缀，主要在生成开始时注入。离散扩散视觉语言模型（dVLM）不一样，它像是从一张被遮住的答卷上逐步揭开答案——从大量被遮蔽的文字状态出发，经过多轮去噪，一步步恢复完整回复。关键差别在于，dVLM 在每一轮去噪里都可能重新用到视觉条件，图片里的风险语义就有了机会在多个阶段反复发挥作用。清华和北邮把这种现象称为跨步条件传播（Cross-Step Conditional Propagation），传播不是说图片在模型里被复制了，而是视觉条件在连续生成步骤里不断参与计算，影响沿着生成轨迹累积。

基于这个特点，团队提出了 DIVA，全称是 Discrete-diffusion Vision-language model Attack，一种面向离散扩散 VLM 的白盒视觉越狱方法。它的目标不是修改参数，也不是宣称所有模型必然失效，而是在研究者能访问模型参数和梯度的前提下，构造一种有界的视觉输入扰动，检验模型在完整去噪过程中的安全稳定性。方法由跨模态意图混淆和扩散感知的对抗优化两部分组成。

跨模态意图混淆，思路是把一条显式指令拆到图文两端。原始风险指令被改写，直接出现的对象、动作和目标换成依赖图片才能懂的指代表达，改写后的文字不再承载全部语义；被移出文本的关键语义放进一张复合图像，由承载关键词的文字层和目标语义相关的视觉内容叠加或拼接而成。这就像把一条信息拆成两把钥匙，单独检查文字或图片都看不出完整意图，模型做多模态融合时才把两部分重新拼起来。这直接暴露出单模态过滤的局限。

扩散感知的对抗优化则针对「跨步条件传播」本身。普通视觉攻击往往围绕一次前向计算优化输入，DIVA 每次更新时从完整去噪轨迹里抽取多个时间步，遮蔽比例高的面对的是尚未成形的早期答案，遮蔽比例低的则接近生成结束。每个时间步只计算被遮蔽位置上的预测损失，再把多个时间步的损失取平均，让同一份扰动同时适应多种中间状态。用论文的话说，优化的不是某一帧「快照」，而是整段生成轨迹里的持续影响。梯度依次经过视觉编码器、多模态投影层和双向扩散 Transformer 返回输入图像，每次更新后扰动都被投影回规定的像素范围。模型参数和解码规则始终不变，变化只发生在输入图像里。

另外，DIVA 在优化阶段只用一段很短的肯定式、非拒答前缀作为教师强制目标，目的是推着模型跨过「拒绝还是继续回答」的决策边界，而不是要求它机械复现预先写好的完整内容。它还面向同一风险类别里的多条提示联合优化一个共享扰动，推理时只需把离线算好的类别级扰动加进对应复合图像，再交回原始模型，模型结构、权重和解码流程都不用改。论文里的计算也表明主要成本在离线优化阶段，推理时的储存扰动只涉及图像相加与裁剪。

实验部分，团队在 HADES 和 VLSBench 两个多模态安全基准上测了 LLaDA-V、MMaDA 和 LLaDA2.0-Uni 三类 dVLM。这里的 ASR 是攻击成功率，数值越高说明模型越容易生成不符合安全策略的内容，不代表通用能力更强。在 HADES 的 Beaver 语义评估下，DIVA 在三个模型上的平均 ASR 分别达到 LLaDA-V 58.80%、MMaDA 67.73%、LLaDA2.0-Uni 69.07%，都高于各自的比较方法；在 MMaDA 上比 DIJA 高 6.67 个百分点，在 LLaDA2.0-Uni 上高 19.20 个百分点。换到没参与扰动优化的 VLSBench 上，LLaDA-V 和 MMaDA 的 ASR 仍分别达到 52.07% 和 74.16%，同样是比较方法里最高的。这说明跨步条件传播更像与生成机制有关的结构性风险，但论文也强调，扰动仍需针对目标模型和风险类别重新优化，不意味着一份扰动能无条件迁移到所有模型。

消融实验进一步说明，关键不是「图片噪声越大越有效」。在 LLaDA-V 上逐步加入复合图像、随机扰动、打乱空间结构的扰动和完整 DIVA 优化扰动，平均 ASR 从 32.93% 一路升到 41.00%、44.53%、52.67%，最后到 58.80%。复合图像提供了跨模态语义，空间结构贡献一部分效果，真正针对多个去噪状态优化才带来主要增益。论文还做了可感知性分析：放大前攻击图像与原图肉眼几乎无差，放大差异后才发现分布着的低幅度变化。这对审核环节是个提醒，安全审查不能只靠人工浏览，也不能只用简单像素差异阈值判断可信度——模型可能对人眼不明显的统计变化非常敏感，而这些变化又能在多轮生成里被反复利用。

这是一项白盒研究，论文没有公开优化后的扰动文件、可直接复现的攻击脚本、具体步长和扰动预算等细节，目的在于揭示机制并推动防御研究，而不是给真实系统提供操作指南。

DIVA 最值得在意的不是把某个 ASR 数字抬了多少，而是提出了一个防御问题：我们往往只检查了输入和最终答案，却忽略了答案是怎么样一步步生成出来的。论文据此给出几个方向：文本过滤和图像过滤要协同工作，不能把两个模态完全分开处理；对扩散式模型可以比较不同去噪区间的安全判断是否发生异常切换；自回归模型和扩散模型的风险接口并不相同，评测方法不能简单照搬；安全对齐要从最终输出前移到生成轨迹，如果模型在中间阶段已经形成明显的不安全方向，等到最后一步再拦截可能已经晚了。这些方向可以用于模型上线前的安全验收、红队评测和模型更新后的回归测试。对机器人、智能终端这类需要持续处理图像的系统来说，跨时间步的安全监测尤其值得关注。

从「看一次图再回答」变成「生成过程中反复参考同一条图像」，安全问题从静态输入检查延伸到了动态生成轨迹。这一步也提示防御该往哪走：与其在入口一再加闸，不如在每一步生成的中间状态里，提早发现已经走偏的答案。

相关链接