复旦提出首个基于扩散模型的视频非限制性对抗攻击框架，主流和架构都防不住它

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文作者来自复旦大学视觉与学习实验室和人工智能创新与产业研究院。其中第一作者高子怡为复旦大学研二硕士，主要研究方向为AIGC和AI安全。本文通讯作者是复旦大学的陈静静副教授。

来自复旦大学视觉与学习实验室的研究者们提出了一种新型的面向视频模型的对抗攻击方法-基于扩散模型的视频非限制迁移攻击（ReToMe-VA）。该方法采用逐时间步对抗隐变量优化策略，以实现生成对抗样本的空间不可感知性；同时，在生成对抗帧的去噪过程中引入了递归token合并策略，通过匹配及合并视频帧之间的自注意力token，显著提升了对抗视频的迁移性和时序一致性。

引言

背景

近年来，深度神经网络（DNNs）在计算机视觉以及多媒体分析任务上取得了巨大的成功，并广泛的应用于实际生产生活中。然而，对抗样本的出现对DNNs的鲁棒性带来了挑战。与此同时，对抗样本的可迁移性使得黑箱攻击成为可能，从而为深度模型在诸如人脸验证和监控视频分析等安全攸关的场景中的部署带来了安全威胁。目前，大多数基于迁移的对抗攻击尝试通过限制扰动的Lp-范数来保证「细微扰动」。

然而，在Lp-范数约束下生成的对抗样本仍具有可察觉的扰动噪声，从而使其更容易被检测到。因此，非限制性对抗攻击开始出现。与之前的方法不同，非限制性攻击通过添加非限制性的自然扰动（如纹理、风格、颜色等）实现。相比于传统添加限制性对抗噪声的攻击，上述非限制性攻击优化得到的对抗样本更加自然。

目前，复旦提出首个基于扩散模型的视频非限制性对抗攻击框架，主流和架构都防不住它针对非限制性对抗攻击的研究主要针对图像模型，针对视频模型的研究，尤其是视频模型非限制对抗攻击可迁移性的研究仍较少。基于此，本文深入探索了非限制对抗攻击在视频模型上的迁移性，并提出了一种基于扩散模型的非限制视频迁移攻击方法。

问题

基于扩散模型的非限制视频迁移攻击的挑战来自三个方面。首先，对抗视频生成涉及整个去噪过程的梯度计算，导致高内存开销。第二，扩散模型通常在早期去噪步骤中添加粗略语义信息进行引导，然而在生成对抗视频中，过早对隐变量进行扰动会导致生成对抗帧显著失真，且逐帧生成对抗帧后将导致最终对抗视频时序一致性差。最后，由于时间维度的引入，逐帧的单独对抗扰动会引入单调梯度，缺少视频帧之间的信息交互，使得对抗帧的迁移性较弱。

方法

为此，研究团队引入了第一个基于扩散模型的视频非限制性对抗攻击框架ReToMe-VA，旨在生成具有更高可迁移性的视频对抗样本。

ReToMe-VA攻击框架如上图所示。ReToMe-VA通过DDIM反转将良性帧映射到隐空间。在DDIM采样过程中，采用逐时间步对抗隐变量优化策略来优化潜在变量，即在每个去噪步骤中优化扩散模型隐空间的扰动。这一策略能够使得添加对抗内容在具有强对抗性的同时更加自然。

此外，ReToMe-VA引入了递归token合并机制来对齐和压缩跨帧的时间冗余token。通过在自注意力模块中使用共享token，ReToMe优化了逐帧优化中细节的不对齐信息，从而生成时间上一致的对抗性视频。同时，跨视频帧合并token促进了帧间交互，使当前帧的梯度融合来自关联帧的信息，生成稳健且多样化的梯度更新方向，从而提高对抗迁移性。

时间步对抗隐变量优化策略

递归token合并

实验

研究团队选择Kinetics-400数据集，I3DSLOW,TPN,R(2 1)D,VTN,Motionformer,TimeSformer和VideoSwin等CNN和ViT架构的模型评估了ReToMe-VA的对抗性迁移性。当使用某一种结构的视频模型作为替代模型时，计算所生成对抗样本在其他结构的视频模型上的攻击成功率（Attacksuccessrate，ASR），以此作为评价指标。

对抗迁移性实验

研究团队首先评估了正常训练的CNNs和ViTs的对抗可迁移性。对于视频限制性攻击，将提出的方法与SOTA的TT进行比较。对于视频非限制性攻击，由于缺乏可比的工作，研究团队将图像非限制性攻击扩展为逐帧生成对抗性视频片段，包括SAE、ReColorAdv、cAdv、tAdv、ACE、ColorFool、NCF和ACA。

对抗性视频片段分别针对Slow-50、TPN-50、VTN、Motionformer和TimeSformer生成。结果显示，ReToMe-VA在Motionformer和TimeSformer模型上实现了100%的白盒攻击成功率，且在黑盒环境中超过了限制性攻击方法TT。当使用Slow-50、Motionformer和TimeSformer作为替代模型时，ReToMe-VA显著超过了SOTA的ACA，分别高出17.10%、26.62%和10.19%。部分结果展示如下：

对抗防御鲁棒性实验

研究团队在HGD，R&P，JPEG，Bit-Red和DiffPure等五种防御方法上评估了ReToMe-VA的对抗防御鲁棒性。通过实验，ReToMe-VA在不同防御方法中仍保持较高的攻击成功率。比如HGD和DiffPure防御方法下，ReToMe-VA分别比ACA高出17.5%和4.41%，这表明其在穿透这些防御时的鲁棒性和效率。

可视化

研究团队通过对视频帧质量和时间一致性的定性和定量比较来展示ReToMe-VA方法的优越性。

视频帧质量

研究团队通过参考和非参考感知图像质量评估指标对帧的质量进行了量化评估。如表所示，ReToMe-VA在所有指标中都达到了前两名。而ReToMe-VA在HyperIQA和TReS中取得了最佳结果。

时序一致性

研究团队使用五个指标评估视频的时序一致性，所有指标都达到了前两名。具体来说，运动平滑度和时间闪烁性取得了最佳结果。