G.O.S.S.I.P 阅读推荐 2023-05-16 UnGANable

Tags

Top Highlights

• 为抵御基于GAN反演步骤实现人脸操纵，文章首先提出了第一个防御系统——UnGANable

• 第一步是GAN反演，它将受害者的面部图像反转为潜空间编码；第二步是潜空间编码操纵，它操纵潜空间编码以获得修改后的图像，例如在受害者的面部上添加一副眼镜

• 因此最有效的防御方法是降低GAN反演的性能，能够使攻击者只能获得与准确潜空间编码相距甚远的不准确潜空间编码，而无法有效实现接下来的潜空间编码操作步骤

• 优化反演技术通过优化潜空间编码来重建目标图像，而混合反演则是预先训练一个编码器，该编码器可以将目标图像映射到潜空间编码，之后再利用优化反演技术来优化此潜空间编码来重建目标图像

• 因此，GAN反演实际上在至少三个空间中工作，即图像空间、特征空间和潜空间

• 均方误差损失是基于像素值计算，即工作于图像空间

• 感知损失通过使用预训练模型从不同图像中提取的特征来衡量相似性，即在特征空间中工作

• 优化过程旨在搜索最佳的潜空间编码，即在潜空间中工作

• 防御者需要构建一个影子编码器  ，并使得  和  之间的预测非常相近

• 为了衡量实用性，文章使用了一系列最常用的相似度度量，包括均方误差（MSE）、结构相似性（SSIM）和峰值信噪比（PSNR

• 实用性衡量了UnGANable搜索到的伪装图像是否与目标图像难以区分

• 有效性衡量了UnGANable对GAN反演过程的威胁程度，对于一个给定的目标图像，成功防御的标志是重构图像身份的改变

• 基于这样的逻辑，使用匹配率来评估有效性

• 在UnGANable方法中，文章采用了一个预算ε来限制伪装图像和目标图像之间的距离，以确保伪装图像在图像空间中难以区分

• 为了更有说服力地阐述UnGANable的性能，文章将其与十三种图像扰动方法进行了广泛比较，对于每种方法均使用各种不同的预算大小评估了其有效性能和实用性能

• 面部操作系统可以通过改变发型或面部表情等属性，从而篡改图像中的目标面孔，并且随着面部操作技术的不断升级，操纵结果变得越来越逼真

• 这导致了图像的恶意使用，操纵者可能会未经许可编辑他人的肖像照片用于制造虚假信息，或通过篡改人物演讲视频的表情（例如口型）达到误导公众的目的

• 这些观察结果激发了UnGANable系统的设计思路，能够通过寻找能够在潜空间和特征空间中最大程度地与目标图像产生偏差的伪装图像，同时保持该伪装图像和目标图像在图像空间中不可区分

• 利用编码器为后续优化步骤提供更好的初始化潜空间编码

• 因此，为误导目标编码器  ，防御者可以使目标编码器  提供的初始化潜空间编码为零或接近零，即针对混合反演的防御目标应该是强制目标编码器的输出为零

Toughts & Comments

Rui Zhang

本文开展了如何保护人脸图像免遭恶意编辑或修改的研究。为了利用GAN来操纵图像，攻击者首先将图像逆向为潜空间编码，然后对该编码进行操纵并得到修改后的图像。为抵御该攻击，防御者在潜空间和特征空间中寻找偏差最大的伪装图像，同时保持在图像空间中二者的距离非常接近。作者在白盒、灰盒和黑盒场景中设置了优化目标，并使用预算ε来限制伪装图像和目标图像之间的距离，保证其难以区分。实验结果表明，UnGANable方法能够有效地保护图像免遭恶意编辑。