检测Deepfake可能意味着读嘴唇

Deepfake视频很有趣,播放了大约10秒钟,然后我们都意识到了可怕的影响。当人们不信任自己的眼睛时,人们如何分辨什么是真实的,什么不是?

在这里的Black Hat上,ZeroFox研究人员介绍了他们用于识别Deepfake视频的技术。首席技术官迈克·普赖斯(Mike Price)考察了深造假的历史,并超越了创建它们的过程。ZeroFox首席研究工程师Matt Price(无关系)然后介绍了自己的检测工具及其各自的缺点。

假货的制作方法

作为复习,deepfake是使用人工智能创建的视频。该技术可以分析一个人的视频,以创建一个令人信服的新片段。结果可能很有趣,但也很可怕,因为可以快速创建可以轻松在线共享的伪造视频。

就他自己而言,迈克·普赖斯(Mike Price)认为“ deepfake”一词已被滥用,并且已经涵盖了所有可操纵的视频。他提出了一个更为精确的定义:一个将一个人的面孔换成另一个人的面孔的视频。此过程涉及将两个目标人员的素材输入深度学习算法,以训练它交换面孔,然后使用该信息来交换第三部视频。

Mike Price指出,此时创建和分发Deepfake的价格是微不足道的。ZeroFOX的首席执行官詹姆斯·福斯特(James Foster)之前在RSAC 2019年关于选举影响力竞选的演讲中讨论了Deepfake造成的潜在威胁。当时,福斯特概述了他对识别Deepfake视频的成本的关注;它们创建起来很便宜,但是很难自动识别和删除。

Deepfake显然已经成熟,可以在涂片运动中使用,但是Mike Price认为这仍然是未来的威胁。“在我们所知道的所有已知的公共欺诈中,没有一个被用于恶意的[目的]。”记者认为,色情假货是恶意的。

为了演示如何在恶意虚假信息活动中使用Deepfake,Mike Price创建了一个自动创建和分发Deepfake的工具。迈克·普赖斯(Mike Price)使用了一个深切的视频示例,其中众议员亚当·希夫(Adam Schiff)表达了他对幼犬的热爱,展示了如何对其进行重新编辑,使其看起来像是福克斯新闻,CNN或MSNBC的部分。然后,他的工具可以通过电子邮件和SMS自动上传和分发该视频。

最后一个向量是迈克·普赖斯(Mike Price)认为可能非常有效的方法,它提出了一个基本问题:“如果有人对这些视频做得更好一些,并在大选前夕部署它们,我们是否有能力应对? ”他不这么认为。

如何发现Deepfake

制作Deepfake既便宜又容易,但是发现它们却要困难得多。马特·普莱斯(Matt Price)说:“我想提出的第一点是:人类是可怕的检测机器。”他引用了一项名为FaceForensics的研究,该研究发现人类只能在80%的时间内识别出真实的图像。

马特·普赖斯说:“充其量,人类能够以75%的比率识别出这些伪造品,而在最坏的情况下,则能够以40%的比率识别出这些伪造品。”“您要部署以检测深造假的人类分析人员队伍将无法正常工作。”

另一方面,机器可以做得更好,但是只能在特定条件下进行。Matt Price概述了几种识别假视频的方法。诸如眨眼或呼吸之类的生理元素可以提供帮助,但也可以通过在deepfake算法中添加更多不同的素材来掩盖它们。检查镜头中的PRNU模式(这是特定相机型号的光传感器所特有的缺陷)也可以使用,但是一旦涉及多个相机角度,它的作用就会减弱。而且,由于必须在深层伪造中扭曲和重新调整面部元素,因此在识别深层伪造中,人脸对称的伪影或不对齐也可能有用。

马特·普赖斯(Matt Price)鉴定出的一种有前途的工具是循环神经网络(Recurrent Neural Networks),可以对它进行训练,以识别照明条件,阴影,反射甚至是黑脸的不一致性。之所以可行,是因为Deepfake算法逐帧地工作,但是不会“记住”为先前帧创建的内容。

马特·普赖斯(Matt Price)还解释了如何为个人量身定制检测模型,例如可能深为不善的知名政客。该方法特别有用,因为可以仅使用真实镜头来训练检测模型,而不必混入深层伪造。不利的一面是,它仅适用于一个人,不能一概而论。

尽管每种检测方法都有优点和缺点,但它们都有一个普遍的缺陷:随着视频质量的下降,检测率也会下降。马特·普赖斯(Matt Price)说:“很有可能,您将可以访问压缩的视频。”这是因为要使Deepfake生效,需要对其进行压缩并在各种平台上共享。导致深度欺诈检测失败的其他原因是,只有一小部分视频被伪造,或者一群人中只有一个人被伪造。

Deepfake电影明星

考虑到所有这些限制,Matt Price希望找到一个单一的解决方案,该解决方案可以在所有类型的Deepfake中找到伪造的东西。结果就是Mouthnet,这是一种只看嘴巴的工具。马特·普赖斯(Matt Price)从理论上讲,它应该起作用,因为Deepfake需要编辑目标的嘴巴以使他们说些什么。他解释说:“您可能不会触摸眼睛,可能不会触摸鼻子,必须触摸嘴巴。”

他使用200个Deepfake视频进行训练,并针对100个未在训练中使用的视频设置了模型。检出了41%的深层虚假,但有10%被错误分类。在从视频中获取的单张图像中,Mouthnet在53%的时间内识别出了假货。这些结果并非令人jaw舌,但马特·普赖斯(Matt Price)表示,数据集特别困难,因此他很高兴。随着时间的推移,他计划通过其他机器学习培训来改进模型。

为应对Deepfake所造成的威胁,ZeroFox发布了一个名为Deepstar的工具,该工具“可以自动执行一些所需的劳动密集型任务,”该公司在博客文章中说。“例如,它能够从内容站点抓取视频,从训练或再培训深度学习分类器所需的视频中抓取帧,在这些帧上执行所需的转换,例如面部提取,并自动对新的检测模型进行测试和评分,列举一些功能。”

ZeroFox还与其他工具一起发布了Mouthnet。

迈克·普赖斯在新闻稿中说:“随着Deepstar的发布,研究人员和防御者将在他们的工具包中增加一个工具,以帮助简化Deepfake检测研究的过程。”“由于可能会滥用深造品,以误导公众,我们认为重要的是,将工具包回馈给已经做过一些出色工作的社区,并帮助防御者提高其准备应对未来挑战的能力在这方面。”

ZeroFox希望安全社区能够使用这些工具来构建更有用的工具,以消除深层造假。Deepstar是开源的,可以从ZeroFox网站上很快获得。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢。