OpenAI推出专用AI检测工具 识别DALL-E生成图像准确率达98%
财联社 2024-05-10 09:15

随着AI生成的图片、视频越来越“真”,识别互联网信息来源和真实性的需求正变得愈发迫切。

当地时间周二,美国科技公司OpenAI发布公告称,为了区别照片是由相机还是自家AI生成的,公司推出了一款图像检测分类器——用来分析一幅图像是由OpenAI的“文生图”工具DALL·E 3生成的概率。公司从周二开始接受研究人员访问该工具的申请。

来源:OpenAI官网

识别成功率颇高

OpenAI介绍称,在内部对分类器进行的早期测试显示,该工具在区分非AI生成图像与DALL·E 3生成的图像方面成功率很高,成功率能够接近98%,同时只有少于0.5%的非AI图像被错误地标记来自DALL·E 3。同时这个工具能够应付一系列常见的修改,例如压缩、裁剪和修改图像饱和度。

来源:OpenAI官网

然而,这项工具也有局限性,也显示出“识别AI”这条路才刚迈上第一步。OpenAI透露,如果对图片进行一些微小的修改,就可能会扰乱工具的可靠性。同时,该工具在区分DALL·E 3与其他AIGC工具的产出方面也表现不佳。不过OpenAI也强调,开发这个工具的意图本来就不是用来检测其他热门工具(例如Midjourney)生成的图像。

OpenAI的政策规划主管大卫·罗宾逊对媒体表示,鉴于2024年是美国的选举年,选举问题绝对是推动这项工作(识别AI产物)的主要动机,这是公司从政策制定者那里听到的头号担忧。

从最新进展来看,识别AI图像的前景要明显好于分辨AI生成的文字。OpenAI曾在去年推出过一个检测AI生成文字的工具,但识别准确率低到让公司自己都强调“这个工具不可靠”。

OpenAI的AI政策研究员Sandhini Agarwal也表示,对于大选年的“深度伪造”泛滥问题,新的识别工具可能有助于遏制这种情况,但不会根治问题。Agarwal强调,在打击“深度伪造”方面,压根就没有灵丹妙药。

从源头解决问题:给AI打数字水印

除了通过识别最终作品来判断是否由AI生成外,解决这个问题还有一个更直接的方法:在工具生成图片、视频时就打上“AI水印”,后续只需要识别图片是否存在这类标记即可。

OpenAI也在周二宣布加入了C2PA的指导委员会。

C2PA的全称是内容出处和真实性联盟(Coalition for Content Provenance and Authenticity),旨在制定技术标准来对抗网络上的误导信息。其中也包括被称为“内容证书”的防篡改元数据,展示内容是如何被创建或修改的。微软、Meta、谷歌、索尼、Adobe等公司也是指导委员会的成员。

来源:C2PA

OpenAI确认,从今年早些时候开始,已经向由DALL·E 3 、ChatGPT和OpenAI API创建和编辑的图像中添加C2PA元数据。等到“文生视频”模型Sora大规模推出后,也将向产出添加C2PA元数据。

公司表示,使用者无法轻易伪造或者更改此类信息,这将使其成为建立信任的重要资源,相信这种元数据能够成为填补数字内容真实性的关键空白。

编辑/范辉

最新评论