乌镇峰会热议AI反诈:国内首个AI大模型攻防赛收官,全球十强亮相
北京青年报客户端 2024-11-21 16:54

“这段视频明显是AI合成的!视频中人脸动作轨迹和速度等信息都出现异常。”“这条语音在某些频率上过于‘干净’,显示出不自然的变化,AI生成概率在98%以上!”……11月20日,国内首个AI大模型攻防赛在世界互联网大会乌镇峰会收官。现场,全球十强选手面对“眼见不为实、耳听不为实”的场景,通过大模型技术辨别AI造假的音频、证照及视频,用AI对抗AI。

大赛自9月启动以来,来自全球18个国家和地区的2700多个赛队、3200余名技术精英参与,选手来自清华大学、北京大学、交通大学、南洋理工大学、约翰霍普金斯大学、香港科技大学、悉尼大学等290多个国内外高校,以及字节跳动、理想汽车、腾讯、智谱AI、Shopee、网易等280多个互联网、金融、汽车、大模型科技等行业企业。

只需10秒,大模型就能克隆声音、复刻照片,甚至能生成“你”的视频,从而引发deepfake欺诈、色情影像伪造、假新闻等社会事件;大模型“越狱”问题频发,诱骗AI听从不怀好意的指令,生成血腥、暴力、歧视、仇恨的图片、视频,危害网络空间安全。

通过攻、防双向赛道竞技,大赛最终角逐出全球十强,由来自字节跳动、合合信息科技、济南大学、浙江工业大学、安徽大学、上海交通大学等企业和高校的赛队获得。

据悉,赛事由中国图象图形学学会、蚂蚁集团、云安全联盟大中华区联合主办,联合清华大学、上海交通大学、浙江大学、北京科技大学、湖南大学、华中科技大学、北京理工大学等高校及多家产学研组织共同发起,直面并解决大模型应用中潜藏风险,助力全球AI产业健康可持续发展。

活动现场,中国信通院启动“护证计划”,呼吁共建行业标准,守护用户的身份安全。蚂蚁集团积极响应加入该计划,宣布其推出的凭证可信认证平台蚂蚁光鉴将逐步升级,未来打造成为集合智能证照核身处理系统、智能声音核身处理系统、智能视频核身处理系统于一体的新一代AI核身系统。

中国工程院院士、中国图象图形学学会理事长王耀南指出:“加强大模型安全保护,构建完善的安全防护体系,是确保人工智能技术持续、稳定、健康发展的关键所在,也是我们在这个充满机遇与挑战的时代必须肩负起的重要使命。”

文/北京青年报记者 温婧
编辑/樊宏伟

最新评论