对于滥用生成式人工智能技术的担忧在世界范围内都存在。不仅因为其超越一般技术的“创造能力”和“破坏性”，更因为人们发现，生成式人工智能技术发展的速度极快。目前，世界各国对其风险的预判与防范均处于探索阶段，有赖于法律体系的进一步完善。

10分钟内被骗走430万元，近期，用AI技术兴风作浪的诈骗案件，引起了社会关注。

5月22日，包头警方发布的一起利用AI实施电信诈骗的案例冲上热搜。福州市某科技公司法人代表郭先生在接到“好友”微信视频电话后，考虑到关系好又是真人视频通话，在10分钟内直接向对方账户汇款430万元。随后才意识到自己遭遇了“高端”骗局，“好友”是骗子通过AI换脸技术佯装而成的。

关于AI技术的争论不曾停止过。此前，ChatGPT就曾因编写假新闻而饱受诟病，而近期大量出现的AI诈骗更是令人不得不开始反思，AI生成的虚假信息或许潜藏着巨大的社会风险。

需警惕生成式人工智能技术的滥用

英国媒体《每日邮报》曾报道，2019年3月，英国警方逮捕了一名使用AI语音模仿软件的诈骗者。他将自己的声音改变成当地一家能源公司老板的声音，以“帮助公司避免拖欠罚款”为由要求一位高管向其汇款，通过电话骗取了22万欧元（约合人民币170万元）。据这名高管回忆，当时他也产生了疑心，但他的确听到了老板的德国口音。此案被认为是全球首例人工智能诈骗案。

其实，模仿一个人的声音乃至外貌，对AI来说并不是新鲜事。此前，“AI孙燕姿”就曾在B站等网络平台走红，视频上传者通过使用AI音色替换技术(Sovits4.0)，生成了高度还原孙燕姿音色的翻唱歌曲，其中原唱为周杰伦的歌曲《发如雪》播放量已超过200万次。近期也有媒体报道了一款网络上的付费AI换脸软件，其套餐价格从499元到2888元不等，肉眼来看，换脸之后的“数字人”口型、表情、微小的动作几乎毫无破绽。

诸如此类生成式人工智能（Generative Artificial Intelligence，简称GAI）的大量出现很大程度上得益于深度合成和机器学习的快速发展。而AI诈骗者正是通过这些先进的技术，训练出能够模拟人类语言和神态的AI。

苏州大学竞争政策与反垄断研究中心研究员方翔指出，近期的AI诈骗案件主要是人工智能技术在图像领域的应用，其可以将不同人脸图像中的面部特征相互替换。“拟声”则是借助深度学习模型，根据已有的语音样本（如通话录音、网络视频等）生成与其近似的声音，进而做到与人交谈。

5月24日，中国互联网协会发文提醒，伴随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频，进行诈骗、诽谤的违法行为屡见不鲜。面对利用AI技术的新型骗局，广大公众需提高警惕，加强防范。业内人士普遍认为，“AI换脸”技术的滥用给人们敲响了警钟，其复杂性、隐蔽性也给科技识别及运用提出了更高的要求。

“对于生成式人工智能，正当适度使用，可以倍增工作效率，有力推动创意产业发展，促进消费者福祉增长。但同时，虚假使用可引发谣言泛滥、侵害权利、压榨利益，而过度使用可引发践踏人性、减少就业、贫富悬殊，而恶意滥用甚至成为歪曲真相、撕裂社会、政策干扰、祸乱宇内的罪恶之源。”中国互联网协会法工委副秘书长胡钢认为，要坚持依法崇德治理，使全社会形成法网大于互联网、国法高于算法、人工智能不能成为“人工制人”的共识。

探索构建完善的人工智能法律体系

“我国针对人工智能及数据安全、个人信息保护的立法虽然起步较晚，但日臻成熟。”方翔指出，早在2017年7月，国务院印发《新一代人工智能发展规划》，其作为我国AI发展的纲领性文件，提出了面向2030年我国新一代人工智能发展的指导思想、战略目标、重点任务和保障措施，其中特别提到“到2025年初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力”。

2022年12月，国家网信办、工信部、公安部联合发布《互联网信息服务深度合成管理规定》，强调不得利用深度合成服务从事法律、行政法规禁止的活动，要求深度合成服务提供者对使用其服务生成或编辑的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能服务的，可能导致公众混淆或者误认的，应当进行显著标识。

2023年4月，国家网信办起草《生成式人工智能服务管理办法（征求意见稿）》并向社会公开征求意见，提出AI内容必须真实准确，禁止非法获取、披露、利用个人信息和隐私、商业秘密。

“总的来看，构建完善的人工智能法律体系，我国目前仍在探索阶段。”方翔说。中国信息通信研究院云计算与大数据研究所所长何宝宏则指出，2022年12月发布的《互联网信息服务深度合成管理规定》明确针对在中国境内应用深度合成技术提供的互联网信息服务进行规制，其中，深度合成技术是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术。“在上述法律法规的具体落实过程中，存在两方面的挑战。”

“一是防范深度合成技术应用生成错误价值导向、虚假信息的能力需要进一步提升。《互联网信息服务深度合成管理规定》要求深度合成服务提供者对输入数据和合成结果进行审核、建立健全识别违法和不良信息的特征库、依法处置违法和不良信息的生成合成信息内容。但是，对于深度合成服务提供者如何落实内容管理需要进一步细化，提供者需要不断提升技管结合的能力；对于内容管理落实的具体效果，也有待进行持续性的跟踪检验。”其次，何宝宏指出，对深度合成信息内容增加标识的具体规范也需要进一步细化，文件中明确深度合成服务提供者提供深度合成服务，可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识。“但对于如何增加显著标识以及增加标识的具体方式需要尽快出台细化的要求规范。”

超越一般技术的“破坏性”引发担忧

对于滥用生成式人工智能技术的担忧在世界范围内都存在。不仅因为其超越一般技术的“创造能力”和“破坏性”，更因为人们发现，生成式人工智能技术发展的速度极快。

从OpenAI去年11月推出ChatGPT，到今年3月其迭代品GPT-4面世，仅用了几个月的时间。GPT-4不仅知识面更广、回答问题更流畅，还可以描述并理解图片，甚至具备一定自我反思的能力。

OpenAI的首席执行官Sam Altman接受采访时就曾表示，担心这些模型可能被用于大规模的虚假信息，也担心人类被控制。“ChatGPT是一个高度受人类控制的工具。但也许会有人放弃设置我们目前已有的一些安全限制。”他补充，“我认为，社会只有有限的时间来弄清楚如何对此做出反应，如何监管，如何处理它。”

今年3月，美国特斯拉汽车公司首席执行官埃隆·马斯克曾联合1000多名业界、学界人士发表公开信，呼吁所有AI实验室立即暂停训练比ChatGPT更强大的AI系统，暂停至少6个月。其信中提到，在开发强大的AI系统之前，要确信这些系统的影响是积极的，风险是可控的。

同时公开报道显示，今年3月31日，意大利个人数据保护局宣布即日起暂时禁止使用ChatGPT，并暂时限制OpenAI处理意大利用户数据。意大利成为首个禁止ChatGPT的西方国家，欧盟的多个国家也开始跟进，酝酿具体监管措施。

各国政府都在加快出台人工智能监管法律。据路透社报道，英国竞争和市场管理局正在审查人工智能对消费者、企业和经济的影响，考虑是否需要新的监管措施。法国隐私监管机构正在调查与ChatGPT有关的几起投诉。澳大利亚政府正在咨询科学咨询机构，来考虑下一步的监管行动。欧洲数据保护委员会已成立ChatGPT特别工作组；欧盟消费者组织则呼吁欧盟消费者保护机构调查ChatGPT技术及对消费者的潜在危害。

“鉴于人工智能的技术复杂性，世界各国对其风险治理均处于探索阶段，对其约束和监管仍有赖于法律体系的完善。”方翔介绍，欧盟目前正在推进全球首部人工智能法案。2023年4月，欧洲议会成员就《人工智能法（The AI Act）》提案达成临时政治协议，强化对生成式人工智能的监管，并将人工智能技术可能带来的风险细化为极小风险、有限风险、高风险、不可接受风险4个等级。“这一立法动向值得我国关注。”方翔告诉记者。

文/李若一 王林 裴思童

编辑/倪家宁