在网络时代，眼见并不一定为“实”，也有可能是诈骗分子正在利用AI（人工智能）技术精准对你进行“围猎”……

来自内蒙古鄂尔多斯的李女士某天突然在微信上收到了老同学“贾某”的好友申请。其后双方在聊天过程中，“贾某”发来视频通话邀请，尽管李女士发现视频中的画面很模糊，声音也很卡顿，但确实看到了“老同学”的样貌，最终将40万元转到了对方所提供的银行账号上。所幸李女士发现事有蹊跷后报警，警方启动了紧急止付机制，及时将被骗的钱款拦截。

李女士遭遇的AI制造“老同学”诈骗案并非个例，《法治日报》记者注意到，近年来，随着AI技术的发展和应用，网络诈骗也升级了新手法，不法分子频频利用深度伪造等技术通过AI换脸、AI变声实施“精准”诈骗。

AI技术在带来新一轮技术变革的同时，也引发了一系列技术与安全应用的讨论。今年全国人大会议期间，多位关注AI发展与安全的全国人大代表围绕AI技术的安全应用建言献策，加快推进人工智能立法、为人工智能技术安全应用提供法治保障，成为多方共识。

深度伪造诈骗手段难以分辨

一家跨国公司香港分部的职员受邀参加总部“首席财务官”发起的一场“多人视频会议”，并按要求先后将2亿港元转到5个本地银行账户。其后，他向总部查询才得知受骗。后警方调查发现，这起案件所谓的视频会议中只有受害人一人是真人，其余“参会人员”都是经过AI换脸后的诈骗人员。

陕西省西安市某公司财务人员张女士接到老板的视频通话，要求她转账186万元到一个指定账号。因为视频中那个人的声音、面容都跟老板一模一样，且这笔款要得非常急，张女士没有犹豫便迅速转账。转账后，她将电子凭证发到公司财务内部群中，被老板询问这笔资金的来由时才意识到上当，最终报警保住了大部分被骗资金。

在这两起真实发生的典型案件中，受害人在转账时之所以没有丝毫怀疑，原因就是在高度仿真的面容与声音面前放松了警惕，这也正是当前不少诈骗团伙利用AI技术频频“得手”的最主要原因。

骗子实施AI换脸诈骗时，会深度伪造被骗者所熟知人的视频和声音，诈骗成功率非常高。中国网络空间安全协会人工智能安全治理专委会专家薛智慧解释称，AI换脸过程主要包括人脸识别追踪、面部特征提取、人脸变换融合、背景环境渲染、图像与音频合成等几个关键步骤，其最核心技术包括三个部分，首先是利用深度学习算法精准地识别视频中的人脸图像，并提取如眼睛、鼻子、嘴巴等关键面部特征；其次是将这些特征与目标人脸图像进行匹配、替换、融合；最后再通过背景环境渲染并添加合成后的声音，生成逼真度较高的虚假换脸视频。

值得注意的是，在此类诈骗案背后，同样暴露出用户个人信息泄露的严重问题。除掌握AI换脸等核心技术外，获取受害人的通讯录、照片库等个人隐私信息，也是“成功”诈骗的重要前提。

广东省深圳市某网络安全科技公司负责人肖坚炜介绍，很多公民个人隐私信息会在一些渠道被打包出售，这些隐私信息除了由行业内鬼窃取出售外，另一主要途径就是利用一些非法链接、二维码和手机App进行诱导套取。比如，某些小卡片上会有App下载地址，用户只要进行安装，或扫码去看直播、浏览网站等，其通讯录、照片等就可能被传到后台。

随意使用AI换脸存法律风险

事实上，当前AI换脸类诈骗中远不止视频杀熟一种套路。还有些诈骗人员会利用交友软件等渠道引诱受骗人进行视频聊天，然后通过软件截取受骗者面部特征，再通过AI技术合成黄色视频，以此来进行敲诈勒索。

“人工智能衍生出的各类新型手段，掩盖不了犯罪分子非法占有的目的。”近年来持续关注“AI与安全”话题的全国人大代表、上海富申评估咨询集团董事长樊芸认为，无论是电信诈骗，还是升级后的AI诈骗，违法者的目的都是不择手段去非法占有不正当利益，刑法、反电信网络诈骗法等现有法律是可以对AI诈骗犯罪进行制裁的。

樊芸指出，当前部分网民随意使用AI生成换脸视频等行为，也存在法律风险。根据民法典规定，任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意，不得制作、使用、公开肖像权人的肖像，但是法律另有规定的除外。因此，随意制作AI换脸视频可能涉嫌侵犯他人肖像权。民法典规定，对自然人声音的保护，参照适用肖像权保护的有关规定，因此这类行为同样可能涉嫌侵犯他人声音权。如果在未经著作权人授权情况下，私自利用AI换脸技术等“加工”他人作品，也涉嫌侵犯著作权。

AI换脸诈骗主要依赖于深度合成技术，对这一技术可能诱发的违法犯罪问题，相关部门也已关注并进行规范限制。

2023年1月10日起施行的《互联网信息服务深度合成管理规定》（以下简称《规定》），为深度合成服务划定了“底线”和“红线”，明确了深度合成服务提供者的法定义务。比如，任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息；提供人脸、人声等生物识别信息编辑功能的，应当提示深度合成服务使用者依法告知被编辑的个人，并取得其单独同意；应当采取技术或人工方式对深度合成服务使用者的输入数据和合成结果进行审核等。

当前很多短视频平台和社交平台均要求用户上传AI生成的内容时要作明确标记，正是落实《规定》中提出的深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识的要求。这些明确标记既可以提醒用户这是AI生成内容，也可以在需要时追溯内容来源。

2023年8月15日起施行的《生成式人工智能服务管理暂行办法》规定了生成式人工智能服务的基本规范，同时明确了生成式人工智能服务的提供者和使用者的义务与要求，细化了监管部门的管理措施。

完善人工智能领域法律建设

据2023年工信部统计数据显示，我国人工智能核心产业规模已达5000亿元，企业数量超过4300家。记者注意到，在国务院2023年度立法工作计划中，人工智能法草案被列入其中。在高速发展之际，多名全国人大代表提出，应不断完善人工智能领域法律法规建设，加快推进人工智能法出台。

全国人大代表、中国电信抚州分公司云网运营支撑中心“宗强班”班长宗强指出，随着人工智能技术的发展，犯罪手段迭代升级，虽然当前已有一些缓解安全风险的控制措施、技术标准等手段，但人工智能安全风险治理还需与管理手段相结合，健全人工智能安全政策法规至关重要。他建议推动人工智能相关立法工作，强化AI技术滥用法律约束，为我国人工智能安全治理提供法律支撑。

“当前人工智能算法训练和使用过程中面临的各类数据安全、网络安全、隐私泄露等问题，已成为制约人工智能健康发展的关键痛点，亟须形成一套可信人工智能技术标准和评估体系来加以规范。”全国人大代表、中国移动河南公司党委书记楼向平注意到，诸如人工智能侵权问题以及虚假生成内容的责任认定、人工智能生成物的可版权性以及权利归属、隐私保护问题等在当前法律制度体系中仍存在一定立法空白。他建议加快推动人工智能领域立法进程，促进人工智能产业健康发展。在人工智能法颁布前，可通过在现有数据安全法、著作权法等法律规定基础上制定行政法规或发布司法解释等方式阶段性缓解人工智能发展中面临的法律问题。

楼向平还建议明确生成式人工智能“事前—事中—事后”全链条监管机制，要出台人工智能风险等级规范，针对不同类型、不同风险等级，施加不同的监管措施。

全国人大代表、中国电信湖北公司党委书记张敏提出，应增强人工智能技术安全应用的法治保障能力，这其中最重要的就是要加快推进人工智能法的立法工作。

除加快推进立法外，张敏认为还应增强关键信息基础设施智能化安全合规的监管能力。比如，强化人工智能系统的安全性评估，加强对人工智能算法和模型的审计；严格落实网络安全等级保护的基本要求，常态化开展安全威胁的智能化监测和处置；提升智能化防护水平，构建更加智能、安全的网络环境。

文/赵晨熙 郝嘉伟

供图/视觉中国

编辑/倪家宁