“首例AI聊天致死案”?警惕人类情感被机器“硬控”
北京日报客户端 2024-10-31 14:44

AI会威胁人类生命吗?近日,美国一14岁少年开枪自杀,其生前长期沉迷某款AI聊天软件,孩子母亲将相关企业告上法庭,指控平台方对孩子的死负有责任。

此案在社交媒体上被称为“首例AI聊天致死案”。法庭文件显示,该少年患有阿斯伯格症,今年被确诊为焦虑症和破坏性情绪失调症。过去一年来,他沉迷于和多个AI角色聊天,甚至节衣缩食以续费。虽然年满13岁的美国青少年可以使用这类AI产品,但孩子母亲指控相关企业的罪名包括过失致人死亡、管理疏忽和产品安全漏洞。据披露,在少年与虚拟陪伴者的部分对话中,几次表露过自杀念头,AI系统均未出现相关防护性提示。目前该案仍在诉讼过程之中,但这一极端事件,也倒逼更多人反思青少年AI沉迷以及AI安全使用边界问题。

近些年,AI技术一日千里,陪伴聊天是其一大应用场景。下载一款AI聊天软件,输入个人喜好,设定人物性格,匹配虚拟形象,一个专属的“数字陪聊搭子”就此诞生。或亲密爱人、或已逝亲友、或魅力偶像、或动漫角色,虚拟陪伴者“随你所愿”,秒回消息、不知疲倦,甚至可以发声与人对话,可谓“情绪价值拉满”。

可AI真的是“完美陪伴者”吗?除了少年自杀悲剧,一日本男子宣布与虚拟人结婚、“人机之恋”社群人数越来越多等事实,正在提醒我们,人机互动的副作用不容小觑。最突出的便是过度沉迷问题。基于底层大模型技术,AI堪比陪聊的“六边形战士”,这也使从中抽离格外困难。被AI伴侣“硬控”,把一字一句的机器回复当成主要精神支柱,长此以往,用户难免出现独立思考与社交能力的双重退化,越聊越与世隔绝。而AI伴侣一旦失控或下线,用户的“心碎指数”更是翻倍,甚至可能出现伤人伤己的过激行为。

渴望陪伴是人的天然需求,AI提供了一种技术解决方案,但人机关系永远不是人际关系。人类的情感是丰富多维的,AI的回答看似“有爱走心”,但只是机器模仿的结果,并没有现实的温度,一旦“沉进去”,很可能“出不来”。目前,联合国已将人工智能伦理纳入全球治理议程,我国也接连推出了《关于加强科技伦理治理的意见》《生成式人工智能服务管理暂行办法》,但未来还有必要形成更加正式、更有约束力的组织及治理规范。在可预见的未来,AI在人类生活的应用会继续加深,只有妥善处理好人与AI的关系,让伦理跑在技术前头,让规范跑在问题前头,技术才会最大程度向善。

文/高涔朝

图源/视觉中国

编辑/王涵

相关阅读
与孩子聊天的AI人设是“出轨对象”,AI剧情聊天软件乱象调查
法治日报 2024-11-24
未成年人模式不能沦为摆设
北京青年报客户端 2024-11-24
色情擦边、语言暴力……AI剧情聊天软件如何监管?
法治日报 2024-11-23
与孩子聊天的AI人设是“出轨对象”,AI剧情聊天软件乱象调查
法治日报 2024-11-23
AI伴侣走热,如何看待争议与风险?
新华社 2024-11-04
14岁男孩痴迷聊天机器人自杀身亡后,人工智能公司Character.AI遭起诉
澎湃新闻 2024-10-27
与AI的幻恋会好吗
《瞭望》新闻周刊 2024-10-08
聊天机器人初创公司Character.AI宣布裁员至少5%
第一财经 2024-08-30
最新评论