北京青年报
OpenAI首席科学家出走背后:人工智能安全治理让位于“夺人眼球的产品”?
澎湃新闻 2024-05-20 10:06

作为当下全球最受瞩目的人工智能公司,OpenAI的每个消息都引发了外界的极大关注,除了AI产品,还包括人事纷争。

5月18日,原OpenAI超级对齐负责人杨·莱克(Jan Leike)在社交网站发布13条推文,公开自己离开OpenAI的真正原因,其中提及对AGI安全治理问题优先级不如推出“闪亮的产品”的不满,以及算力资源的分配问题。

杨·莱克被认为是追随伊尔亚·苏茨克维(Ilya Sutskever)选择离职。5月14日,在重磅发布ChatGPT-4的超级升级版——GPT-4o后不到36小时,OpenAI联合创始人兼首席科学家伊尔亚·苏茨克维在社交平台上宣布离职,而这并不令人意外,甚至算得上是从去年到今年该公司"宫斗"的一个暂时性完结,看上去以伊尔亚·苏茨克维为代表的理想派输给了以OpenAI CEO山姆•奥特曼(Sam Altman)为首的现实派。

在苏茨克维离职后,包括杨·莱克在内的多名OpenAI成员也纷纷离职。“OpenAI正在失去最优秀、最注重安全的人才。”大家在留言中表达惋惜。

天才

苏茨克维在告别信息中写道,“在 Sam、Greg、Mira 和 Jakub 出色的领导下,我相信OpenAI将构建出既安全又有益的AGI。能够一起工作是我的荣幸,我会非常想念大家。”他也在推文中透露,自己对未来“充满期待”,“一个对我个人意义重大的项目,我会在适当的时候分享详细信息。”

关于苏茨克维离开的猜测始于2023年11月发生的OpenAI董事层一场戏剧性变化,先是奥特曼被宣布遭到解雇,但又迅速回归。据传"宫斗"的导火索,正是苏茨克维与奥特曼在AI安全、技术发展速度以及公司商业化问题上存在分歧。苏茨克维的关注点从来不是OpenAI的商业化,而是如何防止超级智能失控。

与奥特曼不同,苏茨克维不认为自己是一个公众人物,也鲜少接受媒体的采访。在麻省理工科技评论(MIT Technology Review)去年10月的一次采访中,记者威尔·道格拉斯(Will Douglas)描述他:“说话时从容、有条理。当他思考自己想说的内容以及如何表达时,他会停顿很长时间,像解谜一样翻来覆去地思考问题。他似乎对谈论自己不感兴趣。”

而在谈论人工智能,以及他所看到的划时代的风险和回报时,这位记者说道:“话题一下子就开阔了起来。” 苏茨克维谈道,他的新优先事项不是构建下一个 GPT或图像制作器 DALL-E,而是找出如何阻止人工智能的失控。

“苏茨克维低着头,陷入了沉思。他手指张开在桌面上,就像音乐会钢琴家即将弹奏他的第一个音符一样。我们静静地坐着。”道格拉斯在报道中写道,“即便在没有OpenAI的世界中,苏茨克维仍将载入人工智能史册。”

苏茨克维是以色列裔加拿大人,1986年出生于俄罗斯西北部的诺夫哥罗斯,从5岁到16岁,他一直居住在以色列耶路撒冷,会说俄语、希伯来语和英语,随后他移居加拿大,在多伦多大学跟随人工智能先驱杰弗里·辛顿 (Geoffrey Hinton) 学习并获得计算机科学博士学位。在他攻读博士期间,大多数人工智能研究人员认为神经网络是一个死胡同。苏茨克维恰恰相反,他对大脑很着迷。苏茨克维好奇,神经网络如何学习,以及如何在机器中重新创建或至少模仿该过程。在跟随辛顿学习期间,他看到了神经网络的潜力以及用来训练神经网络的试错技术,即深度学习。这是生成式人工智能的开始。

2012年,苏茨克维、辛顿与辛顿另一位名为亚历克斯的研究生,共同开发了名为 AlexNet的神经网络并凭借该网络赢得了2012年大规模视觉识别挑战赛(ILSVRC)的冠军。在这场比赛中,参赛者需要完成一个名叫“object region”的任务,即给定一张包含某目标的图像和一串目标类别(如飞机、瓶子、猫),每个团队都需要识别出图像中的目标属于哪个类。

AlexNet在比赛中颠覆性地将分类错误率降至了16.4%,这是获胜团队首次使用一种名为“卷积神经网络(CNN)”的深度学习架构。由于表现过于惊艳,之后几年的ImageNet挑战赛冠军都沿用了CNN。这是计算机视觉史上的一个关键时刻,许多人认为这代表着深度学习的复兴。 

追求

在AlexNet大获成功后,谷歌收购了辛顿的衍生公司DNNresearch并聘请苏茨克维担任谷歌深度学习研究团队Google Brain的研究科学家。苏茨克维很快展现出在人工智能、深度学习领域的非凡天赋,他将深度学习的模式识别能力应用于数据序列,创建了序列到序列(Seq2seq)学习算法,深度参与了TensorFlow的研究,也是AlphaGo论文的众多作者之一。 

2014年,苏茨克维被招募成为OpenAI的联合创始人。当时OpenAI还是一个非营利的人工智能研究实验室,旨在推动人工智能技术的发展,同时确保其安全性和普及性,苏茨克维认为这是一个认真追求人类通用智能(AGI)的机会。

“我记得奥特曼称苏茨克维为世界上最受尊敬的研究人员之一。” Y Combinator投资董事总经理道尔顿·考德威尔(Dalton Caldwell)说,“他认为苏茨克维能够吸引很多顶尖的人工智能人才。他甚至提到,世界顶级人工智能专家之一约书亚·本吉奥(Yoshua Bengio)认为,不太可能找到比苏茨克维更好的候选人来担任Open AI的首席科学家。”

OpenAI联合创始人格雷格·伯克曼(Greg Brockman)称赞他是一位“脚踏实地的人”、“清晰的技术专家”、“拥有广博的知识和远见”,而且“总是能够深入研究当前系统的局限性和功能的细节”。

2016年,Open AI的第一个GPT大语言模型诞生,此后的人工智能技术发展如坐上了火箭,先后出现了GPT-2、GPT-3、DALL-E,而每一次的迭代升级背后,都有苏茨克维的身影。 

“你和其他研究人员有什么不同?为什么你能在你的领域取得多项突破?”在与知名科技播客主持人德瓦克什·帕特尔(Dwarkesh Patel)的对谈中,苏茨克维曾被这样问道。

“谢谢你的夸奖。这个问题很难回答。”他的答案是,“我真的很努力,我付出了我所拥有的一切,到目前为止,这一切都很有效。我想这就是全部了。”

分歧

裂痕产生于苏茨克维与奥特曼二人在AI技术突破的应用上产生的分歧。2023年6月,苏茨克维与奥特曼在特拉维夫大学同台对谈时,主持人提到AI存在三个风险:工作岗位受到影响、黑客获得超级智能和系统失控,二人回答有微妙的不同。苏茨克维承认并强调AI存在风险,非常看重“AI对齐”(用人类的反馈来训练模型,让其遵守人类的价值观)的重要性。

尽管奥特曼也同意AI失控的风险且需要不同的社会经济契约来制衡,但他更倾向描述AI乐观的一面。媒体分析认为,二人之间分歧的根源在于如何理解自己正在创造的东西,以及如何达成AGI(通用AI)的方式。

苏茨克维曾在麻省理工科技评论的采访中表达了他对AI可控性的忧虑:一旦人工智能的水平超过人类,人类又该如何监督比自己聪明得多的人工智能系统?

“我们在AlphaGo中看到了一个非常狭隘的超级智能的例子。”苏茨克维提到了AlphaGo的第37步棋。在与李世石的第二场比赛中,人工智能的一步棋让评论员感到困惑,他们认为AlphaGo搞砸了,事实上,它下了棋史上从未见过的制胜棋。“想象一下这种程度的洞察力,但涵盖一切。” 苏茨克维说。

苏茨克维认为,如果AI按照现有路径发展下去,也许在不久的将来,一个超越人类的人工智能系统就会诞生。但更加令人担心的是,“超级人工智能”可能会带来一些意想不到的负面后果。

正是这种思路导致苏茨克维做出了他职业生涯中最大的转变。在他的努力下OpenAI在2023年7月成立了“超级对齐”(Superalignment)团队,目标是在四年内解决超智能AI的对齐问题。苏茨克维是该项目的牵头人之一,OpenAI表示会将20%的算力专门用于该项目的研究。

超级对齐团队的第一篇成果发布于2023年12月——使用GPT-2级别的小模型来监督GPT-4级别的大模型,能获得接近GPT-3.5级别的性能,开辟了对超人类模型进行实证对齐的新研究方向。

该项目的公布不可避免地引发了巨大的争议,甚至引起了大型科技公司著名批评者的蔑视。但就苏茨克维而言,超级对齐是下一步不可避免的事情。“这是一个尚未解决的问题,”他说,“很重要、很明确的是要保证,任何人构建的任何超级智能都不会失控。”

让位

显示分歧激化的"宫斗"发生在2023年11月20日。当日,OpenAI官网突然宣布将奥特曼及联合创始人格雷格·布罗克曼除名。OpenAI在公告中称奥特曼对董事会不够坦诚。

有人将其解读为:OpenAI可能已经在内部实现了AGI,但并没有将消息及时同步给更多人员,为了防止该技术未经安全评估就被大规模应用,苏茨克维等人按下了紧急停止键。

在奥特曼突然被辞退后,员工和投资者出现了极大反弹,投资者也奋起反抗。几天后OpenAI约770名员工几乎全部联名上书,如果不让奥特曼复职,他们就集体辞职。

情急之下,苏茨克维表示反悔,在一封要求奥特曼回归的员工信上签了字,并对自己参与董事会的行为“表示遗憾”。经历5天的董事会政变后,奥特曼在2023年11月29日正式回归OpenAI,重新担任CEO,同时宣布OpenAI的董事会将迎来重组。苏茨克维没有立即离开OpenAI,但也没有再出现在OpenAI旧金山的办公室。

在发布离职的推文前,苏茨克维在社交平台X上的最后一条动态,停留在2023年12月15日转载超级对齐团队拨款的文章。

在苏茨克维正式宣布离开OpenAI后,苏茨克维的追随者、他在超级对齐团队的共同领导者杨·莱克也随后宣布离职,称“I  resigned(我已辞职)”。

他在上周五(当地时间5月17日)连发13条推文,公开了他离职的原因:

“很长一段时间以来,我与OpenAI领导层对公司核心优先事项的看法一直不合,直到我们终于到了临界点。

我认为,我们应该把更多的带宽用于为下一代模型做好准备,包括安全性、监控、准备、对抗鲁棒性、(超级)一致性、保密性、社会影响和相关主题。

……过去几个月里,我的团队一直在逆风航行。有时我们在计算上很吃力,完成这项重要的研究变得越来越困难。

建造比人类更聪明的机器本身就是一项危险的尝试。

OpenAI代表着全人类肩负着巨大的责任。

但过去几年,安全文化和流程已经让位于吸引眼球的产品。……”

对此,奥特曼发文回应,称“我非常感激杨·莱克对OpenAI的对齐研究和安全文化做出了贡献,看到他离开,我感到非常难过。他说得对,我们还有很多事情要做;我们致力于这样做。在接下来的几天里,我会有一个更长的帖子。”

几个月来,OpenAI一直在流失关注AI安全的员工。自去年11月至今,OpenAI至少有7名注重安全的成员辞职或被开除。据《连线》证实,OpenAI超级对齐团队已经解散,余下成员要么辞职,要么将被纳入OpenAI的其他研究工作中。

据Vox报道,安全意识强的员工已经对OpenAI在 AGI 时代会负责任地行事失去了信心。

丹尼尔·科科塔伊洛(Daniel Kokotajlo)于2022年加入OpenAI,一直负责AI安全治理工作直到上个月辞职。“OpenAI正在训练越来越强大的AI系统,目标是最终全面超越人类智能。这可能是人类有史以来最好的事情,但如果我们不谨慎行事,也可能是最糟糕的事情,”科科塔伊洛说,“我加入时满怀希望,希望OpenAI能够迎难而上,在他们越来越接近实现AGI的过程中表现得更加负责任。我们中的许多人逐渐意识到这不会发生。”

更多人在这场离职风波后,开始关注AI安全问题。超级对齐团队结束后,现在这些计算能力可能会被转移到其他OpenAI团队,目前还不清楚是否会将重点放在避免未来AI模型的灾难性风险上。尽管这并不意味着OpenAI现在发布的产品将会毁灭人类,但OpenAI是否正在安全地部署和构建人工智能,未来如何保障人工智能的安全性,都是此次离职风波过后,苏茨克维留下的问题。

编辑/范辉

相关阅读
OpenAI 前首席科学家 Ilya 宣布成立新公司
​第一财经 2024-06-20
马斯克撤回对OpenAI和奥特曼的起诉,前一天刚反对苹果接入GPT
澎湃新闻 2024-06-12
OpenAI成立安全与安保委员会,加快大模型商业化进程
澎湃新闻 2024-05-31
OpenAI成立新的安全委员会,对AI安全的关注点转向了吗?
第一财经 2024-05-30
OpenAI“超级对齐”团队解散后 谁还能为AI失控负责?
第一财经 2024-05-22
最新评论