OpenAI任命美国大学教授为新董事,曾以简单代码挑战ChatGPT安全性
澎湃新闻 2024-08-09 20:27

OpenAI新增AI专家进入董事会,以加强安全治理。

当地时间8月8日,AI(人工智能)巨头OpenAI宣布,任命卡内基梅隆大学教授济科·科尔特(Zico Kolter)为董事会成员。

科尔特还将加入董事会的安全委员会。该委员会于今年5月成立,负责就OpenAI项目和运营的安全性进行评估,并向董事会提出建议。该委员会其他成员还包括:布雷特・泰勒(Bret Taylor)、亚当・德安杰洛(Adam D'Angelo)、保罗・中曾根(Paul Nakasone)、妮可・塞利格曼(Nicole Seligman)、山姆・奥特曼(Sam Altman,OpenAI CEO)。

科尔特是AI、机器学习领域的杰出学者,研究领域主要为AI安全、对齐等。目前担任卡内基梅隆大学教授、机器学习系主任,他在该校任职已达12年,研究工作主要涵盖深度学习、优化方法,以及机器学习系统的鲁棒性(robustness)和安全性。2010年,他在斯坦福大学获得计算机科学博士学位,随后在麻省理工学院从事博士后研究。

科尔特一直与AI业界合作密切,曾担任C3.ai的首席数据科学家。C3.ai是唯一为企业构建的一站式AI软件集合平台。目前,他还担任博世的首席专家和初创AI安全公司Gray Swan的首席技术顾问。

值得一提的是,在加入OpenAI之前,科尔特及其团队曾通过简单的代码挑战ChatGPT等大语言模型的安全性。2023年,他的团队开发了自动评估大型语言模型安全性的创新方法,展示了通过自动优化技术绕过现有模型保护措施的潜力。

科尔特表示,很高兴宣布加入OpenAI董事会,期待分享自己在人工智能安全性和稳健性方面的观点和专业知识,以帮助指导 OpenAI所做的出色工作。

在欢迎科尔特加入董事会时,OpenAI董事会主席布雷特称:科尔特在人工智能安全性和稳健性方面增加了深厚的技术理解和视角,这将帮助我们确保通用人工智能造福全人类。

OpenAI近期人事变动不断,多位联合创始人及安全、产品团队的核心人物选择离职。

今年5月,OpenAI联合创始人、首席科学家伊尔亚·苏茨克韦(Ilya Sutskever)、超级对齐团队负责人杨·莱克(Jan Leike)在内的多位核心成员相继离开,作为核心安全团队的超级对齐也随之解散。

8月6日,被传接手了超级对齐剩余人员的OpenAI联合创始人约翰·舒尔曼(John Schulman)表示,将离开OpenAI加入另一家AI初创公司Anthropic(OpenAI的竞争对手)。舒尔曼9年前在OpenAI成立之初加入,负责领导ChatGPT和API(应用接口)的后期训练工作。

同时,据外媒报道,知情人士称,OpenAI副总裁、ChatGPT负责人Peter Deng也已离职。他曾多次在公开场合表示OpenAI的模型其实比发布的更强大,出于安全要谨慎推出。而OpenAI的另一位联合创始人、总裁格雷戈里·布罗克曼(Greg Brockman)也表示,自己会长期休假至今年年底。他表示这是自9年前共同创建OpenAl以来的“第一次放松”,“我们的使命还远未完成,我们还需要建立一个安全的 AGl(通用人工智能)”。(澎湃新闻记者 秦盛)

编辑/田野

最新评论