OpenAI发布AI安全指南:董事会有权阻止新AI模型发布
财联社 2023-12-19 10:20

当地时间周一(12月18日),人工智能(AI)研究公司OpenAI公布了一套关于防范AI风险的指导方针,其中值得关注的一条规则是,即使CEO等公司领导层认为AI模型是安全的,董事会也可以阻止其发布。

OpenAI开发的聊天机器人ChatGPT已经发布了一整年,这款现象级应用极大促进了AI领域的发展,与之而来的还有对AI发展失控的担忧。

全球监管机构都在制定各自的AI法规,而作为AI领域领头羊的OpenAI也在采取行动。

今年10月27日,OpenAI宣布组建名为“准备”(Preparedness)的安全团队,旨在最大限度地降低AI带来的风险。

Preparedness团队由麻省理工学院的可部署机器学习中心主任Aleksander Madry领导,该团队将针对各类AI模型进行能力评估及红队测试,以追踪、预测及防范各类别的灾难性风险。

OpenAI周一发布了名为“准备框架”(Preparedness Framework)的指导方针,并强调这套指南仍处于测试阶段。

据悉,Preparedness团队每月将向一个新的内部安全咨询小组发送报告,该小组随后将对其进行分析,并向OpenAI首席执行官萨姆·奥尔特曼和董事会提交建议。奥尔特曼和公司高层可以根据这些报告决定是否发布新的AI系统,但董事会有权撤销这一决定。

作为OpenAI联合创始人之一,奥尔特曼在不久前还是公司董事会成员,但在一场人事巨震中被除名,并且一度离开OpenAI。虽然奥尔特曼最终得以重返OpenAI并继续担任CEO一职,但新组建的“初始”董事会并没有他的席位。

Preparedness团队将反复评估OpenAI最先进、尚未发布的AI模型,根据不同类型的感知风险评为四个等级,从低到高依次是“低”、“中”、“高”和“严重”。根据新的指导方针,OpenAI将只推出评级为“低”和“中”的模型。

编辑/范辉

相关阅读
蒙眼狂奔OpenAI、千夫所指奥尔特曼?
财联社 2024-10-02
CTO离职、年内淡出三名高层,OpenAI正在巨变前夕?
第一财经 2024-09-26
OpenAI面临多个挑战:人才流失、财务压力与竞争对手的追赶
​第一财经 2024-08-19
OpenAI任命美国大学教授为新董事,曾以简单代码挑战ChatGPT安全性
澎湃新闻 2024-08-09
OpenAI人事动荡未止:联合创始人长期休假,另一名创始团队成员离任
​第一财经 2024-08-06
马斯克再诉奥尔特曼“敲诈勒索” 仍谋求剥夺微软的OpenAI模型授权
财联社 2024-08-06
苹果将列席OpenAI董事会 微软地位不保?
每日经济新闻 2024-07-07
苹果0元入局OpenAI董事会,微软地位不保?
每日经济新闻 2024-07-04
最新评论