Meta发布Llama 3.1开源大模型系列 扎克伯格:开源人工智能是前进之路
澎湃新闻 2024-07-25 11:14

当地时间7月23日,Meta发布Llama 3.1开源大模型系列,任何人都可以免费使用。

最新发布的Llama大模型系列有三个版本,其中最大的版本被称为Llama 3.1 405B,参数规模4050亿,在16000个英伟达H100图形处理器上训练而成。相比之下,OpenAI的GPT-4拥有1万亿参数,亚马逊正在开发2万亿参数模型。拥有大量参数的大语言模型可以执行比小模型更复杂的任务,例如理解长文本中的上下文、解决复杂的数学方程,甚至生成可以改进小模型的合成数据。

对于面向用户和离线的推理任务,开发人员可以在自己的基础设施上运行Llama 3.1 405B进行推理,成本大约是使用GPT-4o等闭源模型的50%。

Meta还发布了轻量级的Llama 3.1 8B和Llama 3.1 70B小版本模型,本质上是其前身的升级版本,可用于驱动聊天机器人和软件编码助手。

Meta表示,Llama 3.1支持128K上下文长度,提升了推理和编程能力,支持多语言。Meta研究人员表示,即将于今年晚些时候推出的“多模态”模型将在核心的Llama 3文本模型之上叠加图像、视频和语音功能。

“开源人工智能是前进之路。”Meta首席执行官马克·扎克伯格在署名文章中表示, 人工智能开发将继续保持非常激烈的竞争,如今,几家科技公司正在开发领先的闭源模型,但开源正在迅速缩小差距。去年,Llama 2只能与落后于前沿的老一代模型相比,今年Llama 3能与最先进的模型竞争,并在一些领域领先。他称Llama大模型明年将超越竞争对手,成为业内最先进的模型。Meta政策副总裁兼副首席隐私官罗布·谢尔曼(Rob Sherman)表示,Meta的Llama AI模型家族已经被公司和个人下载了3亿次。

与微软和谷歌不同,Meta没有庞大的云软件业务来帮助它向其他企业出售人工智能。Meta选择将其人工智能开源,希望创建一个生态系统,让没有自己的人工智能技术的公司可以使用Meta的人工智能技术,增强Meta的影响力。如果Meta取得成功,它可能会破坏其竞争对手的商业模式,初创企业更容易与OpenAI等公司竞争,当然黑客等其他不良行为者也可能获得尖端技术。

扎克伯格表示,与竞争对手构建的闭源系统相比,开源工具更容易受到研究人员和监管机构的审查。“开源将确保世界上更多的人能够获得人工智能的好处和机会,权力不会集中在少数公司手中,这项技术可以更均匀、更安全地部署到整个社会。”

“Meta和闭源模型提供商之间的一个关键区别是,出售AI模型的访问权限不是我们的商业模式。这意味着公开发布Llama不会削弱我们的收入、可持续性或投资研究的能力,就像闭源供应商所做的那样。”扎克伯格表示。

编辑/范辉

最新评论