社交媒体巨头Meta发布了旗下最强开源人工智能(AI)模型Llama 3.1,扎克伯格称开源是AI的未来前进方向。
当地时间7月23日,Meta发布了旗下最新开源模型Llama 3.1,包含8B、70B和405B这三个参数规模。Meta方面表示,迄今为止,Llama系列所有版本的总下载量已超过三亿次。Meta的CEO马克·扎克伯格称Llama 3.1的出现“将成为行业的一个转折点”,并发文详谈了公司的开源AI策略。
今年4月,Meta刚刚发布Llama 3。Llama 3.1在Llama 3的基础上进行了重大更新,可以进行八种语言的对话、编写更高质量的计算机代码,并解决更复杂的数学问题。Llama 3.1模型已被用于驱动聊天机器人Meta AI,该产品已加入Instagram和WhatsApp等应用程序,同时有独立网站。
据介绍,在150多个基准测试集中,Llama 3.1 405B版本的表现基本追平甚至超越了此前最强闭源模型GPT-4o和Claude 3.5 Sonnet,而参数较小的8B和70B模型也能够与谷歌、Mistral AI以及OpenAI旗下参数相似的各大模型相媲美。
而Llama 3.1模型背后,其训练数据的规模也相当惊人。为了在超过15万亿个token上训练Llama 3.1 405B模型,Meta团队大幅优化了整个训练栈,并把模型算力规模首次扩展到了超过16000个英伟达H100 GPU。
具体来看,团队依然采用了标准的仅解码器的Transformer架构,并采用迭代的post-training流程,每轮都进行SFT(监督微调)和DPO(直接偏好优化),以提高能力性能。与Llama的以往版本相比,团队还提高了用于预训练和post-training的数据的数量和质量。
同时,Meta的开源生态进一步扩张,Llama 3.1已经在超过25个企业的平台上推出,包括亚马逊云科技、微软云Azure、谷歌云、Oracle等主要云平台。其中,亚马逊云科技、Databricks和英伟达正在推出全套服务,以支持开发人员微调和训练自己的模型。
借这次机会,Meta还更新了开源许可,首次允许开发者使用Llama模型的输出来改进其他模型。Meta表示,团队也会将图像、视频和语音功能整合到 Llama 3 中,使模型能够识别图像和视频,并通过语音支持交互,但该功能仍在开发中。
23日当天,扎克伯格也为Llama 3.1发布了一篇长文,标题为《开源AI是前进之路》,将Llama 3.1称为“行业的一个转折点”。
在文中,扎克伯格将开源模型和开源的Linux操作系统进行了比较,称Linux因其可定制性、成本效益和安全性而受到欢迎,并最终成为云计算和移动设备操作系统的行业标准,“相信AI也会以类似的方式发展。”
扎克伯格认为,尽管一些AI公司正在开发领先的闭源模型,开源AI正在迅速缩小差距,并且开源的模式有利于公司发展:“我们必须确保始终能够用到最佳技术,同时不能陷入竞争对手的封闭生态系统,因为竞争对手会限制我们的构建。”扎克伯格还在此处特别点名了苹果的“苹果税”,称其为影响Meta的一次经历。
扎克伯格强调,开源能够促进完整的生态系统发展,并让行业中的各类模型都保持竞争力、高效和开放。而从更长远的角度来看,开源会让AI变得更安全,让这项技术更均匀、更安全地在整个社会部署,并让系统更加透明,可以受到广泛的审查。
另外,在接受外媒采访时,扎克伯格透露,Meta已经在开发Llama 4,Meta的聊天机器人已经拥有“数亿名”用户,他预计Meta之外的其他公司也将使用Llama来训练自己的AI模型。扎克伯格还指出,认为“美国在AI发展方面能够永远领先中国5-10年”的观点是不现实的,在AI竞赛中对中国封锁是大错特错,“美国保持6-8个月的领先是合理的(目标)。”
7月23日,Meta(Nasdaq:META)股价收于每股488.69美元,涨0.26%,总市值1.24万亿美元。Wind数据显示,自今年年初以来,Meta股价已上涨38.35%。(澎湃新闻记者 胡含嫣)
编辑/田野