蚂蚁百灵大模型最新进展:已具备原生多模态能力
北京青年报客户端 2024-07-05 14:34

7月5日,在2024世界人工智能大会“可信大模型助力产业创新发展”论坛上,蚂蚁集团公布了其自研的百灵大模型最新研发进展:百灵大模型可以直接理解并训练音频、视频、图、文等多模态数据,原生多模态被认为是通往AGI的必经之路,在国内,目前只有为数不多的大模型厂商实现了这一能力。

百灵大模型的多模态能力,也已被应用在生活服务、搜索推荐、互动娱乐等场景。在生活服务上,蚂蚁集团使用多模态模型实现了ACT技术,让智能体具备一定规划执行能力。比如根据用户语音指定直接在星巴克小程序下单一杯咖啡,目前这一功能已在支付宝智能助理上线。在医疗领域,多模态能力为用户实现复杂任务的操作,可以对超过100多种复杂的医学检验检测报告进行识别和解读,还可以检测毛发健康和脱发情况,对治疗提供辅助。

发布现场,蚂蚁集团副总裁徐鹏还展示了更多应用场景:通过视频对话的自然形式,AI助理能为用户识别穿着打扮,给出约会的搭配建议;根据用户不同的意图,从一堆食材中搭配出不同的菜谱组合;根据用户描述的身体症状,从一批药物中,挑选出可能合适的药,并读出服用指导,供用户参考等。

基于百灵大模型多模态能力,蚂蚁集团已在探索规模应用落地产业的实践。论坛上同时发布的“支付宝多模态医疗大模型”,据了解,支付宝多模态医疗大模型添加了包含报告、影像、药品等多模态信息在内的百亿级中英文图文、千亿级医疗文本语料、以及千万级高质量医疗知识图谱,具备专业医学知识,在中文医疗 LLM 评测榜单 promptCBLUE 上,取得 A 榜第一,B 榜第二的成绩。

基于百灵大模型多模态能力,由蚂蚁集团与武汉大学联合研发的遥感模型SkySense,也在论坛上公布了开源计划。SkySense是目前参数规模最大、覆盖任务最全、识别精度最高的多模态遥感基础模型。

多模态大模型技术能够使AI更好地理解人类世界的复杂信息,也让AI落地应用时更符合人类的交互习惯,在智能客服、自动驾驶、医疗诊断等多个领域展现出巨大的应用潜力。“从单一的文本语义理解,到多模态能力,是人工智能技术的关键迭代,而多模态技术催生的‘看听说写画’的应用场景,将让AI的表现更真实,更接近人类,从而也能更好地服务人类。蚂蚁会持续投入原生多摸态技术的研发。”徐鹏说。

文/北京青年报记者 温婧
编辑/田野

相关阅读
蚂蚁数科宣布升级云服务产品,助企业迈向AI原生时代
北京青年报客户端 2024-10-18
中国移动发布九天善智多模态基座大模型及30款自研行业大模型
北京青年报客户端 2024-10-13
探营外滩大会:体验AI助手、脑机接口、超写实数字人 打造同AI生活的一天
北京青年报客户端 2024-09-05
记者观察:大模型逐鹿下半场,超级应用仍未“敲门”
中新经纬 2024-07-06
支付宝智能助理亮相蚂蚁展区,可唤起机器人“手作”咖啡
北京青年报客户端 2024-07-04
蚂蚁数科面向企业发布大模型服务平台,兼容适配主流开源大模型
北京青年报客户端 2024-06-28
想报AI方向如何选专业?专家:别只盯算法,AI正在成为融合学科
北京青年报客户端 2024-06-27
多模态AI应用提速 机构扎堆调研相关个股
证券时报 2024-05-16
最新评论