我国首个机器人多模态模型及双臂协作系统面世
科技日报 2024-08-13 09:05

12日,成都人形机器人创新中心(以下简称“创新中心”)在四川成都发布了我国首个机器人多模态模型以及双臂协作系统。该模型能够使机器人理解、推理抽象的语义指令,并调度双臂协作系统执行任务。

多模态数据协同推理是指融合两种或两种以上不同感知来源,进行综合推理,并完成复杂任务的过程。创新中心研究人员将多模态应用于人形机器人领域,使机器人融合图像、语义、力感知、环境感知等多种因素,综合判断、生成任务并执行。这是人形机器人具有自主思考能力的关键核心技术。

创新中心董事长张睿睿介绍,语义指令包括相对明确地将饮料和非饮料进行区分和分拣,也包括相对抽象地将圆柱体和长方体物体、可食用和不可食用物品进行区分和分拣。完成以上任务,需要机器人通过多模态模型自主对所有物品进行提取归纳。特别是对多个相似瓶子形状的物体,机器人需进一步通过瓶身包装上的文字、图片等要素综合判断其是否为可食用物品而非化妆品等非食用瓶装物,才能完成任务。

“多模态模型的发布,不仅加速了‘AI物理化’的进程,也让人形机器人从‘预设摆拍’‘遥控操作’进化到拥有更强的‘大脑’和自主执行能力。”张睿睿表示,下一步,创新中心将继续深化技术研发,不断优化多模态模型与双臂协作系统的融合应用,提升人形机器人在复杂环境中的感知、决策与执行能力。

文/刘侠 滕继濮

编辑/倪家宁

相关阅读
石景山区加快推动人形机器人产业发展
北京青年报客户端 2024-10-14
近期多款人形机器人迭代 傅利叶CEO称人形机器人即将迈向及格线
第一财经 2024-09-28
大模型“点睛” 人形机器人加速“进化”
经济参考报 2024-08-26
创新产品频出 人形机器人落地应用提速
经济参考报 2024-08-24
三年行动计划发布 成都将打造全国人形机器人产业高地
成都商报 2024-08-16
机器人真的要“活出”人样了 专家认为——人形机器人正处在产业爆发前夜
武汉晚报 2024-08-13
“地表最强”?人形机器人大消息
上海证券报 2024-08-08
人形机器人将"上岗" 专攻这些任务
人民日报 2024-08-06
最新评论