“GPT-4o在交互模式上是一个巨大进步。”5月14日,蚂蚁集团副总裁、NextEvo负责人徐鹏对澎湃科技表示。2024年5月14日凌晨, OpenAI向人们展示了其最新多模态大模型产品——GPT-4o,o代表omini,意为全能。
与现有模型相比,GPT-4o展现出了其在视觉和音频理解方面的出色技能。伴随着GPT-4o的到来,外界纷纷猜测,美国科幻电影《她》所描写的时代正一步步向我们靠近。2013年,电影《她》(《Her)》)中讲述了一个男人爱上了一个语音助手的故事。
与谷歌竞争原生多模态?
根据OpenAI首席技术官米拉·穆拉蒂(Mira Murati)的介绍,GPT-4o可以在音频、视觉和文本中进行实时推理,接受文本、音频和图像的任何组合作为输入,并生成文本、音频和图像的任何组合进行输出。它可以最短在232毫秒内响应音频输入,平均为320毫秒,这与人类在对话中的响应时间相似。
徐鹏在接受澎湃科技采访时表示,虽然OpenAI没有推出大众期待的GPT-5,但GPT-4o在交互模式上是一个巨大进步。和GPT-4相比,GPT-4o的最大区别在于,所有模态都集成在一个模型中,多模态整合更精细,延迟仅300毫秒左右,同时能够感知情绪、语气、表情,实现更自然的交互,这需要数据组织能力、聚焦突破能力、工程优化能力,也扩大了人们对于交互的想象空间。
徐鹏认为,自去年12月谷歌推出原生多模态Gemini模型之后,OpenAI就在为原生多模态领域的竞争做准备了。他所在的蚂蚁集团在今年年初判断原生多模态技术方向后坚定投入,目前也正在研发全模态数字人和全模态智能体的产品。
所谓“原生多模态”,即从一开始就使用多种模态(例如音频、视频和图像)训练模型,而不是“拼凑多模态”模型。
徐鹏表示,OpenAI的目标是实现多模态深度结合,早在GPT-3时代,其推出的自动语音识别系统Whisper就是一个前期研究。“把语音、图像、视频、文字等各种模态的数据放在统一表征框架下,对于实现他们眼中的API(应用程序编程接口)是一个非常自然的方式,因为人也是多模态理解和交互的智能体。”
猎豹移动董事长兼CEO傅盛表示,虽然GPT-4o让人工智能从业者“比较失望”,但他也指出,“GPT-4o相当于把一系列引擎结合在一起,比如图片、文字、声音,这样用户就不需要来回切换了。最重要的是这次发布的语音助手,由于使用了端到端的大模型技术,它能够实时感知情感变化,在该插话的时候插话,其实这才是大模型的未来。”
GPT-5可能还要难产一段时间?
徐鹏介绍,原生多模态有三个特点:一是端到端做训练,二是实现了多模态的统一训练,能读、能听、能说,三是实现复杂推理。“把图像、文字、语音、视频编码编到一个模型里,在模型里它们有统一的表征,这些数据一起送给模型训练,模型就会学到各个模态,只要它们的信息是相关的,内部的表征实际上是非常接近的,这样在生成时也会比较灵活。”徐鹏表示,内部表征已经融合,所以GPT-4o可以最快的速度输出生成的语音,实现低延时的丝滑交互。“OpenAI的工程能力确实令人赞叹,模态这么多,输入Token数非常多,还能够以两三百毫秒的延迟输出,这在工程上是难得的进展。”
对于此次GPT-4o模型,目前,OpenAI高管并未透露训练GPT-4o模型时使用了什么样的数据,也未透露OpenAI能否利用较少的算力训练该模型。
科技投资人、华创资本创始合伙人熊伟铭告诉澎湃科技,尽管OpenAI在此次发布会上并未透露太多关于GPT-4o模型训练的技术细节,但可以猜测出,这类端到端的大模型技术的实现,背后依赖了强大的算力支持。“肯定是大力出奇迹,这一点美国的算力市场确实成熟很多,资本市场也支持大规模的算力投入。”熊伟铭说。
傅盛认为,如果不计成本地叠加参数,提高所谓的大模型能力,这条路肯定会遇到困难。他预计,GPT-5可能还要难产一段时间。
超级入口已经开启?
OpenAI官网显示,目前,GPT-4o的文本和图像功能开始在ChatGPT中免费推出,Plus用户可以享受到5倍的调用额度。新版语音模式将在未来几周向Plus用户推出,同时也将会在API(应用接口)中向小范围推出对GPT-4o的新音频和视频功能的支持。
在熊伟铭看来,OpenAI的产品策略一方面能够吸引免费的用户使用,可以收集用户大量的数据投喂给模型训练,有助于进一步改进产品,“这样交互的大模型用户数据将会非常丰富。”另一方面,能够培养用户的付费意愿,也是商业化的一种尝试。
“我觉得OpenAI的这种尝试,可能会改变国内一些用户使用软件的习惯。大家可能会愿意付费在AI平台的使用上。”熊伟铭说。
徐鹏认为,OpenAI免费为用户开放服务看中的是基于GPT-4o原生多模态的能力,未来更多企业可以在GPT-4o的基础上开发出更自然的垂类交互产品。
过去一周,外媒不断有消息传出OpenAI将推出AI搜索产品,虽然OpenAI没有推出搜索引擎,但是徐鹏认为基于ChatGPT或GPT-4o,未来人类获得信息的方式很可能会改变,GPT-4o或为OpenAI开启了一个超级入口,这可能会对谷歌带来影响。接下来,OpenAI需要判断的是在产品上的极致体验是否是刚需。
信也科技副总裁、大数据及AI负责人陈磊告诉澎湃科技,从技术上看,GPT-4o的发布具有跨时代意义,真正实现了多模态交互,更需要关注的是后续商业化中究竟如何持续落地。 “语音识别、语音生成不是最难的,最难的是推理归纳。GPT-4o做题比以前做题难度更高了。把算法调到一定程度是能实现交互流畅性的,但像人一样思考、推理、归纳、总结,这是更高智能的体现。”
陈磊同时表示,国内还在对标GPT-4时,OpenAI推出了GPT-4o。行业需要思考的是在持续追赶中如何差异化竞争。“我们始终在追,追到一定程度发现推出了新一代产品,我们始终感觉在落后,所以要调整心态,寻找另外一条路。”陈磊说。
傅盛认为,OpenAI发布GPT-4o模型应用,正说明了大模型在应用层面大有可为,大模型的能力会不断迭代,但最终能把大模型用好的,还是应用。
编辑/范辉
![](https://img.bjtitle.com/upload/business/2024/09/12/17260972359420_s.jpeg)