非共识问题成为WAIC热议焦点,大模型Scaling Law是否继续有效?
第一财经 2024-07-06 18:58

上海世博中心人潮涌动,人们希望在7月4日~7月6日的2024世界人工智能暨人工智能全球治理高级别会议(下称WAIC)上找到关于AI未来的线索,回答大模型将沿着什么样的路径进化、当前商业落地方向是否有共识的问题。

Scaling Law(缩放定律)的“指引”下,此前大模型厂商朝着加大训练数据、加大算力投入、堆积参数的道路前进,模型一代代“膨胀”。但GPT-5迟迟未能推出,又似乎预示着模型快速迭代受阻,Scaling Law遇到困难。

“我留意到各方的意见,我的观点是,Scaling Law总体而言还是在一定程度发挥价值。但我不太希望对这个问题给出一个‘一锤定音’式的结论。”腾讯云副总裁、腾讯云智能负责人、优图实验室负责人吴运声7月5日告诉第一财经记者。当前,关于Scaling Law是否继续发挥作用的判断可以粗略分为两派,一派谨慎,另一派相对积极。

Scaling Law还有效吗?

OpenAI CEO萨姆·奥尔特曼是Scaling Law的支持者,此前他表示,GPT-5将比GPT-4聪明得多、GPT-6将比GPT5能力强得多,“我们还没到达这个曲线的顶端”。但在近日一场访谈中,奥尔特曼也坦言,开发GPT-5还需要一些时间,相关技术仍处于早期阶段,存在数据和算法方面的问题。GPT的更新换代变慢的同时,Scaling Law下迭代的大模型至今未解决幻觉等问题。

“ChatGPT出来后,大模型能力有明显变化。(背后起作用的)Scaling Law是两架马车,一架是数据,一架是算力。包括谷歌和OpenAI在内的研究者发现,算力或模型参数量和数据量形成一定比例时,模型才会有质的提升。”滑铁卢大学计算机学院助理教授张弘扬在WAIC上表示,现在最大的问题是,数据大家用得差不多了,GPT-4基本已经把市面上能用的大部分数据都用了,于是出现“数据荒”问题。此外,一些大模型厂商需大量采购GPU以训练模型,Scaling Law到达了算力和数据上的瓶颈。

此情况下,Scaling Law还能支撑大模型快速迭代吗?吴运声告诉记者,业内一派观点认为,Scalling Law到了一个(增长曲线)比较缓和的地方,继续加大投入后不会像以前一样(效果改善)那么多,也有一派观点认为,Scaling Law还在持续高速发展。“最近我们在做多模态研究,多模态近一年多时间里进展很快,我们加大数据和算力投入,模型还是呈现出能力的巨大提升,Scaling Law仍在一定程度上发挥价值。”他表示,不需对这个问题“一锤定音”,而要在不同场景、不同技术间做各种探索。

业界正在思考新的路径,一种可能的方法是通过与世界的互动获得数据,而非耗尽静态数据。奥尔特曼近日表示,目前还不确定未来如何让大模型变得越来越聪明,包括是否需要越来越多数据,未来需要找到新的模式来训练模型,新的方式将不会类似“读教科书”,或许会像“思考并做一些实验”。北京大学计算机学院教授、多媒体信息处理全国重点实验室主任黄铁军在WAIC上则谈及实时感知互动,他表示,人与世界的互动过程并非机器一般被动接收信息,而是实时互动系统,现在模型是在收集大量静态数据,而真正的智能系统则要实时感知,实时获取世界的信息并同步处理。

张弘扬认为,短期看,可以尝试用模型自我进化、自我反思的方式进一步提升模型性能。更长远看,Scaling Law仍有问题。对比人类,人类“吃”的能量少,却能干很多事,人类读的书不多于大模型,能力却胜于大模型。如何找到让模型更智能的方式,这将是一个开放问题。

智能体商用问题待厘清

推动大模型前进的两个“轮子”,一个是模型优化,一个是商业落地。记者了解到,关于什么商业化路线有效,业内也未达成共识。关于WAIC上热议的商业落地方向智能体,目前仍有一些问题待厘清。

百度创始人兼CEO李彦宏在WAIC演讲中称,智能体是百度看好的AI应用发展方向,未来医疗、金融、教育等领域会依照自身场景做出各种各样的智能体。蚂蚁集团也在WAIC上也介绍了聚焦专业垂直领域的专业智能体。

但记者了解到,业界对智能体的共识并未形成,李彦宏认为智能体是“几乎可以放之四海皆准的基于大模型的应用”,此前微软联合创始人比尔·盖茨则在改变人与机器交互方式的层面谈论智能体。吴运声认为,直到现在还没有组织对智能体进行清晰界定,智能体是业界研究很多的一个领域,但目前智能体在很多严肃场景中,还需要其他辅助。

从已有的智能体平台看,基于通用大模型能力设置有问答范围的问答系统,是一种主要的智能体形态。国内百度、字节、腾讯旗下均有智能体平台,此前记者尝试在百度文心智能体和元宝App用自然语言描述创建个人智能体,发现创建很快,智能体像是聚焦某个具体领域的问答系统,例如1分钟内通过语言描述创建出一个关于食材搭配的问答小助手。

但有企业智能体用户告诉记者,在严苛的商业场景创建这种智能体并不简单,需要接入知识库“教会”智能体专业知识,这需要耗费更长时间,而且也要求企业有自己的知识库,创建知识库需要成本。该智能体用户告诉记者,商业应用还涉及数据安全要求下的模型私有化部署,智能体并不都适用于部署在公有云上,这意味着智能体商用并不是“点点手指”那么简单,还需要跟智能体平台协商合作,而目前一些智能体平台仍依靠免费吸引企业用户,收费模式未完全成型。此外,能力上,智能体依赖的通用大模型仍容易出现幻觉问题,这在商业场景中难以容忍。

吴运声向第一财经等媒体表示,需要回到大语言模型层面来理解智能体。大语言模型输入的语言具有不精确性但可描述广泛范围,智能体的本质还是希望基于最朴素的语言层面,例如向智能体提出用自然语言表达的需求后,不需设定精确的步骤,智能体就能直接解决问题。业界对智能体的研究很多,但仍需要逐步解决其中各种局限性问题。

编辑/樊宏伟

相关阅读
大模型“攻坚战”腾讯再押注开源 这次用到合成数据了
第一财经 2024-11-10
OpenAI放大招!发布最强水平大模型,解决博士生级别科学问题
​第一财经 2024-09-13
李彦宏戳破大模型“跑分”假象:榜单不代表所有实力,未来模型的差距会变大
第一财经 2024-09-11
大模型,何时迎来大转折?
第一财经 2024-09-04
MiniMax加入视频生成混战 大模型的尽头是做视频?
第一财经 2024-09-02
“草莓”来了?OpenAI发布新模型
证券时报 2024-08-13
价格战凶猛 AI小模型狂飙
21世纪经济报道 2024-07-30
比GPT-3.5 Turbo便宜超60% OpenAI推出小模型卷性价比
每日经济新闻 2024-07-22
最新评论