最新的《全球数字经济白皮书（2024）》披露的数据显示，全球目前有 3 万家人工智能核心企业以及超过 1300 个人工智能基础大模型。新的科技变革带来新场景、新业务、新市场，同时也带来了前所未有的安全风险和挑战。那么，AI将往怎样的方向发展？将带来怎样的人机关系？针对人工智能的治理，参考《加州法案》，我们又可以贡献怎样的中国智慧？
AI时代三大趋势
在2024外滩大会上，著名未来学家、《连线》杂志创始主编、《5000天后的世界》作者凯文·凯利表示，全球主义正在迅速推进，因为我们正在共同构建一个基于技术的“超级有机体”。“我们正将全球的手机、笔记本电脑和所有的数据服务器连接成一个巨大的计算系统。每一台设备就像这个庞大计算机的一个神经元。这台超级计算机在一个前所未有的规模上高速运行。
“我们正在打造一个巨大的、全球性的、如行星般规模的机器，”他认为，尽管人们可能对设备和内容有不同的偏好，但这些差异只是交互方式上的不同，根本上它们都归属于同一个平台。世界上的所有数字技术，包括人工智能，都运行在这个新平台上。
凯文·凯利指出，人工智能时代下的全球主义推进，也正在推动一种新兴的全球文化。他举例称，人们的生活方式和穿着也逐渐趋同：牛仔裤和T恤成了全球的标配，我们都住在钢筋混凝土的房子里，家里有空调、自来水和Wi-Fi。按照马斯洛的需求层次理论，人们的底层需求已经改变并达成一致。
此外，人工智能将实现真正的“实时翻译”，交流不再有延迟，打破了全球的语言障碍，再加上增强现实技术，这将极大地改变跨国工作和交流的方式，全球化“劳动力” 将第一次出现。
第二个趋势是创新的加速。凯文·凯利指出，AI技术加速了创新的步伐，这种加速体现在多个方面，包括新发明和新思想的传播速度越来越快、通过增强现实和虚拟现实技术来提高学习效率，甚至AI也通过机器及其他传感器来感知世界等。此外，ChatGPT等人工智能工具，也极大地加快了人们学习的速度。
“如今，我相信许多年轻人通过ChatGPT等人工智能工具学到的东西，已经超越了他们在学校所学，”凯文·凯利认为，当答案变得唾手可得时，真正有价值的反而是提出正确问题的能力，以及掌握正确思维方式的能力。
他说，如果你是年轻人，你在两年后的工作甚至还没有被创造出来。在两年内，你在学校里接受所针对目前工作市场的培训会发生变化。当你毕业之后，你将从事一些在你上学时还不存在的工作。“学会如何学习”将成为未来毕业生的核心技能。
最后，凯文·凯利谈到了AI驱动生成的趋势。他指出，人工智能不仅将帮助我们摆脱机械、枯燥的工作，完成我们无法独立完成的任务，甚至可以生成超乎人类想象的全新事物。
“这正是人工智能带来的真正巨大革命，”凯文·凯利说，人工智能系统正在生成新的事物——它们还不完美，但正在变得越来越好。他强调，人工智能是多样的，它不仅仅是一种，这些智能将填补许多可能的智能领域，我们也将创造出多种不同的人工智能。
他举例称，通过这一年半来使用 ChatGPT和其他大语言模型的经验来看，从人工智能工具中获益最多的人实际上是表现一般或较差的员工。人工智能工具不仅仅是为最聪明的人准备的，它们还能帮助不那么出色的人产生更好地完成工作。
数据消耗过快的挑战
数据一定程度上决定了智能的上限，这使得大模型的技术越要突破，数据技术越要与其“对齐”，大模型对数据利用的“贪婪程度”，也影响了数据的存储、生产、加工、流通、消费各个环节的技术走向。
在存储环节，中国工程院院士、清华大学计算机科学与技术系教授郑纬民表示，大模型生命周期的每一环节都与存储系统有关，在数据获取阶段，需要处理海量多模态小文件，在数据预处理时，则要频繁、随机小样本读取，训练时，检查点文件读写对存储系统提出新的需求，推理时，加载模型参数以及保存中间结果尤为关键，这些挑战也催生了新的技术方案诞生。
大数据时代，数据的价值还没来得及充分挖掘，AI时代一到，数据却面临着消耗过快的挑战，这使得合成数据技术成了热门领域。据研究机构Epoch AI在6月发布的报告显示，从2026年起，人类产生的新数据量将比模型学习的新数据量要少，预估到2028年大语言模型将耗尽人类数据。
昆仑万维、天工智能首席科学家、新加坡工程院院士颜水成认为，模型结构还会继续升级，大模型目前推理能力不够等众多的遗留问题，最好的解决途径可能是用合成数据，但做法不同，不应是根据原来的数据合成新的数据，而是通过大模型之间相互的对话、讨论、评价，最后产生出更好、更高质量的数据，这些数据将会大大去提升大模型的效能。
基础数据库也在加强与AI的融合。国产分布式数据库OceanBase CTO杨传辉介绍了如何通过一套系统同时支持SQL+AI，支持向量数据库，并通过AI技术优化数据库开发和管理工具。
从大数据时代到AI时代，数据体系正在从成本和效率中心向价值中心转变，蚂蚁集团平台技术事业群副总裁骆骥认为，在AI时代，数据资产本身的规模、多样性、品质等是决定智能化效果的关键因素。数据更加直接地影响到智能化应用的效果，这就意味着，从数据资产的生产、加工与服务、消费与应用等各个环节都需要围绕数据的价值化这一全新的视角去构建相应的体系与技术能力。“数据技术领域也正在飞奔进入一个全新的历史阶段。”骆骥说。
AGI是否存在泡沫？
过去两年大模型技术取得了突破性进展。目前正处于行业发展的一个节点，大模型从“拼参数”开始走向 “拼应用”，接下来行业面对两个问题，一是如何降低它的推理成本，进而推动了大规模落地应用。二是如何用应用驱动技术的发展。在此过程中，也不断有“AGI（AGI是Artificial General Intelligence的缩写，中文翻译为“通用人工智能”）存在泡沫”的说法出现。
蚂蚁集团总裁兼首席财务官韩歆毅认为，AI技术的发展和应用是一个不断循环迭代的过程，需要在应用中发现技术的难点，让技术发展的方向更加聚焦。
百川智能创始人、CEO王小川否认了“AGI泡沫”的说法，他认为大模型的发展从结果上看是符合行业预期的。他指出，为了推动大模型迈向下一个发展阶段，关键在于实现两大融合：一是将知识搜索与大模型相结合，二是大模型强化的结合。
大模型被认为是实现真正的通用人工智能的必经之路。王小川认为，谈AGI可以参考“人”的标准，即像人一样思考、知识、提供服务能力，落到场景就是像人一样的助手。
距离实现这样的标准，MiniMax创始人、CEO闫俊杰闫俊杰觉得还需要耐心。当下他更加关注通过技术的优化来拓展AI的边界。他表示，如果模型错误率可以下降到个位数，那么模型就是一个可信赖的状态，AI也有可能从助手变成为一种生产力，这种变化也会带来真正大众化的产品，为行业带来本质的变化。
人工智能如何落地？
机器学习泰斗、美国“三院院士”迈克尔·乔丹建议，不仅单独设备要具备一定智能，人工智能更要通过协同体现在整体系统层面。他指出，仅仅将人类的智慧融入超级智能计算机中是不够的，现代信息技术在医疗、交通、金融科技和商业领域的应用，需要集体性、去中心化的智能系统。
他指出，人类在集体协作时能够更好地应对不确定性，但如何让当前的AI系统也具备类似的集体协作能力，仍是一个未解的关键问题。他认为，微观经济学视角是当前AI研究的一个缺失。比如，航空公司分“商务舱”和“经济舱”，航空公司作为委托人能够根据代理人的不同支付意愿提供不同的价格，而不需要代理人透露其个人信息。由于过去十年间，全球范围内对数据隐私的监管不断增加，他也建议“我们可以通过非一致的隐私要求进一步提高用户效用，对低成本平台施加更高的要求。”
人机关系的新方向
虽然人工智能有很长的过去，却只有很短的历史。图灵等科学家从上世纪四五十年代开始就有很多与人工智能有关的思考，但2017年谷歌提出Transformer（是一种革命性的模型架构，核心是自注意力机制，允许模型在不依赖于递归或卷积操作的情况下，直接关注输入序列中的相关部分）这件事情，才让人工智能重新回到大家的视野，形成对产业上的影响。
中国工程院院士、之江实验室主任、阿里云创始人王坚分析，从ChatGPT到AlphaFold、到天气预报，这是三个跨度非常大的应用。但是它们背后有一个最基本的东西，就是Transformer。2017年以前的人工智能，和今天说的人工智能有很大区别，所以说人工智能只有7年的历史。
“如果ChatGPT在人工智能+这个逻辑下，ChatGPT不是一个应用，而是应用平台。如果把GPT再拆一拆，变成一个基础模型的话，事实上Chat就是一个应用，所以ChatGPT就是GPT+Chat。Chat不是一个简单的应用场景。大家都知道微软在跟Open AI合作过程当中，不只是做了Chat，其实他们到比尔盖茨家里讨论了GPT这样的东西可以用到什么场景，最后只有Chat是最革命的，所以变成了产品”，王坚说。
数字人是人机结合的一大产品。生机智能CEO吴大生表示，2023年对于数字人发展是一个关键转折点，“从一个动辄几十万的数字人变成几千块甚至今年变成几百块的市场。”他表示，门槛降低后将催生大量的应用，比如数字人直播、数字人短视频，而结合大模型会产生强大的互动能力。吴大生认为，数字人的长期价值是作为一种新的交互入口和应用形态，在智能时代依托大模型与数字人实现实时对话。魔珐科技AIGC业务负责人杜子航补充说，整个市场已经开始从传统工程行业向企业市场转变。
对于人工智能是不是人类的下一个进化阶段，凯文·凯利给出了肯定的答案，他认为，人工智能的重要性不亚于火、印刷术和工业革命，这将是广泛而巨大的变革。但至少需要一个世纪的时间来实现，甚至可能更长，不可能一蹴而就。
“人类正在通过人工智能重塑文明。”凯文·凯利说，也许一百万年来，我们一直是这个星球上唯一的智慧物种。但如今，我们正在创造人造“外星人”，就像他们来自遥远的星球，前来拜访我们一样。这些“外星人”的思想将被引入我们的世界，从而创造出一种新的文化。
不过，在回答“未来哪些工作不会被人工智能取代”时，凯文·凯利表示，正如当今就像几乎没有工作是不需要使用某种能源一样，未来几乎所有的工作都会使用某种程度的人工智能，但这并不意味着它们会被人工智能完全取代。
香港科技大学校董会主席、美国国家工程院外籍院士沈向洋认为，人机交互的新方式指向“AI与IA”的融合共进。AI为人类提供了与技术共生的全新语境，IA即智能增强，代表着一种以人为本的 AI 发展路径。它聚焦于运用技术提升人类的能力，而非取代人类，强调了人类与 AI 之间的协作关系。“计算机几十年的发展路程里，真正的赢家是做人机交互的。不管是什么技术，最后的目的是帮助人类更好地使用机器”。
他认为，大模型产业的火热发展催生新型人机交互模式，其核心是大模型驱动的AI Agent——智能体。“未来超级应用方向就是AI Agent，ChatGPT很了不起、很强大，但与Agent不一样。AI agent时代的到来，不会是一个神奇而强大的模型突然代替了所有的工作流，涉及到技术、工程与市场的不断磨合，最终以超预期的服务呈现给人类。”
沈向洋还指出，从人机共存的新范式到大模型的行业落地，折射的是技术与商业形成闭环、让技术创新真正改变世界的本质。“尽管人工智能的发展还在相对早期的阶段，但是行业有很多应用方向，我们值得下定决心去做。在产业应用方面，我对中国公司的未来发展非常有信心。”
怎样打造“负责任的AI”？
新的科技变革带来新场景、新业务、新市场的同时，也在科技伦理层面带来了前所未有的风险和挑战。
“Edmund Berkeley作为一个个人计算机和符号逻辑的提出者，他曾说过，实际上做科学研究比去思考科学研究带来的负面影响容易多了。因为科学研究解决一个问题有章可循，但是科学研究做出来的东西可能产生的社会影响很难想清楚，而解决这个可能产生的负面影响就更难讲清楚”，联合国人工智能高层顾问机构专家、北京人工智能安全与治理实验室主任、中国科学院自动化研究所研究员曾毅认为，“现在做人工智能风险防范绝大多数都是在打补丁，我们要把被动式的打补丁的方式做成主动式的风险防范方式。这里确实需要借鉴中国的智慧。”
在中国工程院院士吴世忠看来，AI 治理可以“以史为鉴”。他认为，我们已经逼近了那个 AI 发展的“奥本海默时刻”，“要像应对核武器扩散和疫情大流行那样重视人工智能的发展和安全的治理问题，可以说人工智能安全治理已经到了刻不容缓的地步。”
他建议，“在发展方面，我们需要集中资源协同攻关，实现关键核心技术的自主可控和能力提升。特别是在我们的算力短板上、模型自主方面、数据质量方面、应用落地方面，需要更多加强。同时一定要推动产学研界积极参与国际项目，提升国际竞争力，要引导支持我们的企业和高校参与制定国际标准、伦理准则和监管框架，体现我们国家在国际治理中间的话语权。在安全方面，也要组建人工智能风险评估和安全测试的相应机构和队伍，实现安全的主体，展示我们的方案。”
清华大学公共管理学院教授、人工智能国际治理研究院副院长梁正认为，整个人工智能治理的体系是建立在一整套数据治理、网络安全治理、个人信息保护这样一套制度规则和法律体系上。
“最近特别关注的《加州法案》的出台，引起美国一些学界、产业界、政策界的高度关注。一方面这个法案设置了一个阈值，同时也设置了相应的处罚措施，明确了监管机构吹哨人的制度。但会看到科学界的专家像李飞飞站出来明确反对，因为他认为所谓严格的管理，会带来科学进步的迟滞。这恰恰就反映了我们对这个问题的认识还不够深入，它还处在发展，处在非共识的阶段”，梁正说，“在治理侧，应该对技术的应用保持耐心，现在这个技术远远没有发展到头。在安全侧，应该有基本的底线，但也应该防止过度的超前的监管，在底线的设置上，这个应该坚定不移去加强在安全领域的研发和这方面的技术投入，目前来讲是远远不够的。我们在制度的建设上要有体制机制性质的探索，比如强制的责任保险，比如免责的制度。我们要让它发展，同时要筑牢安全底线。”
沈向洋提到，在人工智能的颠覆性力量逐步显化的过程中，须重视AI的治理，打造负责任的AI。“这件事情非常重要，而且每个国家对这件事情看法也是有很多不一样的”，他说，“我觉得接下来人工智能的发展很重要的一点，从全球各个国家角度来讲，一定要做主权人工智能，主权人工智能背后一定需要有一个主权云来支持主权人工智能的发展。”
对于如何确保人工智能带来的未来是有益的，而不是加剧不平等，凯文·凯利表示，我们有理由对任何新技术保持谨慎，人工智能也不例外。“我认为，未来最大的问题之一可能会源自人工智能。但我们今天所担心的许多问题，或许并不是最难解决的，那些问题是可以应对的。真正的挑战可能是我们还未曾想象到的未知问题。”
他认为，首先要利用技术去引导它的发展，要实现我们期望的由人工智能驱动的未来，最好的途径之一就是积极参与其中，而不是试图禁止它或将其排斥在外。其次，应尽可能推动人工智能技术的开源化。开源模式赋予更多人参与的机会，形成一种更具包容性的技术生态系统。
沈向洋表示，agent从愿景到落地的过程中，需要始终以需求为圆点，深刻理解模型的能力，并构建一个AI深度参与的工作流程。他表示，AI agent时代的到来，不会是一个神奇而强大的模型突然代替了所有的工作流，它涉及到技术、工程与市场的不断磨合，最终以超预期的服务呈现给人类。
【版权声明】本文著作权（含信息网络传播权）归属北京青年报社所有，未经授权不得转载
文/北京青年报记者 温婧
编辑/樊宏伟
