半两财经|苹果发布AI大模型:Siri、电话、照片等都更聪明了 还将集成 ChatGPT
北京青年报客户端 2024-06-11 09:07
更多资讯 关注半两财经

6月10日,苹果在WWDC24上发布了个人智能化系统 Apple Intelligence,它能理解并生成语言和图像、跨 app 执行操作,比如能让Siri更自然聪明,为电话app录音并生成内容摘要,或者提供搜索、整理照片的功能。该人工智能大模型深度集成于包括手机、电脑、iPad等设备端新系统中,用户可以于今年秋天开启体验。

Siri与系统结合更浑然一体

苹果介绍,在 Apple Intelligence 的助力下,Siri 与系统体验的结合更加浑然一体。更深层次的语言理解能力,让 Siri 表现得更自然,更契合场景,更贴合用户个人需求,还能简化和加快日常任务流程。它能理解用户的碎片化表述,还会为连续的请求沿用语境场景。用户也可与 Siri 文字交流,在文本和语音之间任意切换,用最适合当时需要的方式与 Siri 沟通。Siri 还采用了全新设计,在已激活状态下,会在显示屏的外边缘处亮起优美的柔光。

Siri 现可随处随地为用户提供设备支持,回答数千个有关如何使用 iPhone、iPad 和 Mac 的问题

比如,Siri 将有能力实现完全基于用户个人和设备端信息的智能化。例如,用户只需说出“播放 Jamie 推荐的那条播客”,Siri 便会自行定位到相应的博客单集进行播放,完全不需要用户自己回想这条播客是短信消息还是电子邮件里提到的。用户也可以提问:“我妈妈的飞机几点落地?”Siri 便会自行查询航班详情,然后与航班的实时执飞轨迹交叉对比,给出抵达时间。

再如,用户只需说出“从我的阅读列表里调出那篇关于蝉的文章”,或者“把周六那天的烧烤照片发给 Malia”,Siri 便会执行。

电话app可录制音频并生成摘要

iOS 18、iPadOS 18 和 macOS Sequoia 内置可以全系统调用的新工具 Writing Tools,让用户能在几乎任何场景下对文本进行改写、校对和摘要,包括邮件、备忘录、Pages 文稿和各类第三方 app。

最新的备忘录 app 和电话 app 可让用户录制音频,将音频转写成文本,以及生成内容摘要。在通话期间开启录制功能时,通话双方均会自动收到提示。通话结束后,Apple Intelligence 会生成一份内容摘要,帮助用户回顾通话要点。

录制结束后,Apple Intelligence会生成一份内容摘要,帮助用户回顾通话要点

Apple Intelligence 的改写工具可以让用户选择不同的版本,根据受众和文稿诉求调整文风。无论是对求职信进行润色,还是为派对请柬添加几分幽默和创意,改写功能总能辅助用户写出最得体的文字。Proofread 工具能为用户检查语法、措辞和语句结构,还能同时给出修改建议,以及对修改建议的说明,方便用户查看或快速采纳。Summarize 工具可在用户选中文本后,以易于理解的段落、要点罗列、表格或列表的形式对其进行归纳总结。

比如在通知功能中。Priority Notifications 会出现在分组通知的最上方,向用户提示最为重要的事项,还有内容摘要帮助用户快速浏览大量或已分组的通知,直接在锁定屏幕上显示详细信息,例如一些格外活跃的群组聊天。而为了帮助用户保持对当前任务的专注,全新专注模式“Reduce Interruptions”仅会显示可能需要即刻被看到的通知,例如通知提前接孩子的短信等。

照片查找方便还可生成有主题影片

在 Apple Intelligence 的辅助下,查找照片和视频变得更加便捷。用户可直接使用日常语言查找特定的照片,例如“Maya 穿着一件扎染衬衫在玩滑板”,或者“Katie 脸上贴着贴纸”。能在视频片段中查找特定情景,也让现在的查找视频功能变得格外好用,用户将可以直接跳转至视频中的相关片段处。除此之外,新增的 Clean Up 工具还能够识别并删除照片背景中无关紧要的物体,但不会随意影响主体。

使用回忆功能时,Apple Intelligence 会根据用户提供的描述文本挑选出最适合的照片和视频,设计剧情,然后将这些素材整理成一段叙事结构完整的影片

利用回忆功能,用户只需输入一段描述文本,便可快捷地创作出自己想要看到的故事。Apple Intelligence 将运用对语言和图像的理解,根据描述文本挑选出最适合的照片和视频,依据识别出的照片题材,设计出一段分为不同章节的剧情,然后将这些素材整理成一段叙事结构完整的影片。用户甚至还能从 Apple Music 曲库中获得适合这段回忆的配曲推荐。

文生图集成在多个app中

在信息 app 中使用 Image Playground,可让用户快速创作出趣味图像发送给朋友,甚至还会看到基于当前对话生成的个性化创意推荐。例如用户正在群组聊天中讨论有关徒步的话题,此时便会看到与自己朋友、目的地、活动相关的创意推荐,让用户能够用更短时间创作出更应景的图像。

而在备忘录 app 中,用户则可通过 Apple Pencil 工具盘中新增的 Image Wand 工具调用 Image Playground,为笔记添加更多视觉表达上的趣味性。手绘的草图可以转化成精美的图像,用户还可选中其中的空白区域,利用基于周围元素生成的场景信息生成新图像。此外,诸如 Keynote 讲演、无边记、Pages 文稿等 app,以及各类已集成全新 Image Playground API 的第三方 app,皆可调用 Image Playground 的功能。

苹果强调隐私性

苹果一再强调用户的隐私安全问题,称Apple Intelligence 在理解深层次个人场景的同时,也会做到对用户隐私的保护。Apple Intelligence 的一条底层逻辑就是在设备端处理任务,所用到的模型也有很多全程仅在设备端运行。但在处理更加复杂、需求更多处理能力的请求时,Private Cloud Compute 会将 Apple 设备的隐私与安全性覆盖至云端,进一步拓展智能化能力。

ChatGPT 整合至 Apple 全平台

另外,Apple 正在将 ChatGPT 整合至 iOS 18、iPadOS 18 和 macOS Sequoia 的操作体验中,让用户能够直接使用 ChatGPT 的特殊功能,包括它对图像和文档的理解能力,为用户省去在不同工具间来回切换的麻烦。

在得到用户允许后,Siri 可以借用 ChatGPT 的广博知识,直接答复用户的问题

Siri 可根据需要直接调用 ChatGPT 的特殊功能。它会在先行征得用户同意后,才将用户的问题发送至 ChatGPT,连同任何文档或照片,最后直接答复用户。

如何做到隐私保护?据介绍,ChatGPT 的用户部署到位,用户的 IP 地址会被隐藏,发出的请求也不会保存在 OpenAI 的记录里。对于选择绑定已有账号的用户,则会适用 ChatGPT 的数据使用政策。

ChatGPT 将于今年晚些时候登陆 iOS 18、iPadOS 18 和 macOS Sequoia,使用 GPT-4o 模型。用户无需创建账号便可免费使用,ChatGPT 订阅用户则可在绑定已有账号后直接使用付费功能。

【版权声明】本文著作权(含信息网络传播权)归属北京青年报社所有,未经授权不得转载

文/北京青年报记者 温婧
编辑/樊宏伟

最新评论