苹果一夜重塑iPhone!GPT

时间:2024-06-14 00:25:37来源:宁波外卖-宁波喝茶-宁波喝茶预约 作者:焦点

明敏 西风 发自 凹非寺
量子位 | 公众号 QbitAI

千呼万唤,苹果苹果如何用AI重塑iPhone,夜重答案终于揭晓!苹果



各种令人闻之激动的夜重传闻,通通都是苹果真的——

确定和OpenAI达成合作,接入ChatGPT,夜重使用GPT-4o模型。苹果

Siri完成重生,夜重iPhone人机交互模式重构,苹果手机智能助手代劳一切近在咫尺。夜重

Apple Intelligence,苹果就此要成为AI的夜重全新代名词了。





发布一结束,苹果WWDC 24立马冲进热搜前三。夜重



网友们都在感慨苹果这逆天的苹果整合能力,各种AI新功能通通满足大家想象力。





还有人说,这回骂早了……



简单总结,这场发布的内容就是苹果家族OS大更新。



尤其是iOS、iPadOS,在Apple Intelligence加持下,AI浓度飙升。

而且Apple Intelligence,免费提供!支持iPhone 15 Pro及以上设备,搭载M1及更高配置芯片的Mac。



内置的ChatGPT也无需注册即可使用。

今年秋季,iOS 18、iPadOS 18、macOS Sequoia的测试版将以英文版发布。

具体带来哪些新体验?抢先来看。

Apple Intelligence+ChatGPT强强联手

如何定义AI Phone?

苹果选择系统AI化+引入强大云端大模型。

也就是Apple Intelligence和ChatGPT联手。

先来看Apple Intelligence(以下简称苹果AI)。



它是iPhone、iPad及Mac具备强大生成式AI能力的关键。

它的基础能力共分为四个方面:语言、图像、行动和个性化。



语言方面,基于内置的大模型,苹果AI能为iPhone通知设定优先次序,把最要紧的事放最上面。



加强的全系统内的写作工具(Keynotes以及第三方APP等), 支持重写、校对、提取摘要、创作评论等功能。



图像方面,苹果AI能分清楚相册中不同的面孔,并基于他们生成图像。



一共支持素描、插画、动画3种生成风格,可在信息、无边记等各种APP中使用。



如果想不到提示词,Image Playground还支持根据标签生成图像,模型在端侧运行。



另一个重大的图像生成能力是emoji都能自定义了!

Genmoji能根据提供的描述生成最符合你心意的emoji,还能根据相册中的人物定制。



同时,苹果AI还成支持清除照片中的干扰物:



使用自然语言搜索图像视频:



根据输入的提示词选择出最佳相片一键剪辑:



行动力方面,主要是指苹果AI可以在APP内或者跨APP执行更多操作

比如只需开口说,找到XX上周发的文件、找到和妈妈相关的照片等,系统就能代劳。

同时还能深刻理解个人情景。

不仅分析各种个人信息数据,还能读懂屏幕。

举个栗子,比如突然邮件通知了一个临时会议,那么还能赶上接下来女儿的演出吗?苹果AI可以自动识别分析邮件中的会议时间、知道“女儿”是谁、找到女儿演出的时间地点日程、并从地图中规划路线,最后给出分析。



但如此深度的智能,个人信息隐私如何保障?

苹果表示推出了专门的隐私架构,涉及到个人隐私的计算,能在端侧就在端侧进行。在这方面,他们对硬件进行深度整合,A17 Pro以上的芯片都支持。同时在云测,他们也推出了Private Cloud Compute,可以提供芯片级的信息保护。

在用户发出指令后,苹果AI会先分析请求是否能在端侧利用大模型解决,如果不能再调用云端模型。

苹果自信表示,这是为AI隐私保护设立了全新标准。

除此之外,苹果AI还能对录音内容自动生成摘要、总结电话录音。



这些能力都是随着iOS 18、iPadOS 18、macOS Sequoia免费提供的。

而对于需要更广阔知识、专长特长的任务,苹果搬出了ChatGPT

比如想要为菜谱提供灵感,可以问问Siri,Siri推荐使用ChatGPT,如果接受这一建议,就能立马获得来自ChatGPT的答案。

多模态任务也支持,Siri会询问是否可以查看照片、PDF等。



所有会分享给ChatGPT的信息,都会事先征求用户意见。

想要免费使用ChatGPT也不用创建账户,所有请求都不会被记录。ChatGPT的订阅用户能关联自己账户,也能接入付费功能。

这个功能将在今年稍晚推出。苹果表示,未来还将增加对其他AI模型的支持。

那么更具体的,苹果AI还能做什么?

来看Siri的全新升级。

Siri新纪元的起点

苹果表示,在Apple Intelligence加持下,Siri正式迈入新纪元

接下来的Siri,更自然、更贴合语境、也更接近用户。



从外观来看,当和Siri对话时,屏幕边缘会环绕一圈光晕。

从智能度来说,Siri现在可以理解更丰富的语言,就算说的不连贯,也OK:



并且Siri现在还可以联系上下文信息

即使停顿一下再让它安排日程,它也能理解安排“那里”指的是哪里。



Siri现在还支持语音打字切换输入,只需在屏幕下方快速轻点两下就能召唤出键盘:



更重要的是,Siri已经掌握了大量关于功能和设置的信息,能够解答数千个关于操作的问题。

就算不知道某项具体功能是什么名字,只需要表述个大概,Siri就能懂你说的是哪个功能。



苹果表示明年会推出更多功能。首先,Apple Intelligence将为Siri带来屏幕内容感知功能



Siri还将能够理解用户在APP中的更多操作,然后代劳用户在数百种APP内以及APP之间操作,其中还会用到写作和图像生成功能。

比如让它找到某张照片,然后一键修图:



Siri还可以进行跨APP操作,将修好的图自动添加到指定的备忘录中:



据苹果介绍,能够做到这些,还得益于其对APP Intents框架的增强,能让app定义Siri、快捷指令及其它系统体验。

而这些增强功能并不局限于苹果开发的APP,开发者可以借助APP Intents API定义他们开发的APP中的各种操作。



还没完,Apple Intelligence所提供的个人情境的认知能力,让Siri发现和理解的内容范围远超以往。

例如,直接询问“妈妈的航班几点到?”,Siri就能自主参考邮件中的航班详情以及航班的实时动态,提供最新到达时间。



询问“午饭怎么安排的?”,Siri就能追踪信息闲聊里的内容,回答在哪里吃饭,吃什么。



紧接着还能给出机场到吃饭地点需要的时长。



一系列操作完全不需要用户在几个APP之间跳转自己查询,询问Siri几秒钟就能搞定。

Siri的所有更新均同样适用于iPad和Mac。

iOS 18更加个性化了

在Apple Intelligence以外,iOS 18也迎来重大更新。

全新iOS 18,主打“个性化”。现在,iOS 18可以设置深色模式:



且所有APP小组件的主题色可自定义,iOS还能根据壁纸风格自动推荐色调:



控制中心现在也能自定义控制项了,开发者可把APP加进控制中心,长扫即可调出其它控制项:



布局和大小均可调整:



所有控制项还可以设置在锁屏页面,替代原来的手电筒和相机:



iOS 18在隐私安全方面也推出了个性化设置。

用户现在可以为APP上锁,需面部识别等进行身份验证才能打开,且上锁后APP的内部信息也不会出现在搜索、通知等手机系统的其它地方。



或者,还可以直接隐藏某个APP,将其放在一个带锁的隐藏文件夹中:



iOS 18加持下,众多APP也一并大更新。

其中,图库(Photos)的新功能被官方称作是“迄今为止最重磅的设计更新”。

现在图库布局上半部分延续之前的的网格视图,适合浏览所有图片;下半部分新增对图片按时间、主题进行分类整理的“小相册”。



每个小相册的位置可以自定义,并支持一键导出分享。



在浏览所有图片时,底部设有筛选按钮,可以选择一键过滤所有截图等,缩小图片查找范围:



另一大APP——短信(Messages)也解锁了新功能,不仅可以使用emoji、贴纸,还能更改文字格式,进行加粗、斜体、下划线、删除线等操作。



如果这些还不足以表达你的情绪,还可以给文字添加特殊效果:



而且现在短信还支持延迟发送了:



值得一提的是,iPhone14及后续机型还支持卫星功能,无需联网就能发信息。

除此之外,邮箱(Mail)增加邮件分类整理功能,可自动提取重要邮件,比如带有时效性的信息的文件,还能一键提取“摘要”。



钱包、游戏等APP也有新功能推出,这里就不逐一细说了。

一张图来看iOS 18推出的新功能:



iPad、Mac、Vision Pro系统迭代

除了iPhone,Apple其他智能硬件系统也都进行全新升级。



下面我们挑重点来看。

iPad终于有计算器啦

iPadOS 18绝对称得上是重大更新……因为它终于引入计算器了!

而且针对iPad的手写场景推出了“数学笔记”功能,支持识别手写公式、自动求解、自动画函数曲线等功能。

用Apple Pencil写一个数学表达式,写下等号的一瞬间,计算器就自动算出结果。



如果对表达式做出修改,结果也会实时更新。



除了基础运算以外,计算器支持的所有运算都能如此实现。同时这些计算笔记也能被保存下来。

甚至还有更简单的计算方式,画个横线。

比如正在计算项目预算,在一串开支数字下画个横线,答案就自动计算出来。非常自然,就像是在纸上手动计算一样。



当然也支持更复杂的计算,比如正在算一个物理题,以不同角度和速度击打乒乓球时,乒乓球能到达的最高高度。

只需在数学笔记中写出各种变量的数字,然后就能让计算器直接带入数字在公式中计算。改变相应的变量,计算结果随之变化。



写成函数表达式,点击等号,还能直接画出函数曲线。调整变量,函数曲线随之改变。



另一个重大改变也体现在手写方面。

备忘录中推出了Smartscript新功能,利用机器学习,它能模仿你的笔迹,让书写更加工程,还支持将键盘打出的内容一键生成手写笔记、拼写检查、校对纠错等。



如此看来,买一支Apple Pencil变得更加有必要了。

除此之外,iPad OS 18在更多细节上也做了提升。



VisionOS 2更3D

VisionOS 2同样也提到了AI。

它能利用AI将普通2D照片“空间化”。



而且支持在照片应用中和好友沉浸式分享内容。

交互方面,VisionOS 2支持双指轻点切换至主屏幕,翻转手掌调出控制中心的通知、快捷方式等。

旅行模式中增加了对火车场景的支持。

苹果表示,今年晚些时候将支持在Vision Pro上连接Mac上的内容。

开发者方面,新增了体积应用API,名为TabletopKit的游戏开发工具包以及企业应用API。



苹果宣布,接下来将在中国、日本、新加坡、加拿大、法国、德国、英国八个国家发售Vision Pro。

中国、日本和新加坡的上市时间是6月28日,其他5个地方则要等到7月12日。

MacOS支持iPhone镜像

MacOS方面,Sepuoia让设备互联更丝滑了。

现在,可以在Mac桌面上直接打开iPhone镜像,并且操作iPhone,比如点个咖啡、添加备注。



iPhone的通知、音频也都能在Mac上互通。但是iPhone本身会处于锁屏模式,其他人动不了。

当然Mac的内容也能更方便地传送到iPhone上,比如剪辑好的视频,一键拖到镜像内,便完成了传输。



另一个值得关注的是Safari中的Highlights功能。

它能利用机器学习将浏览页面的重点内容突出显示,能让人更快了解内容。



同时在安全方面,最新版本的Safari不仅具备智能防追踪功能,还能阻止网站窥探你在浏览时做了什么。

新出的Keychain则能将各种密码安全管理好,Mac、iPad、iPhone等都适用。所有密码都能安全同步于你的各个设备。



One More Thing

在发布结束后,库克发布了一条推特,其中写道:

Apple Intelligence是苹果AI的下一篇章。



而在被机器学习、大语言模型、扩散模型等AI专业词汇灌满的发布会中,苹果也多次提到“新纪元”、“just begining”这样的字眼。

总之,AI Phone苹果是终于出手了。

对于这场WWDC,你对哪部分最感兴趣?

欢迎来唠~

相关内容
推荐内容