🤖 由 文心大模型 生成的文章摘要
该文章暂未获取文章AI摘要
苹果面向Apple Vision Pro推送了visionOS 27。这是Vision Pro的第四个主要操作系统版本，适用于M2和M5两款机型。尽管相对缺乏宣传造势，但visionOS 27实际上是迄今最大的升级之一，带来了预配置手持物体追踪、红外LED追踪配件框架、高质量无注视点渲染录屏等一系列重要改进。
Siri AI与视觉智能
Siri AI是苹果基于大语言模型全面改造的数字助理，现已在visionOS 27上以Beta版形式面向M2和M5两款Vision Pro推送。用户需在visionOS设置中加入等待列表才能访问，苹果表示等待时间不定，一旦获得权限便会自动开始下载。Siri AI目前仅支持英语，且设备语言与Siri语言需设为同一受支持的英语选项。
Siri AI由苹果与谷歌联合开发的下一代Apple Foundation Models驱动，基于谷歌Gemini模型（据报道为每年10亿美元的合作协议）。与Apple Intelligence一贯做法相同，部分任务在设备端小模型上运行，更复杂的任务则交由苹果的Private Cloud Compute系统处理。苹果称 Siri AI是“能力与对话性都远超传统Siri的助理”，具备个人上下文理解、广泛世界知识等能力。
在visionOS中，Siri AI以一个持久光球的形式呈现，可固定在房间中的物理位置。你只需看向光球并开口说话即可启动，无需先说“Siri”，当然也可以照旧呼唤。Siri AI在visionOS上还支持苹果的视觉智能功能，可针对物理与虚拟 surroundings 进行“搜索、提问和操作”。
visionOS 27还包含一个专门的Siri应用，可访问历史对话，并提供预装的第三方AI聊天机器人替代方案。苹果同时宣布了下一代Apple Foundation Models驱动的多项功能，包括 Image Playground 中更逼真的图像生成、Safari自动书签与阅读列表整理、一键升级已保存密码强度，以及Messages中的个性化智能回复。在M5 Vision Pro上，Siri还拥有更逼真、富有表现力的语音，并支持自定义。
空间全景环境
visionOS 2曾为2D图像添加合成立体视差，visionOS 26则借助高斯泼溅将2D图像转化为有限视角的体积空间场景。visionOS 27将这一空间场景概念扩展至iPhone拍摄的全景照片，用户还可将这些空间全景设为visionOS主环境，作为共享空间中窗口与体积的的背景。
更高频率的物体追踪
visionOS 2已支持追踪开发者预先指定的特定现实世界3D物体，但该系统仅针对静态物体设计，物体移动时响应非常缓慢。visionOS 27新增高帧率物体追踪模式，适用于移动和手持物体。苹果未说明具体更新率，但开发者初步报告显示约为30Hz。为追踪手持物体，苹果强烈建议使用新的 Extended Training模式，该模式大幅提升追踪性能，但也“显著”增加机器学习模型训练时间。XR爱好者Brad Lynch发现，训练一个鱼形玩具约需18小时。需注意，高帧率物体追踪的更新率仍显著低于手部追踪或追踪配件，延迟也更高。
红外LED追踪配件
visionOS 26时，苹果与索尼、罗技合作，为PlayStation VR2 Sense手柄和Muse数字手写笔添加了硬编码支持，二者塑料外壳下均有一圈红外LED。visionOS 27通过新增必要API，向所有感兴趣的公司开放了这一流程，使它们能为Vision Pro制造自己的红外 LED 追踪配件，类似于任何公司都能为 PC 制造 SteamVR“灯塔”追踪配件。光学追踪以 90Hz 运行，并与物体自身的 IMU 加速度计和陀螺仪数据融合，可实现与 PlayStation VR2 Sense 手柄同等级别的追踪质量。软件支持有两条路径：一是配套应用，硬件厂商可发布 visionOS 配套应用注册物体形状与红外 LED 配置，适合消费级设备；二是内置于应用中，开发者将物体详情直接构建到使用该配件的应用里，无需单独配套应用，适合企业级。DFRobot 和 MikroE 已宣布相关参考硬件与开发者套件，其中 DFRobot 硬件现已可购买。
Thórsmörk环境
visionOS 27为共享空间带来新环境选项：冰岛Thórsmörk山谷，意为“雷神之谷”，被广泛认为是地球上最风景如画的地方之一。苹果的环境均有日夜模式，Thórsmörk夜间版本呈现壮观的北极光。这是visionOS的第10个虚拟环境，此前visionOS 26新增了从木卫五 Amalthea 观看木星的环境。全部环境包括：哈莱阿卡拉、优胜美地、约书亚树、胡德山、白沙、月球、Vrangla湖、波拉波拉、木星，以及新增的Thórsmörk。
无注视点渲染录屏
在共享空间及许多全空间应用中，Apple Vision Pro始终使用眼动追踪注视点渲染，仅对你当前注视的区域以全分辨率渲染。这最大化了视觉质量与性能，但也意味着录屏时未注视区域呈现低分辨率模糊。此前可通过连接Mac录制无注视点渲染画面，但无法在头显上独立完成。visionOS 27新增高质量录制选项，可在头显上完全本地录制最长3分钟的无注视点渲染4K画面，无需Mac。这大大方便了开发者、记者、网红及各类内容创作者展示visionOS，也是Vision Pro最受期待的功能之一。
Mac 3D物体预览API
通过Mac虚拟显示器连接Mac时，macOS 27新增API可在visionOS 27中生成3D物体，让你在3D空间中预览。苹果内置的macOS“预览”应用已支持，意味着你可以从Finder打开3D物体并在几秒内预览，开发者也可将其加入自己的Mac应用。该API本质上让开发者仅需几行代码即可为3D创作Mac应用添加Vision Pro支持，无需构建visionOS应用。它还支持在visionOS侧用注视与捏合手势编辑模型，编辑结果会反映到macOS侧，是双向API。SharePlay 也受支持，可通过Persona进行协作式空间编辑。苹果表示Cinema 4D和SketchUp 正在集成该API。
全新控制中心外观
visionOS 27更新了控制中心外观，将其分为三个面板，总空间更大、更不拥挤。左面板显示日期、时间、电量、Wi-Fi 状态和正在播放的通知；中面板显示Wi-Fi、蓝牙、隔空播放、飞行模式快捷方式，以及音量滑块和Mac虚拟显示器、镜像、访客模式、旅行模式等快速控制；右面板控制环境，包括日夜模式，以及虚拟环境中完全透视与完全包围之间的过渡，相当于Digital Crown物理控制。
Mac Device Hub
macOS的Xcode 27为开发者带来 Device Hub 应用。对开发者而言，Device Hub能让运行 Apple Vision Pro 演示顺畅得多，无需引导访客通过visionOS注视与捏合界面，而是可远程启动体验。这是一项重要补充，因为Vision Pro的iPhone和iPad配套应用无法启动应用。
Wi-Fi初始化速度提升至三倍
M5 Apple Vision Pro使用体验非常流畅，但此前有一个奇怪的例外：设备启动后约20秒内没有网络连接，连接Wi-Fi的时间异常漫长。苹果显然注意到了这一点，在visionOS 27中声称Vision Pro头显连接Wi-Fi的速度最高提升至三倍。
Safari、Freeform与Multiview中的曲面窗口
visionOS 27之前，所有窗口都是平面的，只有Mac虚拟显示器的宽屏和超宽模式是曲面。visionOS 27为Safari、Freeform和Apple TV的Multiview添加曲面窗口支持。Safari还借此实现环绕式的曲面标签浏览体验，Apple TV的Multiview模式同样如此。不过这是苹果第一方应用的私有API，第三方开发者无法让窗口弯曲，至少在共享空间中不行。在全空间中，开发者可实现自定义渲染方案，但在API支持与系统一致性方面有显著取舍。
超小“配件小组件”
visionOS 26最大的新增功能之一是Widgets，带来可固定在物理空间中的持久迷你窗口，包括时钟、天气、音乐、照片，以及供开发者构建自己组件的API。visionOS 27新增一种更小的“配件小组件”，比visionOS 26的组件更小，可用于电量、倒计时或计时器、股价、智能家居控制按钮，或应用快捷方式。智能家居按钮的可能性尤其被看好。苹果还为Mac虚拟显示器添加了第一方配件小组件，可为指定Mac启动Mac虚拟显示器会话，即使该Mac处于锁定状态。
Safari中的Web环境
visionOS 27的Safari新增Web Environments支持，让开发者为网页指定3D环境，用户可选择启用并置身其中。这与WebXR不同，利用的是HTML 元素上的requestImmersive Java API。
注视展开通知
在visionOS 27中，通知只需你看一眼便会展开，显示更多信息和可用操作，无需捏合。这是利用眼动追踪减少界面摩擦的又一例证。
视频自动字幕
车辆运动提示
visionOS 27带来苹果2024年已加入其他主要操作系统的车辆运动提示功能。运动提示以动画圆点形式出现在视野边缘，随车辆加速、刹车和转向而移动，旨在减轻晕动症。
眼控电动轮椅
visionOS 27新增使用眼动追踪原生控制部分电动轮椅的能力。苹果宣布该功能支持美国的 Tolt和LUCI替代驱动系统，包括蓝牙和有线连接。苹果表示“将继续与开发者合作，扩展对更多轮椅驱动系统的支持”。
RealityKit重大升级
visionOS 27还为苹果内置“引擎”RealityKit带来重大升级，该引擎驱动共享空间中的所有体验以及许多全空间应用。RealityKit让开发者无需Unity或Unreal等重型引擎，即可在Vision Pro 上构建高质量VR与混合现实体验，并保持一致的渲染、物理、音频和交互。关键升级包括：物理空间光照，应用现可在物理环境中投射虚拟光，利用Vision Pro的LiDAR房间3D网格与环境光传感器读数，开发者可添加点光源和聚光灯，支持投影纹理；原生高斯泼溅渲染，RealityKit在visionOS 27中新增对渲染高斯泼溅的原生支持，开发者无需自行实现相关代码；实时布料模拟，新增集成式实时可变形织物模拟，开发者可创建在重力下下垂、折叠起皱、与物体碰撞、响应移动并可被拉动或交互的布料；沉浸式音频升级，新增 Reverb Mesh API，让应用描述虚拟环境的几何形状与声学属性，开发者可为表面分配材质以指定其对声音的影响，包括频率相关吸收、散射及反射混响行为。返回搜狐，查看更多