近日，美国专利商标局公布了苹果公司的一项专利申请，该专利涉及使用传感器数据通过多个电子设备提供共享体验。更具体地说，该专利涉及在 iPhone、iPad、Vision Pro 和其他投影系统上提供 XR 体验的多用户在线游戏，如纸牌、棋盘或骰子。游戏似乎可能是未来版本 FaceTime 的一部分，苹果称之为“通信会话”。
追踪多个环境中的物体，提供共享体验
苹果公司的专利涵盖了提供共享XR体验的设备、系统和方法，在这些共享体验中，两个或多个用户可以与各自的物理对象（如纸牌、游戏棋子、骰子、筹码等）进行交互。
每个用户可以拥有多个物理对象，每个物理对象可以具有相同的通用形状和尺寸，但有一个特殊的靶标。每个物理对象的唯一靶标可被指定为代表多个虚拟内容项目之一，并实现与虚拟内容项目的物理交互。
系统可以识别每个用户将使用的通用物理对象，并将这些对象与特定的虚拟内容项目关联起来，使用户能够通过物理对象与虚拟内容项目进行交互。
图源：patentlyapple
苹果专利图 1 和图 2 展示了电子设备（iPhone）#105 和 #205，它们彼此参与通信会话（FaceTime），为两个设备的用户 #110 和 #210 提供共享的 XR 体验。
专利的基本机制
在苹果公司的专利图 1 中，iPhone 的运行物理环境 #100 是一个房间，其中包括一张桌子（#140）和一组卡片（例如，卡片#120a-d 和卡片堆中的其他卡片#130a-b。卡片#120a-d和卡片堆（#130a-b）中的其他卡片包括靶标，在本例中，靶标以特殊的点状图案表示，如卡片#120a 包括一个或多个特殊的靶标 #125a 的描述，卡片#120b 包括一个或多个靶标 #125b 的描述，卡片#120c 包括一个或多个靶标#125c的描述，卡片#120d 包括一个或多个靶标 #125d 的描述，等等。
每个卡片的一面或两面（如正面和背面）都可以描绘唯一的靶标。可使用任何类型的靶标，包括但不限于字母数字、符号、图案、条形码或其他可通过传感器显示的代码。靶标可以是可见的，也可以是不可见的（例如，通过红外探测等）。
定位标记可以是一维、二维或三维的。动态标记可以使用特殊的颜色或颜色组合。靶标可利用物理对象的形状、大小或其他外观属性。靶标可包括读取方向指示器和/或全向性（例如，能够在不识别方向/方位的情况下进行解释）。
在专利图 1 中，iPhone 包括一个或多个摄像头、麦克风、深度传感器或其他传感器，可用于捕捉和评估物理环境及其中物体的信息，以及 iPhone 用户的信息。例如，在涉及一个或多个其他设备的通信会话期间提供的共享XR体验中，有关物理环境和/或用户的信息可用于提供视觉和音频内容。
例如，通信会话可以向一个或多个参与者提供基于物理环境 #100 的摄像头图像和/或深度传感器图像生成的 3D 环境视图，以及基于用户的摄像头图像和/或深度传感器图像生成的用户 #110 的表示。传感器数据可用于识别靶标和/或具有靶标的物体的3D位置和/或移动。
iPhone 为各自的用户（#110 和 #210）提供 XR 环境的视图。与人们不借助电子设备就能感知和/或与之互动的物理环境相比，XR环境指的是人们通过电子设备感知和/或与之互动的全部或部分模拟环境。
例如，XR 环境可以包括AR、MR、VR内容和/或类似内容。在XR系统中，人的物理运动或其表现形式的子集会被追踪，作为响应，以至少符合一条物理定律的方式调整在 XR 环境中模拟的一个或多个虚拟对象的一个或多个特征。
例如，XR 系统可以检测头部运动，并以类似于在物理环境中这些视图和声音变化的方式，响应地调整呈现给人的图形内容和声场。
有许多不同类型的电子系统可以让人感知和/或与各种 XR 环境进行交互。例如但不限于智能手机、平板电脑、台式机/笔记本电脑、头戴式系统、基于投影的系统、平视显示器（HUD）、具有集成显示功能的汽车挡风玻璃、具有集成显示功能的车窗、形成镜片的显示器（例如，类似于隐形眼镜）、耳机/耳麦、扬声器阵列、输入系统（例如，具有或不具有触觉反馈的可穿戴式或手持式控制器）。
头戴式系统可配置为接收外部不透明显示器（如智能手机）。头戴式系统可包含一个或多个成像传感器，用于捕捉物理环境的图像或视频，和/或一个或多个麦克风，用于捕捉物理环境的音频。
介质可以是光波导、全息图介质、光组合器、光反射器或其任意组合。在某些实施方案中，透明或半透明显示屏可选择性地配置为不透明。
基于投影的系统可采用视网膜投影技术，将图形图像投射到人的视网膜上。投影系统还可配置为将虚拟对象投射到物理环境中，例如，作为全息图或投射到物理表面上。
要了解更多专利细节，请查看苹果的专利申请 20230293998。
来源：patentlyapple
