谷歌确认,Android XR 将允许应用访问透视相机视图。
虽然像 Quest 3 和 Apple Vision Pro 这样的头戴式设备通过摄像头让用户看到现实世界,但目前只有系统软件能够直接访问这些摄像头。虽然第三方开发者可以将透视视图作为背景使用,但他们实际上并不能完全访问它。相反,他们只能获得系统提供的高层数据,例如手部和身体的骨骼坐标、带有家具边界框的环境3D网格,以及有限的物体追踪能力。这意味着他们无法运行自己的计算机视觉模型,从而大大限制了这些头戴设备的增强功能。
一个例外是,苹果在 visionOS 2 上开始向企业公司提供对 Vision Pro 透视摄像头的原始访问权限,以便用于非公开的内部应用,但这需要苹果特别许可,并限制在“仅限于商业环境中”使用。
现在,谷歌向资深 VR 开发者 Antony Vitillo 确认,Android XR 应用将通过请求与常规 Android 应用相同的摄像头权限,获取前置摄像头视图,并使用相同的 API。
以下是谷歌对 Vitillo 的说明:
• 开发者可以请求 camera_id=0 以获取主要面向世界的摄像头流。这在标准 Android 中对应于“后置摄像头”。同样,开发者可以请求 camera_id=1 以获取主要的自拍摄像头流,这对应于“前置摄像头”。这两个流都通过标准 Android 摄像头 API 访问,即 Camera2 和 CameraX。
• 要获取面向世界的摄像头 feed(类似于智能手机的后置摄像头),应用需要请求摄像头权限(类似于手机上请求摄像头访问的权限)。
• 当应用请求自拍摄像头时,它们将收到包含用户头像的图像流。这个头像视频流是由头戴设备上的头像提供者应用/服务生成的。这些应用基于来自 OpenXR API 的用户跟踪数据生成流,例如头部、手部、眼睛和面部。这些跟踪数据来自监控用户动作和面部表情的物理内向摄像头。
在 2024 年 9 月的 Meta Connect 上,Meta 宣布将通过 2025 年初推出的新 API 为 Quest 开发者提供透视访问权限,这表明 Quest 也将很快具备这一功能。
ZH 
EN_US