Meta Quest 3 和 Quest 3S 的 “透视摄像头 API” 现在正式可以在 Meta Horizon 应用商店中发布的应用中使用了。这是一个对开发者来说意义重大的更新，它将极大地扩展混合现实应用的潜力。
这项功能在六周前以实验性版本向所有开发者开放。这意味着开发者可以尝试使用它，并且理论上可以通过 SideQuest 等渠道分发包含该功能的 APK，但在此之前，他们无法将其包含在 Meta Horizon 应用商店的应用中。实验阶段的结束也意味着这项技术已经逐渐成熟。
随着 Meta XR Core SDK 的 v76 版本发布，该功能不再被视为实验性，因此可以包含在需要经过审核流程才能发布的应用程序中。这标志着Meta对于此项技术的信心和对开发者进一步创新的鼓励。
什么是透视摄像头访问权限？
像 Quest 3 这样的头显使用摄像头来让你看到现实世界。但直到最近，只有系统软件才能直接访问这些摄像头的数据。第三方开发者可以使用透视功能作为背景，但这只是表面的应用。实际上，他们无法直接访问摄像头数据，而只能访问由系统推导出的更高级别数据，例如手部和身体骨骼坐标、包含家具边界框的 3D 环境网格以及有限的对象跟踪功能。这意味着他们无法运行自己的计算机视觉模型，这严重限制了这些头显的增强现实功能。
要使“透视摄像头API”正常工作，作为用户，您需要授予应用访问头显摄像头的权限，就像您授予麦克风权限一样。如果获得授权，该应用将可以访问前置彩色摄像头，包括镜头内部参数和头显姿势等Meta，它可以利用这些数据来运行自定义计算机视觉模型。 这为开发者提供了极大的灵活性，但也需要考虑到用户隐私的保护。
应用可以使用该功能完成很多事情，包括扫描和跟踪二维码、检测桌子上的游戏版以添加虚拟角色和对象、检测物理对象以用于企业指南体验以及集成云托管大型语言模型 (LLM) 的视觉 AI 功能。开发者的唯一限制是哪些实时计算机视觉模型可以在 XR2 Gen 2 芯片组上高效运行，或者他们愿意为哪些云托管图像分析模型付费。 这意味着未来的应用将更加智能和具有互动性，能够无缝融合虚拟世界和现实世界。
Meta 软件工程师 Roberto Coviello 的 QuestCameraKit 示例.
透视摄像头流提供给应用的分辨率最高为每摄像头 1280×960，帧率为 30FPS，延迟为 40-60 毫秒。这意味着它不适合跟踪快速移动的物体（例如自定义控制器），也不适合辨别精细的特征（例如小文本）。
从技术层面来看，实际上并没有特定的 Meta Quest 摄像头透视 API。开发者确实需要请求 Horizon OS 特定的摄像头权限，但除此之外，Quest 的透视摄像头访问权限利用了 Android 现有的 Camera2 API，并对其进行了扩展，以通过 OpenXR 返回头部姿势。Camera2 API 是自定义引擎或 Unreal 或 Godot 源代码的开发者使用的 API。这意味着相同的代码应该可以在 Google 即将在 Samsung 独立式头显中首次亮相的 Android XR 平台上运行，只有权限请求会有所不同。 这展现了技术上的兼容性，也预示着未来XR平台生态的统一趋势。
对于 Unity，开发者可以通过 Unity 的 WebCamTexture API 轻松访问摄像头，他们已经通过该 API 访问引擎中的手机、平板电脑和 PC 摄像头和网络摄像头。但这里的一个限制是，Unity 的 WebCamTexture API 一次只支持一个摄像头，而不是两个都支持。 这需要在开发过程中进行一定的权衡和取舍。
感兴趣的开发者可以在此处找到 Quest 透视摄像头访问文档： Unity / Native Android.
Meta 在 GitHub 上发布了五个官方 Unity 示例：CameraViewer、CameraToWorld、BrightnessEstimation、MultiObjectDectection、ShaderSample。Meta 软件工程师 Roberto Coviello 单独在 GitHub 上发布了 QuestCameraKit，其中包含五个其他示例：颜色选择器、对象检测、QR 码跟踪、磨砂玻璃着色器和 OpenAI 视觉模型。
ZH 
EN_US