开发者在Quest 3上实现了连续场景网格化

XR2周前发布 XR-GPT
0 0

开发者在 Quest 3 上实现了连续场景网格化

《激光枪战》(Lasertag)的开发者Quest 3 和 Quest 3S 上实现了连续场景网格化技术,无需进行繁琐的房间设置,并有效规避了由此产生的问题。这一创新举措为混合现实应用开辟了新的可能性。

Quest 3 和 Quest 3S 允许用户扫描房间,生成 3D 场景网格,混合现实应用可以利用这些网格,使虚拟物体与现实世界的几何结构进行互动,或者对用户所处的环境进行重塑。然而,Meta 目前的系统存在两大显著的缺陷。

首要问题是用户必须首先完成扫描。根据房间的大小和形状,这一过程耗时从 20 秒到几分钟不等,用户需要环顾四周甚至四处走动才能完成,这与直接启动应用相比,无疑增加了用户的操作负担。这个初始步骤的耗时和不便,成为阻碍用户流畅体验的一大障碍。

另一个问题是,这些场景网格扫描仅代表扫描时的瞬间状态。如果在扫描后,房间内的家具发生了移动,或者添加或移除了物体,除非用户手动更新扫描结果,否则这些变化将不会反映在混合现实体验中。例如,如果在扫描过程中有人站在房间里,他们的身形也会被“烘焙”到场景网格中,造成不真实的体验。这意味着用户需要定期重新扫描环境,以保证虚拟体验的精确性和沉浸感。这对于需要频繁调整环境的用户来说,无疑是一项额外的负担。

Quest 3 和 Quest 3S 还提供了另一种获取物理环境 3D 结构信息的途径:深度 API。

深度 API 提供实时的第一人称深度帧,由头显通过对比前方两个追踪摄像头采集的视差生成。其有效距离大约为 5 米,通常用于在混合现实中实现动态遮挡效果,开发者可以通过它来判断虚拟物体是否应该被物理几何结构遮挡。

一个使用深度 API 的游戏案例是 Julian Triveri 开发的 colocate 多人混合现实 Quest 3 游戏 《激光枪战》。除了遮挡效果,该游戏的公开发布版本还使用深度 API 来判断用户的激光在每一帧中是否应该与真实世界的几何结构发生碰撞,或者击中对手。它并没有使用 Meta 的场景网格,因为 Triveri 不希望增加设置过程的麻烦,也不希望受到烘焙到网格中的内容的限制。

更进一步的是,《激光枪战》的 beta 发布渠道。

在 beta 发布渠道中,Triveri 利用深度帧逐步构建一个 GPU 上的 3D 体积纹理,代表用户的物理环境。这意味着,尽管仍然不需要任何初始设置,这个版本的《激光枪战》也可以模拟激光与现实世界几何结构的碰撞,即使这些结构并非用户当前直接注视的对象,只要之前曾经看过即可。在一个内部版本中,Triveri 还可以使用一个开源的 Unity 实现将这个体积纹理转换为网格,该实现基于 Marching Cubes 算法。

在早期的实验中,Triveri 甚至尝试过联网的高度图映射。在这些测试中,会话中的每个头显都共享它们持续构建的高度图(来源于深度帧),随着构建的进行,其他头显也会收到这些信息,这意味着每个人都得到一个结果,它是每个头显扫描结果的总和。这项技术目前尚未可用,并且依赖于 Triveri 目前不打算继续使用的早期技术。但这仍然是一个有趣的实验,未来的混合现实系统可以借鉴。

那么,为什么 Meta 没有采用连续网格化,而是选择了目前的房间扫描系统呢?

在 Apple Vision ProPICO 4 Ultra 上,场景网格化已经是以这种方式工作了。在这些头显上,没有特定的房间设置过程,头显会在后台持续扫描环境并更新网格。但它们能够做到这一点的原因在于,它们拥有硬件级别的深度传感器,而 Quest 3 和 Quest 3S 使用计算量大的计算机视觉算法来推导深度(在 Quest 3 的例子中,还得到了投射的红外图案的辅助)。

使用深度 API 本身就需要消耗大量的 CPU 和 GPU 资源,这也是为什么许多 Quest 混合现实应用仍然没有动态遮挡的原因。而使用这些深度帧来构建网格则需要消耗更多的计算资源。

本质上,《激光枪战》牺牲了性能,换取了无需设置过程即可获得连续场景理解的优势。而这就是 Quest 3 和 3S 没有为官方场景网格系统采用这种方式的原因。这种权衡反映了当前技术水平下,性能和用户体验之间的一种折衷。

Meta 在今年一月份表示,计划最终让场景网格自动更新,以反映环境变化,但措辞听起来仍然需要以初始设置过程作为基线。这意味着即使未来Meta能够实现自动更新场景网格,用户仍然需要进行初始的房间扫描。

《激光枪战》可在 Meta Horizon 平台免费获取,适用于 Quest 3 和 Quest 3S 头显。公开版本使用当前的深度帧来进行激光碰撞检测,而 预发布 beta 版本则构建一个随时间推移而变化的 3D 体积。

© 版权声明

相关文章

暂无评论

none
暂无评论...