主流开发者已在使用Quest的透视API

XR7天前发布 XR-GPT
0 0

主流开发者已在使用 Quest 的透视 API

Meta 将在下周的 GDC 大会上邀请 Niantic、Creature 和 Resolution,以“展示那些已经利用我们最新的透视摄像头 API 的开发者的真实案例”。

这一消息来自 GDC 2025 Meta 开发者峰会的一个列表,该峰会名为 融合现实,倍增奇迹:混合现实开发专家指导,由 Meta 主办。以下是其描述:

加入我们的专家,听他们分享开发和发布 Spaceship Home(Meta Quest 上一款开创性的混合现实体验)的实践经验和见解。您将获得关于设计引人入胜的 MR 体验的宝贵指导,这些体验将吸引并激励用户。

接下来,我们将独家展示一些令人兴奋的即将推出的路线图项目,这些项目将彻底改变 MR 开发。了解这些新功能将如何让您更轻松地创建令人惊叹的逼真且引人入胜的 MR 体验。

最后,我们将展示一些开发者的真实案例,他们已经利用我们最新的透视摄像头 API 将他们的应用程序提升到了一个新的水平。了解他们如何使用这个强大的工具来创建无缝且交互式的 MR 体验,模糊现实与幻想之间的界限。

不要错过这个向专家学习并在 MR 开发中保持领先地位的机会。加入我们,参加一个信息丰富且鼓舞人心的会议,它将帮助您释放混合现实的全部潜力!

要点
开发者将从已部署 MR 的开发者那里获得关于如何使他们的游戏在各种房间中更具可玩性和吸引力的见解。他们将被介绍到新的 Passthrough API,该 API 支持实时使用定制的计算机视觉来部署在游戏中。

在峰会列表发布的前一周,Meta 的一个支持页面上线,描述了一种“头戴式摄像头”权限,该权限“允许应用程序访问来自头戴式设备前部的实时透视摄像头馈送”。这意味着开发者将能直接获取和利用Quest头显捕捉的现实世界画面,这为混合现实体验带来了无限可能。

早在 2024 年 9 月的 Connect 大会上,Meta 就宣布了 Passthrough API,称它将“实现各种前沿的 MR 体验”。 这被认为是 Meta 在混合现实领域的重要一步,旨在吸引更多开发者加入Quest生态,并创造出更具沉浸感和互动性的应用。

上周出现的 Meta 支持页面给出了 Quest 应用程序如何利用透视视图的三个例子:

• 对象识别. 开发者可以创建能够识别和使用您真实环境中的特定对象的应用程序。例如,一种包含实体游戏棋子或棋盘的数字棋盘游戏。

• 位置识别。开发者可以创建根据摄像头馈送显示您所在位置而做出不同响应的体验。例如,室内或室外、在著名的地标或在特定类型的房间内。

• 其他机器学习功能. 开发者能够针对来自实时摄像头馈送的数据运行自定义机器学习模型。这可以用于重新纹理/着色、涉及未佩戴头戴式设备的参与者的游戏、人物/动物检测或任意数量的自定义工业/培训用例。

这项技术打开了广阔的应用空间。 例如,未来的游戏可以在现实世界的桌面上进行,数字人物与你的实体玩具互动。 教育应用可以识别房间里的物品,并提供相应的学习资料。 工业应用则可以辅助工人进行复杂的操作,并提供实时的指导。

与此同时,Google 上个月确认, Android XR(其即将推出的操作系统,将在三星的独立头显中首次亮相)将允许应用程序在发布时访问透视摄像头视图。

什么是透视摄像头访问?

虽然像 Quest 3 和 Apple Vision Pro 这样的头戴式设备使用摄像头让你看到真实世界,但目前只有系统软件才能获得对这些摄像头的原始访问权限。第三方开发者可以使用透视作为背景,当然可以,但他们实际上无法访问它。相反,他们获得的是系统导出的更高级别数据,例如手和身体的骨骼坐标、带有家具边界框的你的环境的 3D 网格,以及有限的对象跟踪功能。这意味着他们无法运行自己的计算机视觉模型,这严重限制了这些头戴式设备的增强能力。

例外情况是,在 visionOS 2 上,Apple 现在正在向企业公司提供对 Vision Pro 的透视摄像头的原始访问权限,用于非公开的内部应用程序,但这需要 Apple 的特殊许可,并且仅限于“在商业环境中”。

© 版权声明

相关文章

暂无评论

none
暂无评论...