元智能研究：让头显和眼镜了解你的房间布局和家具

Meta的最新人工智能研究系统可以让头戴设备和眼镜了解您的房间布局和家具。

名为SceneScript的系统，Meta表示该系统利用了与大型语言模型（LLMs）相同的基本技术，不同之处在于它预测的不是下一个语言片段，而是建筑和家具元素。这些元素是在3D点云捕捉中预测的，这与头戴设备已经进行的独立定位跟踪相同。

输出结果是一系列基本边界的原始3D形状，代表给定家具或元素的基本边界。

Quest 3能够生成您房间的原始3D网格，并从这个3D网格中推断出墙壁、地板和天花板的位置。但是头戴设备目前尚不知道网格中的哪些形状代表更具体的元素，如门、窗户、桌子、椅子和沙发。Quest头戴设备确实允许用户手动标记这些对象，例如简单的长方体，但由于这是可选的且费时费力的，开发人员不能依赖于用户已经这样做了。

如果像SceneScript这样的技术被集成到Quest 3的混合现实场景设置中，开发人员可以自动将虚拟内容放置在特定的家具元素上或周围。他们可以用虚拟门替换窗户，用虚拟座位替换椅子，或将沙发变成被填平的位置。目前通过要求用户手动标记家具或有时使用手动算法解释场景网格来实现这些功能，但是SceneScript可以使其变得无缝和自动化。

像SceneScript这样的技术也对未来头戴设备上的人工智能助手有巨大潜力，以及最终的增强现实眼镜。Meta举了一些例子，如“这张桌子能放进我的卧室吗？”或“为了油漆这个房间需要多少罐漆？”，以及“将[AR/MR应用程序]放在大桌子上”等命令。

不过，目前Meta仅将SceneScript描述为研究，而不是近期产品功能更新。虽然这项技术可能最终应用于Quest 3，但目前并没有迹象表明这将很快发生。