加利福尼亚州长滩 – 我与史蒂夫·卢卡斯一同站在玛丽皇后号的阳光甲板上,这天是他将自己的应用程序发布到 Meta 应用商店的日子。
卢卡斯15岁的儿子克里斯蒂安上周和他一起来到了增强现实世界博览会(Augmented World Expo)。几个小时前,他在台上按下了按钮,正式启动了《拼图之夜》(Jigsaw Night)的早期体验版本,供用户购买。
微风拂过,带走了阳光的灼热,我们呼吸着新鲜的海风,聊着他过去七个月,或者说,如果从更长远的角度来看,是过去八年里的心血结晶。我们正在拼一块拼图,随着令人满意的“咔哒”声,补上盒子图片上的最后一块空缺。我们都戴着 Quest 3 头显。
“我不知道在你那边看起来怎么样,”卢卡斯为他的代码在发布时的局限性表示歉意。
“能帮我个忙,拿着[拼图]走到那边吗?”我指着船边问道。
他拿着拼完的拼图,悬挂在空中,我们一起眺望着远处的太平洋水族馆。
“真不错,”他说。
“确实不错,”我同意道。
“为什么花了这么长时间,又为什么感觉这么好?”我问他。
“我研究共享空间已经八年多了,”卢卡斯回答。
“自从我整合了 ARKit、微软 HoloLens 和 Vive,并由此获得了带有 AR 透明头显的 6DOF 控制器,任何人都可以看到我使用 ARKit。我说,这是一个神奇的时刻。但需要所有这些技术才能实现。从那以后,我一直在寻找让这件事更容易实现的各种方法。技术的进步带来了自动空间锚定、自动检测等工具。我遇到了一些人说,‘你不能手动操作,必须是自动的。’
“这就像说,‘在我们取消手动挡之前,我们不会制造汽车。’然后,你就会有很多年学不到东西。因为一旦你克服了‘这行得通了’,你就会转向其他问题。思考这些问题的人并不多。有些人做得非常好,但研究这些问题的人数比我预期的要少。”
在我们的拼图会话之后,由于我们聊得太投入,时间比预期的长,他向我展示了他的 Unity 项目的组件列表。在 Unity 中整齐排列的组件包括:
- 世界锚定
- Meta Quest 平台
- 拼图生成
- 拼图追踪
- 拼图数据库
- 音乐盒
- 语音聊天
- 混合现实实用工具包
- Wit.Ai
- LivCam
- FacebookSDK
- 排行榜
- 商店
在周二的 AWE 展览会开幕前,我见到他时,他还不确定《拼图之夜》是否能发布。在我完成单人演示,并告诉他我认为这是非常棒的作品之后,他才下定决心执行他与家人在周四制定的计划。
如果你有一对运行 Horizon OS 的 Quest 2、3、3S 或 Pro 头显,《拼图之夜》目前你可以从 Meta 购买到的最佳体验之一,让那些头显在同一房间内的用户一起体验。
《拼图之夜》尚未完美,但它已经比大多数应用程序都要好,因为该组件列表实现了一些人们只能在商业或研究实验室中,使用价值数千美元的设备才能体验到的功能。这反映了卢卡斯对技术细节的深刻理解和对用户体验的执着追求。
例如,卢卡斯用“共现”(co-presence)和“共址”(co-location)来表示两个不同的概念,而其他不具备他对媒介理解的开发者可能会交替使用这两个词。《拼图之夜》中,你可以和其他玩家处于同一物理空间中,即“共址”。或者,你可以让几个人通过“共现”从另一个地点远程加入,通过互联网发送他们的身体动作或声音,并接收你的反馈。由此,你们共同拥有一个共享现实——一个共同消磨时间的游乐场——这个想法非常重要,以至于无数硅谷营销领导者试图以不同的方式来包装这种体验。换句话说,《拼图之夜》致力于创造的就是一种高度沉浸式的社交体验,让用户无论身处何地,都能感受到如同真实相聚一般的互动乐趣。
在任何类型的头显中创建一个允许共现和共址交互的共享空间都极为罕见。包括微软、苹果、谷歌和 Meta 在内的平台巨头,以及希望被其中一家大公司收购的初创公司都在追求这种技术。本质上,为人们创造共享现实的竞赛既充满竞争,又容易受到迅速变化的执行优先事项的影响。这意味着许多开发商选择避免使用这些早期工具,以帮助他们避免平台锁定以及与之相关的有限市场机会。
但卢卡斯和《拼图之夜》没有这么做。这不仅仅是一款拼图游戏。它也是对整个 XR 行业面临的障碍和机遇的研究。卢卡斯的作品完全可以作为一个示例项目,展示 Horizon OS 上混合现实设计的最佳实践——Meta 应该为开发者和头显买家制作的示例项目,以便他们了解这种混合现实平台的潜力。这不仅仅是一款游戏,更是对未来技术发展方向的一次大胆探索,以及对人与人之间如何通过科技进行更深层次连接的深刻思考。
我之前曾两次撰写关于卢卡斯的作品。第一次是 2017 年,当时他的儿子克里斯蒂安,还是三年级学生,在 HoloLens 上向他的同学们展示了同样的核心概念。然后,我在 2018 年再次报道了卢卡斯的作品,当时 Magic Leap 推出了第一版视野有限、成本高昂的增强现实眼镜,一群开发者展示了这个总体思路。现在,卢卡斯正通过 Quest 头显将同样的理念直接带到 VR 和混合现实中。他坚持不懈地探索和创新,最终将曾经遥不可及的未来科技,带到了普通用户触手可及的地方。
测试《拼图之夜》时,一个特别有影响力的时刻是当我激活 LIV 虚拟摄像头时。该摄像头比某些手机摄像头的功能更全面,允许第一人称或第三人称视角,调整 FOV 和稳定性,以及可以悬挂在半空中或手持的自拍摄像头。
神奇之处在于,从技术上讲,LIV 摄像头只能拍摄你在共享虚拟现实空间中看到的内容。即使你正在看着你的物理环境,头显通过 VR 传递 AR,摄像头也无法捕捉到你的物理环境。该功能之所以有效,仅仅是因为《拼图之夜》触发了对你物理房间的扫描,让头显和应用程序能够语义化地理解它的形状以及里面的家具、窗户和门。该功能自 2024 年初以来已在 Meta 的生态系统中提供,但即使在今天,也很少有开发者使用它。
我用 LIV 工具捕捉到的一个四分钟的视频展示了第一次测试它时的效果。在头显中,我仍然可以使用透视混合现实看到我在长滩永久停靠的船上的酒店房间。在 LIV 自拍摄像头上,我只看到 VR,与观众看到的一样,使用 Meta 最新的头像技术,我的房间被呈现为对我周围环境的稀疏表示。我直到视频结束时才真正理解发生了什么,当我看到自己在物理镜子中的倒影并结束录制时。
上面嵌入的 4 分钟视频是我第一次在他的应用程序中尝试 LIV 集成,你看到的是它直接奏效了,展示了交互设计的一堂大师课。卢卡斯努力支持捏合和抓握手势,以便用手部追踪握住物体,并支持控制器上的扳机和握柄按钮实现相同的功能。他甚至支持各用一个——一只手使用追踪的控制器进行高级交互,另一只手只用你的手。
正是这段视频促使我邀请卢卡斯来到玛丽皇后号的顶层甲板一起拼图。我想在远离增强现实世界博览会展厅的地方测试共址,因为在本周早些时候,我看到他因强烈的无线干扰而感到担忧。事实上,我们周二的第一篇文章直到当天才发表,因为卢卡斯和我离开了会场,以便他可以通过隔空投送视频给我,说明这项工作。
我把控制器留在房间里,把头显放在包里,然后把卢卡斯带到船顶。过了一会儿,CNET 的斯科特·斯坦加入了我们。卢卡斯戴上了一个头显,并为斯坦提供了一个。我登录了糟糕的酒店 Wi-Fi,然后点击了“Party Up”。这激活了三个头显之间的隐形握手,并创建了一个 Meta 共享空间锚点,这本质上是将我们的数字内容锁定到世界上的同一个锚定点。
然后,我们一边聊天,一边拼着一个双面拼图。斯坦和我从对面伸手去拿同一块拼图,手碰了一下,然后大笑起来。
卢卡斯和我相信,在大约 20 年后,孩子们将会生活在一个无法想象无法简单地将纯数字 3D 内容传递给朋友或家人的世界中。而在 2025 年的现在,做这件事是如此罕见,以至于来自一位独立开发者的早期体验应用程序通过整合本应是标准配置的功能,超越了整个市场。
《拼图之夜》一开箱就做对了这么多事情,以至于它成为我们世界中更为有形的一部分,在 VR 头显通常不会去的地方创造回忆 —— 至少目前还没有。
“我觉得沉浸式技术对话的焦点最近已经从协同合作转移开,甚至在它真正开始之前,”卢卡斯通过私信写道。“这个行业总是在寻找未来的技术来解决主流采用问题,但实际上,这一切现在就可以实现。我只是希望我们当中仍然关注它的人足够多,并且我很感激我们现在有了一个框架——甚至可能是一种新的媒介——来进行对话。”《拼图之夜》不仅是一款游戏,更是一个平台,一块试验田,在这里,开发者们可以携手探索未来社交互动的新模式,共同推动整个行业的发展。