Karl Guttag解释为何AR眼镜的“硬边遮挡”仍无法实现

XR导航网 2024年05月31日)在SID Display Week 2024,显示技术厂商Cogni Trax演示了用于AR眼镜的“硬边遮挡”,而近眼显示技术专家卡尔·古塔格(Karl Guttag)日前专门介绍了Cogni Trax的技术,以及硬边遮挡依然不可能实现的原因。

Karl Guttag解释为何AR眼镜的“硬边遮挡”仍无法实现

1. 介绍

正如我曾经所说,对于在会议活动展示的演示,“有时你看到的是一场与真实应用几乎没有关系的‘魔术秀’。”

我上周在SID Display Week 2024看到的Cogni Trax硬边遮挡演示正正说明了这个“魔术秀”概念。我知道Congi Trax已有至少三年时间,并我发现他们官网曾引用过我的话(我觉得有点断章取义)。

据报道,Cogni Trax在过去的大约7年时间里通过3轮融资筹集了710万美元。我联系了Cogni Trax的首席执行官萨贾德·汗(Sajjad Khan)(同时是Apple Vision Pro的前苹果光学设计师)。尽管知道我对他们的概念持怀疑态度,但他非常慷慨地回答了我的问题。

2. 柔边遮挡(Soft-Edge Occlusion)与硬边遮挡(Hard-Edge Occlusion)

在AR中,你是将数字内容叠加到真实世界视图,而这涉及数字遮挡真实。柔边遮挡(Soft-Edge Occlusion)是在AR眼镜的正面放置像素化液晶显示器/快门以调暗环境光,而这会导致非常“软柔”的边缘。硬边遮挡(Hard-Edge Occlusion)则是指逐像素精确的光遮挡,这可以实现轮廓鲜明的清晰边缘。

2.1 柔边遮挡

正如我之前评价Magic Leap 2时所说:柔边遮挡是一种面向投资者而非用户的解决方案。

Karl Guttag解释为何AR眼镜的“硬边遮挡”仍无法实现

在AR眼镜的正面放置像素化液晶显示器/快门以调暗环境光是一个十分常见的想法。它甚至有一个名称:柔边遮挡。将LCD放在镜片前面会导致非常“软柔”的遮挡。

尽管需要在对焦的空间图像处理硬边遮挡,但可以在散焦图像进行柔边遮挡,例如通过遮像素化调光面板。这种像素化调光器可以集成为LC层,或者作为偏振调光器,或者作为基于染色LC层的幅度LC调光器。

理论上,柔边遮挡用于选择性地大面积调暗现实世界,这样虚拟图像就可以在不调暗整个现实世界的情况下突显出来。对于Magic Leap 2的柔边遮挡,基本概念似乎十分简单:将透射液晶面板形式的“调光像素”放在波导前面,以阻挡现实世界的光线。

如果孔径缩小到一个非常小的“针孔”,则只有一小束光线会在图像平面形成一个光点。在某种程度上,孔越小,图像就越清晰但更暗。如果孔变得太小,衍射会导致光线模糊和阻挡,亮度与孔的大小大致成正比。

透镜“收集”来自大光圈的光,并将其对焦到一个点。光圈越大,图像越亮,大致与光圈的面积成比例。整个透镜为图像中的每个点收集光线。如果相同的透镜光圈更小,则图像区域保持相同的大小,并且不会出现截断;整个图像变暗。另外,如果光圈变小,对焦深度就会变大。

如果你在眼镜上面放一个像素大小的点,没有人会注意到。如果能够注意到,眼镜上面的每一粒灰尘都会引人注目,造成分心。这是因为距离眼睛只有几毫米的点高度失焦,来自现实世界的光线在被眼睛的晶状体聚焦之前会绕过这个点。这个像素点会使得虚拟图像中的几千个像素轻微变暗。正如之前所说,Magic Leap 2的调光像素将覆盖虚拟图像中的约2100个像素,并对数十万个像素产生调光效果。

2.2 硬边遮挡(光学和摄像头透视)

“硬边遮挡”是指逐像素精确的光遮挡。对于摄像头透视式AR(如Apple Vision Pro),进行硬边遮挡十分简单;一个或多个摄像头像素由虚拟图像中的一个或更多个像素代替。尽管遮蔽像素对于摄像头透视而言十分简单,但要确保硬边遮挡与真实世界完全对齐,你依然存在一个并不简单的问题。

对于光学混合现实硬边遮挡,你同时必须将真实世界对焦,然后才能对其进行精确遮挡。现实世界的光不是进入摄像头,而是进入反射掩模空间光模块(SLM),通常是LCOS,然后将其与虚拟图像进行光学组合。

Karl Guttag解释为何AR眼镜的“硬边遮挡”仍无法实现

我之前讨论过亚利桑那州立大学的硬边遮挡光学解决方案。他们的解决方案有一组光学器件,可以将现实世界对焦到SLM进行遮蔽。然后,偏振分束立方体将结果组合起来。尽管亚利桑那州立大学的专利提到使用偏振分束器来组合图像,但专利没有显示或提及SLM和分束器之间需要四分之一波片。发明人之一是亚利桑那州立大学教授,同时是Magic Leap的顾问,而专利授权给了Magic Leap。

除了体积大、笨重、光学性能差之外,亚利桑那大学的硬遮挡问题同时包括:

  • 它只适用于在对焦设置的距离处进行硬边遮挡。

  • 现实世界“扁平化”为与虚拟世界处于同一焦点。

  • 极化使得现实世界至少变暗50%。

  • 通过偏振分束器,真实世界至少变暗了2倍。

  • 当眼睛移动时,真实世界的移动方式将与眼睛直视时不同。你通过两组光路更长的光学器件来查看现实世界。

尽管Cogni Trax使用相同的原理来遮蔽真实世界,但它的配置不同,而且体积更小、更轻。这两种设备都会阻挡大量光线。Cogni Trax的设计阻挡了大约77%的光线,而他们声称下一代产品将阻挡50%的光线。但请注意,这可能加上了光学系统中的其他光损失。

3. Cogni Trax在SID Display Week 2024的演示

从表面上看,Cogni Trax的演示让这个概念看起来行得通。演示中有一个智能手机摄像头通过Cogni Trax光学设备进行观察。如果你仔细观察,你会发现它们阻挡了来自现实世界的4个区域的光线(见下图中的箭头):鞋面的耐克标志,QR码,瓶子里的可乐(带有移动的气泡),以及部分变暗以创造瓶子阴影的墙壁。

Karl Guttag解释为何AR眼镜的“硬边遮挡”仍无法实现

他们没有带虚拟图像的微型显示器;所以,它们只能阻挡或调暗现实世界,而不能替换任何东西。因为你不是通过自己的眼睛看图像而是通过手机,所以你没有深度损失和视差问题的感觉。

Karl Guttag解释为何AR眼镜的“硬边遮挡”仍无法实现

当我拍摄上面的照片时,我原本没有打算写一篇文章,所以没有拍下完整的设置。幸运的是,科技博主罗伯特·斯考伯(Robert Scoble)发布了一段相关的X视频。图中的六轴装备支持以六个自由度对齐相机和Cogni Trax设备。只有当场景中的所有对象都处在相对于相机/设备的精确位置时,这个演示才会起效。

可以说,开发SLAM、眼动追踪和3D缩放技术以消除对图中六轴控制装置的需求是“硬件和软件的小事”。然而,这个六轴控制装置说明了光学的基本概念及其局限性。

4. Cogni Trax第一代光学元件的工作原理

以下是Congi Trax用于绘制光路的专利图。我添加了一定的彩色处理来帮助你理解图表。专利中用于组合虚拟图像的虚线部分没有在Cogni Trax的当前设计中实现。

现实世界的视图需要经过一条相当痛苦的路径。首先,它通过一个偏振器,其中至少有50%的光丢失(理论上这个偏振器是多余的,但它很可能用于减少伪影)。然后,它通过一个对焦元件从偏振分束器反射回来,将现实世界对焦到LCOS SLM。LCOS装置将改变任何未被遮蔽的偏振,以便它在通过对焦元件的回程中通过偏振分束器。

接下来,光线通过“中继光学”,然后是四分之一波片QWP,离开反射镜,再通过四分之一波片和中继光学。通过“中继光学”的两个通道必须撤消通过对焦元件的两个通道对光所做的一切。通过QWP的两个通道会旋转光的偏振,这样光就会从分束器反弹,并通过一个净化偏振器直接射向眼睛。如图所示,光可以与来自微显示器的虚拟图像相结合。

Karl Guttag解释为何AR眼镜的“硬边遮挡”仍无法实现

我发现很难相信现实世界中的光会经历这一切,而且除了发生在它身上的偏振光损失之外,什么都不会表现出来。

Cogni Trax提供了一组图表来说明“Alpha Pix”的光路。我将他们的几个图表编辑在一起,并添加了红色注释。如前所述,当前的原型没有用于提供虚拟图像的微型显示器。如果实现了虚拟显示设备,则其光学器件和组合器将位于所示的所有其他设备之上。

Karl Guttag解释为何AR眼镜的“硬边遮挡”仍无法实现

我不认为这是解决硬边遮挡的实用方法。尽管比

© 版权声明

相关文章

暂无评论

暂无评论...
zh_CNZH
Powered by TranslatePress