Meta 正在进行一项名为“沃霍尔计划 (Project Warhol)”的项目,旨在训练其逼真化身 (Codec Avatars) 模型。该计划目前招募志愿者,参与者通过捕捉面部表情、语音和手势,每小时可获得 50 美元的报酬。随着元宇宙概念的持续发展和VR/AR技术的不断成熟,逼真化身技术作为未来社交互动的重要组成部分,其发展潜力备受瞩目。
“沃霍尔计划旨在改进未来的虚拟现实体验。
在录制期间,您需要完成各种任务,例如模仿面部表情、朗读句子、做出手势、跟随眼动目标以及进行全身活动范围的练习。”
该项目的招募工作由 AI 数据集公司 Appen 代表 Meta 进行,数据采集地点位于 Meta 在宾夕法尼亚州匹兹堡的占地 10 万平方英尺的四层建筑内。选择匹兹堡的原因不难理解,那里是Meta多年来潜心研发逼真化身技术的重镇。
十多年来,Meta 一直在匹兹堡进行逼真化身技术的研究和开发。这项技术旨在利用 VR 头显的追踪数据,实时驱动逼真的数字人形象。目前最高质量的原型已经实现了令人惊叹的效果,在某种程度上跨越了恐怖谷效应,让用户感到更加自然和舒适。
Codec Avatars 的目标是提供真正的社交临场感,即使人们不在同一个物理空间,也能产生“在一起”的潜意识感觉。目前的视频通话技术还远不能达到这种效果。Meta 希望通过逼真化身技术,营造更沉浸、更真实的虚拟社交体验。
Meta 方面向 Business Insider 透露,他们已经进行了多年的化身数据收集研究。而Business Insider 最先报道了“沃霍尔计划”。自 2024 年初以来,Quest 的 Horizon OS 代码中已经发现了对 Codec Avatars 的引用,这表明 Meta 似乎越来越接近在头显中实际应用逼真化身技术。尽管目前的技术距离完美还有一定距离,但其发展趋势表明,这项技术在未来的虚拟社交领域将扮演关键角色。
Meta 时任 VR/MR 副总裁 Mark Rabkin 在 2024 年 9 月告诉 Engadget:“如果我们做得非常好,那么在下一代头显中应该有可能实现”,他指的是逼真化身。
Meta 在独立移动硬件上解码化身方面取得了坚实的进展。目前最大的挑战是缩小使用超过 100 个摄像头的专用捕捉设备生成的逼真化身与通过智能手机或头显扫描生成的逼真化身之间的质量差距,后者是适用于实际系统的流程。这意味着需要在保证质量的前提下,尽可能降低对硬件的要求,以便让更广泛的用户能够体验到逼真化身技术带来的便利。
该公司首先在 2022 年展示了从智能手机扫描生成的逼真化身,但该系统需要在 3 分钟多的时间内做出 65 种面部表情,并且捕获的数据需要数小时才能处理。今年早些时候,它展示了一个新系统,只需要四张手机自拍,处理时间也缩短到几分钟,而不是几小时。但它在 RTX 3090 上仅以 8 FPS 的速度运行。这意味着在性能优化方面仍有很大的提升空间。
Meta Connect 2025 将于 9 月 17 日举行,届时该公司可能会分享在 Codec Avatars 方面的进展。一种可能性是,它首先推出一个基本的平面屏幕版本,让你能够以比你的 Meta Avatar 更逼真的形式加入 WhatsApp 和 Messenger 视频通话。但要推出 Meta 承诺的那种 VR Codec Avatars,就需要提供一款带有面部追踪功能的头显,而所有迹象都表明下一款 Meta 头显将在 2026 年推出,而不是今年。