Meta Reality Labs首席科学家：元宇宙已来，人与人互动很关键

【GameLook专稿，未经授权不得转载！】

GameLook报道/作为近两年全球最热门的话题之一，元宇宙（Metaverse）不仅受到大量资本青睐，还引得全球巨头纷纷入局，其中最值得注意的当属Meta（改名前是Facebook），其创始人马克·扎克伯格甚至表示每年投入100亿美元打造元宇宙。

那么，元宇宙到底离我们有多远？实现元宇宙还需要些什么？此前的访谈中，Meta公司Reality Labs首席科学家Michael Abrash谈到了该公司对于元宇宙的一些研究，并分享了一些对于元宇宙非常重要的技术趋势。

以下是Gamelook整理的内容：

Michael Abrash见证过所有东西的早期阶段，比如图形、编程、CG、VR以及元宇宙，他既是程序员又是科技写手，比如他在1995年写的《Zen of Graphics Programming》曾影响了一整代程序员。

20年前，他与约翰·卡马克共同打造了世界上第一个3D图像引擎，为计算机带来了真正的3D世界。

Abrash在谈到自己传奇经历的时候表示，“我只是做有趣的事情，然后跟着兴趣走。非常幸运有很多机会，它们始终在进化，始终有新事物，超过40年了，我从不疲倦，从来没有遇到无事可做的时候。

他的第一个电脑是台内存56k、4GHz的Z80 CPM计算机，购买这台电脑是个意外，因为当时在宾夕法尼亚大学与Abrash一起工作的教授从能源部拿到了奖金做模拟，但后者没有那么多的时间购买和使用计算机。

“所以我出去买了这台电脑，并且写了一个RS32程序、学习了调制调节器，并将最初的努力下载到这个CPM计算机上，最后成功了，我就有了这台很酷的电脑。现在比较有趣的是我手机的算力，它比我第一台计算机强大10亿倍，也就是算力达到10亿倍。”

他表示，如今的手机存储空间都是当时的数百万倍，这是那时候令人无法想象的。不过，随着事情不断变化，总会有新挑战、新的有趣的事情，“睁大眼睛注意这些东西，找到你感兴趣的事情然后去做，仅此而已，我也希望自己说一个总体计划，但没有，无论如何，我最终走到了现在。”

最后一个平台

谈起与卡马克的交往，Abrash表示，当所有人都不知道约翰·卡马克的时候，他们就在一个BBS论坛认识了。当时的Abrash看到了《毁灭战士》的一个demo，并给卡马克写了一封信，两人最后相约在西雅图见面，卡马克甚至邀请当时从事Windows NT的Abrash加入id software，但Abrash拒绝了。

不过，一年之后，当卡马克谈到打造电子空间概念的时候，Abrash同意了加入id Software的请求。

“对我来说这是显而易见的，这就是未来。我们用了50年几乎都是研发Xerox PARC革命，他们打造了首个PC，自此之后所有东西都变得更好了，结果发生了很多事情，但我们依然在通过2D表面与这个虚拟世界互动。”

Abrash认为，接下来重要的是如何与虚拟世界互动，如何让它与真实世界交替、为我们带来更多有用的信息，使我们能够在世界上更有效地行动。以往，输入输出决定了我们能够做的事情，决定了我们对虚拟世界的影响，他表示VR和AR可能是未来，因为我们可以适用所有感官、使用所有的交互能力。

2014年的时候，Abrash加入了Oculus，再次与约翰·卡马克一起工作。他在当时写道，“我们正处在一个转折点，我认为这不是下一个大平台，而是一个最终的平台，一个终结所有平台的平台。”

对于“最后一个平台”，Michael Abrash给出的解释是，这个特殊的平台可以将虚拟世界与我们生活的世界以特定形式连接。

“在任何合理的时间范围内，我们对世界的体验都来自我们的感官，我们的行动大多通过我们的双手。因此，如果我们能更准确地驱动我们的感官，并提供这些体验，如果我们能将我们的手变作完整25自由度的操纵器，这就是我们真正的样子。”

当然，虚拟世界里的触觉并不是与现实世界完全相同，而是可以想出一种替代的物理类型。比如触觉手套可以带来像你的手一样灵巧的能力。如果你把手放在虚拟的桌子上，你就可以感觉自己穿过了那张桌子。

元宇宙时代已来

Abrash表示，我们如今已经进入元宇宙时代。如今，已经有非常具有吸引力的VR体验出现，与我们有生以来所有的体验都不同，不过，想要做到真实，还需要让用户能够在虚拟世界里做到像真实世界那样灵活地关注不同深度的事物。

“这方面音频做得很好，诀窍是让声音空间化，你知道声音从哪里来，它如何从你的耳朵、肩膀和头部反弹，创造了一个与头部相关的传递函数。基于某人的头部相关传递函数，我们可以完美的做到，就像是声音是从这些地方传出来的。”

对于“最后一个平台”，他表示自己并不是特别有远见，更不要说预测未来，但工作是可以预测的。Xerox PARC打造过一些用来工作的东西，当时他们并不知道别的用途是什么，谁都不知道50年前的他们会想到什么。

高品质和高保真的人与人互动，对于未来的元宇宙是很重要的，如今的面部动画已经越来越逼真，不过想要实现真人的感觉，还需要有大量工作，尤其是身体部分，比面部更难做，因为后者有太多的自由度。

“真正的挑战在于，你要让他们在一个周围布满摄像头的环境里几个小时，做不同的事情。很明显，这必须改变，必须做到就像你拍摄一个较短的视频那样，就足以创建一个化身，现在你可以做非常具有吸引力的事情，但解决如何创造化身方面，可能还需要一段时间，这当然是很重要的，因为它必须是你的化身，它代表了你。”

提到真实感，很多人会联想到更高品质的画面，甚至是照片真实主义。

不过，这既很重要，又不那么重要。本质上，精确呈现一个人对很多事情都很重要，没有人会希望自己在商务会议中作为一个大热狗的形象出现，因为所有的参会者都希望自己在和真人互动。

另一方面，大部分人都喜欢穿戴打扮，人们总会对自己的外观做各种个性化的事情。

Abrash说，“对我来说比较有趣的是，照片级真实是个错误的词汇，因为它们都是真实的照片、它们看起来像是真的，但准确地再现了一个人，我们知道它是什么、知道它有价值。如果我们成为这个人而不是现在的虚拟形象，我们就可以做到。这就是我们想要达到的。”

那么，实现虚拟与真实的共存感需要什么，我们离这个目标还有多远？Abrash并没有给出具体的答案。

“这种事只有你体验过之后才知道它存在，VR和AR比较困难的是，所有指标都是主观的，取决于你如何认知，所以对于图形，你不会总说它的分辨率是多少、多么准确？你可以测量偏离地面真相的程度，这是没有根据的事实，这会给你带来共存感吗？只有某一天你真正在做，你会说，‘等等，我完全忘记了在做这件事情的时候是在VR环境中’。”

在Abrash看来，实现这一点很关键的是生物运动，而不是照片真实主义或者精确地重做某个人。比如，当你与很熟的一个人聊天，有些事情是确定的，微笑的方式、手势，哪怕是没有在聊天，你也能够知道这个人的形象。

然而，捕捉这样的动态比做图形重制更难，因为你需要用有限的传感器制作它，这是个很复杂的问题，从传感器、到机器学习，到图形，都面临挑战。

对于机器学习，Abrash表示，AI是未来的“游戏规则改变者”，但并不是所有东西都能够交给机器学习。

“你有一个场景的描述，然后你按照物理法则渲染尽可能好的场景，有了这个元素之后，我们只是知道如何做一个更好的猜测。所以我们现在可以用更少的数据更快完成，感觉错了，但运行起来很好。我认为AI是未来的核心组成部分之一，我不认为所有东西都会机器学习，原因是事物背后有真正的结构。”

原因在于，如果有更多的数据，机器学习就会变得更好，但有时候巨量的数据需要的计算量很庞大，所以，他认为混合系统是结构化和机器学习的组合，是真正的未来，但毫无疑问，对于图形来说，机器学习是根本性的游戏规则改变者。

VR是PC的继任者

Michael Abrash在访谈中提到，“我认为VR将是PC的继任者，就像是一个庞大的基础设施，你总能得到最好的东西。VR可以让我们在其中从事所有的工作，比如我住在硅谷四年了，为了一个海滩小屋的房子付出了很多钱，如果我们不用搬到全国各地做这些工作，那就更好了。”

他认为，一旦有了这样更高效率的工作场所，世界上所有人都可以拥有同样的机会，人们可以过上自己想要的生活。

“每个人都可以看到AR眼镜可能是智能机的继任者，但我不知道人们是否看到VR真正成为PC的继任者，有趣的是，几乎每个人都有一部手机，但使用PC的人数仍然超过10亿，我可以保证的是，PC工作的效率比手机更高，所以它们在不同方式上都很有价值。”

当然，Abrash并不是说AR眼镜会替代手机、VR会取代PC，虽然如今的AR眼镜还比较早期，但未来的可能有很多。

“并不是说手机将会消失，很明显短期内不会，我只是说在朝着这个方向转变，当手机第一次出现的时候，并不意味着人们不再用电脑发送电子邮件，当时的手机最大的作用是打电话。”

谈到实现共存感的时候，Abrash认为，触觉体验即将实现，这也是Reality Labs过去8年一直在努力的方向。他认为，在每个手指放数百个传感器是可行的，这样就可以给你带来触碰真实材料的感觉。

“我有过一次很有趣的经历，它不只是触觉。我们是多模态生物，这才是真正赋予我们现实感的东西。我做了一个demo，手指上有一个执行器，我戴上VR头盔，看到一个色彩鲜艳的盘子，就像是从墨西哥看到那种陶瓷，但是粗糙的陶瓷，我用手指在盘子上摩擦，执行器在动，我听到它摩擦的声音，而我在摩擦盘子，这完全没有问题。有趣的是，当我闭上眼睛，他们关掉声音，我做了同样的事情，有些东西在我的指尖嗡嗡作响。”

对于元宇宙的未来，Abrash认为很有创新的一个技术是肌电图（electromyography，简称EMG），肌电图包括手腕上的传感器，可以检测通过运动神经元传递到手指的神经脉冲。他表示，肌电图有可能成为AR键盘上的鼠标，最终成为VR。

“如果你移动手指，很容易复制，哪怕只移动一毫米，它就可以捕捉到。要做到这一点，需要进行大量的研究。但我认为它可能不仅对点击、敲击、滚动等操作有用，而且还可能用于打字，如果可以不用拿出手机在键盘上打字，在你的手腕上有一些你可以快速打字的东西，这是令人兴奋的。”

在Abrash看来，肌电图是非常新颖的东西，如果将个性化的情境化AI和肌电图结合起来，哪怕它不能读懂你的心思，但有一种非常轻量级的方式，可以让你给它反馈或回答问题，很像GUI出现的时候。

“我想要说的是，元宇宙即将到来，很明显Meta非常专注于推动元宇宙的实现，但我想要强调的是，我们不打算自己去做，我们对此不感兴趣，因为元宇宙需要做的太多，它需要是开放的，需要整个社区的努力。就像没有一个人能让PC出现，所以对于任何感兴趣的人，我们都乐于倾听。”