元宇宙有多远？英伟达何展：沉浸实时渲染算力还差10^6倍，2035年路径渲染实现

【GameLook专稿，未经授权不得转载！】

GameLook报道/今年4月，英伟达CEO黄仁勋借数字人替身召开发布会，其拟真程度之高骗过了所有观众的眼睛，由此也让英伟达在元宇宙技术上的积累锋芒尽显。

事实上，从图形可视化到AI深度学习再到物理仿真引擎和更高层级的算力，英伟达在元宇宙技术上的积淀远比外界所看到的更为深厚，在此基础上推出的Omniverse平台也成为业界探索元宇宙发展路径的重要力量。

而在12月18日举办的2021网易未来大会上，英伟达中国区Omniverse负责人何展以“打开元宇宙大门的钥匙”为主题，介绍了英伟达在元宇宙领域的研究成果和他对元宇宙发展的思考。

以下为何展演讲全文：

感谢网易公司邀请我参加今年的未来大会，我是来自英伟达中国的何展，我今年负责我们的Omniverse平台。今天和大家分享的内容是和技术有关的，主要想介绍一下Omniverse如何给大家带来全新的体验。

在演讲内容开始之前，我想和大家分享一下前几天我看到的一个项目。这是瑞士苏黎世联邦理工大学在10月12日公布的一个项目，它利用我们人类现有的天体物理数据（大概有4500颗已知的系外行星、数千万个星系、数亿个空间物体）做了一个实验，让大家可以看到宇宙是什么样子。

这里还有一句话让我觉得非常有触动，是我们王坚院士说的：“虽然我们20多年前就开始研究天体物理，但是今天看到的天体和20年前的天体远不一样，这意味着我们今天眼睛看到的现实不是真实的现实”。

以此为开篇，今天想和大家分享三个部分：从技术开始，走到应用，然后再看到未来呈现给大家的全新的世界。

先看一下图形可视化。大家应该都体验过网易的游戏，其实游戏的显示都和一个技术息息相关，就是专业图形可视化。在图形可视化研究的历史上，有很多算法学家，在这个过程中已经持续了数十年的研究。从1968年APPEL先生提出前向光线追踪到1986年KAJIYA先生提出的渲染方程（路径追踪算法），再到2018年黄仁勋先生在英伟达SIGGRAPH上发布实时光线追踪，其实大家都在往这个方向努力。

和大家分享一下我们的路径图。我们认为，距离真正达到大家期盼中的实时沉浸的渲染效果，目前的算力还差10的六次方倍。所以按照我们的路径图，现在我们是处在19-23年之间，可能要到2035年才能实现真正的有体验的路径追踪算法的算力。

回顾了专业图形可视化的历史，我们再看大家很关注的AI的深度学习。我们看到过去几年数据、算法、算力的提升带来了AI应用的爆发。经典的AI理论模型就是训练和推理，目前做到了什么程度呢？大家可以看到，这些栅格化的人像都是人工智能生成的，也可以用语音驱动人的模型，甚至数字人可以自主地学习走路。此外可以从视频中实时抽取出三维模型、更拟真的服装材质渲染，以及利用深度学习算法进行的降噪技术。

有了图形可视化和AI的技术之后，我们真正能诞生出什么样的新产品呢？这是19年我们做的一个视频，这是我的同事用AI的POSE算法系统抓取演员的动作并投射在纪录片的现场。

另外我们用iPad设备将他的运动轨迹实时传递到拍摄现场。大家可以看到美国的国旗是黑颜色的，但是我们在计算机里可以实时调节它的光线渲染效果。这是给大家展示了一个实时渲染的技术，这也是未来我们一定能够在虚拟世界中应用的技术。

接下来的案例是可视化图形和AI在运动比赛中实时抓取的数据，比如赛车的行驶轨迹和滑雪运动员的运动路径。

这个案例是输入一些文字即可看到基于现实世界生成的图片，这都是计算机生成的。这也是深度学习算法和图形可视化紧密结合在一起让我们看到的未来的无限可能。你甚至可以输入一些天气相关的单词驱动它进行更多制作。

这是我们的创始人黄仁勋先生在今年4月份的演讲中使用的数字人分身。像这样的超写实数字人，在好莱坞的制作公司可能需要上百人花费几个月的时间才能做出来，消耗大量的成本。而在引入了大量创新算法之后，我们把它的时间缩短到了几周，成本也降了很多很多。

也顺便给网易打个广告，这其中的Audio2Face算法，在两年前网易的伏羲实验室里就基于它做了一款Music to Dance的产品，也就是输入一段音乐，数字偶像就可以在里面自己跳舞。这些非常棒的工具（算法）都是免费提供给大家去使用的。

一个月之前，我们又把数字人技术升了个级。和大家分享一下我们做的这个“玩具老黄”。我们邀请了三位不同行业的专家，有哲学家问了许多哲学方面的问题，有气候学家问了很多气候相关的问题，还有天体物理学家问了很多很难的天体物理知识。大家可以注意到这个数字人停顿了半秒，这其实是具备了听懂这些科学家问题的能力，同时他也具备了掌握许多非常困难的专业知识的能力。这就是大量的人工智能训练能够让未来的数字人、数字形象具备的能力。

然后我们又推出了一个服务于现实生活中真实场景的点餐机器人。大家可以看到这个机器人有两只小眼睛，它们可以看到点餐的顾客的面部表情和语言，然后机器人可以给顾客推荐一些符合其喜好和热量需求的食物搭配。这也是人工智能未来会赋予机器人的一个新的应用能力。

基于这些我们推出了Omniverse Avatars这一虚拟数字分身平台，也就是说我们具备了语音合成、对话式AI、感知、推荐、渲染动画等各种能力，在不久的将来也将提供给大家去使用。这个平台能大幅降低技术门槛和成本，让大家可以快速制作数字人物或服务于各种具体应用场景的载体。

今天分享的第三个方向的技术就是物理模拟。给大家分享一下我们最近做的一个项目。这个是我们模拟了加州大火的火势蔓延趋势，这里就融合了图形学、AI（训练了许多当地的气候学数据）以及真实的物理燃烧轨迹。

第四项就是数字孪生地球级别的算力。我们在一个月前发布了量子计算机的SDK，做的第一件事情就是孪生了一个数字地球，代号Earth-Two。这件事情是我们创始人非常想做的。大家可能不知道未来，比如2060年，地球的气候会是什么样子，所以我们用大量的数据去预测推演气温升高后会不会带来飓风、龙卷风等灾害。我们用了底层平台的技术，比如Rapids的大数据能力、Modulus的数字孪生能力以及Omniverse的仿真能力，然后我们做了一个视频，里面提到这个模型可以预测32公里范围内的飓风走势，以服务于防灾救灾工作。

把以上四项能力加在一起又会是什么呢？就是我们的Omniverse和未来的我们可能服务于新的人类体验和巨大技术革命的平台。

因为我也是中国人，我发现老外理解的“Metaverse”的“Meta”和我们中国人理解的“元”可能不太一样。所以我们看到中国人对“元”有史记载最早的《周易上经》是这样说的：“元者，生物之始，天地之德，莫先于此，故于时为春，于人则为仁，而众善之长也。”

我自己有一个理解：元宇宙之元，即强调作为客观存在的天与人的主观意志、意愿的和谐融合所创造出来的世界。它并不是很多人认为的让人们沉浸在其中打游戏，我们认识的“元”应该更向善、更积极、更真善美一些。

接下来展示一下我们做的一个数字孪生的作品，这是中国很年轻的一群小孩做的“水果星球”。每一帧画面都是完全数字化的，包括山竹的果肉、柚子皮上反射的颜色。这个是我们看到的未来能够让大家真正去沉浸式体验的内容。

最后总结一下，过去二三十年里的互联网其实我们认为是2D的，做技术的同仁可能都知道，我们真实世界和互联网的交互都是通过HTML实现的。我们认为未来的互联网可能是3D的，所以我们创建了Omniverse平台，有了我们的AI能力、有了我们的物理引擎能力，然后通过VR眼镜等脑机接口方式与世界进行交互。

大家可以关注一下USD，我们形容它是一个数字虫洞，可以传递不同的巨量的3D模型。所以这张图可以很直观地展示出来我们认为未来的数字世界会远远大于真实的物理世界。

我们回过来和大家分享这样的一个图片，我们现在这种三维的房间，在我们二维互联网里是什么样的状态，在iPad里是什么状态，在未来数字世界里又会有什么样的状态，数字孪生工厂也是同样存在这样的区别。

最后和大家分享一下我自己的感受，我觉得我们应该永远保持一颗：对科技进步的敬畏之心，对新事物的好奇之心，对生活在这个时代的感恩之心。

谢谢大家。