英伟达推出ACE for Games游戏定制化AI方案，实现智能NPC,对话,动画

【GameLook专稿，未经授权不得转载！】

GameLook报道/5月29日消息，在中国台北举行的Comeutex 2023展览中，英伟达创始人兼CEO黄仁勋展示了游戏与生成型AI的简单碰撞，该公司通过一则生成型AI创作的NPC对话视频。

这则视频由英伟达Omniverse ACE（Avatar Cloud Engine for Games）引擎支持，在于新的NPC对话时，玩家不再需要点击选择对话选项，而是通过按钮可以直接说出自己想说的台词，NPC就会给出对应的定制化回应。

随着游戏变得越来越复杂，NPC的创作也在不断升级，与录制的台词数量明显增加，玩家与NPC互动的选择也越来越多，面部表情也变得越来越真实。尤其是对于重剧情的3A游戏而言，仅游戏剧情和配音就需要投入大量的人手和时间。

生成型AI技术的进步，正在对游戏的创意、制作和玩法方式带来改变。与Midjourney、Stable Diffusion等爆红的图形生成AI不同，ACE for Games是一套实时AI解决方案，可用于大规模研发和部署交互式化身及数字人应用。

英伟达ACE for Games提供三个具有突破性的基础模型

英伟达在其官网解释称，“玩家与NPC的互动仍倾向于交易、脚本化和短暂的，随着对话选项被快速消耗，仅起到了推动故事向前发展的作用。如今，生成型AI可以通过提升他们对话技能的方式让NPC变得更智能，创造随着时间升华的连贯个性，并且带来对玩家独特的动态化反应。”

ACE for Games通过AI支持的自然语言互动，让NPC变得更加智能化，可以在本地PC或云端运行，开发者能够通过它在软件和游戏里搭建和部署定制化的语音、对话和动画AI模型。

黄仁勋表示：“AI不仅有助于环境的还原和合成，还可以为角色制作动画，AI将成为游戏未来的重要组成部分。”

优化的AI基础模型包括以下三个：

英伟达NeMo：提供基础语言模型和模型定制工具，以便对游戏角色进一步调整模型。这些模型可以根据需要端到端集成，也可以任意组合，这种定制化大型语言模型（简称LLM）支持适合游戏世界的特殊角色背景故事和个性。

英伟达Riva：提供自动语音识别（ASR）和文字到语音（TTS）能力，可与英伟达NeMo进行实时语音对话。

英伟达Omniverse Audio2Face：只需要一个音频源，就可以立即为游戏角色创造富有表现力的面部动画。Audio2Face为虚幻引擎5提供Omniverse连接器，因此你可以直接向MetaHuman角色添加面部动画。

英伟达官博中写道，“你可以通过NeMo模型校准技术为NPC带来活力。首先，使用行为科隆是基本语言模型能按照指令执行角色扮演任务，为进一步使NPC行为与与其保持一致，你未来可以应用来自人类反馈的强化学习（RLHF），在研发过程中收到游戏策划们的实时反馈。”

NPC完全校准之后，最后一步就是应用NeMo Guardrails为NPC添加可编程规则。该工具可以在打造精准、恰当、主题明确且安全的游戏角色方面提供帮助。NeMo Guardrails原生支持用于研发LLM支持应用的工具包LangChain。

这套工具可以给任何规模的开发者带来灵活的部署方法，使英伟达ACE for Games的神经网络针对不同的功能进行优化，带有各种规模、性能和品质权衡。

ACE for Games基础服务还可以帮助开发者微调游戏模型，然后通过英伟达DGX Cloud、GeForce RTX PC或为实时推理现场部署。你还可以实时验证模型质量、测试性能和延迟，以确保它们在部署之前达到特定标准。

为游戏创造端对端化身解决方案

为展示如何利用ACE for Games打造NPC，英伟达与初创公司Convai合作、帮助优化ACE模块并将其集成到其产品中。Convai是一家为在游戏和虚拟世界中创建和部署AI角色打造平台的初创公司。

英伟达官网展示的ACE端到端研发套件示意图

Convai公司创始人兼CEO Purnendu Mukherjee表示，“有了英伟达ACE for Games，我们的工具可以实现做AI NPC角色的时延和品质，几乎可以通过具有成本效益的方式向所有开发者提供。”

据英伟达官方介绍，Convai用英伟达Riva用作语音到文本和文本到语音能力，而英伟达NeMo用作驱动对话的LLM，Audio2Face则用作从语音输入转化为AI支持的面部动画。

如本文开头视频所示，这些模块都无缝集成于Convai服务平台，并被输入到虚幻引擎5和MetaHuman中，使身临其境的NPC 角色Jin栩栩如生。拉面店场景由NVIDIA Lightspeed Studios艺术团队创建，在虚幻引擎5（NvRTX 5.1）的NVIDIA RTX分支中运行。该场景使了RTX直接照明（RTXDI）进行光线跟踪照明和阴影渲染，与NVIDIA DLSS 3一起实现最佳性能。

已经在使用现有英伟达生成型技术进行游戏研发的开发者包括：欧洲头部开发者之一GSC Game World，正在将Aduio2Face运用到即将到来的游戏《潜行者2：切尔诺贝利之心（S.T.A.L.K.E.R. 2: Heart of Chornobyl）》里。

独立游戏开发者Fallen Leaf也在其第三人称视角科幻惊悚游戏《Fort Solis》里，用Audio2Face制作角色面部动画。此外，如Chrisma.ai这样的生成型AI聚焦公司也在利用Audio2Face支持其对话引擎的动画。