AI画图又双叒革命了？华人小伙开发ControlNet让出图更可控！

【GameLook专稿，未经授权不得转载】

GameLook报道/还在为AI生成的角色肢体扭曲而头疼吗？想要用一个底稿同时测试多种不同画风吗？想要让你的AI生成结果更精准，更可控吗？全新的ControlNet技术帮你一次解决！这一技术由斯坦福大学的计算机在读博士Lvmin Zhang在情人节前夜发表，旋即因其强大的功能震惊全网创作者。

图源：Lvmin Zhang个人网站

ControlNet究竟强大在哪儿？简单来说，这一技术可以为AI扩散模型增加一个额外的输入，对AI的输出方向进行限制。如同在一望无际的沙漠上修建了道路与指示牌，为迷失方向的旅行者提供了前行的方向。

在ControlNet出现前，AI画师们想要产出具有特定特征的图像，就必须在“魔法咒语”上大下功夫——用户常常需要加上一系列的动作、位置修饰词语来描述图中角色的姿势、肢体特征等，而即便这样，出图也依然需要大量的运气成分。而利用ControlNet，AI可以通过草图、人体关键点特征、深度图、人体骨骼等特征按图索骥，产出满足特定要求的图片文件。

例如，假若你想要获得一只动物的图像，那么你可以首先提供一个勾勒有该动物雏形的手绘草图，再佐以相应的文字描述，AI便可以按照你所勾勒出的形状生成对应图片。显而易见地，通过调整输入Prompt，你可以在角色本身不变动的基础上快速调整与之搭配的画风、背景等元素，同时输出多个版本。

ControlNet还可以从图像中提取角色的肢体信息，再将这一信息应用于角色的生成。无需繁琐的咒语，用户就可以一步到位对角色的动作姿势进行自定义——这是极大的突破。

此外，据国内知名AI技术人士“勘云工造”表示，ControlNet目前甚至支持对手指骨骼进行绑定，这意味着此前广受诟病的“AI不会画手”这一重要缺陷将在未来的AI生成中大幅减少，大大增加出图成功率。

据原论文，ControlNet可给出的输入类型共八种，包括手绘草图、人体骨骼、语义分割图像、Canny边缘图像、人体特征点、霍夫变换直线、深度图等。用户可输入的远不止角色、动物等物体的特征，对场景、环境等非生物同样可以进行输入。在论文中，作者演示了利用霍夫变换直线为蓝本，生成不同风格的室内外场景，效果惊人。

社交媒体上，各路大神也纷纷出动，开始了对这一全新技术的大胆探索。来自Reddit的StableDeffusion板块的一名用户展示了自己的工作流，将3D制作软件Houdini中搭建出的白模与ControlNet联动，直接在白模的基础上生成不同角度的设计概念图。

此外，还有部分用户开始尝试用ControlNet处理连续帧生成3D动画。尽管在细节上仍然有较大的偏差区间，但相较ControlNet以前的生成效果，已经上升了一个台阶。

图源：推特@toyxyz3

从最初只能生成怪异梗图的DALLE到凭借流畅对话能力震惊世界的ChatGPT，AI技术在过去三年间所取得的迭代速率实在是让人惊讶。ControlNet技术的出现更是大幅提高了AI出图的精准性，这让AI生成图像技术向着成熟的生产力工具方向迈出了重要的一步。AI这匹桀骜不驯的野马被拴上了缰绳，让它能够更加有效地听取人类指令。随着入局的大公司日渐增加，AI技术还会有何种发展呢？GameLook满怀激动的心情翘首以待。