全自动处理BUG？世嘉工程师分享《如龙7》研发秘诀

【GameLook专稿，转载请注明出处】

GameLook报道/本稿件基于日本游戏开发者大会CEDEC 2020第一天发表的与《如龙7 光与暗的去向》（下文简称《如龙7》）的调试相关的演讲“集结了《如龙》工作室的QA工程技术的全自动找BUG系统”进行报道。

这次演讲由世嘉的QA工程师阪上直树和Build工程师粉川贵至带来。

让人想要拥抱Bug的系统

演讲以阪上先生向开发者们的提问：“各位喜欢Bug吗？”开场。紧接着他展示了如龙工作室各部作品中Bug的数量。随着游戏规模变大，其中的Bug数也相应增多。

而使用了全自动找Bug系统的《如龙7》，一共发现了25000个Bug。虽然这个数据会让人担心游戏的质量，但事实上游戏中发现的Bug数越多，其质量反而会相应提高。

Bug是开发者心中永远的痛。但据阪上先生所说，如果开发者们将这篇演讲听到最后的话，“会变得想要拥抱Bug”。

在说明自动找Bug系统使用的方法之前，先让说明一下手动找Bug的流程吧。流程以发现Bug的工作开始，将这个Bug报告上去之后需要确认其再现性，如果真的是Bug的话，就需要制作Bug票（将Bug的数据和问题点总和起来的一个任务）。

接下来要看Bug票来判断这究竟是一个现在就会对开发产生影响的Bug还是延后也没关系的Bug，并决定处理这个Bug的人选。之后单独在这个人的环境中重现这个Bug并处理它，在确认了处理步骤，并由QA团队再次确认无误之后，才能在大家的数据中处理这个Bug。

而《如龙》团队的目标，就是让这整个过程完全自动化。如果不提升调试（debug）工作的效率的话，最坏的结果可能导致游戏延期，当然这个系统也能缩短工作本身的时间。于是，抱着不想在“角色模型穿墙”、“进行对话时游戏闪退”这类低级Bug上花费人手的总体目标，《如龙》团队开始了调试工作的自动化。

首先，为了发现Bug，需要搭建一个自动测试环境。他们在开发者们的PC上安装了自动测试系统，要求开发者们在每天结束开发回家之前开启客户端。只要开启，这个测试环境就会自动展开，直到第二天开发者回到公司，它都会一直自动搜索Bug。

开发者们可能会比较担心返回公司时能否立刻回到之前的工作环境中。由于在打开客户端时已经对当时的环境进行了备份，因此只要关掉客户端就能立刻返回之前的状态。

【测试环境搭建的自动化】自动测试

回家之前打开各台PC上的自动测试客户端
从设定文件（Excel）中生成ini
取得最新Build
自动启动游戏（ini文件的脚本/条件）

在这个环境中被自动测试的文件也是由环境自动调用的。号称“不管在哪都能replay”的本系统，不仅能记录手动操作，也能够生成用于自动测试的文件。这个环境不仅能够让没有编程知识的人使用，也能够很方便地在之后补足条件。

使用本系统之后，不仅能够更容易发现“昨天还是正常的，今天就突然出Bug了”的enbug（degrade），也能完成“是否多次通关了主线剧情”、“是否有忘记处理的东西”、“道具是否正常收集”之类需要正确性的测试。特别是《如龙7》中还有拥有收集要素的“江湖宝贝”这一玩法。

【测试制作/运行的自动化】

不管在哪都能replay的系统

用于自动制作/运行测试的系统

用脚本记录并重现手动游玩，将之用在replay上

就算没有编程知识也可以制作自动测试

用于replay的脚本由Python采集

今后可以改变条件或者重复处理
之后可以与画像认识和机械学习进行连携

此外，迷你游戏中的Bug、穿模之后角色从地板掉下去等等随机发生的Bug也更容易找到了。但玩家的操作介于正确的动作和随机的操作之间。这样的玩家操作目前还很难检测，《如龙》团队也正在做这方面的研究。

如果设想玩家单纯只是在推进主线，这样找Bug自然很容易，但玩家在推进主线的过程中难免会分心去做其他事。《如龙》团队也展示了能够尝试其他可能的系统，比如能够将自动测试用的操作细分开然后集中到服务器中，在一定时间模仿其他自动测试操作的系统或者完全朝着别的目的地前进的系统等等。但这些也仍在研究阶段，还没有投入实际使用。

演讲中也展示了系统实际自动调试的样子，画面中展示出了春日一番在停车场的栅栏和栏杆之间像舔一样来回走动的样子。同时，场景探索和战斗中用到的改变场景的按键操作的方法也发生了改变。这些也会根据情况自动切换。

当然，测试环境不仅仅只有开发者们的PC，《如龙》团队还准备了24小时不间断进行测试游玩的PC。24小时不间断运行是为了将数量庞大的支线任务全部清光，并且对那些耗时的东西进行自动测试。这些PC24小时中不断自动接受着“下次是这个测试”、“这台PC正在用所以接下来用这个”的命令。都在全负荷运行中。

【测试案例设定的自动化】在Jenkins上测试sub scenario

自动测试客户端和Jenkins 的分别使用

自动测试客户端

对于使用者（协助测试者）来说便于使用

使用者能够明白客户端在PC上正处在运行状态

正确进行启动前和结束后的处理

运用开发时的空闲时间

从Jenkins开始实行

对于自动测试的管理者来说更容易处理

能够控制更加复杂的自动测试

以24小时不间断运行为前提进行运用

当然，自动测试时，如果不能发现Bug就一点意义也没有。（这一系统中）Bug的检查是全自动的，还会将Bug分门别类进行报告。将手动测试和自动测试进行对比的话，《如龙6命之诗。》中自动测试发现的Bug占全部的约18%，效率提高了的《如龙7》中这一比例上升到了约68%。虽然比例的提高是因为其中也包含了重复的内容，但重复的报告也是很有价值的数据。

此外，最开始的手动文件制作以及测试计划制作确实难以自动化，但其后关于Bug探索的工程几乎全部是自动进行的。

找到Bug之后，自动分析、报告！

接下来是Bug报告的自动化。在发现了Bug或是类似Bug的内容时，系统会自动将日志、截屏、视频以及用于重新自动测试的数据送到合适的地方。必要的信息也会全部自动输入并登录到Bug票上。

不过，手动测试引起的Bug会被作为“Bug”票来处理，但自动测试发生的Bug以及类似Bug的内容则会被当作“错误报告”票来处理。这样就不会出现去询问自动报告这种没有意义的失误了。

为了自动确认自动发现的Bug的再现性，也会自动开始自动测试游玩。自动确认过Bug 的再现性之后，得到了确认的Bug票上会加上“会自动再现”的信息。即使它再现之后没有变成错误，也能够调查出其原因。

演讲中也展示了自动检查Bug并自动再现的视频。视频中系统检测到了随机做出动作的春日一番在与韩俊基（ハン・ジュンギ）对话的过程中发生的错误。在自动确认再现性时，系统让主角在韩俊基的前面以同样的操作进行了移动，稍稍等待之后与韩俊基对话，果然又检测到同样的错误。这是因为在检测到错误的瞬间没有记录到按键的操作。为了解决这个问题，系统让玩家经过一定时间之后才能按下确定键。

这样，Bug的报告流程就成功完全自动化了。