【Gamelook专稿，转载请注明出处】
Gamelook报道/手游市场进入成熟阶段之后，竞争变得更加激烈，数据分析成为了多数游戏公司必备的能力。不过，如何进行数据分析才能获得更为深度的结果？如何用科学的方式创造手游大作呢？
最近，数据驱动产品管理平台GoPractice 公司CEO Oleg Yakubenkov结合自己长期从业经验，写了一篇近万字的数据分析心得，在此之前，他曾参与过《喵星大作战》、《King of Thieves》、《割绳子2》等大作，以下是Gamelook整理的详细内容：
如何看待数据
在我看来，大多数的手游团队都没有充分挖掘数据的潜力。他们更愿意追踪底线指标、衡量付费营销活动的效率、分析产品变化带来的影响，同时进行细致的AB测试。听起来，这些已经足够了，但实际上并非如此，如果你的目标是登顶畅销榜并长期稳定位置，需要做的还有很多。
对于打造和运营一款成功的手游，数据有很多方式可以提高你的成功率。关键在于，不要把数据当作你回顾之前表现的方式，而要把它作为工具帮你做决策，降低不确定性，并且尽早去掉产品中的主要风险。
在本文中，我主要通过几个案例来讲述数据对于产品不同阶段决策的意义，不过，首先我们来讲一个小故事：
1.研发之前就要测试市场接受度
2014年的时候，我当时在做一款手游，玩家们可以在学地上互相战斗。每个玩家都有一个由三名武士组成的团队，并且用它来挑战对手的团队，原本是要做成一个实时多人模式。
游戏的第一个版本，我们决定只做单机玩法，让玩家与AI战斗，这么做主要是为了节约研发时间、更早地测试游戏。我们计划在未来的更新中增加多人玩法。但是，从想法到测试版本，我们仍旧做了四个月。
游戏的首个版本发布不久，我们就分析了关键数据，以下是三条心得：
a.游戏的短期留存表现很好（次留大于45%），但到了第14天，留存率明显下滑，这也是情理之中，毕竟游戏里的内容很少。
b.游戏变现效率看起来没有那么差，但还有很大提升空间；
c.然而，我们在用户获取方面遇到了很大问题，玩法和游戏的视觉风格完全按照团队感觉来做的，所以，这款游戏在澳大利亚Facebook买量的CPI（每安装成本）达到15美元，这对于一款偏休闲的中度游戏而言，实在是太高了。我们当时也没有做任何的创意优化来降低CPI。
虽然4个月的研发让我们积累了很多经验，但实际上，我们没有必要在把游戏做好之后才去发现买量问题（即游戏的市场接受度不够）。但当时我们被游戏想法冲昏了头脑，并且认为它行得通，没有人质疑团队最初的想法。
现在来看，我们应该使用Geeklab平台或者其他类似工具来测试市场对于我们要打造的游戏产品的兴趣有多大。Geeklab可以让开发者做一个虚拟应用页面，在不发行游戏的情况下测试买量成本。做这个测试只需要一些横幅、icon、游戏描述游戏描述以及作为游戏截屏的插画。
注：我个人使用了多个服务测试游戏创意的市场接受度，Geeklab目前是最精准有效的，经过与他们的沟通，使用以下链接可以获得一个月的免费试用：https://geeklab.app/dof/
如果知道买量成本是15美元，我们还会投入全力把游戏做出来吗？我对此表示怀疑。如果早一点知道这些，我们就会找到正确的方式，尽最大努力降低CPI。如果没能大幅降低，我们就会停止项目，不会像之前那样浪费几十万美元研发资金，更不要说失去的机会成本。
在我们开始下一款游戏的研发之前，就已经做了很多美术风格版本测试市场对它的兴趣，最佳的版本比排名第二的版本表现好了几倍。这个测试给项目带来了很大优势，和市场平均水准相比，买量成本很低，所以在打造游戏版本之前，我们就已经证明了市场对我们的游戏有兴趣。
第二款游戏叫做《喵星大作战（CATS）》（ZeptoLab发行，国内乐逗游戏和多酷游戏联合代理），这款游戏获得了超过1亿下载量和多个方面的认可，比如被提名为2017 Google Play最佳游戏。
这只是数据可以帮助降低项目不确定性的一个案例，让游戏团队可以更合理地分配资源，提高打造成功游戏的机会，如果你仍觉得说服力不够，那么接下来我们再看更多的案例。
2.用数据找到属于你的小众品类
几年前，我想学习更多的ASO（即App Store Optimization，应用商店优化）技巧。当然，和很多事情一样，最佳的学习方式就是通过实践，这也是我决定打造一款通过自然新增量为目标的游戏最重要的原因。
那时候，我面临这所有游戏制作人都遇到的问题：如何选择要做的游戏项目？这是一个很重要的问题，因为，如果你选择了错误的市场品类或者高估了自己拥有的资源，很大可能会失败。
我开始做市场调研，以了解哪些品类最依赖自然新增量。随后用了一周时间分析各个品类：谁是这个品类的领导者？他们如何获得自然新增量？超过他们的潜在方式是什么？我还用了很多的时间分析每个看起来有希望的小众品类。
经过此次分析之后，我决定做一款卡车模拟游戏，这个选择有以下数据支撑：
a.这是个拥有很高自然新增量的小众品类，最重要的是，这是个不断增长的小众品类，头部游戏每月的下载量数以百万计（分析工具为App Annie和Datamagic）；
b.尽管这个品类有领导者占据很大份额，但仍有不少同类产品每个月的下载量超过十万次，这就意味着新游戏还有很多获得自然新增量的机会。
c.大多数的游戏研发成本都很低，而且通过广告变现，这就意味着它们的LTV较低，付不起买量成本，对我来说这是个好消息，因为我也没钱买量。
d.这些游戏并不通过付费广告获得用户，也不会经常得到应用商店推荐，完全是通过搜索和偶尔的商店推荐位置。
e.所有游戏看起来和实际体验都几乎相同，玩法非常简单：玩家进入卡车，在指定区域送货，无论是玩法还是操作，都没有对移动设备进行适配。
了解了这些情况之后，我开始思考自己如何做出一款具有优势的游戏，与大量的竞争者有所不同。最终，我做了《Epic Split Truck Simulator》，这是一款带有核心玩法元素的休闲街机游戏，它的灵感来自于著名的沃尔沃卡车广告，Jean-Claude van Damme在视频里分开了两辆行驶中的卡车。
这款游戏用了一个周末的时间研发，到目前获得了超过200万次下载，其中99%都是自然新增量。该游戏之所以增长，是因为它在应用商店转化率和短期留存方面超过了其他对手，这些事Google Play最终决定给游戏推荐位的重要原因。
这里最重要的心得是，深度分析想要进入的市场，对于未来的成功至关重要，它会给你的重要决定提供信息，帮你专注于做正确的事。在进入全面研发之前，以下几个问题是值得思考的：
这个市场是停滞还是在不断增长？不用多解释，在快速变化的市场，这一点很容易判断。
这个品类的竞争有多激烈？细分品类是被一两款游戏控场，还是有大量中等规模的游戏？市场头部位置变化很频繁，还是同样的面孔霸榜很长时间？你要找的不是被一两款游戏垄断的市场，那样其他人只能分到面包屑，对于新产品而言，头部位置经常变化的市场才是最有机会的。
细分品类的头部产品是如何达到这个位置的？是需要大量的付费营销活动，还是通过自然新增量实现？这些游戏是经常拿到推荐，还是通过同一个发行商旗下产品的交叉推广？品类里的顶级游戏LTV、RPI和留存率如何？他们是否是第一梯队的游戏？美术风格是什么？
你的游戏如何、以及在哪些领域可能击败竞争对手？你正在做的游戏有什么附加价值？当所有人都通过自然新增量增长的时候，你是否你是否额能够找到付费广告增长方式？你是否知道如何让你的LTV比竞争对手更高？你的产品或者营销方面的提高是否可持续，还是这些东西可能迅速被其他竞品模仿？
回答这些问题可以帮助你做正确的决策，想要赢得比较客观的市场份额，你必须做的更好，或者做出不同。
3.观察成功的初期信号，或者早一点发现失败可能
我参与过几个大作游戏的研发，比如拿到过苹果编辑推荐、下载量超过7500万次的《King of Thieves》、被Google Play评为2016最佳游戏、下载量超过1亿次的《喵星大作战》和《割绳子2》，我还参与过很多从未成为大作的游戏。
长期经验让我可以分辨出一款问题游戏的早期信号，我发现当团队过于乐观的时候，这些早期信号对于研发阶段的发展很有帮助，但需要提示的是，这些知识信号，而不是决定因素：
a.你的游戏让测试者停不下来
我发现在Playtestcloud（https://www.playtestcloud.com/）测试一款游戏的早期版本非常有用，这个平台的测试方法就是，要求一名玩家（你可以选择不同品类）直接进入你的游戏测试30分钟，屏幕、触控点以及测试者的麦克风都会被记录，这个测试可以给你带来非常有用的定性数据，让你可以从一名玩家的视角看待自己的游戏。我之所以喜欢这些测试，主要是因为测试场景往往是在测试者的舒适区域（通常是在家），而不是把测试者带到你的工作室或者一些研究中心，那样的话，他们的行为会有一些警觉性。
我注意到Playtestcloud测试一个很有趣的节奏：如果测试者们在一款游戏投入的时间超过30分钟，那么这款游戏往往是成功的。他们对这些游戏初期版本的参与度就很高，因此不想停下来。另一方面，随后被砍掉的游戏中，很多测试者投入的时间都只是达到要求的30分钟或者更短。
b.研发团队不喜欢玩自己的游戏
如果在游戏初期版本，能够在公司内就形成了一个小的玩家社区，这是很好的现象，这不仅可以给你提供大量反馈，还能够带来很多的想法，尤其是这个社区的一部分人并非研发团队成员的情况下。相反的是，如果研发团队在他们业余时间都不愿意玩自己在做的游戏，那么他们只是出于工作的原因从事游戏研发，很可能这款游戏出了问题，或者只是游戏不够有吸引力。
这些都不是被科学证明的信号，但游戏研发也不是科研过程，很可能你会在研发过程中注意到其他信号，帮助你解决研发新游戏当中的不确定性。
如果你的游戏不能让测试者投入30分钟，或者初期版本在公司内没有形成社区，我也不建议直接把游戏砍掉。同样，如果其他信号都显示项目行不通，但研发团队的热情很高，我也不建议继续把这个项目做下去，这些信号很大程度上可以说明项目研发走了错的方向。
4.了解=归类+分析
这里，我想再讲一个故事，是关于手游《King of Thieves》的，它目前的下载量超过7500万次。当我们结束了16个月的研发、发布了首个版本之后，数据表现很差，次日留存率只有26%，随后七日留存降到了9%。变现方面，游戏表现也不好，玩家首次付费发生在4天之后，低转化率和低留存率让游戏数据很难看。
基于数据表现，我们本应该直接放弃这个游戏，但我们觉得投入更多时间，去发现到底做错了什么。我们知道游戏是有趣的，公司内有很大的一个社区，我们在做研发的时候，就已经有不少同事在玩，更不用说Playtestcloud测试的时候，玩家们投入的时间通常都在30分钟以上。
为了了解糟糕的KPI数据背后的原因，我们决定对比现有玩家和流失玩家数据，并且根据数据分析他们在游戏内的活动，在这方面，Amplitude是一个很好的工具：https://amplitude.com/
我们发现，留下来的玩家们很快发现了PVP玩法，并且大多数的时间都用来与别人战斗。另一方面，流失玩家从未攻击其他人。基于这个发现，我们计算出60%的新用户从来没有尝试多人玩法，而这是游戏最主要、最令人兴奋的部分。
我们改变了上手体验过程，引导玩家参与PVP模式，这个调整带来的影响几乎是立竿见影的，次日留存迅速提升到41%，七日留存率也达到了20%。
这里最主要的教训是，你应该努力去了解到底是什么关键元素可以让玩家留下来。最好的工具就是手动分析留存用户和流失用户的游戏内行为对比。
深度了解玩家参与游戏的确切原因，对于未来的游戏研发至关重要，一旦你理解了游戏的核心元素，那么增加的其他所有新功能都应该是为了放大这个优点。另外，往更早的阶段去看，我们应该知道PVP是《King of Thieves》最主要的核心玩法，毕竟，这是在研发初期的时候，公司内部同事都非常喜欢的。
5.测试要尽早、尽可能高强度
在我看来，很多团队在研发新游戏的时候所犯的一个错误就是太过于谨慎，他们避免具有冒险的尝试，不希望把游戏推向不同的方向。我之所以提倡初期进行大胆的尝试有以下原因：
a.每款游戏都像是有着各自法则的新宇宙，你必须从头开始学习这些法则，而我认为最好的方式就是不断尝试；
b.初期另外一个很重要的事情就是，你的用户量很少，因此可以进行比较大胆的尝试，不用担心带来不可纠正的问题。换句话说，研发初期是犯错并不断纠正的最佳时机，哪怕一个尝试被证明是犯了很大错误，那么它所带来的损失也远没有你学到的东西更重要，毕竟，这时候你的用户可能不足数百人，而一旦用户量扩大之后，就完全是两码事了。
c.你必须测试对于数据有重大影响的事情，这样可以带来重大的数据结果，否则，你的尝试可能学不到任何东西。在研发初期的时候，你的玩家群还不够大，因此不足以在实验中获得重大数据。
不过，我们再说回《King of Thieves》，在改变了上手体验并且解决了留存率之后，我们在游戏变现方面仍然存在很大问题。我们的ROI（投入回报）并不乐观。这时候我们开始做尝试，并且希望能够找到影响游戏收入的元素，找到我们需要采取的正确产品方向。
我们首先尝试的是，把游戏内的时间限制都增加了五倍，并且对半数用户提高了内购成本。我们的玩家对这个做法很不满，这也导致游戏的应用商店评分降到了2星，但与此同时，LTV增加到了2.5倍。如果我们有了数百万玩家之后，还敢这么调整吗？我并不认为有几家公司敢这么做。
在测试期间，我们做了很多看似疯狂的尝试，这帮助我们更好地了解了产品。最后，我们发现，这些杠杆因素对游戏收入有很大影响，到游戏全球发行的时候，和最初版本相比，LTV已经提高了超过40倍。
我认为，新尝试不应该只是增加新功能以及衡量它们带来的影响，还可以帮助你的团队理解他们在做的游戏，看到它的潜力，学习如何学习如何影响和快速测试可以选择的方向。
6.如何用分析做全球发布决策
这时候，你已经把游戏做到了测试阶段，到了需要提高关键数据的时候：你每隔几周都发布新版本、做AB测试、衡量产品变化带来的影响力。但是，你的游戏到什么时候才算是准备好了全球发布呢？
按照我的经验，同行们太多时候都是根据直觉来决定是否全球发布。有一个事实需要提都是，做这个决定并没有一个全球适用的方案，发行商和开发商往往是基于用户获取假设而做出的决定，但实际上还有更多的元素需要考虑。
手游市场越来越接近经济学家们所说的纯粹竞争市场（perfectly competitive market，又称为自由竞争市场），当然，以《炉石传说》和《漫威英雄冠军赛》为代表的卡牌游戏以及格斗游戏等少数品类除外。这个称呼的另外一次含义就是，如果你的产品不能做到同品类有较高的优势，那么想要获取很大的市场份额机会很小，简单来说，玩家们可以选择的同品质游戏越来越多。
以下这几个迹象说明你的游戏比市场平均水平表现更好：
你的游戏留存率高于同品类其他竞争者。你可以从很多服务供应商得到这些基本数据，比如Appsflyer。
你的LTV比其他竞品更高。这个数据意味着你要么是留住用户的方式更好，要么就是找到了有效的变现方式，在App Annie的帮助下，你可以预估很多竞争游戏的LTV。
你的CPI低于对手，至少在某些领域。通常，当你发现市场未被满足的需求或者有了更有效的买量方式才可以做到。
如果你的游戏满足以上三个条件，那么很大可能就是，你会发现投入回报率已经大于零。如果你的目标是自然新增用户源，那么你可能以经赢得了竞争，因为应用商店给游戏的排名是基于它们创造的价值，所以这个道理很简单。如果你超过了竞争者，最终就可以达到榜单头部位置，这类游戏更容易获得推荐，也更容易通过口碑获取用户。
最重要的始终是多进行比较，有时候人们提到留存率的时候，更多的是讲滚动留存率。另外一个常见的误解是，有很多计算留存率的方式：有些人使用日历天数，还有些人使用24小时周期。比如Amplitude默认计算方式就是24小时，Appsflyer和其他分析系统则根据日历现实天数。
这里有个案例可以展示，不同的计算方式带来的差别有多大。下图可以看到不同计算方式的留存率，在某些节点，如果按天数计算，次日留存率为52%，而如果按照24小时制，则只有45%，两者之间的差别还是很明显的。
7.从细节上超越竞争对手
这里再说一个《Epic Split Truck Simulator》的故事。游戏发布之后不久，就还可以得到了自然新增用户，但其中一个巨大的变化带来了用户量增长的重要变化。
在某个阶段，我们决定换掉游戏icon和截屏，你可以看到新旧版（左边是新）icon对比。在改变了icon，游戏下载量快速增长了数倍，从之前的每天5000次增长到1.5万次，数周之后，游戏每天的下载量超过3万次。
接下来详细谈谈icon的变化和对游戏增长的影响：
1月20日，团队决定在所有用户群更换icon。
随后，下载量几乎增长了3倍，团队决定查看这个变化是否与新icon有关。
1月26日，我们开始做实验：给50%的Google Play更换了新icon，另外一半用户则继续使用原来的icon。
1月27日，团队停止了实验，因为对游戏下载量带来了负面影响。
如图所示：
据此次实验结果来看，很明确的是，icon增加了页面转化率，增幅大约是80%。然而，对于游戏下载量的影响力更大，达到了200%。为了了解其中的原因，我们不妨来讨论游戏增长模式，以及新icon是如何在不同层面带来了影响。
大多数的新用户来自游戏在Google Play的自然增长，主要流量来自于“你可能喜欢的游戏”版块，每个用户看到的推荐都是不一样的。新icon有着更高的点击率（CTR，click through rate），这对于用户获取渠道是有影响的，并且逐渐积累成为了重大影响力：
得益于新icon的更换，Google Play游戏页面的点击率出现了增长，因此，更多的用户开始访问游戏的商店页面。
页面转化率也带来了提升。
相应的，主页的下载转化率不断提高。
以上因素使得Google Play更频繁地把游戏推向新用户。
所以，仅仅是icon更换这么小的变化，就带来了下载量的三倍增长，在我们刚刚更换了icon之后不久，游戏在Google Play的推荐位就迅速转化为下载量，随后游戏得到了更高的自然新增量，又因此被推荐更多次。
这个案例告诉我们，拥有比对手更好的数据、以及对于游戏在应用商店曝光率的影响是很重要的，然而，这里最重要的心得是，了解你的产品模型很重要，比如它的增长动力和关键增长环节，这些知识可以帮助你把注意力集中在最有影响力的领域。
8.监控和调查突如其来的变化
这里再说一个与《King of Thieves》的相关案例，游戏里有一个特殊技能，可以让用户从其他玩家偷到的金币增加一定数量。比如，如果玩家获得了10%的技能，那么偷到1000金币的同时就会带来额外100金币的加成，玩家们可以从他们闯关成功的地牢收取这些金币。
有些玩家认为这个做法不公平，并且有些抱怨。额外获得的金币实际上并没有多大的量，所以团队决定不扣除防御者更多的金币，但同时给予攻击者不变的金币数量，他们觉得这样就可以避免社区的负面反馈。
我们当时的设想是，这个微小的经济变化应该带来更高的留存率，避免破坏付费系统。然而，这个调整带来的影响是灾难性的。
有些玩家已经积累了大量金币，在此之前，他们攻击过其他玩家，也被其他人打劫过，所有秩序都有条不紊，当他们的金币减少的时候，其他玩家就会得到更多，整体经济系统是平衡的。
新的设计扰乱了游戏内经济平衡，被攻击的富裕玩家依旧富裕，而攻击者同样金币越来越多，随后，游戏内金币以不可控的速度增长。
几天之后，游戏内定价变得没有意义，因为用户们拥有了大量的金币，由于玩家失去兴趣，游戏内留存率明显下滑，付费率也显著下降，因为他们消费的动力越来越低，更让人无语的是，游戏得到的差评不仅没有减少，反而快速增多。
我们必须知道，游戏是非常复杂的系统，有时候甚至产品一小部分的细微变化，也可能给其他部分带来不可预测的影响。为了快速了解原因并且解决不可预测的产品变化，你必须紧密观察游戏关键部分的视觉化数据，拥有一个详尽细致的数据仪表板至关重要。
紧密监控关键数据还有更多的原因，对于拥有数十万以上日活用户的在线游戏而言，每一天都是不同的，你的游戏每一天都有新鲜事，今天，你的游戏在主流媒体病毒传播，昨天个在应用商店更改了关键词，前天，团队可能推出了内容更新。
你的数据图上的每一点都代表了产品试验结果，而且每个点都是你了解产品、并进行优化的好机会。
我认为开发者需要成为一名研究者，你要做的不是看数据板上是否一切都没问题，而是要问，是什么带来了这次增长？是否有可以学习的东西？在这个时候，你以往认为的偶然事件可能会让你学到和产品以及用户有关的新东西。
持续关注增长点，了解增长背后的本质，很多增长都是有内在原因的，比如在特定国家拿到了推荐，这时候可能就没有太多有趣的结论。但这并不意味着你可以停止调研，有些增长可能会让你学到以前没有认识到的东西，这些因素会影响你的产品数据。而且，这些才是你需要留意的，因为它们正是不断推动你产品增长的动力。
9.细节提高与大改
按照我的观点，在游戏增长到一定规模之后，很多人反对一个关键错误是：他们低估了在产品不同层面进行细节提高的重要性。
《海岛奇兵》的Warship是游戏重大更新的最佳案例之一，它增加了新的游戏互动方式。
在新游戏的初期阶段，团队倾向于寻找可以大幅提高游戏数据的重大改变。然而，如果在测试阶段成功之后，随着一些重大调整的实验，到全球发布的时候，你应该已经收集到了足够多的关键信息。因此，在游戏成功之后，就到了深度挖掘和通过细微调整来优化关键领域的时机。
我们不妨假设，你有五个团队从事游戏的不同领域，比如买量、上手体验、参与、留存率和变现。每个团队都在一个季度里进行10次试验。五个实验当中，有四个都没有带来任何积极影响，另外一个给关键KPI带来了2-3%的提高。每次提高都是非常细微的，甚至不会影响游戏整体数据。
然而，连续几个季度之后，如果你把这些小的提升积累起来，就会发现游戏表现的持续提高带来了健康而可持续的增长。在这个假设里，每个季度有10个成功的实验，所有的改善都很不明显，但它们加起来就可以给游戏的关键数据带来30%的提升。
专注于小更新并不是说让你不做大的改变，后者可以给你的游戏带来新的元素和体验。这些比较大的更新在产品规划当中有着重要位置，我也从不提倡在小更新和大更新之间做什么平衡。
如果我们来看第一代iPhone和现在的iPhone，在很多方面，iPhone的巨大成功是因为该设备很多系统的持续改善，比如摄像头、处理器和电池续航。这样的成功通常不是因为巨大的质变，而可能是上百个细节的累计，才让它一年又一年的改变。
关注持续的细节提升需要数据驱动的研发文化，拥有实验基础设施可以让团队的尝试尝试变得更加容易。
另一个案例，这是Uber的实验平台描述，它真正展示了数据启动的Uber。持续提高产品是Uber保持领先必须去做的事情，虽然竞争者们志在必得，但我认为手游领域的竞争远没有那么激烈，很多平庸的产品都没有使用数据驱动方式做迭代。
快速实验、持续提高
提高手游大作的成功率有很多方式，关键在于，不要把数据当作展示以往历史的方式，而要把它当作帮助你决策、降低不确定性和尽早去除产品风险的工具。
越早、越频繁实验越好，甚至在研发之间就可以开始实验不同的想法。永远不要低估通过细节提高改变产品的重要性，这些工作的质量通常能够形成产品壁垒。
如若转载，请注明出处：http://www.gamelook.com.cn/2019/09/371583
