手游出海产品必须重视的4个阶段性测试

Testin云测总裁徐琨说,特别是做海外市场的开发者,测试是产品出海的第一步,“测试又分4个阶段:内测、封测、公测、发布和迭代,每个阶段的测试工作和侧重不同。一般,在产品开发程度在50%的时候开始测试崩溃率,在完成度80%的时候启用兼容性测试”。

App Store和Google Play的推荐位是全球成本最小、最有效的用户获取绿色通道。或许你已经发现,一些知名厂商的新产品更容易被App Store和Google Play推荐,但你不知道的是,他们中因闪退而无缘推荐位的产品也不少。

Google和苹果的推荐位都不商业化运作,任何开发者都有资格申请。推荐位给谁?Google和苹果除了从游戏玩法和美术等方面试玩测评,筛选游戏外,还会在市场上使用率高的主流机型测跑,将出现闪退/启动不了游戏的游戏筛除。

为什么出现闪退的产品就一定会被筛除?这直接影响到用户体验。所以,产品的兼容和适配,是申请苹果推荐位的基础准备,也是产品上线前必须要解决的问题。

1

那么,什么时候开始解决产品的闪退问题呢?《Clash of Kings》(以下简称“COK”)在研发过程中就开始使用了:2014年4月起,使用崩溃分析,2014年10月做兼容性测试解决机型适配问题,2014年12月上线。“COK是一个代表,智明星通对产品测试这块非常重视, 12月产品上线的时候,游戏的留存很高了,迭代过程中他们也实时监控后台运营数据。”Testin云测总裁徐琨说,特别是做海外市场的开发者,测试是产品出海的第一步,“测试又分4个阶段:内测、封测、公测、发布和迭代,每个阶段的测试工作和侧重不同。一般,在产品开发程度在50%的时候开始测试崩溃率,在完成度80%的时候启用兼容性测试”。

内测阶段

“内测,是产品测试的第一个阶段,分2类:开发者自己员工测试和核心玩家测试。”徐琨说,开发者自己测试,是测产品的逻辑,看产品数值是否按照既定数值算法变化。如游戏里的英雄上升一个等级后,战斗数值是否是设定的数值。而更重要的,是测试游戏的核心功能。

另一种,是找一部分真实玩家给测试,但这种测试是区别于从渠道导入流量测试。这些真实玩家,或来自公司之前产品里的玩家,或是一些公会成员,人数在几十或一百不等,他们游戏经验丰富,多为端游时代的玩家。这部分玩家的测试,目的是测游戏的核心玩法、画风和UI等玩家是否能够接受,将对游戏的意见和建议反馈给开发者。

在内测阶段,开发者可以利用一些测试工具,如Pre.im。功能很简单,就是将测试产品上传到指定服务器生成短链接,供玩家下载和安装,而在测试过程中,玩家发现了什么问题,可以在不离开游戏界面的情况下,通过摇晃手机截图,圈出问题和写上文字后,发送给开发者。开发者在后台看到信息发送者的内容,并看到反馈问题玩家使用手机的型号、版本、系统等。

所以,这个阶段产品测试的,是游戏核心功能,BUG,及收集玩家对游戏的建议。

封测阶段

这个阶段的测试目的,是通过更多真实玩家的试玩,测产品的留存、转化、付费(有些开发者是在公测、有些选择在封测时做)、付费转化。国内,研发商封测一般是找渠道导玩家测试。

而做海外市场的开发者,他们会选择一个相对较小的国家测试。如,做英文地区的iOS版测试,一般选择澳大利亚和菲律宾等地区,不导量,只做小范围测试,1-2周后下线,根据真实用户的回馈和建议优化,再上线目标市场。最早使用这个方法的,是《愤怒的小鸟》。

但是,中国开发者做海外市场,自发行颇具风险:预热,产品提交给海外媒体/社区评测,买量,社交平台推广等都需要配备有经验的人和一定的试错成本。“举个例子,如果前期小范围测试都做不好,每天只有几个或几十个下载,测试的意义在哪里?中小研发团队还是选择一个好的合作伙伴,让他们来做海外发行的工作比较好。”徐琨建议。

公测阶段

封测和公测,这2者间隔的时间怎么利用很重要——这期间,一定要把产品兼容性的问题解决。

在国内,大R玩家和普通玩家的价格就不一样,大R单个获取成本几十元,普通单个获取成本在10元以内,而海外市场因用户在决定是否为款游戏付费时的判断,大多只评判是否喜欢游戏,所以这就决定了海外付费榜玩家和免费榜玩家的购买成本相差不大。

但是,只要开始公测,就意味着要花大量的钱做推广,市场投放进入一个峰值。海外市场用户获取成本是国内的3-5倍,但大R消费金额海外和国内差不多,所以减少已导入用户的流失率非常必要。举个例子,公测时,一款游戏的单个用户获取成本是10美金,花1万美金导入1000个用户,却因为适配和兼容有问题,出现产品安装不上,或启动不了,进入后闪退等情况,直接阻碍了用户体验游戏导致用户流失,投入的成本就变成了泡沫。

“所以,我建议在封测进行到一定时间,就开始着手解决这些问题。或者选择公测之前,做一次比较真实的兼容性测试。怎么解决?在国内的机房上测跑?不行,必须在海外做真机测试。”徐琨说,一些手机,买的时候就已自带了Google的浏览器和应用商店等应用,但当他们进入国内市场时,都已被“阉割”,同一款手机机型国内版本和国外不一样。

此外,国内模拟海外网络环境,要还原海真实情况难度大,翻墙、带宽、登陆方式都是阻碍。比如,海外的游戏许多是利用Facebook账号登陆。

发布和迭代

海外上线,把产品提交到Google Play和App Store的平台时要注意,一般审核阶段都会有反复,保证在上线日期前审核通过的同时,也要要制定一个好的投放策略。前期,Facebook上的预热,一般要维持1-2周,持续导量。

崩溃分析,在产品发布和迭代中显得非常重要,实时监控崩溃率,发现问题马上解决。“很多研发商,在用户反馈问题时,不是不解决,或技术难度大,而是不知道问题出现在哪里。导致产品崩溃的原因很多,但用户只会告诉你登陆不了。”徐琨说,玩家在游戏里的ID 、手机、系统、版本、国家、时间……这些都有可能是导致崩溃的直接原因,如果没有详细的记录和分析,根本就无从下手。

智明星通就很聪明,产品开发阶段的测试时启用了崩溃分析,发布之后运营人员也会实时关注,通过设置崩溃分析的预警线,一旦是崩溃值突然变高,可以第一时间知道哪个版本出现了问题,问题在那儿,即时发现哪些因素导致高崩溃,就可以提前去解决这个问题。

崩溃分析的数据,是需要每天登陆,实时监测的,在问题发生当天发现问题,再用半天到1天找到问题所在并反复验证,2-3天提交成功新版本解决问题。一般,游戏的崩溃率(崩溃次数/启动次数)不能超过2%,而应用产品的崩溃率在1%左右。

文:均来自Testin 徐琨先生的解答和分享

如若转载,请注明出处:http://www.gamelook.com.cn/2015/12/236848

关注微信