文/我是老红啊
一款应用从内测到正式上线需要经历多个复杂的流程，而测试则是其中最重要的一环。作为目前国内知名独立第三方移动应用云测试服务平台 Testin 的 CEO，王军在接受「极客公园」的采访时表示，「测试其实是一项很枯燥的工作」，但正是这项枯燥的工作却为 Testin 积累了超过 40 万的开发者和超过一亿次的测试。用王军的话说，Testin 平台上积累的测试数据已经基本上覆盖了中国所有的应用。
如何在拉斯维加斯操控一台位于伦敦的手机
「其实应用开发的一个难题不是应用开发出来是否达到预期，而是在用户使用的过程中能不能实现开发和产品的目的。」王军向「极客公园」表示，要解决这一问题就必须要有一套行之有效的完整测试方案，这也是他最早做 Testin 的初衷。
在王军最初的设想里，Testin 希望让开发者通过云端的方式实现远程真机实时操控的测试。而这种想法的实现除了依靠大量异地终端部署还有赖于同步模式的采用。而同步模式正如同观看 HiFi 现场直播一样，开发者可以在异地轻松操控手机的各种测试执行，「我可以在线的操控它的各种状态，比如在拉斯维加斯操控位于伦敦的一部手机，实现远程的控制，完成测试的结果。」
这种同步模式的采用的好处在于它能够帮助开发者实现对一个设备的完全掌控。但是，这种同步模式却面临着设备资源利用率过低的问题。正如同买房和租房，「你买房以后可能只有晚上睡觉才回去，可是租房呢，就像云端的设备一样，睡觉的时候你在用，你离开的时候可以给其他地区的人使用，这样全球各地对云端的资源利用率是高的。」
同时，随着设备的发展，基础资源已经成为了制约测试发展的瓶颈。王军回忆，在创业初期的时候， 800*480 和 800*540 的手机分辨率还是主流，但现在 1920 的分辨率已经成为了标配，而 1280 的分辨率则是低的配置。这样便使得整个同步控制需要的带宽和网络资源成倍地增加，而且不是两到三倍，而是 8－16 倍的水平。「因为我们的绝大多数服务是免费的，这样就给我们服务的成本带来了很大的压力。」
为此，Testin 投入了大量的资金进行了云端和自动化部署，「在拉斯维加斯操控一台位于伦敦的手机」也变得越来越简单。
上亿次测试是怎么做到的
成立四年以来，Testin 平台上已经积累了超过 1 亿次的开发者测试数据；而丰富的测试数据积累也为 Testin 带来了强大的外部合作壁垒。
「我们和 Intel、ARM 和高通等建立了全球的战略合作，而这种合作在很多时候是双向的。」王军向「极客公园」介绍，一方面，Testin 通过和硬件厂商的合作帮助着开发者们发现问题并使用最新的驱动和 API 接口来解决问题；另一方面，在发现和解决问题的过程中，Testin 也能帮助硬件厂商们去优化一些他们来不及处理的问题，并通过开发者的反馈来判定问题产生的原因。
此外，Testin 也联合来一下引擎厂商来做一些他们私有语言和私有指令的解释和反馈，使开发者在使用引擎的过程中能够更好的进行优化；同时，这也有利于引擎厂商进行兼容性和性能方面的测试，使得他们引擎的版本也在迭代提升。其中一个典型的例子就是 Testin 与触控科技的合作，根据王军介绍，触控科技在两年内从最初的版本到现在已经进化了三个比较大的版本，兼容性也从最开始的 70% 提升到了现在的 99% 以上。
「当然最直接的结果就是帮助使用这些引擎的开发者提升他们游戏和应用的品质。这些合作不仅是在市场上，更是在研发上。」
目前，据王军向「极客公园」透露，通过亿次量级的测试数据积累，Testin 已经覆盖了超过 90 万的独立应用，这也使得 Testin 拥有了一个针对中国现有应用市场的丰富数据库，而这个数据库在不断积累和同步的过程中也成为了自动测试的一个重要环节。
从 O2O 和头等舱学习如何盈利
尽管已经有了一定程度的技术和数据积累，但是「一个软件的错误是改不完的」。随着测试量的日益增大，原有的自动测试模式已经不能完全满足现有的测试需求。如果按照此前的大规模自动化测试，的确可以大批、自动化地去完成一些一致化的测试，但是在测试的过程中一定会遇到一些非一致化的问题，如用户体验、在不同地点的功能测试和对应用的一些主观评价，这些其实都是需要人工去完成的。
另一方面，机器测试虽然有它高效的优越性，但是部分测试还是需要一些专家去做一些非正常途径的测试的。如果按照传统的方式招聘多人来完成这项工作势必会对成本和效率带来很大压力。于是，王军把平台上 O2O 客户的玩法引入了 Testin。根据王军的介绍，Testin 平台上超过 40 万的开发者中逾近半数的人都为测试人员，他们通过业余时间共享的方式给开发者提供服务同时获得收入。这种「借力打力」的方式也将机器不能解决的问题通过众包的方式实现了有效优化。
尽管众测模式可以带来一定的收入，但王军却并未将此作为赢利点。在他的理解中，他把 Testin 的客户主要分为经济舱、商务舱和头等舱三类。
「经济舱完全免费，商务舱只收取少量费用，头等舱则更便宜。但是我们交付的内容品质都是一样的。」王军表示，免费服务是 Testin 商业模式的重要组成部分，但更加专业化的增值服务则需要向开发者收费，这也是未来盈利模式的关键。据王军介绍，目前，中国排名前十的 App 都是Testin的经济舱用户，而商务舱和头等舱占比不超过10%。
王军向「极客公园」表示，不管是免费用户还是收费客户，他们获得的自动化测试数据报告形式并没有太大差异，他们间的区别在于，免费用户需要自己进行分析，而收费客户可以获得 Testin 的专业化服务。
「服务的品质和结果其实是没有差别的，我们都能把你带到目的地。」
既是用户，也是客户
通过对国内外开发者测试需求的分析，王军表示，国外开发者的自主的改进能力和质量意识会要明显高于中国的开发者，他们会更倾向于通过技术手段来解决质量问题。但由于过去的行业环境还不成熟、用户获取的成本过低，导致了很多国内开发者对用户流失的态度非常无所谓，也不愿花太多的功夫去解决相关的技术问题。不过自去年以来，随着游戏、O2O 和 P2P 等领域开始挣钱以后，这个情况得到了明显的改善。为此，王军举了一个亲身经历的例子：
「在圣诞节前夜的半夜十一点，我们某个打车类应用客户的一个用户吐槽他在寒风凛冽中用这个打车应用一直因闪退而没有叫上车，最后选用了它的竞争对手。然后我就把这个吐槽转给这个应用的负责人了，他当时在国外，但他立马给我回信息询问相关情况并安排他们的 CTO 早上七点钟和我们一起开会来研究这个问题，然后赶紧测试判断这个问题究竟出在了哪里。」
王军认为，在这些热门领域，每一个用户对于开发者而言就相当于一个客户，而这个客户带来的不仅仅是几十块几百块的收益，它更是一种用户口碑，而这个口碑可能会形成一个蝴蝶效应带来溃坝。所以，现在开发者对质量的重视程度其实比我们想象的还要严格，几乎到了要关注每一个用户的程度了。
「每一个客户的获取都不容易，而且现在客户获取端成本也越来越高。有的客户跟我们反馈一个 O2O 有效用户的获取成本已经达到了 120-180 块，而且还处在上升的趋势中，而一个 P2P 有效用户的获取成本已经超过了 1000 块。获得一个用户要花掉这么高的成本，但是丢失一个用户却是分分钟的事。所以他们现在对质量问题非常的重视。」
把擅长的事做好最重要
由于在应用测试领域取得的优异成绩，Testin 也在今年 7 月获得了由海银资本领投的 5490 万美金的 C 轮投资。而 Testin 的视角也由原本的应用测试延展到了硬件测试、软件推广和创业企业扶持等领域。
对此，王军表示，「我们要擅长做我们擅长的事」。在云上提供质量服务是 Testin 的擅长，但开发者也需要一些落地的支持，比如说办公空间、人力资源、推广、融资和政策支持等方面，而这些都不是 Testin 所擅长的。通过多领域的合作和外延服务的拓展，王军希望 Testin 能够在应用测试外更多地帮助开发者实现从内测到上线落地的整个闭环。而这一切都是为了实现「让天下没有难做的应用」这个最初的目标。