编者注：Eric Ries是一位咨询顾问，他同时还是创业书籍“The Lean Startup”的作者，其Twitter账号是@ericries.
最近有人请我对开发创新产品的早期初创公司进行研究，我问他们是否觉得自己的产品正在越做越好，答案不约而同都是肯定的。
然后我会问到：“你们怎么知道呢？”他们的回答通常很标准：他们会称自己为产品增加了功能、提高了质量、执行了产品的设计路线。用户数量、收入和使用量每个月都在上涨。依次判断，他们的产品正在走向正轨。
我会进一步问到：如果产品开发团队休假一个月，公司会怎样发展呢？销售团队会继续签到新用户，口碑相传会让网站的流量进一步增加。如果产品开发团队加班加点和外出休假的结果是一样的，那么他们真的在将产品越做越好吗？其效率足够高吗？
许多产品团队并不了解自己使产品越做越好还是越做越差，所以许多消费者在需要升级或更新之前都会肝颤一下。然而，即使产品在越做越差，这些公司依旧可以实现快速增长，这主要是因为网络效应不断强化、公司在其他渠道获得宣传或者所属产业正在快速成长。
我曾经成立过一家初创公司，在一段时间内我们很重视新用户到付费用户的转化率，虽然新用户的数量逐日攀升，但断代分析还是揭示了问题的存在。我们将用户分成不同群体，把每日新加入的用户分为一组，每日与前一日的对比让我们十分郁闷，其转化率基本完全一致，这种情况持续几个月没有变化。
虽然期间我们在不断地“完善”产品，但消费者行为毫无变化还是显示出问题所在，我们并没有将产品越做越好，而是将其越做越差了。解决这种问题的办法就是采用更加严格的衡量指标，而不是用那些漂亮的数字自欺欺人。
大多数人会想到A/B测试，这种方法直接应用到产品开发会更加有效。在我的新书中，我举了很多转型采用严格指标的公司作为例子，比如在线教育公司Grockit，他们采用A/B测试来检验新功能时惊奇地发现，大多数新功能完全没法改变消费者行为。
由于新功能通常会使产品使用更加复杂，因此必须能够为消费者提供足够的好处才算好功能，新功能并不存在“中性”，“毫无变化”就是更差了。
当产品变更没有实际作用时，我们应当勇于承认，这是让我们认识自己、了解消费者的好机会。如果我们认为自己在完善产品，而消费者并不以为意，那么就需要我们来进行一些新实验来找出问题所在了。
产品本身就是实验
消费者并不了解自己的需求。有很多心理学研究显示出，人们无法准确预测自己未来的行为，所以询问消费者“如果产品有这些功能，你们会买吗？”、“如果我们这么改变产品，你们感觉如何？”就是浪费时间，因为他们根本不知道。
实验并不等于将产品推向市场，直接看市场的反馈。因为市场是必然有反馈的，即使市场反响很坏，也可以从各种分析曲线中找出一条向右向上的斜线。就像前文提到的，这些虚荣数据可能一直向好，而你却在一直毁着自己的产品。
科学需要对结果有预测和假设，进而将预测结果和实验实际结果进行对比，这就是眼光对于初创公司十分关键的原因。我们需要预测消费者遇到产品后会有什么反应。
我们甚至可以用其进行量化预测。我们如何确定产品能否迅速传播呢？那么在产品/市场适配（product/market fit）阶段（具体指的就是你生产多少产品，消费者就买多少产品，你增加多少服务器，用户就会增加多少的这样一个阶段），就要求传播系数要大于1。我们如何确定产品能够长期吸引用户呢？那么在产品/市场适配阶段的客户保留和消费者参与度必须非常高。同样，如何确定付费广告是否能带来增长呢，那么在产品/市场适配阶段获得一个新用户的成本必须比该用户带来的边际利润要低。这些假设必须在产品设计早期进行检测，如果产品改进不能满足，则都是白费力气。
科学和眼光有时是相悖的，但却需要彼此互为支撑，我曾经听一些初创公司的人说：“如果企业家精神是一项科学，那么人人都可以做到了。”我想指出的是，即使是科学，也很少有人可以做到，更别提做好了。科学需要眼光，就像初创公司需要眼光一样，开发正确的产品需要系统地、残酷地测试，以确定各种元素的优劣高低。
Via TC
（andrewang 供雷锋网专稿，转载请注明！）