03 NPS在应用时的问题( 二 )


除此之外,还有一个很影响用户理解的点发生在计算NPS变化幅度的时候。
一般而言,假设产品A上个月NPS值是50,本月NPS值是100,那么NPS值提升了100-50=50,变化幅度是(100-50)/50=100%
然而,NPS的特别之处是NPS的值范围是[-100,100]。由于存在负数,在有负数的场景时就会很反常识。
举个例子,产品B上个月NPS值是-1,本月NPS值是1,那么NPS值提升了1-(-1)=+2,变化幅度是(1-(-1))/|-1|=200%
讲到这里,有没有觉得很迷茫?有没有怀疑自己的数学白学了?你不是一个人。
问题2 NPS难以解释的困境当我们去和产品负责人介绍NPS时,除了“什么是NPS?它是如何计算的?”这个问题外,最常见的问题还有三个,分别是

  • 为什么我产品的NPS是这个分数?为什么我产品的NPS分这么低/高?
  • 做什么可以提升NPS?做完后具体可以提升多少NPS?
  • NPS提升后,对业务有什么影响?能提升多少用户留存和转化?
然而,根据当前NPS的只有一个问题的设计,其实难以回答上述的这三个问题。
这也是为什么现在各大APP的NPS调研中,通常还会追加附加问题。举个例子,美团买菜和飞猪旅行这两个App均会进一步询问用户其推荐/不推荐的原因。
03 NPS在应用时的问题
文章插图
紧接着的一个问题是,有附加问题就可以回答上述三个问题吗?答案是附加问题只能部分解决。解释如下:
问题1 为什么我产品的NPS是这个分数?为什么我产品的NPS分这么低/高?
有附加问题后可以给出粗粒度的结论,比如,飞猪旅行App这个案例中的“价格”;但是,受限于问卷形式和既定选项,没有办法发现未知的用户问题,也没有办法细化到具体的页面。
问题2 做什么可以提升NPS?做完后具体可以提升多少NPS?
增加附加问题后,可以通过一定的分析方法,从满意度和重要性两个维度来评估体验问题,最终优先优化“重要但满意度低”的问题(如下图);但是,问题优化后可以提升NPS的具体数值,目前仍是没有办法预测。
【 03 NPS在应用时的问题】问题3 NPS提升后,对业务有什么影响?能提升多少用户留存和转化?
附加问题无法回答问题,也无法预测;在实际工作中,可以考虑通过严格的ABtest观测,但其操作难度比较大。从另外一个角度来说明这个问题。
如果今天业务以NPS来衡量产品需求的收益,一定会遇到的问题是NPS很难解释和评估。
一方面,NPS具有一定的滞后性,用户反馈的时过往一段时间的感受,受访用户有可能体验了新功能有可能没有体验。在实际操作经验中,一个大的产品改动往往需要1-2个月才会反应在NPS上。
另一方面,在实际产品工作中,往往同一时间段内会上线多个产品需求。如何衡量某个产品需求对NPS的提升,是一个很难的问题。一个可能的解决方案是进行严格的ABtest,但是执行起来操作难度大,需要将ABtest系统和NPS问卷投放系统进行用户和数据层面的打通。
问题3 NPS高不代表忠诚,忠诚不代表用户体验好NPS是衡量用户是否忠诚的一个指标,但是这个指标并不能证明用户一定会去推荐:一方面是因为用户在受访时表达的意愿有可能会与真实意愿相悖;另一方面,即使用户真的愿意推荐,和真实的去推荐也存在一定的gap。
除此之外,忠诚不等于体验好,用户对一个产品的忠诚度受很多因素的影响。
举个例子,滴滴曾经一度在网约车市场上处于垄断地位,用户出行不得不选,从数据上看用户的NPS也很高,但是这个NPS高并不代表滴滴的用户体验做的有多好。