章节 34

指标不是用户

为什么围绕指标优化，会让你看不见用户

在某个时刻，团队决定用一项指标判断产品是否有效。也许是日活跃用户。也许是留存率、净推荐值、会话时长，或某个参与度分数。这个选择有道理。数字看起来足够接近你在乎的某件事。然后，它成了目标。人们开始朝着它努力。我见过这一切发生在平静、理性的会议里，这也是问题的一部分。

而在这个过程的某处，没有任何人宣布，数字不再只是信号，而开始驱动工作。

事后你找不到一个清晰的失败节点，画圈标出来。它发生在迭代评审、路线图会议和 A/B 测试结果汇报里。没人说自己不想再关心用户。衡量标准慢慢变成了目标本身，背后的人开始从讨论里淡出。仪表板看起来健康。产品未必。

数字不再呈现用户

经济学给这件事起了一个清楚的名字。当衡量标准变成目标，它就不再是好的衡量标准。经济学家 Charles Goodhart在 1975 年研究货币政策时发现了这一点。一旦用某个指标引导决策，人们就开始对指标本身下功夫，不再对它原本指向的东西下功夫。两者的联系先松动，再断裂。

社会科学家 Donald Campbell说得更尖锐：

任何量化社会指标越是被用于社会决策，就越容易受到使其失真的压力。
— Donald T. Campbell · 译自英语

Campbell 写的是政府项目和教育政策。但它也描述了不少季度评审。

这个模式比软件更古老。英国在印度的殖民当局曾悬赏收购死眼镜蛇，想减少蛇的数量，当地生意人却开始养眼镜蛇来领赏。政府发现后取消计划，养蛇人就把已经不值钱的蛇放了出去。结果，眼镜蛇比以前更多。指标被优化得完美无缺。实际结果却离目标更远了。

这种偏移不需要作弊。正常工作就能驱动它。设计师把界面往增加点击的方向推，因为点击会被追踪。工程师上线能拉长会话时长的东西，因为那条曲线在仪表板上。产品经理把有助于用户、却无法推动目标数字的工作往后放，因为进展就是按那个目标来评判的。每个人都在做眼前的工作。几个迭代后，实际使用产品的人几乎不再出现在讨论里，而仪表板仍然一片绿。

Jerry Muller 用整整一本书谈这件事。The Tyranny of Metrics记录了医院、学校、警察部门和大学里的同一种模式。数字取代了它原本追踪的东西。大多数人直到差距大得藏不住，才会注意到。

Facebook 也发现了这一点

2018 年，Facebook 的内部研究团队制作了一份演示文稿，警告说，动态消息算法正在利用他们所说的那种倾向：人脑容易被煽动对立的内容吸引。

Facebook 一直在优化参与度：表态、评论、转发。这就是目标。它有效。参与度上升了。激起愤怒的内容也增多了，因为愤怒能迅速驱动反应。错误信息也因为同样的原因传播。研究团队提出了修正方案。公司没有以能解决根本问题的方式采纳这些改变，而参与度始终处于业务运作的中心。

2021 年，Frances Haugen向 Wall Street Journal 提供内部文件，这些事情才被披露。文件显示，Facebook 的研究人员理解问题，也用直白的语言写了下来。可指标仍然一直赢。

古德哈特定律不只扭曲指标。它也可能扭曲人的判断，尤其是那些长期把指标当作一切正常的证明的人。

问最坏情况的问题

指标有用。团队把它当成用户时，麻烦就开始了。

任何指标被放到仪表板上作为目标之前，先问一个问题：一个人能用什么最糟糕的方式达成这个数字？什么做法能让数字升高，却让所有没盯着图表的人用起来更糟？

如果答得出来，你就找到了正在等着你的失败方式。如果团队继续追数字，它迟早会出现。这里要做的，是及早看见差距，在你还来得及采取行动的时候。我喜欢这个问题，因为它逼团队在发布之前，就把那个丑陋的版本说出来。

指标不是用户

团队不再与用户交谈时，指标就会更快偏离现实。数字好看，人们就觉得没那么需要去检查。仪表板制造了一种安静的自信。事情看起来没问题，人们便以为真的没问题。

与此同时，用户在适应。他们发明变通办法，忍受没人修好的阻力。有些人已经快要离开。图表可以看起来健康，客服工单里却不断出现同一种抱怨。等下降终于显示在图表上时，已经来不及补救。

能避免这种情况的团队，没有什么神奇指标。他们在数字好看时仍然做可用性测试，在留存率健康时仍然读客服工单。不是因为讨厌数据，而是因为他们知道，数字和实际体验可以长期偏离。仪表板告诉他们可以放心了，他们却仍然继续看，这样的团队更让我信任。

指标最初是一个信号。后来，它占了用户的位置。