章节 39

把研究当借口

团队如何用研究支持自己已经相信的东西

你告诉自己，做研究是为了弄清用户想要什么。实际发生的并不总是如此。有时，研究开始之前，问题已经有了答案。研究存在的目的，是给那个答案足够的分量，让会议上没人反驳。筛选问卷把不合意的受访者过滤掉。访谈问题偏向期待的发现。综合分析不断把数据归组，直到故事说得通。没人需要撒谎。人们只是得到足够支持自己想要的答案之后，就不再看了。

这是常见的偏差。优秀的团队即使出于好意，也会出现这种偏差。

确认偏误保护故事

这个机制有个名字：动机性推理。心理学家 Dan Kahan在 Yale Law School 研究聪明人如何在事实问题上得出错误结论，他用直白的语言给出了定义。动机性推理是：

使对信息的评估迎合某个与准确性无关的目标的倾向。
— Dan Kahan · 译自英语

在设计里，那个准确性之外的目标，通常就是你已经做出来的产品，或团队已经承诺的方向。结论先来。研究跟在后面，直到有什么证实它。

Raymond Nickerson在 1998 年对数十个领域的确认偏误作了广泛综述，表明问题不在愚蠢或不诚实。大脑很早就开始过滤信息。支持已有信念的证据，接受得更快。威胁它的证据，被质疑得更严、更久。在 Peter Ditto 和 David Lopez 的一项实验中，面对不利医疗检测结果的参与者，比收到有利结果的参与者，要求更多证据才肯接受。数据没有变。相信它的意愿变了。这种不对称是自动发生的，不是故意的。

你不必希望研究得到某个特定结果，也能扭曲流程。你只需要在乎那个正在研究的东西。

有偏差的研究是什么样

它看起来不像造假。它像是一个个合理的选择。

你招募“热衷于这类产品”的用户，也就是本来就对你这类产品感兴趣的人。你写的访谈问题，询问现有方案的痛点，因为你的产品解决那些痛点。你用代表自己想象中顾客的参与者做可用性测试，而不是代表完整市场的人。在总结讨论中，你记下三句支持方向的话，把两句相反的归到“边缘情况”下面。每个决定都听起来专业。没有一个是中立的。

Dan Lovallo 和 Daniel Kahneman在 HBR 对高管在项目规划中过度乐观的分析，展示了组织内部的同一种模式。领导委托研究，却围绕“我们怎么执行？”而不是“我们该执行吗？”来设定问题。研究变成了对交付的支持，而不是检查这东西是否值得做。

Google+ 就是例子

Google 基于内部研究，于 2011 年 6 月推出 Google+。用户希望对网上分享内容的方式有更多控制。这部分是真的。但 Google+ 回应这个需要的方式，是围绕“Circles”建立一个新的社交网络，直接与 Facebook 竞争。研究支持了问题的存在，却没有证明，人们对一个新的 Google 社交网络的需求强烈到足以让他们开始使用它。

结果，这个产品在纸面上回应了一个真实发现，却错过了重要的行为。人们不只想要更好的隐私控制。他们还需要一个理由，去离开 Facebook、从零建立第二套社交关系图谱，再学一个新系统。ComScore 估计，2012 年 1 月，Google+ 用户每月在平台上平均花约 3.3 分钟。Facebook 用户平均超过七小时。Google+ 面向消费者的服务于 2019 年 4 月关闭。

相信研究之前，先问这个

有一个简单的检查：做研究之前，写下什么发现会让你取消项目或改变方向。要具体。不是“严重可用性问题”，这太模糊，很容易解释过去。要具体到：“如果不到 60% 的用户能不靠帮助完成核心任务，我们就重新考虑流程。”或者：“如果用户不认为这是自己生活中一个重要的问题，我们就停止。”

如果这句话写不出来，研究很可能是为了记录一个决定，而不是检验一个决定。

这很重要，因为写下什么会证明你错了，会逼你认真看清研究到底为了什么。大多数团队跳过这一步，不是不诚实，而是没人把问题问出口。研究围绕执行假设被设计出来，却从未说清，什么结果会改变项目方向。研究就是这样成了借口。

把研究当借口，不只是浪费时间和金钱。它还保护糟糕决定不被纠正。房间里原本有疑虑的人，看见研究幻灯片，安静了。拿不准的利益相关者，被数据压过。三周前就发现真正问题的设计师，始终没有机会说出来，因为研究已经发话了。我见过研究被这样使用，当时大家真正想要的只是掩护。借口保护了想法，也缩窄了本来可能纠正它的讨论。

好的研究本来就该让人不舒服。本来就该找到你此前不知道的东西。如果研究从来不让你意外，它就是在用别的方式服务项目。研究有时就应该打乱计划。这是工作的一部分。