第34章

指標はユーザーではない

指標を最適化すると、ユーザーが見えなくなる理由

ある時点で、チームは、プロダクトがうまく機能しているかを指標で判断しようと決めた。デイリーアクティブユーザー数かもしれない。継続率、NPS、セッション時間、何らかのエンゲージメントスコアかもしれない。その選択はもっともだった。大切にしている何かに、十分近い数字に見えた。やがて、それが目標になった。人々は、それに向けて働き始めた。私は、落ち着いた、分別のある会議でこれが起きるのを見てきた。それも問題の一部だ。

そして、その過程のどこかで、誰も宣言しないまま、数字は手がかりであることをやめ、仕事を動かすものになった。

あとで丸をつけられるような、明確な失敗の瞬間はない。スプリントレビュー、ロードマップの打ち合わせ、A/Bテストの結果共有のなかで起きる。誰も、ユーザーを大切にするのをやめたいとは言わない。測るものが、少しずつ目的そのものになる。その向こうにいる人は、会話から薄れていく。ダッシュボードは健全に見える。プロダクトは、そうではないかもしれない。

数字が、ユーザーを映さなくなる

経済学には、これを表す明快な考えがある。指標が目標になると、よい指標ではなくなる。経済学者 Charles Goodhart は1975年、金融政策を研究するなかでこれを指摘した。意思決定を導くために指標が使われると、人々は指標そのものを動かそうとする。それが以前指し示していたものには、取り組まなくなる。つながりは緩み、やがて切れる。

社会科学者 Donald Campbell は、さらに鋭く述べた。

定量的な社会指標が社会的な意思決定に使われるほど、その指標を歪めようとする圧力を受けやすくなる。
— Donald T. Campbell（英語からの翻訳）

Campbellが書いていたのは、政府の施策や教育政策についてだった。だが、多くの四半期レビューにも当てはまる。

このパターンは、ソフトウェアより古い。インドのイギリス植民地当局が、ヘビを減らすため、死んだコブラに報奨金を出したとき、地元の人々は報酬を得るためにコブラを飼育し始めた。政府が気づいて制度をやめると、飼育者たちは、価値がなくなったヘビを放した。結果として、コブラは以前より増えた。指標は完璧に最適化された。目的の達成からは、遠ざかった。

このずれに、不正は必要ない。普通の仕事で進む。クリックを追跡するから、デザイナーはクリックが増える画面にする。ダッシュボードにセッション時間の線があるから、エンジニアはそれを延ばすものを出す。目標によって進捗を評価されるから、プロダクトマネージャーは、人の役に立っても目標を動かさない仕事を後回しにする。全員が、目の前の仕事をしている。数スプリント後には、使っている人はほとんど話に出なくなる。それでも、ダッシュボードは緑のままだ。

Jerry Mullerは、丸ごと一冊をこの問題に費やした。The Tyranny of Metrics は、病院、学校、警察、大学に共通する同じパターンを記録している。数字が、以前測っていたものの代わりになる。ずれが隠せないほど大きくなるまで、ほとんどの人は気づかない。

Facebookでも起きた

2018年、Facebookの社内研究チームは、ニュースフィードのアルゴリズムが、彼らの言う、人間の脳が対立に引きつけられる性質を利用していると警告する資料を作成した。

Facebookは、リアクション、コメント、再シェアといったエンゲージメントを最適化していた。それが目標だった。うまくいった。エンゲージメントは増えた。怒りを誘うコンテンツも増えた。怒りは、すぐに反応を引き出すからだ。同じ理由で、誤情報も広がった。研究チームは修正を提案した。会社は、根本の問題を解決する形では変更を採用しなかった。一方で、エンゲージメントは、事業運営の中心にあり続けた。

これが明らかになったのは2021年、Frances Haugen がWall Street Journalに内部文書を共有したときだった。文書は、Facebookの研究者が問題を理解し、平易な言葉で記録していたことを示した。それでも、指標が勝ち続けた。

グッドハートの法則がゆがめるのは、指標だけではない。物事がうまくいっている証拠として、長く指標を扱ってきた人の判断も、ゆがめることがある。

最悪の達成方法を問う

指標は役に立つ。問題は、チームがそれをユーザーそのもののように扱い始めることだ。

指標を目標としてダッシュボードに載せる前に、一つ問おう。この数字を達成する、最悪の方法は何か。グラフを眺めていない人にとってはプロダクトを悪くしながら、数字だけを上げるものは何か。

答えられたなら、待ち受けている失敗の形を見つけたことになる。チームが数字を追い続ければ、遅かれ早かれ現れる。まだ何かできるうちに、ずれを早く見つけるための問いだ。私はこの問いが好きだ。世に出す前に、醜い達成のしかたを、チームに声に出して言わせるからだ。

指標は、ユーザーではない

チームがユーザーと話すのをやめると、指標はもっと速く現実から離れる。数字がよいと、確かめに行かなければという気持ちが弱まる。ダッシュボードは、静かな確信を生む。問題なさそうだから、問題ないと思う。

その間にも、人々は適応している。回避策をつくる。誰も直さなかった不便を我慢する。すでに離れる寸前の人もいる。同じ不満の問い合わせがサポートにたまり続けても、グラフは健全に見えることがある。グラフに減少が現れて気づくころには、手を打つには遅すぎる。

これを避けるチームが、魔法の指標を持っているわけではない。数字がよいときにも、ユーザビリティテストをする。継続率が健全なときにも、問い合わせを読む。データが嫌いだからではない。数字と実際の体験は、長い間ずれたままでいられると知っているからだ。私は、ダッシュボードが安心してよいと告げたあとも、見続けるチームをより信頼する。

指標は、手がかりとして始まった。そして、ユーザーの代わりになった。