La métrica no es el usuario

En pocas palabras: La ley de Goodhart y la ley de Campbell muestran cómo las métricas se alejan de la realidad. Cuando los equipos persiguen una cifra con suficiente intensidad, la señal deja de representar al usuario y empieza a premiar cualquier cosa que haga subir las cifras del panel de datos.

En algún momento tu equipo decidió que una métrica diría si el producto funcionaba. Quizá eran los usuarios activos diarios. Quizá la retención, NPS (índice de recomendación neta), la duración de las sesiones o alguna puntuación de interacción. La elección tenía sentido. La cifra parecía suficientemente próxima a algo que le importaba al equipo. Después se convirtió en el objetivo. La gente empezó a trabajar para alcanzarlo. He visto esto en reuniones tranquilas y sensatas, y eso es parte del problema.

Y en algún punto de ese proceso, sin que nadie lo anunciara, la cifra dejó de ser una señal y empezó a dirigir el trabajo.

No hay un punto de fallo claro que puedas señalar después. Ocurre en revisiones de ciclos de trabajo, conversaciones sobre la hoja de ruta y análisis de pruebas A/B. Nadie dice que quiera dejar de preocuparse por los usuarios. La medida se convierte poco a poco en la cosa misma, y las personas que hay detrás empiezan a desaparecer de la conversación. El panel parece sano. El producto quizá no.

La cifra deja de mostrar al usuario

La economía tiene un nombre claro para esto. Cuando una medida se convierte en objetivo, deja de ser una buena medida. El economista Charles Goodhart lo identificó en 1975 al estudiar política monetaria. Cuando una medida se usa para dirigir decisiones, la gente empieza a trabajar sobre la medida misma. Deja de trabajar sobre aquello que antes señalaba. El vínculo se afloja y después se rompe.

El científico social Donald Campbell lo formuló con más fuerza:

Cuanto más se utilice cualquier indicador social cuantitativo para tomar decisiones sociales, más estará sujeto a presiones que lo corrompan.

— Donald T. Campbell · Traducción del inglés

Campbell escribía sobre programas gubernamentales y política educativa. También describe muchas revisiones trimestrales.

El patrón es anterior a los programas informáticos. Cuando las autoridades coloniales británicas en India ofrecieron una recompensa por cobras muertas para reducir su población, emprendedores locales empezaron a criarlas para cobrar. Cuando el Gobierno lo descubrió y canceló el programa, los criadores liberaron las serpientes, que ya no valían nada. La población de cobras terminó siendo mayor que antes. La métrica se había optimizado perfectamente. El resultado que se buscaba quedó aún más lejos.

Esta desviación no necesita trampas. Funciona con trabajo normal. Los diseñadores orientan las pantallas hacia los clics porque se registran los clics. Los ingenieros lanzan cosas que alargan las sesiones porque esa línea aparece en el panel. Los responsables de producto relegan trabajo que ayuda a la gente pero no mueve el objetivo, porque el progreso se juzga según ese objetivo. Todos hacen el trabajo que tienen delante. Unos pocos ciclos después, la persona que usa el producto apenas está en la conversación y el panel sigue en verde.

Jerry Muller dedicó un libro entero a esto. The Tyranny of Metrics documenta el mismo patrón en hospitales, escuelas, departamentos de policía y universidades. La cifra ocupa el lugar de lo que antes medía. La mayoría no lo nota hasta que la distancia es demasiado grande para ocultarla.

Facebook también se encontró con este problema

En 2018, el equipo de investigación interna de Facebook preparó una presentación que advertía de que el algoritmo de la sección de noticias explotaba lo que llamaban la atracción del cerebro humano por la división.

Facebook había estado optimizando la interacción: reacciones, comentarios, publicaciones compartidas. Ese era el objetivo. Funcionó. La interacción subió. El contenido que provocaba enfado también, porque la ira impulsa reacciones rápidamente. La desinformación se extendió por el mismo motivo. El equipo de investigación propuso soluciones. La empresa no adoptó los cambios de una forma que resolviera el problema de fondo, mientras la interacción seguía siendo central en la gestión del negocio.

Esto salió a la luz en 2021, cuando Frances Haugen compartió los documentos internos con el Wall Street Journal. Mostraban que los investigadores de Facebook entendían el problema y lo habían escrito claramente. La métrica siguió ganando.

La ley de Goodhart no solo distorsiona la métrica. También puede distorsionar el juicio de quienes llevan suficiente tiempo tratándola como prueba de que las cosas funcionan.

Pregunta por el peor caso

Las métricas son útiles. El problema empieza cuando el equipo las trata como si fueran el usuario.

Antes de poner una métrica como objetivo en un panel, haz una pregunta: ¿cuál es la peor forma de alcanzar esta cifra? ¿Qué podría subirla mientras empeora el producto para cualquiera que no esté mirando el gráfico?

Si puedes responder, has encontrado el modo de fallo que te espera. Aparecerá tarde o temprano si el equipo sigue persiguiendo la cifra. Se trata de ver la distancia pronto, cuando aún puedes hacer algo. Me gusta esta pregunta porque obliga a los equipos a decir en voz alta la versión fea antes de lanzarla.

La métrica no es el usuario

Las métricas se alejan más rápido de la realidad cuando los equipos dejan de hablar con usuarios. Cuando las cifras son buenas, la gente siente menos presión para comprobar qué está pasando. El panel crea una confianza silenciosa. Todo parece bien, así que se supone que está bien.

Mientras tanto, la gente se adapta. Busca soluciones improvisadas. Soporta fricciones que nadie arregló. Algunos ya están cerca de irse. Un gráfico puede parecer sano mientras soporte sigue recibiendo la misma queja. No lo ves en el gráfico hasta que la caída aparece demasiado tarde para ayudar.

Los equipos que evitan esto no tienen métricas mágicas. Hacen sesiones de usabilidad cuando las cifras son buenas. Leen solicitudes de soporte cuando la retención parece sana. No porque odien los datos. Porque saben que las cifras y la experiencia vivida pueden separarse durante mucho tiempo. Confío más en los equipos que siguen mirando después de que el panel les diga que se relajen.

La métrica empezó como señal. Después ocupó el lugar del usuario.