La investigación como coartada
Cómo los equipos usan la investigación para respaldar lo que ya creen
En pocas palabras: El razonamiento motivado convierte la investigación en coartada. Cuando el equipo se apega a una dirección, el sesgo de confirmación le ayuda a reunir, creer y presentar la evidencia que mantiene viva esa dirección.
Te dices que investigas para descubrir qué quieren los usuarios. No siempre es eso lo que ocurre. A veces la pregunta ya está respondida antes de empezar el estudio, y la investigación está ahí para dar suficiente peso a esa respuesta como para que nadie la cuestione en la reunión. El cuestionario de selección excluye a los participantes que no encajan con la respuesta deseada. Las preguntas de la entrevista se inclinan hacia el hallazgo preferido. La síntesis agrupa los datos hasta que la historia se sostiene. Nadie tiene que mentir. La gente simplemente deja de buscar cuando tiene suficiente apoyo para la respuesta que quería.
Es un sesgo común. Aparece en buenos equipos con buenas intenciones.
El sesgo de confirmación protege la historia
El mecanismo tiene nombre: razonamiento motivado. El psicólogo Dan Kahan, cuya investigación en Yale Law School estudió cómo personas inteligentes llegan a conclusiones erróneas sobre cuestiones de hecho, lo define claramente. El razonamiento motivado es
La tendencia a ajustar las evaluaciones de la información a algún objetivo ajeno a la exactitud.
— Dan Kahan · Traducción del inglés
En diseño, ese objetivo ajeno a la precisión suele ser el producto que ya construiste o la dirección con la que tu equipo ya se comprometió. La conclusión viene primero. La investigación la sigue hasta que algo la confirma.
La amplia revisión de Raymond Nickerson de 1998 sobre el sesgo de confirmación en decenas de campos muestra que el problema no es la estupidez ni la deshonestidad. El cerebro empieza a filtrar la información desde el principio. La evidencia que apoya una creencia se acepta más rápido. La que la amenaza se cuestiona más y durante más tiempo. En un experimento de Peter Ditto y David Lopez, los participantes que debían evaluar un resultado médico desfavorable exigían más evidencia antes de aceptarlo que quienes recibían uno favorable. Los datos no cambiaron. Su disposición a creerlos, sí. La asimetría es automática, no deliberada.
No necesitas querer un resultado concreto para corromper el proceso de investigación. Solo necesitas que te importe lo que investigas.
Qué aspecto tiene la investigación sesgada
No parece fraude. Parece una serie de decisiones razonables tomadas de una en una.
Reclutas usuarios «interesados en la categoría de producto», es decir, usuarios que ya se interesan por productos como el tuyo. Escribes preguntas de entrevista sobre los problemas de las soluciones existentes porque tu producto resuelve esos problemas. Haces pruebas de usabilidad con participantes que representan al cliente que imaginas, no al mercado completo. En la puesta en común, anotas tres citas que validan la dirección y guardas las dos contradictorias como «casos atípicos». Cada decisión suena profesional. Ninguna es neutra.
El análisis de Dan Lovallo y Daniel Kahneman en HBR sobre el optimismo de los directivos al planificar proyectos muestra el mismo patrón dentro de las organizaciones. Los líderes encargan investigación, pero la encuadran alrededor de «¿cómo ejecutamos esto?» y no de «¿deberíamos ejecutarlo?». La investigación se convierte en apoyo a la entrega, no en una comprobación de si merece la pena construirlo.
Google+ es el ejemplo
Google lanzó Google+ en junio de 2011 respaldado por investigación interna. Los usuarios querían más control sobre cómo compartían contenido en línea. Esa parte era real. Pero Google+ respondió con una nueva red social construida alrededor de «Círculos», en competencia directa con Facebook. La investigación respaldaba la existencia del problema. No demostraba que la gente quisiera una nueva red social de Google lo suficiente como para adoptarla.
El resultado fue un producto que respondía a un hallazgo real sobre el papel, pero no al comportamiento que importaba. La gente no solo quería mejores controles de privacidad. También necesitaba una razón para dejar Facebook, construir desde cero una segunda red de relaciones y aprender otro sistema. ComScore estimó que en enero de 2012 el usuario medio de Google+ pasaba unos 3,3 minutos al mes en la plataforma. Los usuarios de Facebook promediaban más de siete horas. Google+ cerró para consumidores en abril de 2019.
Pregunta esto antes de confiar en la investigación
Una comprobación sencilla es esta: antes de hacer un estudio, escribe qué hallazgos te llevarían a cancelar el proyecto o cambiar de dirección. Sé concreto. No «problemas importantes de usabilidad», que es lo bastante vago para descartarlo con una explicación. Algo concreto: «Si menos del 60% de los usuarios puede completar la tarea central sin ayuda, replanteamos el flujo». O: «Si los usuarios no identifican este problema como significativo en sus vidas, paramos».
Si no puedes escribir esa frase, probablemente el estudio está ahí para documentar una decisión, no para ponerla a prueba.
Esto importa porque escribir qué demostraría que estás equivocado obliga a mirar de frente para qué sirve realmente la investigación. La mayoría de los equipos se salta el paso no por deshonestidad, sino porque nadie hace la pregunta en voz alta. El estudio se diseña alrededor de supuestos de ejecución sin especificar jamás qué resultado cambiaría el rumbo del proyecto. Ahí se construye la coartada.
La investigación como coartada no solo desperdicia tiempo y dinero. Impide que se corrijan las malas decisiones. Quienes dudaban ven la diapositiva de investigación y se callan. La parte interesada que no estaba segura queda derrotada por los datos. El diseñador que detectó el problema real hace tres semanas nunca encuentra la oportunidad de nombrarlo porque la investigación ya ha hablado. He visto estudios usados así cuando quienes estaban en la sala solo buscaban una justificación. La coartada protege la idea y estrecha la conversación que podría haberla corregido.
La buena investigación debería incomodar. Debería encontrar cosas que no sabías. Si nunca te sorprende, está sirviendo al proyecto de otra manera. A veces debería desestabilizar el plan. Es parte del trabajo.
