المقياس ليس المستخدم

الخلاصة: يوضح قانون غودهارت وقانون كامبل كيف تنفصل المقاييس عن الواقع. حين تلاحق الفرق الرقم بإصرار كافٍ، تتوقف الإشارة عن تمثيل المستخدم، وتبدأ بمكافأة كل ما يحرّك لوحة المؤشرات.

في لحظة ما، قرر فريقك أن مقياسًا سيخبركم إن كان المنتج يعمل كما ينبغي. ربما كان عدد المستخدمين النشطين يوميًا. أو الاحتفاظ بالمستخدمين، أو صافي نقاط الترويج NPS، أو مدة الجلسة، أو درجة ما للتفاعل. كان الاختيار منطقيًا. بدا الرقم قريبًا بما يكفي من شيء تهتمون به. ثم أصبح الهدف. وبدأ الناس يعملون لتحقيقه. رأيت هذا يحدث في اجتماعات هادئة وعقلانية، وهذا جزء من المشكلة.

وفي مكان ما من تلك العملية، من دون أن يعلن أحد ذلك، توقف الرقم عن كونه إشارة، وبدأ يقود العمل.

لا توجد نقطة فشل واضحة تستطيع أن تضع دائرة حولها لاحقًا. يحدث الأمر في مراجعات دورات العمل، واجتماعات خارطة الطريق، وعروض نتائج اختبارات A/B. لا أحد يقول إنه يريد التوقف عن الاهتمام بالمستخدمين. يصبح المقياس شيئًا فشيئًا هو الغاية، ويبدأ الناس الذين وراءه بالاختفاء من الحديث. تبدو لوحة المؤشرات سليمة. وقد لا يكون المنتج كذلك.

يتوقف الرقم عن إظهار المستخدم

لدى علم الاقتصاد وصف واضح لهذا. حين يصبح المقياس هدفًا، يتوقف عن كونه مقياسًا جيدًا. حدّد الاقتصادي Charles Goodhart هذا في عام 1975 أثناء دراسته للسياسة النقدية. ما إن يُستخدَم المقياس لتوجيه القرارات، حتى يبدأ الناس بالعمل على المقياس نفسه. ويتوقفون عن العمل على الشيء الذي كان يشير إليه. تضعف الصلة، ثم تنقطع.

صاغ الباحث في العلوم الاجتماعية Donald Campbell الأمر بحدّة أكبر:

كلما زاد استخدام أي مؤشر اجتماعي كمّي في اتخاذ القرارات الاجتماعية، أصبح أكثر عرضةً لضغوط الإفساد.

— Donald T. Campbell، ترجمة عن الإنجليزية

كان Campbell يكتب عن البرامج الحكومية والسياسات التعليمية. لكنه يصف أيضًا الكثير من المراجعات الفصلية.

هذا النمط أقدم من البرمجيات. حين عرضت السلطات الاستعمارية البريطانية في الهند مكافأة مقابل أفاعي الكوبرا الميتة لتقليل أعدادها، بدأ رواد أعمال محليون بتربية الكوبرا لتحصيل المكافأة. وعندما اكتشفت الحكومة الأمر وألغت البرنامج، أطلق المربّون أفاعيهم التي أصبحت بلا قيمة. وانتهى الأمر بأعداد كوبرا أكبر من السابق. جرى تحسين المقياس على أكمل وجه. أما الهدف فساء حاله.

لا يحتاج هذا الانحراف إلى غش. يكفيه العمل المعتاد. يدفع المصممون الشاشات نحو مزيد من النقرات لأن النقرات تُتبّع. ويطلق المهندسون أشياء تطيل الجلسات لأن ذلك الخط موجود على لوحة المؤشرات. ويؤخر مديرو المنتجات العمل الذي يساعد الناس لكنه لا يحرّك الهدف، لأن التقدم يُحكَم عليه من خلال الهدف. كل شخص يؤدي المهمة التي أمامه. وبعد بضع دورات عمل، يكاد الشخص الذي يستخدم المنتج يغيب عن الحديث، ولا تزال لوحة المؤشرات خضراء.

خصّص Jerry Muller كتابًا كاملًا لهذا. يوثّق The Tyranny of Metrics النمط نفسه في المستشفيات، والمدارس، وأقسام الشرطة، والجامعات. يحل الرقم محل الشيء الذي كان يتتبعه. ولا ينتبه معظم الناس حتى تتسع الفجوة بما لا يسمح بإخفائها.

وجد Facebook هذا أيضًا

في عام 2018، أعدّ فريق الأبحاث الداخلي في Facebook عرضًا يحذّر من أن خوارزمية موجز الأخبار تستغل ما وصفوه بانجذاب الدماغ البشري إلى ما يثير الانقسام.

كان Facebook يعمل على زيادة التفاعل: ردود الفعل، والتعليقات، وإعادة المشاركة. كان هذا هو الهدف. ونجح الأمر. ارتفع التفاعل. وارتفع المحتوى المثير للغضب أيضًا، لأن الغضب يستدعي ردود الفعل بسرعة. وانتشرت المعلومات المضللة للسبب نفسه. اقترح فريق الأبحاث إصلاحات. ولم تتبنَّ الشركة التغييرات على نحو يحل المشكلة الأساسية، فيما ظل التفاعل محوريًا في طريقة إدارة العمل.

ظهر هذا في عام 2021، حين شاركت Frances Haugen الوثائق الداخلية مع Wall Street Journal. أظهرت تلك الملفات أن باحثي Facebook فهموا المشكلة وكتبوها بلغة واضحة. ومع ذلك، ظل المقياس يفوز.

لا يشوّه قانون غودهارت المقياس فحسب. قد يشوّه أيضًا حكم أناس أمضوا وقتًا طويلًا بما يكفي في معاملته كدليل على أن الأمور تسير جيدًا.

اسأل عن أسوأ احتمال

المقاييس مفيدة. تبدأ المتاعب حين يعاملها الفريق كأنها المستخدم.

قبل أن يوضع أي مقياس على لوحة المؤشرات بوصفه هدفًا، اسأل سؤالًا واحدًا: ما أسوأ طريقة يمكن أن يحقق بها أحدهم هذا الرقم؟ ما الذي قد يرفعه بينما يجعل المنتج أسوأ لكل من لا يحدّق في الرسم البياني؟

إذا استطعت الإجابة، فقد وجدت نمط الفشل الذي ينتظرك. سيظهر عاجلًا أو آجلًا إذا واصل الفريق ملاحقة الرقم. الغرض هو رؤية الفجوة مبكرًا، بينما لا يزال بإمكانك فعل شيء حيالها. أحب هذا السؤال لأنه يجعل الفرق تنطق بالنسخة القبيحة بصوت عالٍ قبل أن تطلقها.

المقياس ليس المستخدم

تنفصل المقاييس عن الواقع أسرع حين تتوقف الفرق عن الحديث مع المستخدمين. عندما تبدو الأرقام جيدة، يقل شعور الناس بالحاجة إلى الذهاب والتحقق. تخلق لوحة المؤشرات نوعًا هادئًا من الثقة. تبدو الأمور بخير، فيفترض الناس أنها كذلك.

في الأثناء، يتكيف الناس. يبتكرون حلولًا ملتفة. ويتحملون عوائق لم يصلحها أحد. وبعضهم اقترب من المغادرة بالفعل. قد يبدو الرسم البياني سليمًا بينما تتوالى طلبات الدعم بالشكوى نفسها. لا ترى ذلك على الرسم إلى أن يظهر التراجع بعد فوات الأوان.

الفرق التي تتجنب هذا لا تملك مقاييس سحرية. تجري جلسات قابلية الاستخدام حين تبدو الأرقام جيدة. وتقرأ طلبات الدعم حين تبدو معدلات الاحتفاظ سليمة. ليس لأنها تكره البيانات. بل لأنها تعرف أن الأرقام والتجربة المعيشة قد تتباعدان لوقت طويل. أثق بالفرق أكثر حين تواصل النظر بعدما تدعوها لوحة المؤشرات إلى الاسترخاء.

بدأ المقياس إشارة. ثم أخذ مكان المستخدم.