نجدُ الخوارزميات في كل مكان.
إنها تُصنّفُ وتفصل الفائزين عن الخاسرين.
يحصل الفائزون على الوظيفة
أو على أحد عروض بطاقات الائتمان الجيّدة.
بينما لا يحصل الخاسرون حتى على مقابلة عمل
أو يدفعون أكثر مقابل التأمين.
يتمّ تقييمنا بصيغ سرّية لا نفهمها
والتي لا يمكننا استئناف أحكامها في معظم الأحيان.
مما يطرح السؤال:
ماذا لو كانت الخوارزميات خاطئة؟
لبناء خوارزمية فأنتم تحتاجون لشيئين:
تحتاجون لبيانات، أي ما حدث في الماضي،
وتحتاجون تعريفًا للنجاح،
أي الأمر الذي تبحثون عنه وتأملون غالبًا إيجاده.
تدرّبون الخوارزمية بالبحث أو التحديد.
أي تحدّد الخوارزمية ما هو متعلق بالنجاح.
أي حالة تقود إلى النجاح؟
في الواقع، يستخدمُ كلُ شخص الخوارزميات.
لكن فقط هم لا يستطيعون صياغتها على هيئة شفرات مكتوبة.
دعوني أعطيكم مثالاً.
أستخدمُ الخوارزميات كل يوم لأصنع وجبة غذائية لأسرتي.
فالبيانات التي أستخدمها
هي محتويات مطبخي،
ووقتي،
وطموحي،
وأقوم بتنظيم هذه البيانات.
لا أعتبر هذه العبوّات الصغيرة من الرامن (حساء المعكرونة) طعامًا.
(ضحك)
تعريفي للنجاح هو:
تعتبرُ الوجبة الغذائية ناجحة إذا تناول أطفالي الخضروات.
سيختلف هذا إن كان ابني الصغير هو المسؤول.
سيقول أن النجاح هو إذا تناول الكثير من شوكولاتة "نوتيلا".
لكن يتوجب عليّ اختيار النجاح.
أنا المسؤولة. لذا فرأيي مهمّ.
هذه هي أول قاعدة للخوارزميات.
الخوارزميات هي آراء موضوعة في شفرات.
إنها مختلفة حقًا عما يعتقده معظم الناس.
إنهم يعتقدون أن الخوارزميات موضوعية وصحيحة وعلمية.
إنها خدعة تسويقية.
وإنها أيضًا خدعة تسويقية
لتخويفكم بهذه الخوارزميات،
لجعلكم تثقون في الخوارزميات وتخافونها
لأنكم تثقون في الرياضيات وتخافونها.
الكثير من الأمور قد تسوء عندما نضع ثقة عمياء في البيانات الضخمة.
هذه هي (كيري سوريس)، إنها مديرة مدرسة ثانوية في (بروكلين).
في عام 2011، أخبرتني بأنه كان يتمّ تصنيف معلميها
بناءً على خوارزمية سرية معقدة
سمّيت "نموذج القيمة المضافة".
قلت لها: "حسنًا، اكتشفي ما هي الصيغة، وأريني إياها.
وسأشرحها لكِ."
قالت، "حسنًا، حاولتُ الحصول على الصيغة،
ولكن أخبرني شخص في وزارة التربية والتعليم أنها عبارة عن رياضيات
وأنني لن أفهمها."
يزدادُ الأمرُ سوءًا.
قدّمت صحيفة (نيويورك بوست) "طلب قانون حماية المعلومات"
وحصلت على أسماء كل المعلمين وتقييماتهم
وتم نشرها على سبيل الخزي للمعلمين.
عندما حاولتُ الحصول على الصيَغ والشيفرة المصدرية عبر الوسائل نفسها،
قيل لي أنني لا أستطيع.
تمّ رفضي.
واكتشفتُ لاحقًا
بأنه لم يستطع أحد في مدينة (نيويورك) الوصول إلى تلك الصيغة.
لم يفهمها أحد.
ثُم اهتم بالموضوع شخص ذكي حقًا، يدعى (غاري روبنشتاين).
وجد أن 665 معلمًا من بيانات صحفية (نيويورك بوست) تلك
لديهم في الحقيقة تقييمان.
ويمكن حدوث ذلك إن كانوا يدرّسون
مادة الرياضيات للصفين السابع والثامن.
قرّر تمثيلهم برسم بياني.
تمثلُ كل نقطة معلمًا.
(ضحك)
ما هذا؟
(ضحك)
لم يكن ينبغي استخدام ذلك على الإطلاق للتقييم الفردي.
إنه تقريبًا مُولّد أرقام عشوائية.
(تصفيق)
ولكنه ما حدث.
هذه هي (سارة ويسوكي).
تمّ طردها من العمل -بالإضافة إلى 205 معلم آخر-
من قطاع مدارس العاصمة (واشنطن)،
مع أن لديها توصيات عظيمة من مديرتها
وأولياء أمور طلابها.
أعرفُ ما يفكرُ فيه الكثير منكم يا رفاق،
خاصةً علماء البيانات وخبراء الذكاء الاصطناعي هنا.
تفكّرون: "حسنًا، لم أكن لأنشئ خوارزمية غير متجانسة كهذه".
ولكن يمكنُ للخوارزميات أن تفشل
وتسبّبَ آثارًا مدمّرة بشدّة حتى رغم النوايا حسنة.
وبينما الطائرة التي صُممت بطريقة سيئة
تتحطم على الأرض ويراها الجميع،
إلا أن الخوارزمية المصمّمة بطريقة سيئة
يمكنُ أن تبقى لوقت طويل تعيث فسادًا في صمت.
هذا هو (روجير إيلس).
(ضحك)
قام بتأسيس قناة (فوكس) الإخبارية عام 1996.
اشتكت أكثر من 20 امرأة من التحرش الجنسي.
قلن أن ذلك أثّر عليهن فلم يستطعن النجاح في قناة (فوكس) الإخبارية.
تم طرده العام الماضي، لكن رأينا مؤخرًا
بأن المشاكل ما زالت مستمرة.
مما يطرحُ السؤال:
ما الذي ينبغي على قناة (فوكس) الإخبارية عمله لتبدأ صفحة جديدة؟
ماذا لو استبدلوا عملية التوظيف لديهم
بخوارزمية "التعلّم الآلي"؟
يبدو هذا جيدًا، أليس كذلك؟
فكّروا في الأمر.
بالنسبة للبيانات، ماذا ستكون البيانات؟
ربما طلبات التوظيف في (فوكس) الإخبارية خلال 21 سنة الأخيرة.
منطقي.
ماذا عن تعريف النجاح؟
سيكون الاختيار المعقول هو،
من هو الناجح في قناة (فوكس) الإخبارية؟
لنقل أنه شخص بقي هناك لمدة أربع سنوات
وتم ترقيته مرة واحدة على الأقل.
يبدو الأمر معقولًا.
وبعد ذلك سيتم تدريب الخوارزمية.
سيتم تدريبها للبحث عن الأشخاص لمعرفة ما الذي أدّى إلى النجاح،
ما نوع طلبات التوظيف التي أدت تاريخيًا إلى النجاح
بناءً على التعريف السابق.
فكّروا الآن فيما سيحدث
لو طبّقنا ذلك على المجموعة الحالية من طالبي التوظيف.
ستَستبعِد الخوارزمية النساء
لأنهن لا يشبهن الأشخاص الذين نجحوا في الماضي.
لا تحقق الخوارزميات العدالة
إن طبّقتموها على نحو أعمى وبدون تفكير.
لا تجعل الأمور عادلة.
تعيدُ ممارساتنا الماضية،
وأنماط تصرّفاتنا.
وتدير الوضع الراهن آليًّا.
سيكون ذلك عظيمًا لو كان لدينا عالم مثالي،
ولكن ليس لدينا.
وسأضيفُ أن معظم الشركات ليس لديها شكاوي قضائية محرجة،
ولكن علماء البيانات في هذه الشركات
يُطلب منهم تتبّع البيانات
للتركيز على الدقة.
فكّروا فيما يعنيه ذلك.
لأنه لدى جميعنا نزعة تحيّز، فيمكن أن يقوموا بتقنين التمييز الجنسي
أو أي نوع آخر من التعصب الأعمى.
إليكم تجربة فكرية،
لأني أحبهم:
إن افترضنا وجود مجتمع مفصول عنصريًا بالكامل،
كل بلداته وأحياؤه مفصولة على أساس عنصري
وحيث أننا نرسلُ الشرطة لأحياء الأقليّات فقط
للبحث عن الجريمة،
فإن بيانات الاعتقال ستكون منحازة جدًا.
وعلاوة على ذلك، ماذا لو وجدنا علماء البيانات
ودفعنا لهم للتنبؤ بمكان الجريمة التالية؟
سيقولون أحد أحياء الأقليات.
أو للتنبؤ بالمجرم التالي؟
أيضًا من الأقليات.
سيتباهى علماء البيانات كم أن نموذجهم
سيكون رائعًا ودقيقًا،
وسيكونون محقّين بالفعل.
الآن، ليست الحقيقة بذلك التطرف، ولكن لدينا تمييز وفصل شديد
في عدة مدن وبلدات
ولدينا الكثير من البراهين
من بيانات رجال الشرطة المتحيزة، وبيانات نظام العدالة.
ونستطيع في الواقع التنبؤ بمواقع ساخنة،
وأماكن حيث ستحدث الجرائم.
ونستطيع التنبؤ، في الواقع، بالجريمة الفردية،
جرائم الأفراد.
بحثت المنظمة الإخبارية (بروبليكا) مؤخرًا
أحد تلك الخوارزميات، "خطر التعرض للانتكاس"
كما يطلق عليهم،
تم استخدامها في ولاية (فلوريدا) أثناء إعلان الحُكم من قبل القضاة.
تم تصنيف (بيرنارد)، على اليسار، الرجل الأسود، 10/10.
و(ديلان)، على اليمين، 3/10.
10 من 10، الخطر الأكبر، و3 من 10، الخطر المنخفض.
تم القبض على كليهما لحيازتهما المخدرات.
ولدى كلاهما سجلات،
ولكن لدى (ديلان) جناية
بعكس (بيرنارد).
هذا يهم، لأنه إذا كانت درجتكم أعلى،
فستمنحون على الأرجح أحكامًا قضائية أطول.
ما الذي يجري هنا؟
غسل البيانات.
إنها عملية حيث يخفي التقنيون حقائق بشعة
داخل خوارزميات الصندوق الأسود
ويطلقون عليها موضوعية،
أطلقوا عليها "الإستحقاقراطية".
عندما تكون سرية، ومهمة، ومدمرة،
قمتُ بصياغة مصطلح لهذه الخوارزميات:
"أسلحة دمار العمليات الحسابية".
(ضحك)
(تصفيق)
إنها في كل مكان، وليست خطأ.
هذه هي شركات خاصة تبني خوارزميات خاصة
لأغراض خاصة.
حتى تلك التي تحدثتُ حولها بشأن المعلمين ورجال الشرطة،
تم بناء الخوارزميات من قبل شركات خاصة
وتم بيعها إلى مؤســسات حكومية.
يسمونها "التركيبة السرية الخاصة" --
ولهذا السبب لا يمكنهم الإفصاح عنها.
إنها أيضًا سلطة خاصة.
إنهم يستفيدون من الممارسة البارعة للسلطة الغامضة.
قد تعتقدون الآن، ولأنّ كل هذه الامور خاصة
وهناك منافسة،
ربما سيعالجُ السوق الحر هذه المشكلة.
لن يقوم بذلك.
تُجبى كمية ضخمة من الأموال نتيجة عدم الإنصاف.
كذلك، لسنا عملاء اقتصاديون منطقيون.
جميعنا منحازون.
جميعنا عنصريون ومتعصبون بطرق نرغبُ بأننا لم نسلكها،
بطرق حتى لا نعرفها.
ورغم ذلك نعلمُ هذا، في كل الأحوال،
لأن علماء الاجتماع قدّموا لنا ذلك باستمرار
بهذه التجارب التي بنوها،
حيثُ يرسلوا حزمة من طلبات الوظائف المطلوبة
مؤهلين بالتساوي لكن لدى بعضهم أسماء تبدو لأشخاص بيض
ولدى البعض أسماء تبدو لأشخاص سود
ودائمًا النتائج مخيبة للآمال، دائمًا.
لذلك فنحن المتحيزون،
ونحنُ من يضع تلك التحيزات داخل الخوارزميات
باختيار ما هي البينات التي علينا جمعها،
مثل ما اخترته لعدم التفكير بالشعيرية المجففة --
قررتُ بأنه ليس لها صلة بالموضوع.
لكن وبالثقة بالبيانات التي هي في الواقع اختيار الممارسات الماضية
واختيار تعريف النجاح،
كيف يمكننا توقع ظهور الخوارزميات متكاملة؟
لا نستطيع. علينا التحقق منهم.
علينا التحقق منهم من أجل الإنصاف.
الخبر السار هو، نستطيعُ التحقق منهم من أجل الإنصاف.
يمكنُ فحص واستنطاق الخوارزميات،
ويمكنهم قول الحقيقة كل الوقت.
ويمكننا اصلاحهم. ويمكننا جعلهم أفضل.
أطلقُ على هذه تدقيق الخوارزمية،
وسأخبركم عنها.
أولاً، التحقق من نزاهة وتكامل البيانات.
بالنسبة إلى خوارزمية خطر الانتكاس التي تحدثتُ عنها،
ستعني التحقق من نزاهة البيانات بأنه علينا التوصل إلى تفاهم مع الواقع
بأنه في أمريكا، يدخنُ الحشيشَ البيض والسود بنفس المعدل
لكن يتمُ اعتقال السود على الأرجح أكثر بكثير --
أربع أو خمس مرات أكثر من البيض، اعتمادًا على المنطقة.
كيف يبدو هذا التحيز في فئات الجرائم الأخرى،
وكيف يمكننا حساب ذلك؟
ثانيًا، ينبغي علينا التفكير بتعريف النجاح،
تدقيق ذلك.
تذكروا، خوارزمية التوظيف، التي تحدثنا عنها.
يبقى شخص ما في الوظيفة لمدة أربع سنوات ويتمُ ترقيته لمرة واحدة.
حسنًا، هذا موظفُ ناجح،
وإنه أيضًا موظف مدعوم من قبل التقاليد الموروثة.
وذلك، يمكن أن يكون ذلك تحيزًا
نحتاجُ لفصل هذين الأمرين.
علينا النظر في تجربة أداء الأوركسترا العمياء
كمثال.
حيث يجري الأشخاص أداءهم من وراء جدار.
ما أرغبُ أن أفكر فيه هنا
أن من يستمع إلى هؤلاء قد قرروا ما هو المهم
وما ليس مهمًا،
ولم يتم ازعاجهم بأي شيء بهذا القرار.
عندما بدأت تجربة أداء الأوكسترا العمياء،
ارتفع عدد النساء في الأوكسترا بمقدار خمسة.
وبعد ذلك، علينا النظر في الدقة.
وهذا هو حيث سيفشل نموذج القيمة المضافة بشأن المعلمين على الفور.
لا يوجد خوارزمية مثالية، بطبيعة الحال،
لذلك ينبغي علينا حساب الأخطاء في كل خوارزمية.
كم مرة تتكرر هذه الأخطاء، ولمن يفشل هذا النموذج؟
وما هي تكلفة هذا الفشل؟
وأخيرًا، علينا اعتبار
الآثار طويلة الأجل للخوارزمية،
ومجموعات التقييم التي تم إحداثها.
يبدو ذلك نظرية مجردة،
لكن تخيلوا لو أن مهندسو الفيسبوك أخذوا بعين الاعتبار ذلك
قبل أن يقرروا أن يُظهروا لنا الأشياء التي ينشرها أصدقاؤنا فقط.
عندي رسالتان أخريان، الأولى لعلماء البيانات الموجودن من حولنا.
يا علماء البيانات: لا ينبغي علينا أن نقرر ما هي الحقيقة.
علينا أن نترجم النقاشات الأخلاقية التي تحدثُ في المجتمع الأكبر.
(تصفيق)
والبقية منكم،
من غير علماء البيانات:
هذا ليس اختبار رياضيات.
إنها معركة سياسية.
نحتاجُ أن نطالبَ بالمساءلة لمن يضع الخوارزميات من الأسياد.
(تصفيق)
يجب أن ينتهي عصر الثقة العمياء في البيانات الضخمة.
شكرًا جزيلًا لكم.
(تصفيق)