لقد بدأت عملي الأول كمبرمجة كمبيوتر
في أول سنة جامعة لي--
بشكل أساسي، كمراهقة.
بعدما بدأت العمل بوقت قصير،
بكتابة البرمجيات في الشركة،
آتى مدير في الشركة إلى حيث كنت أعمل،
و همس لي،
"هل يستطيع أن يُخبر فيما إذا كنتُ أكذب؟"
لم يكن هناك أحد آخر في الغرفة.
"من الذي سيُخبرإذا كنتَ تكذب؟ ولماذا نحن نهمس؟"
أشار المدير إلى الكمبيوترالموجود في الغرفة.
"هل يستطيع أن يُخبر فيما إذا كنتُ أكذب؟"
حسناً، المدير كان على علاقة مع موظفة الاستقبال.
(ضحك)
وكنت لا أزال مراهقة.
ولذالك همست له بصوت مرتفع،
"نعم الكمبيوتر يستطيع أن يُخبر فيما إذا كنتَ تكذب."
(ضحك)
حسنا، لقد ضحكت، ولكن في الحقيقة ضحكت على نفسي.
هذه الأيام، يوجد هنالك أنظمة حسابية
من الممكن أن نعمل عليها على الحالات العاطفية وحتى الكذب
من معالجة وجوه الناس.
العاملون في مجال الإعلان وحتى الحكومات مهتمون جداً.
لقد أصبحت مبرمجة كمبيوتر
لأنني كنت واحدة من أولئك الأطفال المحبين للرياضيات والعلوم.
ولكن في مكان ما من هذا الطريق تعلمت عن الأسلحة النووية،
وأنا حقاً قلقة حول أخلاقيات العلم.
كنت مضطربة.
على أية حال، بسبب ظروف العائلة،
أنا أيضاً بحاجة أن أبدأ العمل بأسرع ما يمكن.
لذلك فكرت بنفسي، مهلاً، أدخلي في المجال التقني
حيث أستطيع أن أحصل على عمل بسهولة
وحيث ليس علي أن أتعامل مع أسئلة أخلاقية مزعجة.
لذلك اخترت الحواسيب.
(ضحك)
حسناً، ها، ها، ها! كل الضحك علي.
هذه الأيام، علماء الحاسوب يقومون بصياغة البرامج
والتي تتحكم بما يستطيع أن يشاهده مليار شخص كل يوم.
إنهم يطورون السيارات التي ممكن أن تقرر مَن تجاوز السرعة.
إنهم حتى يبنون الألات و الأسلحة،
التي يُمكن أن تقتل الإنسان في الحرب.
إنها الأخلاق دائماً في النطاق.
ذكاء الألة يكون هنا.
نحن نستخدم الألة لنتخذ كل أنواع القرارات،
ولكن ايضاً الأنواع الجديدة من القرارات.
نحن نسأل الحاسب أسئلة ليس له إجابات صحيحة منفردة
والتي تكون غير موضوعية
مفتوحة وذات قيمة.
نحن نسأل أسئلة مثل،
"من الذي يجب على الشركة توظيفه؟"
"أي تحديث ومن أي صديق يجب أن تُشاهد؟"
"أي إنتهاك من المرجح أن يُعاد إدانته؟"
"أي الأخبار أو الأفلام يجب أن يوصى بها إلى الناس؟"
انظر، نعم، نحن نستخدم الحاسوب منذ فترة،
ولكن هذا مُختلف.
هذا تطور تاريخي،
لأننا لا نستطيع أن نُركّز الحساب من أجل هكذا قرارات شخصية
الطريقة التي نستطيع أن نُركّز الحساب لأجل تحليق الطائرات، بناء الجسور،
الذهاب إلى القمر
هل الطائرات أكثر أماناً؟ هل الجسر تأرجح وانهار؟
هناك، نحن اتفقنا عليه، معيار واضح ألى حد ما،
ونحن لدينا قوانين طبيعية لتُرشِدنا.
ليس لدينا هكذا مرتكز أو معيار
للقرارات في العلاقات الإنسانية الفوضوية.
لنجعل الأشياء أكثر تعقيداً، برمجياتُنا أصبحت أكثر قوة،
ولكنها أصبحت أيضاً أقل شفافية وأكثر تعقيداً.
مؤخراً، في العقد الماضي،
الخوارزميات المعقدة صنعت خطوات عظيمة.
تستطيع أن تُميز الوجوه البشرية.
تستطيع أن تحل شيفرة خط اليد.
تستطيع أن تكشف تزوير البطاقة الإتمانية
وتمنع البريد المزعج
وتستطيع الترجمة بين اللغات.
تستطيع أن تكشف الأمراض في التصوير الطبي.
تستطيع أن تتغلب على الإنسان في الشطرنج.
معظم هذا التقدم يأتي من اسلوب يُدعى"تعلم الآلة."
تعلم الآلة يختلف عن البرمجة التقليدية،
حيث تُعطي الحاسوب تعليمات دقيقة ومضبوطة ومُفصلة.
إنه مثل أن تأخذ النظام وتُلقمه الكثير من البيانات،
بما في ذلك البيانات الغير منظمة،
مثل النوع الذي أنتجناه في حياتنا الرقمية.
والنظام المتعلم من خلال الخوض بهذه البيانات.
و أيضاً، بشكل حاسم،
هذه الأنظمة لا تعمل تحت منطق الإجابة الفريدة.
إنها لا تُنتج إجابة بسيطة؛ إنها أكثر إحتمالية:
"من المحتمل أن يكون هذا الشيء هو ما تبحث عنه."
الآن، الجزء الجيد هو: هذه الطريقة حقاً قوية.
رئيس أنظمة غوغل دعاه،
"الفاعلية الغير منطقية للبيانات."
الجانب السلبي هو،
لا نستطيع أن نفهم ماذا يُعلم النظام تماماً.
في الحقيقة، تلك قوته.
هذا بدرجة أقل مثل إعطاء التعليمات للحاسوب؛
إنه بالأكثر مثل تدريب مخلوق آلي مغرور
لا نستطيع حقاً أن نفهمه أو نتحكم به.
لذلك هذه هي مُشكلتنا.
إنها مشكلة عندما يصنع نظام الذكاء الإصطناعي هذا أشياء خاطئة.
إنها أيضاً مُشكلة عندما نحصل على الأشياء الصحيحة،
لأننا لا نعرف حتى متى تكون مشكلة غير موضوعية.
نحن لا نعلم ماذا يُفكر هذه الشيء.
لذلك، تأمل خوارزمية التوظيف--
نظام يستعمل لتوظيف الناس، باستعمال أنظمة تعلّم الآلة.
هكذا نظام قد تم تمرينه على بيانات العاملين السابقة
وأَعطي تعليمات ليجد ويوظف
الناس مثل الموجودين في الشركة من ذوي الكفاءات العالية.
يبدو جيداً.
حضرت إجتماعاً ذات مرة
مع مدراء الموارد البشرية والمدراء التنفيذيين،
أشخاص على مستوى عال،
وباستخدام هكذا أنظمة في التوظيف.
كانوا متحمسين بشكل كبير.
اعتقدوا أن هذا سيجعل التوظيف أكثر موضوعية وأقل تحيز،
وإعطاء النساء والأقليات محاولة أفضل
ضد تحيز مدراء الموارد البشرية.
انظر-- التوظيف البشري متحيز.
أنا أعلم.
أعني، في أحد أعمالي المبكرة كمبرمجة،
مديرتي المباشرة كانت تأتي أحياناً إلي حيث كُنت أعمل
باكراً في الصباح أو متأخرة بعد الظهر،
وكانت تقول، "زينب، دعينا نذهب ألى الغداء!"
وأكون في حيرة من التوقيت الغريب.
إنه الساعة الرابعة بعد الظهر. الغداء؟
كُنت مُفلسة، وكذلك الغداء مجاني. كنت دائماً أذهب.
فيما بعد أدركت ماذا كان يحدث.
مُدرائي المباشرين لم يخبروا المدراء في المستوى الأعلى
إن المبرمج الذي وظفوه في العمل المُهم كانت فتاة شابة
والتي ترتدي الجنز والأحذية الرياضية في العمل.
كُنت أعمل عملاً جيداً، فقط مظهري كان خاطئاً
لقد كان العمر الخطأ والجنس الخطأ.
لذلك التوظيف بطريقة الجنس والعرق العمياء
بالتأكيد تبدو جيدة بالنسبة لي.
ولكن مع هذه الأنظمة، إنه أكثر تعقيداً، والسبب:
حالياً، الأنظمة الحسابية تستطيع أن تستدل على كل الأشياء حولك
من أجزائك الرقمية الصغيرة،
حتى لو أنك لم تكشف هذه الأشياء.
تستطيع أن تكشف توجهك الجنسي،
ميزاتك الشخصية،
ميولك السياسية.
لديها قوة تنبئية بمستوى عالي من الدقة.
تذّكر- حتى بالنسبة للأشياء التي لم تكشفها.
هذا هو الاستدلال.
لدي صديق والذي طور هكذا أنظمة حسابية
ليتنبأ باحتمالية الإكتئاب المرضي أو الإكتئاب ما بعد الولادة
من بيانات وسائل الإعلام.
النتائج كانت مؤثرة.
نظامها يستطيع التنبؤ باحتمالية الإكتئاب
أشهر قبل بداية أي أعراض --
أشهر قبل.
لا أعراض، يوجد هنا تنبؤ.
تأمل أنه سيستعمل للتدخل المُبكر. عظيم!
لكن الآن ضع هذا في حالة التوظيف.
لذلك في مؤتمر مدراء الموارد البشرية هذا،
اقتربت من مدير في المستوى الأعلى في شركة كبيرة جداً،
وقُلت لها،" انظري، ماذا لو، غير معروف لك،
أن نظامك يُزيل الأشخاص ذوي الاحتمالية المستقبلية الكبيرة من الإكتئاب؟
إنهم غير مكتئبين الآن، ربما فقط في المستقبل، أكثر احتمالية.
ماذا لو يُزل النساء الأكثر احتمالية لأن يكونوا حوامل
في السنة المقبلة أوالسنتين ولكن غير حوامل الآن؟
ماذا لو يوظف الناس العدائيين لأن ذلك هو ثقافة مكان عملك؟"
لا تستطيع أن تحكي هذا بالنظر إلى التقسيم من حيث الجنس.
هؤلاء ربما يكونوا متوازنيين.
وبما أن هذا تعّلم الآلة، وليس تدوين تقليدي،
لا يوجد هنا متغير يوجد اسمه "خطر أعلى من الإكتئاب،"
"خطر أعلى من الحمل،"
"مقياس شخص عدواني."
ليس فقط أنك لا تعلم ما يختار نظامك،
أنت لا تعلم أيضاً أين يجب أن تبدأ النظر.
إنه صندوق أسود.
إنه يملك قوة تنبؤية، لكنك لا تفهمها.
سألتها "ما إجراءات الوقاية"، ستملكين
لتتأكد أن صندوقك الأسود لا يعمل أي شيء مضلل؟"
نظرت ألي كما لو أنني ضربتها بعشرة ذيول جِراء.
(ضحك)
حدقت إلي وقالت،
" أنا لا أريد أن أسمع كلمة أخرى حول هذا."
و دارت نفسها وذهبت بعيداً.
إنتبهوا-- لم تكن وقحة.
إنه كان واضحاً: الذي لا أعرفه ليس مشكلتي، اذهب بعيداً، الموت يُحدق.
(ضحك)
انظر، هكذا نظام ربما يكون أقل تحيزاً
مِن المدراء البشر في بعض الطرق.
ويمكن أن يصنع إدراك عملي.
ولكنه ممكن أن يقود أيضاً
إلى الثبات ولكن إغلاق خفي لسوق العمل
للناس بمستوى عالي من الإكتئاب.
هل هذا هو النوع من المجتمع الذي نريد أن نبنيه،
بدون حتى أن نعلم أننا فعلنا هذا،
لأننا حولّنا اتخاذ القرارات إلى ألات لا نفهمها تماماً؟
مشكلة أخرى وهي كالتالي:
هذه الأنظمة غالباً ما تكون دُربت على البيانات أُنتجت من أعمالنا،
بصمات الإنسان.
حسناً، ربما هُن فقط يعكسن تحيزنا،
وهذه الأنظمة ربما قد تختار تحيزنا
وتبالغ فيه
وتعود لترينا اياه
بينما نحن نُخبر أنفسنا،
"نحن فقط نفعل الهدف، الحساب الحيادي."
الباحثون وجدوا ذلك على غوغل،
النساء أقل احتمالية من الرجال لإعلانات العمل بالنسبة للأعمال بالدخل العالي.
والبحث في الأسماء الأميريكية الإفريقية
أكثراحتمالية ليجلب إعلانات مُقترحة تاريخ جنائي،
حتى عندما لا توجد.
هكذا تحيز مخفي وخوارزميات الصندوق الأسود
والتي لا يُغطيها الباحثون أحياناً ولكن أحياناً لا نعلم،
يُمكن أن يكون لديها عواقب تغيير مدى الحياة.
في ويسكونسن، حُكم على المدعى عليه ست سنوات في السجن
لأجل تجاهل الشرطة.
ربما لا تعلم هذا،
لكن الخوارزميات وبازدياد تُستعمل في اطلاق السراح وقرارات اصدار الأحكام.
هو أراد أن يعرف: كيف تُحسب هذه النتيجة؟
إنه صندوق أسود تجاري.
رفضت الشركة لأن تكون خوارزميتها مُعترض عليها في المحكمة المفتوحة.
ولكن شركة التحقيق بروبابليكا الغير ربحية، دققت الخوارزمية
مع البيانات العامة التي استطاعوا إيجادها،
ووجدوا أن المُخرجات كانت مُتحيزة
وقوته التنبؤية كانت مُحزنة، بالكاد أفضل من الفرصة،
وكان من الخطأ تصنيف المُدعى عليهم السود كمجرمي المستقبل
كضِعف المُدعى عليهم البيض.
لذا، تأمل هذه الحالة :
هذه المرأة كانت مُتأخرة لتقل أختها
من المدرسة في بلدة بروارد، فلوريدا،
توقفت في الشارع مع صديقتها.
واكتشفوا دراجة طفل غير مُقفلة ودراجة على الرواق
وبكل حماقة قفزوا عليها.
بينما كانوا يستعجلون، ظهرت امرأة وقالت،
"مرحبا! تلك دراجة طفلي!"
فقاموا بتركها ومشوا بعيداً، ولكنهم كانوا قد أُعتقلوا.
كانت مُخطئة، كانت حمقى، ولكنها كانت بعمر 18 سنة أيضاً.
لديها العديد من المخالفات الصبيانية.
في الوقت نفسه، ذلك الرجل كان قد أُعتقل للسرقة مخزن المنزل --
ما قيمته 85 دولار من الأغراض، جريمة سخيفة مُشابهة.
ولكن كان لديه جُرمي سطو مُسلح سابقين.
ولكن الخوارزمية سجلت المرأة كخطر كبير ولم تُسجله.
بعد سنتين، وجدت شركة بروبابليكا أن المرأة لم تكن قد ارتكبت مُخالفة.
كان من الصعب عليها فقط أن تحصل على عمل بسبب سجلها.
هو، في الجهة المقابلة، ارتكب مخالفة
وهو يخدم الآن فترة ثماني سنوات سجن بسبب جريمة لاحقة.
بكل وضوح، نحن بحاجة إلى تدقيق صناديقنا السود
وأن لا يكون لديها هذا النوع من القوة الغير مفحوصة.
(تصفيق)
تدقيق الحسابات عظيم وهام، ولكنهن لا يحللن كل مشاكلنا.
خذ قوة أخبار فيس بوك لُقمت بالخوارزمية --
أنت تعلم، الشخص الذي صنف كل شيء ويقرر ما يُظهر لك
من كل الأصدقاء والصفحات التي تُتابعها.
هل يجب أن ترى صورة طفل آخر؟
(ضحك)
ملاحظة مُتجهمة من شخص معروف؟
الأخبار المُهمة ولكنها عويصة؟
لا يوجد هنا أي اجابة صحيحة.
يبحث فيس بوك عن أفضل الحلول للتشابك على الموقع:
اعجابات، مشاركات، تعليقات.
في شهرآب من 2014،
اندلعت الاحتجاجات في فيرغوسن، مُقاطعة ميسوري،
بعد مقتل مراهق أميريكي-افريقي من قبل ضابط شرطة أبيض،
في ظروف غامضة.
الأخبار عن الاحتجاجات كانت قد انتهت
خوارزميتي الحسابية لم تُصفي تلقيم تويتر،
ولكن هنا على الفيس بوك خاصتي.
هل كانوا أصدقاء حسابي الفيس بوك؟
عَطلتُ خوارزمية فيس بوك الحسابية،
حيث إنه صعب، لأن فيس بوك دائماً يُريد أن يجعلك
تبقى تحت سيطرة الخوارزمية،
وشاهدت أصدقائي كانوا يتكلمون عنه.
أنه فقط أن الخوارزمية لم تكن تُظهره لي.
بحثت حول هذا ووجدت أن هذا كان مُشكلة واسعة الانتشار.
قصة فيرغوسن لم تكن ضمن نظام الخوارزمية بشكل ودّي.
إنه ليس"جدير بالمحبة."
مَن سيضغط على "اعجاب؟"
إنه حتى ليس من السهل أن تُعلق عليه.
من دون الاعجابات والتعليقات،
الخوارزمية كانت من المحتمل أن تظهره لعدد أقل من الناس،
لذلك نحن لا نُريد أن نرى هذا.
بدلاً من، ذلك الاسبوع،
خوارزمية فيس بوك ألقت الضوء على هذا،
حيث إنه تحدي الدلو الجليدي ALS.
سبب قيّم؛ الماء الجليدي المفرغ، صُنع المعروف، جميل.
ولكنها كانت خوارزمية صديقة بامتياز.
الآلة صنعت هذا القرار من أجلنا.
محادثة مهمة جداً ولكنها صعبة
ربما تكون قد غُطت بكثافة،
ربما كان فيس بوك القناة الوحيدة.
الآن،وأخيراً، هذه الأنظمة يمكن أيضاً أن تكون مخطئة
في الطُرق التي لا تُماثل الأنظمة الانسانية.
هل تتذكرون واتسون، نظام الذكاء الآلي لشركة IBM
والذي أزال الإرباك مع المتنافسين البشر على لعبة Jeopardy؟
كان لاعب عظيم.
ولكن فيما بعد، بالنسبة للعبة الأخيرة، سُأل واتسون هذا السؤال:
"مطاره الأكبر سُمي لبطل الحرب العالمية الثانية،
ثاني أكبر مطار لمعركة الحرب العالمية الثانية."
(دندنة لموسيقا اللعبة الأخيرة)
شيكاغو.
الشخصين أجابوا بشكل صحيح.
واتسون، على الجهة المقابلة، أجاب "تورونتو"--
عوضاً عن تصنيف مدينة أمريكية!
النظام المُثير للاعجاب أيضاً يصنع أخطاء
التي لا يُمكن أن يصنعها الإنسان، الصنف الثاني سوف لن يصنعها.
ذكاء ألتُنا الصناعي يُمكن أن يفشل
في الطرق التي لا تناسب نماذج خطأ الانسان
في الطرق التي لا نتوقعها ونكون مُحضرين لها.
سيكون من الحقارة أن لا يحصل الشخص على عمل يكون مؤهل له،
لكن سيكون استيعاب ثلاثي إذا كان بسبب فائض مُكدس
في بعض الروتين الفعلي.
(ضحك)
في شهر شهر مايو/أيارعام 2010،
الإنهيار السريع في وول ستريت المُغذى بحلقة ردود الفعل
في خوارزمية "البيع" الحسابية في وول ستريت
أزال ما قيمته ترليليون دولار في 36 دقيقة.
أنا لا أريد حتى أن أعتقد ما يعني"الخطأ"
في سياق الأسلحة المستقلة المُهلكة.
لذا نعم، الناس دائماً يصنعون التحيز.
صانعوا القرارات و حارسوا البوابات،
في المحاكم، في الأخبار، في الحرب...
هم يصنعون الأخطاء؛ ولكن تلك فكرتي بالضبط.
نحن لا نستطيع الهرب من هذه الأسئلة الصعبة.
نحن لا نستطيع التعهد بمسؤلياتنا إلى الآلات.
(تصفيق)
الذكاء الاصطناعي لا يعطينا بطاقة "الخروج من الأخلاق بحرية".
عالم البيانات فريد بيننسون يدعو هذا غسيل الرياضيات.
نحن نحتاج العكس.
نريد أن نصقل التشكيك حول الخوارزمية، الفحص الدقيق و الاستقصاء.
نريد أن نتأكد أنه لدينا مسؤلية حول ما يتعلق بالخوارزمية.
التدقيق، الشفافية ذات المعنى.
نريد أن نقبل أن نجلب الرياضيات والحساب
للأشياء الفوضوية، العلاقات الانسانية المحملة بالقيمة
لا تجلب الموضوعية؛
بالأحرى، العلاقات الانسانية المعقدة تنتهك الخوارزميات.
نعم، نحن نستطيع ويجب علينا أن نستخدم الحساب
ليساعدنا على اتخاذ قرارات أفضل.
ولكن يجب علينا أن نعترف بمسؤليتنا الاخلاقية في الحكم،
وأن نستخدم الخوارزميات ضمن اطار العمل ذلك،
ليس بمعنى أن نتنازل و نتعهد بمسؤلياتنا
لشخص آخر مثلاً إنسان لإنسان.
الذكاء الآلي هنا.
والذي يعني أنه يجب علينا ننتظر بشكل محكم أكثر من أي وقت مضى
للقيم الانسانية والأخلاق الانسانية.
شكراً لكم.
(تصفيق)