1
00:00:00,739 --> 00:00:04,861
لقد بدأت عملي الأول كمبرمجة كمبيوتر

2
00:00:04,885 --> 00:00:06,841
في أول سنة جامعة لي--

3
00:00:06,865 --> 00:00:08,372
بشكل أساسي، كمراهقة.

4
00:00:08,889 --> 00:00:10,621
بعدما بدأت العمل بوقت قصير،

5
00:00:10,645 --> 00:00:12,255
بكتابة البرمجيات في الشركة،

6
00:00:12,799 --> 00:00:16,434
آتى مدير في الشركة إلى حيث كنت أعمل،

7
00:00:16,458 --> 00:00:17,726
و همس لي،

8
00:00:18,229 --> 00:00:21,090
"هل يستطيع أن يُخبر فيما إذا كنتُ أكذب؟"

9
00:00:21,806 --> 00:00:23,883
لم يكن هناك أحد آخر في الغرفة.

10
00:00:25,032 --> 00:00:29,166
"من الذي سيُخبرإذا كنتَ
تكذب؟ ولماذا نحن نهمس؟"

11
00:00:30,266 --> 00:00:33,373
أشار المدير إلى الكمبيوترالموجود في الغرفة.

12
00:00:33,397 --> 00:00:36,493
"هل يستطيع أن يُخبر فيما إذا كنتُ أكذب؟"

13
00:00:37,613 --> 00:00:41,975
حسناً، المدير كان على علاقة
مع موظفة الاستقبال.

14
00:00:41,999 --> 00:00:43,111
(ضحك)

15
00:00:43,135 --> 00:00:44,901
وكنت لا أزال مراهقة.

16
00:00:45,447 --> 00:00:47,466
ولذالك همست له بصوت مرتفع،

17
00:00:47,490 --> 00:00:51,114
"نعم الكمبيوتر يستطيع أن
يُخبر فيما إذا كنتَ تكذب."

18
00:00:51,138 --> 00:00:52,944
(ضحك)

19
00:00:52,968 --> 00:00:55,891
حسنا، لقد ضحكت،
ولكن في الحقيقة ضحكت على نفسي.

20
00:00:55,915 --> 00:00:59,183
هذه الأيام، يوجد هنالك أنظمة حسابية

21
00:00:59,207 --> 00:01:02,755
من الممكن أن نعمل عليها
على الحالات العاطفية وحتى الكذب

22
00:01:02,779 --> 00:01:04,823
من معالجة وجوه الناس.

23
00:01:05,248 --> 00:01:09,401
العاملون في مجال الإعلان
وحتى الحكومات مهتمون جداً.

24
00:01:10,319 --> 00:01:12,181
لقد أصبحت مبرمجة كمبيوتر

25
00:01:12,205 --> 00:01:15,318
لأنني كنت واحدة من أولئك
الأطفال المحبين للرياضيات والعلوم.

26
00:01:15,942 --> 00:01:19,050
ولكن في مكان ما من هذا
الطريق تعلمت عن الأسلحة النووية،

27
00:01:19,074 --> 00:01:22,026
وأنا حقاً قلقة حول أخلاقيات العلم.

28
00:01:22,050 --> 00:01:23,254
كنت مضطربة.

29
00:01:23,278 --> 00:01:25,919
على أية حال، بسبب ظروف العائلة،

30
00:01:25,943 --> 00:01:29,241
أنا أيضاً بحاجة أن أبدأ
العمل بأسرع ما يمكن.

31
00:01:29,265 --> 00:01:32,564
لذلك فكرت بنفسي، مهلاً،
أدخلي في المجال التقني

32
00:01:32,588 --> 00:01:34,384
حيث أستطيع أن أحصل على عمل بسهولة

33
00:01:34,408 --> 00:01:38,426
وحيث ليس علي أن أتعامل
مع أسئلة أخلاقية مزعجة.

34
00:01:39,022 --> 00:01:40,551
لذلك اخترت الحواسيب.

35
00:01:40,575 --> 00:01:41,679
(ضحك)

36
00:01:41,703 --> 00:01:45,113
حسناً، ها، ها، ها!
كل الضحك علي.

37
00:01:45,137 --> 00:01:47,891
هذه الأيام، علماء الحاسوب 
يقومون بصياغة البرامج

38
00:01:47,915 --> 00:01:52,124
والتي تتحكم بما يستطيع أن
يشاهده مليار شخص كل يوم.

39
00:01:53,052 --> 00:01:56,874
إنهم يطورون السيارات التي
ممكن أن تقرر مَن تجاوز السرعة.

40
00:01:57,707 --> 00:02:00,920
إنهم حتى يبنون الألات و الأسلحة،

41
00:02:00,944 --> 00:02:03,229
التي يُمكن أن تقتل الإنسان في الحرب.

42
00:02:03,253 --> 00:02:06,024
إنها الأخلاق دائماً في النطاق.

43
00:02:07,183 --> 00:02:09,241
ذكاء الألة يكون هنا.

44
00:02:09,783 --> 00:02:13,257
نحن نستخدم الألة لنتخذ كل أنواع القرارات،

45
00:02:13,321 --> 00:02:15,207
ولكن ايضاً الأنواع الجديدة من القرارات.

46
00:02:15,231 --> 00:02:20,403
نحن نسأل الحاسب أسئلة 
ليس له إجابات صحيحة منفردة

47
00:02:20,427 --> 00:02:21,629
والتي تكون غير موضوعية

48
00:02:21,653 --> 00:02:23,978
مفتوحة وذات قيمة.

49
00:02:24,002 --> 00:02:25,760
نحن نسأل أسئلة مثل،

50
00:02:25,784 --> 00:02:27,434
"من الذي يجب على الشركة توظيفه؟"

51
00:02:28,096 --> 00:02:30,855
"أي تحديث ومن أي صديق 
يجب أن تُشاهد؟"

52
00:02:30,879 --> 00:02:33,145
"أي إنتهاك من المرجح أن يُعاد إدانته؟"

53
00:02:33,514 --> 00:02:36,568
"أي الأخبار أو الأفلام يجب
أن يوصى بها إلى الناس؟"

54
00:02:36,592 --> 00:02:39,964
انظر، نعم، نحن نستخدم الحاسوب منذ فترة،

55
00:02:39,988 --> 00:02:41,505
ولكن هذا مُختلف.

56
00:02:41,529 --> 00:02:43,596
هذا تطور تاريخي،

57
00:02:43,620 --> 00:02:48,957
لأننا لا نستطيع أن نُركّز الحساب
من أجل هكذا قرارات شخصية

58
00:02:48,981 --> 00:02:54,401
الطريقة التي نستطيع أن نُركّز الحساب
لأجل تحليق الطائرات، بناء الجسور،

59
00:02:54,425 --> 00:02:55,684
الذهاب إلى القمر

60
00:02:56,449 --> 00:02:59,708
هل الطائرات أكثر أماناً؟
هل الجسر تأرجح وانهار؟

61
00:02:59,732 --> 00:03:04,230
هناك، نحن اتفقنا عليه،
معيار واضح ألى حد ما،

62
00:03:04,254 --> 00:03:06,493
ونحن لدينا قوانين طبيعية لتُرشِدنا.

63
00:03:06,517 --> 00:03:09,911
ليس لدينا هكذا مرتكز أو معيار

64
00:03:09,935 --> 00:03:13,898
للقرارات في العلاقات الإنسانية الفوضوية.

65
00:03:13,922 --> 00:03:18,159
لنجعل الأشياء أكثر تعقيداً،
برمجياتُنا أصبحت أكثر قوة،

66
00:03:18,183 --> 00:03:21,956
ولكنها أصبحت أيضاً أقل
شفافية وأكثر تعقيداً.

67
00:03:22,542 --> 00:03:24,582
مؤخراً، في العقد الماضي،

68
00:03:24,606 --> 00:03:27,335
الخوارزميات المعقدة
صنعت خطوات عظيمة.

69
00:03:27,359 --> 00:03:29,349
تستطيع أن تُميز الوجوه البشرية.

70
00:03:29,985 --> 00:03:32,040
تستطيع أن تحل شيفرة خط اليد.

71
00:03:32,436 --> 00:03:34,502
تستطيع أن تكشف تزوير البطاقة الإتمانية

72
00:03:34,526 --> 00:03:35,715
وتمنع البريد المزعج

73
00:03:35,739 --> 00:03:37,776
وتستطيع الترجمة بين اللغات.

74
00:03:37,800 --> 00:03:40,374
تستطيع أن تكشف الأمراض في التصوير الطبي.

75
00:03:40,398 --> 00:03:42,603
تستطيع أن تتغلب على الإنسان في الشطرنج.

76
00:03:43,264 --> 00:03:47,768
معظم هذا التقدم يأتي من اسلوب
يُدعى"تعلم الآلة."

77
00:03:48,175 --> 00:03:51,362
تعلم الآلة يختلف عن البرمجة التقليدية،

78
00:03:51,386 --> 00:03:54,971
حيث تُعطي الحاسوب تعليمات
دقيقة ومضبوطة ومُفصلة.

79
00:03:55,378 --> 00:03:59,560
إنه مثل أن تأخذ النظام
وتُلقمه الكثير من البيانات،

80
00:03:59,584 --> 00:04:01,240
بما في ذلك البيانات الغير منظمة،

81
00:04:01,264 --> 00:04:03,542
مثل النوع الذي أنتجناه في حياتنا الرقمية.

82
00:04:03,566 --> 00:04:06,296
والنظام المتعلم من خلال
الخوض بهذه البيانات.

83
00:04:06,669 --> 00:04:08,195
و أيضاً، بشكل حاسم،

84
00:04:08,219 --> 00:04:12,599
هذه الأنظمة لا تعمل تحت
منطق الإجابة الفريدة.

85
00:04:12,623 --> 00:04:15,582
إنها لا تُنتج إجابة بسيطة؛
إنها أكثر إحتمالية:

86
00:04:15,606 --> 00:04:19,089
"من المحتمل أن يكون هذا
الشيء هو ما تبحث عنه."

87
00:04:20,023 --> 00:04:23,093
الآن، الجزء الجيد هو:
هذه الطريقة حقاً قوية.

88
00:04:23,117 --> 00:04:25,193
رئيس أنظمة غوغل دعاه،

89
00:04:25,217 --> 00:04:27,414
"الفاعلية الغير منطقية للبيانات."

90
00:04:27,791 --> 00:04:29,144
الجانب السلبي هو،

91
00:04:29,738 --> 00:04:32,809
لا نستطيع أن
نفهم ماذا يُعلم النظام تماماً.

92
00:04:32,833 --> 00:04:34,420
في الحقيقة، تلك قوته.

93
00:04:34,946 --> 00:04:38,744
هذا بدرجة أقل مثل إعطاء
التعليمات للحاسوب؛

94
00:04:39,200 --> 00:04:43,264
إنه بالأكثر مثل تدريب
مخلوق آلي مغرور

95
00:04:43,288 --> 00:04:45,659
لا نستطيع حقاً أن نفهمه أو نتحكم به.

96
00:04:46,362 --> 00:04:47,913
لذلك هذه هي مُشكلتنا.

97
00:04:48,427 --> 00:04:52,689
إنها مشكلة عندما يصنع نظام الذكاء
الإصطناعي هذا أشياء خاطئة.

98
00:04:52,713 --> 00:04:56,253
إنها أيضاً مُشكلة عندما نحصل
على الأشياء الصحيحة،

99
00:04:56,277 --> 00:04:59,905
لأننا لا نعرف حتى متى
تكون مشكلة غير موضوعية.

100
00:04:59,929 --> 00:05:02,268
نحن لا نعلم ماذا يُفكر هذه الشيء.

101
00:05:03,493 --> 00:05:07,176
لذلك، تأمل خوارزمية التوظيف--

102
00:05:08,123 --> 00:05:12,434
نظام يستعمل لتوظيف الناس،
باستعمال أنظمة تعلّم الآلة.

103
00:05:13,052 --> 00:05:16,631
هكذا نظام قد تم تمرينه
على بيانات العاملين السابقة

104
00:05:16,655 --> 00:05:19,246
وأَعطي تعليمات ليجد ويوظف

105
00:05:19,270 --> 00:05:22,308
الناس مثل الموجودين في الشركة
من ذوي الكفاءات العالية.

106
00:05:22,814 --> 00:05:23,967
يبدو جيداً.

107
00:05:23,991 --> 00:05:25,990
حضرت إجتماعاً ذات مرة

108
00:05:26,014 --> 00:05:29,139
مع مدراء الموارد البشرية
والمدراء التنفيذيين،

109
00:05:29,163 --> 00:05:30,369
أشخاص على مستوى عال،

110
00:05:30,393 --> 00:05:31,952
وباستخدام هكذا أنظمة في التوظيف.

111
00:05:31,976 --> 00:05:33,622
كانوا متحمسين بشكل كبير.

112
00:05:33,646 --> 00:05:38,299
اعتقدوا أن هذا سيجعل التوظيف
أكثر موضوعية وأقل تحيز،

113
00:05:38,323 --> 00:05:41,323
وإعطاء النساء والأقليات محاولة أفضل

114
00:05:41,347 --> 00:05:43,535
ضد تحيز مدراء الموارد البشرية.

115
00:05:43,559 --> 00:05:46,402
انظر-- التوظيف البشري متحيز.

116
00:05:47,099 --> 00:05:48,284
أنا أعلم.

117
00:05:48,308 --> 00:05:51,313
أعني، في أحد أعمالي المبكرة كمبرمجة،

118
00:05:51,337 --> 00:05:55,205
مديرتي المباشرة كانت تأتي أحياناً إلي
حيث كُنت أعمل

119
00:05:55,229 --> 00:05:58,982
باكراً في الصباح أو متأخرة بعد الظهر،

120
00:05:59,006 --> 00:06:02,068
وكانت تقول، "زينب، دعينا نذهب ألى الغداء!"

121
00:06:02,724 --> 00:06:04,891
وأكون في حيرة من التوقيت الغريب.

122
00:06:04,915 --> 00:06:07,044
إنه الساعة الرابعة بعد الظهر. الغداء؟

123
00:06:07,068 --> 00:06:10,162
كُنت مُفلسة، وكذلك الغداء مجاني.
كنت دائماً أذهب.

124
00:06:10,618 --> 00:06:12,685
فيما بعد أدركت ماذا كان يحدث.

125
00:06:12,709 --> 00:06:17,255
مُدرائي المباشرين لم يخبروا
المدراء في المستوى الأعلى

126
00:06:17,279 --> 00:06:20,392
إن المبرمج الذي وظفوه في 
العمل المُهم كانت فتاة شابة

127
00:06:20,416 --> 00:06:24,346
والتي ترتدي الجنز والأحذية 
الرياضية في العمل.

128
00:06:25,174 --> 00:06:27,376
كُنت أعمل عملاً جيداً،
فقط مظهري كان خاطئاً

129
00:06:27,400 --> 00:06:29,099
لقد كان العمر الخطأ والجنس الخطأ.

130
00:06:29,123 --> 00:06:32,469
لذلك التوظيف بطريقة الجنس والعرق العمياء

131
00:06:32,493 --> 00:06:34,358
بالتأكيد تبدو جيدة بالنسبة لي.

132
00:06:35,031 --> 00:06:38,372
ولكن مع هذه الأنظمة،
إنه أكثر تعقيداً، والسبب:

133
00:06:38,968 --> 00:06:44,759
حالياً، الأنظمة الحسابية تستطيع أن
تستدل على كل الأشياء حولك

134
00:06:44,783 --> 00:06:46,655
من أجزائك الرقمية الصغيرة،

135
00:06:46,679 --> 00:06:49,012
حتى لو أنك لم تكشف هذه الأشياء.

136
00:06:49,506 --> 00:06:52,433
تستطيع أن تكشف توجهك الجنسي،

137
00:06:52,994 --> 00:06:54,300
ميزاتك الشخصية،

138
00:06:54,859 --> 00:06:56,232
ميولك السياسية.

139
00:06:56,830 --> 00:07:00,515
لديها قوة تنبئية بمستوى عالي من الدقة.

140
00:07:01,362 --> 00:07:03,940
تذّكر- حتى بالنسبة للأشياء التي لم تكشفها.

141
00:07:03,964 --> 00:07:05,555
هذا هو الاستدلال.

142
00:07:05,579 --> 00:07:08,840
لدي صديق والذي طور هكذا أنظمة حسابية

143
00:07:08,864 --> 00:07:12,505
ليتنبأ باحتمالية الإكتئاب المرضي أو
الإكتئاب ما بعد الولادة

144
00:07:12,529 --> 00:07:13,945
من بيانات وسائل الإعلام.

145
00:07:14,676 --> 00:07:16,103
النتائج كانت مؤثرة.

146
00:07:16,492 --> 00:07:19,849
نظامها يستطيع التنبؤ باحتمالية الإكتئاب

147
00:07:19,873 --> 00:07:23,776
أشهر قبل بداية أي أعراض --

148
00:07:23,800 --> 00:07:25,173
أشهر قبل.

149
00:07:25,197 --> 00:07:27,443
لا أعراض، يوجد هنا تنبؤ.

150
00:07:27,467 --> 00:07:32,279
تأمل أنه سيستعمل للتدخل المُبكر. عظيم!

151
00:07:32,911 --> 00:07:34,951
لكن الآن ضع هذا في حالة التوظيف.

152
00:07:36,027 --> 00:07:39,073
لذلك في مؤتمر مدراء الموارد البشرية هذا،

153
00:07:39,097 --> 00:07:43,806
اقتربت من مدير في المستوى الأعلى
في شركة كبيرة جداً،

154
00:07:43,830 --> 00:07:48,408
وقُلت لها،" انظري، ماذا لو، غير معروف لك،

155
00:07:48,432 --> 00:07:54,981
أن نظامك يُزيل الأشخاص ذوي الاحتمالية 
المستقبلية الكبيرة من الإكتئاب؟

156
00:07:55,761 --> 00:07:59,137
إنهم غير مكتئبين الآن،
ربما فقط في المستقبل، أكثر احتمالية.

157
00:07:59,923 --> 00:08:03,329
ماذا لو يُزل النساء الأكثر 
احتمالية لأن يكونوا حوامل

158
00:08:03,353 --> 00:08:05,939
في السنة المقبلة أوالسنتين
ولكن غير حوامل الآن؟

159
00:08:06,844 --> 00:08:12,480
ماذا لو يوظف الناس العدائيين
لأن ذلك هو ثقافة مكان عملك؟"

160
00:08:13,173 --> 00:08:15,864
لا تستطيع أن تحكي هذا بالنظر
إلى التقسيم من حيث الجنس.

161
00:08:15,888 --> 00:08:17,390
هؤلاء ربما يكونوا متوازنيين.

162
00:08:17,414 --> 00:08:20,971
وبما أن هذا تعّلم الآلة،
وليس تدوين تقليدي،

163
00:08:20,995 --> 00:08:25,902
لا يوجد هنا متغير يوجد
اسمه "خطر أعلى من الإكتئاب،"

164
00:08:25,926 --> 00:08:27,759
"خطر أعلى من الحمل،"

165
00:08:27,783 --> 00:08:29,517
"مقياس شخص عدواني."

166
00:08:29,995 --> 00:08:33,674
ليس فقط أنك لا تعلم ما يختار نظامك،

167
00:08:33,698 --> 00:08:36,021
أنت لا تعلم أيضاً أين يجب أن تبدأ النظر.

168
00:08:36,045 --> 00:08:37,291
إنه صندوق أسود.

169
00:08:37,315 --> 00:08:40,122
إنه يملك قوة تنبؤية،
لكنك لا تفهمها.

170
00:08:40,486 --> 00:08:42,855
سألتها "ما إجراءات الوقاية"، ستملكين

171
00:08:42,879 --> 00:08:46,552
لتتأكد أن صندوقك الأسود
لا يعمل أي شيء مضلل؟"

172
00:08:48,863 --> 00:08:52,741
نظرت ألي كما لو أنني
ضربتها بعشرة ذيول جِراء.

173
00:08:52,765 --> 00:08:54,013
(ضحك)

174
00:08:54,037 --> 00:08:56,078
حدقت إلي وقالت،

175
00:08:56,556 --> 00:09:00,889
" أنا لا أريد أن أسمع كلمة أخرى حول هذا."

176
00:09:01,458 --> 00:09:03,492
و دارت نفسها وذهبت بعيداً.

177
00:09:04,064 --> 00:09:05,550
إنتبهوا-- لم تكن وقحة.

178
00:09:05,574 --> 00:09:11,882
إنه كان واضحاً: الذي لا أعرفه ليس مشكلتي،
اذهب بعيداً، الموت يُحدق.

179
00:09:11,906 --> 00:09:13,152
(ضحك)

180
00:09:13,862 --> 00:09:17,701
انظر، هكذا نظام ربما يكون أقل تحيزاً

181
00:09:17,725 --> 00:09:19,828
مِن المدراء البشر في بعض الطرق.

182
00:09:19,852 --> 00:09:21,998
ويمكن أن يصنع إدراك عملي.

183
00:09:22,573 --> 00:09:24,223
ولكنه ممكن أن يقود أيضاً

184
00:09:24,247 --> 00:09:28,995
إلى الثبات ولكن إغلاق خفي لسوق العمل

185
00:09:29,019 --> 00:09:31,312
للناس بمستوى عالي من الإكتئاب.

186
00:09:31,753 --> 00:09:34,349
هل هذا هو النوع من المجتمع
الذي نريد أن نبنيه،

187
00:09:34,373 --> 00:09:36,658
بدون حتى أن نعلم أننا فعلنا هذا،

188
00:09:36,682 --> 00:09:40,646
لأننا حولّنا اتخاذ القرارات
إلى ألات لا نفهمها تماماً؟

189
00:09:41,265 --> 00:09:42,723
مشكلة أخرى وهي كالتالي:

190
00:09:43,314 --> 00:09:47,766
هذه الأنظمة غالباً ما تكون دُربت
على البيانات أُنتجت من أعمالنا،

191
00:09:47,790 --> 00:09:49,606
بصمات الإنسان.

192
00:09:50,188 --> 00:09:53,996
حسناً، ربما هُن فقط يعكسن تحيزنا،

193
00:09:54,020 --> 00:09:57,613
وهذه الأنظمة ربما قد تختار تحيزنا

194
00:09:57,637 --> 00:09:58,950
وتبالغ فيه

195
00:09:58,974 --> 00:10:00,392
وتعود لترينا اياه

196
00:10:00,416 --> 00:10:01,878
بينما نحن نُخبر أنفسنا،

197
00:10:01,902 --> 00:10:05,019
"نحن فقط نفعل الهدف، الحساب الحيادي."

198
00:10:06,314 --> 00:10:08,991
الباحثون وجدوا ذلك على غوغل،

199
00:10:10,134 --> 00:10:15,447
النساء أقل احتمالية من الرجال لإعلانات 
العمل بالنسبة للأعمال بالدخل العالي.

200
00:10:16,463 --> 00:10:18,993
والبحث في الأسماء الأميريكية الإفريقية

201
00:10:19,017 --> 00:10:23,723
أكثراحتمالية ليجلب إعلانات
مُقترحة تاريخ جنائي،


202
00:10:23,747 --> 00:10:25,314
حتى عندما لا توجد.

203
00:10:26,693 --> 00:10:30,242
هكذا تحيز مخفي
وخوارزميات الصندوق الأسود

204
00:10:30,266 --> 00:10:34,239
والتي لا يُغطيها الباحثون أحياناً
ولكن أحياناً لا نعلم،

205
00:10:34,263 --> 00:10:36,924
يُمكن أن يكون لديها عواقب
تغيير مدى الحياة.

206
00:10:37,958 --> 00:10:42,117
في ويسكونسن، حُكم على المدعى عليه 
ست سنوات في السجن

207
00:10:42,141 --> 00:10:43,496
لأجل تجاهل الشرطة.

208
00:10:44,824 --> 00:10:46,010
ربما لا تعلم هذا،

209
00:10:46,034 --> 00:10:50,032
لكن الخوارزميات وبازدياد تُستعمل في
اطلاق السراح وقرارات اصدار الأحكام.

210
00:10:50,056 --> 00:10:53,011
هو أراد أن يعرف:
كيف تُحسب هذه النتيجة؟

211
00:10:53,795 --> 00:10:55,460
إنه صندوق أسود تجاري.

212
00:10:55,484 --> 00:10:59,689
رفضت الشركة لأن تكون خوارزميتها
مُعترض عليها في المحكمة المفتوحة.

213
00:11:00,396 --> 00:11:05,928
ولكن شركة التحقيق بروبابليكا الغير ربحية،
دققت الخوارزمية

214
00:11:05,952 --> 00:11:07,968
مع البيانات العامة التي استطاعوا إيجادها،

215
00:11:07,992 --> 00:11:10,308
ووجدوا أن المُخرجات كانت مُتحيزة

216
00:11:10,332 --> 00:11:13,961
وقوته التنبؤية كانت مُحزنة،
بالكاد أفضل من الفرصة،

217
00:11:13,985 --> 00:11:18,401
وكان من الخطأ تصنيف المُدعى عليهم
السود كمجرمي المستقبل

218
00:11:18,425 --> 00:11:22,320
كضِعف المُدعى عليهم البيض.

219
00:11:23,891 --> 00:11:25,455
لذا، تأمل هذه الحالة :

220
00:11:26,103 --> 00:11:29,955
هذه المرأة كانت مُتأخرة لتقل أختها

221
00:11:29,979 --> 00:11:32,054
من المدرسة في بلدة بروارد، فلوريدا،

222
00:11:32,757 --> 00:11:35,113
توقفت في الشارع
مع صديقتها.

223
00:11:35,137 --> 00:11:39,236
واكتشفوا دراجة طفل غير مُقفلة
ودراجة على الرواق

224
00:11:39,260 --> 00:11:40,892
وبكل حماقة قفزوا عليها.

225
00:11:40,916 --> 00:11:43,515
بينما كانوا يستعجلون،
ظهرت امرأة وقالت،

226
00:11:43,539 --> 00:11:45,744
"مرحبا! تلك دراجة طفلي!"

227
00:11:45,768 --> 00:11:49,062
فقاموا بتركها ومشوا بعيداً،
ولكنهم كانوا قد أُعتقلوا.

228
00:11:49,086 --> 00:11:52,723
كانت مُخطئة، كانت حمقى، 
ولكنها كانت بعمر 18 سنة أيضاً.

229
00:11:52,747 --> 00:11:55,291
لديها العديد من المخالفات الصبيانية.

230
00:11:55,808 --> 00:12:00,993
في الوقت نفسه، ذلك الرجل كان
قد أُعتقل للسرقة مخزن المنزل --

231
00:12:01,017 --> 00:12:03,941
ما قيمته 85 دولار من الأغراض،
جريمة سخيفة مُشابهة.

232
00:12:04,766 --> 00:12:09,325
ولكن كان لديه جُرمي سطو مُسلح سابقين.

233
00:12:09,955 --> 00:12:13,437
ولكن الخوارزمية سجلت المرأة
كخطر كبير ولم تُسجله.

234
00:12:14,746 --> 00:12:18,620
بعد سنتين، وجدت شركة بروبابليكا
أن المرأة لم تكن قد ارتكبت مُخالفة.

235
00:12:18,644 --> 00:12:21,194
كان من الصعب عليها فقط أن
تحصل على عمل بسبب سجلها.

236
00:12:21,218 --> 00:12:23,294
هو، في الجهة المقابلة، ارتكب مخالفة

237
00:12:23,318 --> 00:12:27,154
وهو يخدم الآن فترة ثماني
سنوات سجن بسبب جريمة لاحقة.

238
00:12:28,088 --> 00:12:31,457
بكل وضوح، نحن بحاجة 
إلى تدقيق صناديقنا السود

239
00:12:31,481 --> 00:12:34,096
وأن لا يكون لديها هذا النوع
من القوة الغير مفحوصة.

240
00:12:34,120 --> 00:12:36,999
(تصفيق)

241
00:12:38,087 --> 00:12:42,329
تدقيق الحسابات عظيم وهام،
ولكنهن لا يحللن كل مشاكلنا.

242
00:12:42,353 --> 00:12:45,101
خذ قوة أخبار فيس بوك لُقمت بالخوارزمية --

243
00:12:45,125 --> 00:12:49,968
أنت تعلم، الشخص الذي صنف كل شيء
ويقرر ما يُظهر لك

244
00:12:49,992 --> 00:12:52,276
من كل الأصدقاء والصفحات التي تُتابعها.

245
00:12:52,898 --> 00:12:55,173
هل يجب أن ترى صورة طفل آخر؟

246
00:12:55,197 --> 00:12:56,393
(ضحك)

247
00:12:56,417 --> 00:12:59,013
ملاحظة مُتجهمة من شخص معروف؟

248
00:12:59,449 --> 00:13:01,305
الأخبار المُهمة ولكنها عويصة؟

249
00:13:01,329 --> 00:13:02,811
لا يوجد هنا أي اجابة صحيحة.

250
00:13:02,835 --> 00:13:05,494
يبحث فيس بوك عن أفضل الحلول
للتشابك على الموقع:

251
00:13:05,518 --> 00:13:06,933
اعجابات، مشاركات، تعليقات.

252
00:13:08,168 --> 00:13:10,864
في شهرآب من 2014،

253
00:13:10,888 --> 00:13:13,550
اندلعت الاحتجاجات في فيرغوسن، 
مُقاطعة ميسوري،

254
00:13:13,574 --> 00:13:17,991
بعد مقتل مراهق أميريكي-افريقي
من قبل ضابط شرطة أبيض،

255
00:13:18,015 --> 00:13:19,585
في ظروف غامضة.

256
00:13:19,974 --> 00:13:21,981
الأخبار عن الاحتجاجات كانت قد انتهت

257
00:13:22,005 --> 00:13:24,690
خوارزميتي الحسابية لم تُصفي تلقيم تويتر،

258
00:13:24,714 --> 00:13:26,664
ولكن هنا على الفيس بوك خاصتي.

259
00:13:27,182 --> 00:13:28,916
هل كانوا أصدقاء حسابي الفيس بوك؟

260
00:13:28,940 --> 00:13:30,972
عَطلتُ خوارزمية فيس بوك الحسابية،

261
00:13:31,472 --> 00:13:34,320
حيث إنه صعب، لأن فيس بوك
دائماً يُريد أن يجعلك

262
00:13:34,344 --> 00:13:36,380
تبقى تحت سيطرة الخوارزمية،

263
00:13:36,404 --> 00:13:38,642
وشاهدت أصدقائي كانوا يتكلمون عنه.

264
00:13:38,666 --> 00:13:41,175
أنه فقط أن الخوارزمية
لم تكن تُظهره لي.

265
00:13:41,199 --> 00:13:44,241
بحثت حول هذا ووجدت
أن هذا كان مُشكلة واسعة الانتشار.

266
00:13:44,265 --> 00:13:48,078
قصة فيرغوسن لم تكن
ضمن نظام الخوارزمية بشكل ودّي.

267
00:13:48,102 --> 00:13:49,273
إنه ليس"جدير بالمحبة."

268
00:13:49,297 --> 00:13:50,849
مَن سيضغط على "اعجاب؟"

269
00:13:51,500 --> 00:13:53,706
إنه حتى ليس من السهل أن 
تُعلق عليه.

270
00:13:53,730 --> 00:13:55,101
من دون الاعجابات والتعليقات،

271
00:13:55,125 --> 00:13:58,417
الخوارزمية كانت من المحتمل
أن تظهره لعدد أقل من الناس،

272
00:13:58,441 --> 00:13:59,983
لذلك نحن لا نُريد أن نرى هذا.

273
00:14:00,946 --> 00:14:02,174
بدلاً من، ذلك الاسبوع،

274
00:14:02,198 --> 00:14:04,496
خوارزمية فيس بوك ألقت الضوء على هذا،

275
00:14:04,520 --> 00:14:06,746
حيث إنه تحدي الدلو الجليدي ALS.

276
00:14:06,770 --> 00:14:10,512
سبب قيّم؛ الماء الجليدي المفرغ،
صُنع المعروف، جميل.

277
00:14:10,536 --> 00:14:12,440
ولكنها كانت خوارزمية
صديقة بامتياز.

278
00:14:13,219 --> 00:14:15,832
الآلة صنعت هذا القرار من أجلنا.

279
00:14:15,856 --> 00:14:19,353
محادثة مهمة جداً ولكنها صعبة

280
00:14:19,377 --> 00:14:20,932
ربما تكون قد غُطت بكثافة،

281
00:14:20,956 --> 00:14:23,652
ربما كان فيس بوك القناة الوحيدة.

282
00:14:24,117 --> 00:14:27,914
الآن،وأخيراً، هذه الأنظمة
يمكن أيضاً أن تكون مخطئة

283
00:14:27,938 --> 00:14:30,674
في الطُرق التي لا تُماثل الأنظمة الانسانية.

284
00:14:30,698 --> 00:14:33,620
هل تتذكرون واتسون،
نظام الذكاء الآلي لشركة IBM

285
00:14:33,644 --> 00:14:36,772
والذي أزال الإرباك مع
المتنافسين البشر على لعبة Jeopardy؟

286
00:14:37,131 --> 00:14:38,559
كان لاعب عظيم.

287
00:14:38,583 --> 00:14:42,152
ولكن فيما بعد، بالنسبة للعبة الأخيرة،
سُأل واتسون هذا السؤال:

288
00:14:42,659 --> 00:14:45,591
"مطاره الأكبر سُمي لبطل
الحرب العالمية الثانية،

289
00:14:45,615 --> 00:14:47,867
ثاني أكبر مطار لمعركة 
الحرب العالمية الثانية."

290
00:14:47,891 --> 00:14:49,269
(دندنة لموسيقا اللعبة الأخيرة)

291
00:14:49,582 --> 00:14:50,764
شيكاغو.

292
00:14:50,788 --> 00:14:52,158
الشخصين أجابوا بشكل صحيح.

293
00:14:52,697 --> 00:14:57,045
واتسون، على الجهة المقابلة،
أجاب "تورونتو"--

294
00:14:57,069 --> 00:14:58,887
عوضاً عن تصنيف مدينة أمريكية!

295
00:14:59,596 --> 00:15:02,497
النظام المُثير للاعجاب أيضاً يصنع أخطاء

296
00:15:02,521 --> 00:15:06,172
التي لا يُمكن أن يصنعها الإنسان،
الصنف الثاني سوف لن يصنعها.

297
00:15:06,823 --> 00:15:09,932
ذكاء ألتُنا الصناعي يُمكن أن يفشل

298
00:15:09,956 --> 00:15:13,056
في الطرق التي لا تناسب نماذج خطأ الانسان

299
00:15:13,080 --> 00:15:16,030
في الطرق التي لا نتوقعها
ونكون مُحضرين لها.

300
00:15:16,054 --> 00:15:19,692
سيكون من الحقارة أن لا يحصل
الشخص على عمل يكون مؤهل له،

301
00:15:19,716 --> 00:15:23,443
لكن سيكون استيعاب ثلاثي
إذا كان بسبب فائض مُكدس

302
00:15:23,467 --> 00:15:24,899
في بعض الروتين الفعلي.

303
00:15:24,923 --> 00:15:26,502
(ضحك)

304
00:15:26,526 --> 00:15:29,312
في شهر شهر مايو/أيارعام 2010،

305
00:15:29,336 --> 00:15:33,380
الإنهيار السريع في وول ستريت
المُغذى بحلقة ردود الفعل

306
00:15:33,404 --> 00:15:36,432
في خوارزمية "البيع" الحسابية
في وول ستريت

307
00:15:36,456 --> 00:15:40,640
أزال ما قيمته ترليليون دولار 
في 36 دقيقة.

308
00:15:41,722 --> 00:15:43,909
أنا لا أريد حتى أن أعتقد
ما يعني"الخطأ"

309
00:15:43,933 --> 00:15:47,522
في سياق الأسلحة المستقلة المُهلكة.

310
00:15:49,894 --> 00:15:53,684
لذا نعم، الناس دائماً يصنعون التحيز.

311
00:15:53,708 --> 00:15:55,884
صانعوا القرارات و حارسوا البوابات،

312
00:15:55,908 --> 00:15:59,401
في المحاكم، في الأخبار، في الحرب...

313
00:15:59,425 --> 00:16:02,463
هم يصنعون الأخطاء؛
ولكن تلك فكرتي بالضبط.

314
00:16:02,487 --> 00:16:06,008
نحن لا نستطيع الهرب من
هذه الأسئلة الصعبة.

315
00:16:06,596 --> 00:16:10,112
نحن لا نستطيع التعهد
بمسؤلياتنا إلى الآلات.

316
00:16:10,676 --> 00:16:14,884
(تصفيق)

317
00:16:17,089 --> 00:16:21,536
الذكاء الاصطناعي لا يعطينا
بطاقة "الخروج من الأخلاق بحرية".

318
00:16:22,742 --> 00:16:26,123
عالم البيانات فريد بيننسون
يدعو هذا غسيل الرياضيات.

319
00:16:26,147 --> 00:16:27,536
نحن نحتاج العكس.

320
00:16:27,560 --> 00:16:32,948
نريد أن نصقل التشكيك حول الخوارزمية،
الفحص الدقيق و الاستقصاء.

321
00:16:33,380 --> 00:16:36,578
نريد أن نتأكد أنه لدينا مسؤلية
حول ما يتعلق بالخوارزمية.

322
00:16:36,602 --> 00:16:39,047
التدقيق، الشفافية ذات المعنى.

323
00:16:39,380 --> 00:16:42,614
نريد أن نقبل أن نجلب
الرياضيات والحساب

324
00:16:42,638 --> 00:16:45,608
للأشياء الفوضوية،
العلاقات الانسانية المحملة بالقيمة

325
00:16:45,632 --> 00:16:48,016
لا تجلب الموضوعية؛

326
00:16:48,040 --> 00:16:51,673
بالأحرى، العلاقات الانسانية المعقدة
تنتهك الخوارزميات.

327
00:16:52,148 --> 00:16:55,635
نعم، نحن نستطيع ويجب علينا
أن نستخدم الحساب

328
00:16:55,659 --> 00:16:57,673
ليساعدنا على اتخاذ قرارات أفضل.

329
00:16:57,697 --> 00:17:03,029
ولكن يجب علينا أن نعترف
بمسؤليتنا الاخلاقية في الحكم،

330
00:17:03,053 --> 00:17:05,871
وأن نستخدم الخوارزميات
ضمن اطار العمل ذلك،

331
00:17:05,895 --> 00:17:10,830
ليس بمعنى أن نتنازل و نتعهد
بمسؤلياتنا

332
00:17:10,854 --> 00:17:13,308
لشخص آخر مثلاً
إنسان لإنسان.

333
00:17:13,807 --> 00:17:16,416
الذكاء الآلي هنا.

334
00:17:16,440 --> 00:17:19,861
والذي يعني أنه يجب علينا
ننتظر بشكل محكم أكثر من أي وقت مضى

335
00:17:19,885 --> 00:17:22,032
للقيم الانسانية والأخلاق الانسانية.

336
00:17:22,056 --> 00:17:23,210
شكراً لكم.

337
00:17:23,234 --> 00:17:28,254
(تصفيق)