1
00:00:00,739 --> 00:00:04,861
התחלתי את עבודתי הראשונה
כמתכנתת מחשבים

2
00:00:04,885 --> 00:00:06,841
בשנתי הראשונה בקולג' -

3
00:00:06,865 --> 00:00:08,372
כשהייתי נערה מתבגרת.

4
00:00:08,889 --> 00:00:10,621
זמן קצר לאחר שהתחלתי לעבוד,

5
00:00:10,645 --> 00:00:12,255
לכתוב תוכנות בחברה,

6
00:00:12,799 --> 00:00:16,434
מנהל שעבד בחברה
נכנס לחדר בו הייתי,

7
00:00:16,458 --> 00:00:17,726
ולחש אליי,

8
00:00:18,229 --> 00:00:21,090
"האם הוא יכול לדעת אם אני משקר?"

9
00:00:21,806 --> 00:00:23,883
לא היה אף אחד נוסף בחדר.

10
00:00:25,032 --> 00:00:29,421
"מי יכול לדעת אם אתה משקר?
ולמה אנחנו לוחשים?"

11
00:00:30,266 --> 00:00:33,373
המנהל הצביע על המחשב בחדר.

12
00:00:33,397 --> 00:00:36,493
"האם הוא יכול לדעת אם אני משקר?"

13
00:00:37,613 --> 00:00:41,975
טוב, המנהל הזה ניהל רומן עם פקידת הקבלה.

14
00:00:41,999 --> 00:00:43,111
(צחוק)

15
00:00:43,135 --> 00:00:44,901
ואני הייתי עדיין נערה מתבגרת.

16
00:00:45,447 --> 00:00:47,466
אז לחשתי-צעקתי אליו בחזרה,

17
00:00:47,490 --> 00:00:51,114
"כן, המחשב יכול לדעת אם אתה משקר."

18
00:00:51,138 --> 00:00:52,944
(צחוק)

19
00:00:52,968 --> 00:00:55,891
טוב, צחקתי, אבל בעצם,
הבדיחה היא על חשבוני.

20
00:00:55,915 --> 00:00:59,183
בימינו, קיימות מערכות ממוחשבות

21
00:00:59,207 --> 00:01:02,755
שיכולות לקלוט מצבים רגשיים ואפילו שקר

22
00:01:02,779 --> 00:01:04,823
באמצעות עיבוד פרצופים אנושיים.

23
00:01:05,248 --> 00:01:09,401
מפרסמים ואפילו ממשלות מאד מתעניינות בזה.

24
00:01:10,319 --> 00:01:12,181
אני נהייתי מתכנתת מחשבים

25
00:01:12,205 --> 00:01:15,318
כי הייתי מהילדים האלה 
שמשוגעים על מתמטיקה ומדעים.

26
00:01:15,942 --> 00:01:19,050
אבל איפשהו במהלך הדרך
למדתי על נשק גרעיני,

27
00:01:19,074 --> 00:01:22,026
והתחלתי להיות מאוד מודאגת
בעניין האתיקה של המדע.

28
00:01:22,050 --> 00:01:23,254
הייתי מוטרדת.

29
00:01:23,278 --> 00:01:25,919
עם זאת, בגלל נסיבות משפחתיות,

30
00:01:25,943 --> 00:01:29,241
נאלצתי להתחיל לעבוד
מוקדם ככל האפשר.

31
00:01:29,265 --> 00:01:32,564
אז חשבתי לעצמי,
אני אבחר בתחום טכני

32
00:01:32,588 --> 00:01:34,384
בו אמצא עבודה בקלות

33
00:01:34,408 --> 00:01:38,426
ולא אצטרך להתעסק
בשאלות אתיות מטרידות.

34
00:01:39,022 --> 00:01:40,551
אז בחרתי במחשבים.

35
00:01:40,575 --> 00:01:41,679
(צחוק)

36
00:01:41,703 --> 00:01:45,113
טוב, חה, חה, חה!
כל הצחוק הוא על חשבוני.

37
00:01:45,137 --> 00:01:47,891
בימינו, מדעני מחשבים בונים פלטפורמות

38
00:01:47,915 --> 00:01:52,124
אשר שולטות במה שמיליארד אנשים
יצפו בכל יום.

39
00:01:53,052 --> 00:01:56,874
הם מפתחים מכוניות
שיכולות להחליט את מי לדרוס.

40
00:01:57,707 --> 00:02:00,920
הם אפילו בונים מכונות, כלי נשק,

41
00:02:00,944 --> 00:02:03,229
שיכולים להרוג בני אדם במלחמה.

42
00:02:03,253 --> 00:02:06,024
מדובר באתיקה לאורך כל הדרך.

43
00:02:07,183 --> 00:02:09,241
הבינה המלאכותית כבר כאן.

44
00:02:09,823 --> 00:02:13,297
אנו משתמשים כעת במחשוב
כדי לקבל כל מיני החלטות.

45
00:02:13,321 --> 00:02:15,207
אבל גם החלטות מסוגים חדשים.

46
00:02:15,231 --> 00:02:20,403
אנחנו שואלים את המחשוב שאלות 
שיש להן יותר מתשובה נכונה אחת,

47
00:02:20,427 --> 00:02:21,629
שהן סוביקטיביות

48
00:02:21,653 --> 00:02:23,978
שאלות פתוחות ובעלות מטען ערכי.

49
00:02:24,002 --> 00:02:25,760
אנו שואלים שאלות כמו,

50
00:02:25,784 --> 00:02:27,434
"את מי צריכה החברה להעסיק?"

51
00:02:28,096 --> 00:02:30,855
"איזה עדכון מאיזה חבר
אנחנו צריכים להראות?"

52
00:02:30,879 --> 00:02:33,145
"מיהו האסיר שסביר יותר שיפשע שוב?"

53
00:02:33,514 --> 00:02:36,568
"על איזה אייטם חדשותי או סרט
כדאי להמליץ לאנשים?"

54
00:02:36,592 --> 00:02:39,964
תראו, כן, אנחנו משתמשים במחשבים 
כבר זמן רב,

55
00:02:39,988 --> 00:02:41,505
אבל זה שונה.

56
00:02:41,529 --> 00:02:43,596
זהו טוויסט היסטורי,

57
00:02:43,620 --> 00:02:48,957
כיוון שאנחנו לא יכולים להיעזר במחשוב 
בשאלות סובייקטיביות כאלו

58
00:02:48,981 --> 00:02:54,401
כפי שאנו נעזרים במחשוב 
להטסת מטוסים, לבניית גשרים,

59
00:02:54,425 --> 00:02:55,684
להגיע לירח.

60
00:02:56,449 --> 00:02:59,708
האם מטוסים בטוחים יותר?
האם הגשר התנדנד ונפל?

61
00:02:59,732 --> 00:03:04,230
בדברים האלו הסכמנו על
אמות מידה ברורות למדי,

62
00:03:04,254 --> 00:03:06,493
ויש לנו את חוקי הטבע שמדריכים אותנו.

63
00:03:06,517 --> 00:03:09,911
אין לנו עוגנים ואמות מידה כאלו

64
00:03:09,935 --> 00:03:13,898
עבור החלטות בעניינים אנושיים מסובכים.

65
00:03:13,922 --> 00:03:18,159
כדי לסבך את העניין עוד יותר,
התוכנה שלנו הולכת ונעשית חזקה יותר,

66
00:03:18,183 --> 00:03:21,956
אבל היא גם נעשית פחות שקופה
ויותר מורכבת.

67
00:03:22,542 --> 00:03:24,582
לאחרונה, בעשור החולף,

68
00:03:24,606 --> 00:03:27,335
אלגוריתמים מורכבים התקדמו מאד.

69
00:03:27,359 --> 00:03:29,349
הם יכולים לזהות פרצופים אנושיים.

70
00:03:29,985 --> 00:03:32,040
הם יכולים לפענח כתב יד.

71
00:03:32,436 --> 00:03:34,502
הם יכולים לזהות הונאת כרטיסי אשראי

72
00:03:34,526 --> 00:03:35,715
ולחסום דואר זבל

73
00:03:35,739 --> 00:03:37,776
והם יכולים לתרגם משפה לשפה.

74
00:03:37,800 --> 00:03:40,374
הם יכולים לזהות גידולים בהדמיה רפואית.

75
00:03:40,398 --> 00:03:42,603
הם יכולים לנצח בני אדם 
במשחקי שח-מט וגו.

76
00:03:43,264 --> 00:03:47,768
הרבה מההתקדמות הזו היא הודות לשיטה
שנקראת "לימוד מכונה".

77
00:03:48,175 --> 00:03:51,362
לימוד מכונה הוא שונה מתכנות מסורתי,

78
00:03:51,386 --> 00:03:54,971
בו נותנים למחשב הוראות מפורטות, 
מדויקות, מדוקדקות.

79
00:03:55,378 --> 00:03:59,560
זה יותר כמו שמכניסים למערכת הרבה נתונים,

80
00:03:59,584 --> 00:04:01,240
כולל נתונים לא מובנים,

81
00:04:01,264 --> 00:04:03,542
כמו אלה שאנו מייצרים בחיינו הדיגיטליים.

82
00:04:03,566 --> 00:04:06,296
והמערכת לומדת, 
על-ידי ערבול כל הנתונים הללו.

83
00:04:06,669 --> 00:04:08,195
כמו כן, באופן מכריע,

84
00:04:08,219 --> 00:04:12,599
המערכות הללו לא פועלות 
על פי ההיגיון של תשובה-אחת.

85
00:04:12,623 --> 00:04:15,582
הן לא מייצרות תשובה פשוטה;
זה יותר הסתברותי:

86
00:04:15,606 --> 00:04:19,089
"זו כנראה יותר מתאימה למה שאתה מחפש."

87
00:04:20,023 --> 00:04:23,093
היתרון הוא: 
השיטה הזו ממש חזקה.

88
00:04:23,117 --> 00:04:25,193
המנהל של מערכת AI של גוגל קרא לזה,

89
00:04:25,217 --> 00:04:27,414
"היעילות חסרת ההיגיון של נתונים."

90
00:04:27,791 --> 00:04:29,144
החיסרון הוא,

91
00:04:29,738 --> 00:04:32,809
שאנחנו לא באמת מבינים
מה המערכת למדה.

92
00:04:32,833 --> 00:04:34,420
בעצם, זה הכוח שלה.

93
00:04:34,946 --> 00:04:38,744
זה פחות כמו לתת הוראות למחשב;

94
00:04:39,200 --> 00:04:43,264
זה יותר כמו לאמן יצור שהוא גור-מכונה

95
00:04:43,288 --> 00:04:45,659
שאנחנו לא באמת מבינים ושולטים בו.

96
00:04:46,362 --> 00:04:47,913
אז זו הבעיה שלנו.

97
00:04:48,427 --> 00:04:52,689
זו בעיה כאשר הבינה המלאכותית הזו טועה.

98
00:04:52,713 --> 00:04:56,253
זו גם בעיה כאשר היא אינה טועה,

99
00:04:56,277 --> 00:04:59,905
מכיוון שאנו לא יודעים מהו מה
כאשר הבעיה היא סוביקטיבית.


100
00:04:59,929 --> 00:05:02,268
איננו יודעים מה הדבר הזה חושב.

101
00:05:03,493 --> 00:05:07,176
אז, חישבו על אלגוריתם של העסקת עובדים -

102
00:05:08,123 --> 00:05:12,434
מערכת שרגילה להעסיק אנשים,
משתמשת במערכות לימוד-מכונה.

103
00:05:13,052 --> 00:05:16,631
מערכת כזו הייתה מאומנת
על נתוני העסקה קודמים

104
00:05:16,655 --> 00:05:19,246
וניתנת לה הנחייה למצוא ולהעסיק

105
00:05:19,270 --> 00:05:22,308
אנשים בעלי ביצועים טובים
כמו אלה שכבר נמצאים בחברה.

106
00:05:22,814 --> 00:05:23,967
נשמע טוב.

107
00:05:23,991 --> 00:05:25,990
פעם השתתפתי בכנס

108
00:05:26,014 --> 00:05:29,139
אשר חיבר יחד 
מנהלי משאבי אנוש,

109
00:05:29,163 --> 00:05:30,363
אנשים ברמה גבוהה,

110
00:05:30,363 --> 00:05:32,092
המשתמשים במערכות כאלה להעסקת עובדים.

111
00:05:32,092 --> 00:05:33,622
הם מאד התלהבו.

112
00:05:33,646 --> 00:05:38,299
הם חשבו שזה יהפוך את תהליך ההעסקה 
לאובייקטיבי יותר, פחות מוטה,

113
00:05:38,323 --> 00:05:41,323
ויעניק לנשים ומיעוטים סיכוי גבוה יותר

114
00:05:41,347 --> 00:05:43,535
כנגד מנהלים אנושיים משוחדים.

115
00:05:43,559 --> 00:05:46,402
ותראו - העסקה על-ידי בני-אדם היא משוחדת.

116
00:05:47,099 --> 00:05:48,284
אני יודעת.

117
00:05:48,308 --> 00:05:51,313
באחד ממקומות העבודה המוקדמים שלי כמתכנתת,

118
00:05:51,337 --> 00:05:55,205
המנהלת הישירה שלי הייתה באה לפעמים 
למקום בו הייתי

119
00:05:55,229 --> 00:05:58,982
ממש מוקדם בבוקר
או ממש מאוחר אחר הצהריים,

120
00:05:59,006 --> 00:06:02,068
ואמרה לי, "זיינב,
בואי נלך לאכול ארוחת צהרים!"

121
00:06:02,724 --> 00:06:04,891
הייתי מבולבלת מהתזמון המוזר.

122
00:06:04,915 --> 00:06:07,044
עכשיו 4 אחר הצהריים. ארוחת צהריים?

123
00:06:07,068 --> 00:06:10,162
הייתי מרוששת, אז ארוחת חינם. תמיד הלכתי.

124
00:06:10,618 --> 00:06:12,685
מאוחר יותר הבנתי מה קרה.

125
00:06:12,709 --> 00:06:17,255
מנהליי הישירים לא הודו 
בפני הממונים עליהם

126
00:06:17,279 --> 00:06:20,392
שהמתכנתת שהם העסיקו בתפקיד רציני
היא נערה מתבגרת

127
00:06:20,416 --> 00:06:24,346
שבאה לעבודה בג'ינס וסניקרס.

128
00:06:25,174 --> 00:06:27,376
עשיתי עבודה טובה,
רק לא נראיתי נכון

129
00:06:27,400 --> 00:06:29,099
והייתי בגיל ובמגדר הלא נכונים.

130
00:06:29,123 --> 00:06:32,469
אז העסקת עובדים באופן עיוור למגדר וגזע

131
00:06:32,493 --> 00:06:34,358
בהחלט נשמע לי טוב.

132
00:06:35,031 --> 00:06:38,372
אבל עם המערכות האלו,
זה יותר מורכב, וזו הסיבה:

133
00:06:38,968 --> 00:06:44,759
כעת, מערכות ממוחשבות יכולות להסיק
כל מיני דברים עליכם

134
00:06:44,783 --> 00:06:46,655
מהפירורים הדיגיטליים שלכם,

135
00:06:46,679 --> 00:06:49,012
אפילו אם לא גילית את הדברים האלה.

136
00:06:49,506 --> 00:06:52,433
הם יכולות להסיק לגבי האוריינטציה
המינית שלכם,

137
00:06:52,994 --> 00:06:54,300
תכונות האופי שלכם,

138
00:06:54,859 --> 00:06:56,232
הנטייה הפוליטית שלכם.

139
00:06:56,830 --> 00:07:00,515
יש להן יכולת ניבוי עם רמות דיוק גבוהות.

140
00:07:01,362 --> 00:07:03,940
זכרו - אפילו לגבי דברים שלא גיליתם.

141
00:07:03,964 --> 00:07:05,555
זוהי הסקה.

142
00:07:05,579 --> 00:07:08,840
יש לי חברה שפיתחה
מערכות ממוחשבות שיכולות

143
00:07:08,864 --> 00:07:12,505
לנבא את הסיכון לדיכאון קליני
או דיכאון אחרי לידה

144
00:07:12,529 --> 00:07:13,945
מנתונים של מדיה חברתית.

145
00:07:14,676 --> 00:07:16,103
התוצאות הן מרשימות.

146
00:07:16,492 --> 00:07:19,849
המערכת שלה יכולה לנבא 
את הסיכון ללקות בדיכאון

147
00:07:19,873 --> 00:07:23,776
חודשים לפני הופעת סימפטומים כלשהם -

148
00:07:23,800 --> 00:07:25,173
חודשים לפני.

149
00:07:25,197 --> 00:07:27,443
אין סימפטומים, יש ניבוי.

150
00:07:27,467 --> 00:07:32,279
היא מקווה שישתמשו בזה 
להתערבות מוקדמת. נהדר!

151
00:07:32,911 --> 00:07:34,951
אבל עכשיו שימו את זה בהקשר של העסקה.

152
00:07:36,027 --> 00:07:39,073
אז בכנס הזה של מנהלי משאבי אנוש,

153
00:07:39,097 --> 00:07:43,806
פניתי אל מנהלת בכירה בחברה גדולה מאד,

154
00:07:43,830 --> 00:07:48,408
ואמרתי לה, "תראי,
מה אם, ללא ידיעתך,


155
00:07:48,432 --> 00:07:54,981
"המערכת שלך מנפה החוצה אנשים
עם סיכון עתידי גבוה ללקות בדיכאון?

156
00:07:55,761 --> 00:07:59,137
"הם לא מדוכאים כעת,
רק אולי בעתיד, בסיכון גבוה יותר.

157
00:07:59,923 --> 00:08:03,329
"מה אם היא מנפה החוצה נשים
שסיכוייהן גדולים יותר להרות

158
00:08:03,353 --> 00:08:05,939
"בשנה או שנתיים הקרובות
אך אינן בהריון כעת?

159
00:08:06,844 --> 00:08:12,480
"מה אם המערכת מעסיקה אנשים אגרסיביים
מכיוון שזו התרבות בסביבת העבודה שלך?"

160
00:08:13,173 --> 00:08:15,864
אתם לא יכולים לדעת את זה
על-ידי חלוקה למגדרים.

161
00:08:15,888 --> 00:08:17,390
אלו יכולים להיות מאוזנים.

162
00:08:17,414 --> 00:08:20,971
ומאחר וזאת למידת מכונה,
לא שיטת קידוד מסורתית,

163
00:08:20,995 --> 00:08:25,902
אין שם משתנה שמוגדר "סיכון מוגבר לדיכאון",

164
00:08:25,926 --> 00:08:27,759
"סיכון מוגבר להריון,"

165
00:08:27,783 --> 00:08:29,517
"סולם של אגרסיביות".

166
00:08:29,995 --> 00:08:33,674
לא רק שאינכם יודעים 
לפי מה המערכת שלכם בוחרת,

167
00:08:33,698 --> 00:08:36,021
אתם אפילו לא יודעים איפה להתחיל לחפש.

168
00:08:36,045 --> 00:08:37,291
זוהי קופסה שחורה.

169
00:08:37,315 --> 00:08:40,122
יש לה יכולת ניבוי,
אבל אתם לא מבינים אותה.

170
00:08:40,486 --> 00:08:42,855
"אילו אמצעי ביטחון," שאלתי, "יש לך

171
00:08:42,879 --> 00:08:46,552
"להבטיח שהקופסה השחורה שלך
לא עושה משהו מפוקפק?"

172
00:08:48,863 --> 00:08:52,741
היא הסתכלה עלי כאילו שדרכתי
על 10 זנבות של כלבלבים.

173
00:08:52,765 --> 00:08:54,013
(צחוק)

174
00:08:54,037 --> 00:08:56,078
היא נעצה בי מבט ואמרה,

175
00:08:56,556 --> 00:09:00,889
"אני לא רוצה לשמוע מילה נוספת על זה."

176
00:09:01,458 --> 00:09:03,492
והיא הסתובבה והלכה משם.

177
00:09:04,064 --> 00:09:05,550
שימו לב - היא לא הייתה גסת רוח.

178
00:09:05,574 --> 00:09:11,882
זה היה בבירור: מה שאני לא יודעת
הוא לא הבעיה שלי, לכי מכאן, מבט מקפיא.

179
00:09:11,906 --> 00:09:13,152
(צחוק)

180
00:09:13,862 --> 00:09:17,701
תראו, מערכת כזו
יכולה אפילו להיות פחות מוטה

181
00:09:17,725 --> 00:09:19,828
מאשר מנהלים אנושיים באופנים מסוימים.

182
00:09:19,852 --> 00:09:21,998
והיא יכולה להיות הגיונית מבחינה כלכלית.

183
00:09:22,573 --> 00:09:24,223
אבל היא גם יכולה להוביל

184
00:09:24,247 --> 00:09:28,995
לסגירה מתמשכת וחמקנית של שוק העבודה

185
00:09:29,019 --> 00:09:31,312
בפני אנשים עם סיכון גבוה ללקות בדיכאון.

186
00:09:31,753 --> 00:09:34,349
האם זו החברה שאנחנו רוצים לבנות,

187
00:09:34,373 --> 00:09:36,658
מבלי שנדע אפילו שאנחנו עושים זאת,

188
00:09:36,682 --> 00:09:40,646
בגלל שהשארנו את קבלת ההחלטות
בידי מכונות שאנחנו לא מבינים עד הסוף?

189
00:09:41,265 --> 00:09:42,723
בעיה נוספת היא זו:

190
00:09:43,314 --> 00:09:47,766
המערכות האלו לעיתים קרובות מכוונות 
לנתונים המיוצרים על ידי הפעולות שלנו,

191
00:09:47,790 --> 00:09:49,606
חותם אנושי.

192
00:09:50,188 --> 00:09:53,996
אם כך, הן יכולות פשוט לשקף 
את ההעדפות שלנו.

193
00:09:54,020 --> 00:09:57,613
והמערכות האלו יכולות להיטפל להעדפות שלנו

194
00:09:57,637 --> 00:09:58,950
ולהגביר אותן

195
00:09:58,974 --> 00:10:00,392
ולשקף לנו אותן בחזרה,

196
00:10:00,416 --> 00:10:01,878
בזמן שאנחנו אומרים לעצמנו,

197
00:10:01,902 --> 00:10:05,019
"אנחנו עוסקים במחשוב אובייקטיבי וניטרלי."

198
00:10:06,314 --> 00:10:08,991
חוקרים מצאו שבגוגל,

199
00:10:10,134 --> 00:10:15,447
לנשים יש סיכוי נמוך יותר מאשר לגברים 
לקבל מודעות דרושים לתפקידים עם שכר גבוה.

200
00:10:16,463 --> 00:10:18,993
וחיפוש של שמות אפריקנים-אמריקנים

201
00:10:19,017 --> 00:10:23,723
יעלה בסיכוי גבוה יותר פרסומות
המרמזות על עבר פלילי,

202
00:10:23,747 --> 00:10:25,314
אפילו כאשר אין כזה.

203
00:10:26,693 --> 00:10:30,242
להטיות חבויות כאלה
ואלגוריתמים של קופסא שחורה

204
00:10:30,266 --> 00:10:34,239
שחוקרים מגלים לפעמים
אבל לפעמים איננו יודעים עליהם,

205
00:10:34,263 --> 00:10:36,924
יכולות להיות השלכות משנות חיים.

206
00:10:37,958 --> 00:10:42,117
בוויסקונסין, נאשם
נשפט לשש שנים בכלא

207
00:10:42,141 --> 00:10:43,496
על התחמקות מהמשטרה.

208
00:10:44,674 --> 00:10:46,070
יכול להיות שאתם לא יודעים זאת,

209
00:10:46,070 --> 00:10:50,032
אך השימוש באלגוריתמים הולך וגובר
בהחלטות על ענישה וחנינה.

210
00:10:50,056 --> 00:10:53,011
הוא רצה לדעת:
איך המספר הזה חושב?

211
00:10:53,795 --> 00:10:55,460
זו היא קופסה שחורה מסחרית.

212
00:10:55,484 --> 00:10:59,689
החברה סירבה לאפשר לאתגר את האלגוריתם
שלה באולם בית המשפט

213
00:11:00,396 --> 00:11:05,928
אבל פרו-פבליקה, חברת חקירות 
ללא מטרות רווח, בדקה את האלגוריתם הזה

214
00:11:05,952 --> 00:11:07,968
עם כל הנתונים הציבוריים שיכלו למצוא,

215
00:11:07,992 --> 00:11:10,308
וגילו שהתוצאות היו מוטות

216
00:11:10,332 --> 00:11:13,961
וכוח הניבוי שלו היה מפחיד,
בקושי יותר טוב ממזל,

217
00:11:13,985 --> 00:11:18,401
והוא הגדיר באופן מוטעה
נאשם שחור כפושע עתידי

218
00:11:18,425 --> 00:11:22,320
בשיעור כפול מאשר נאשם לבן.

219
00:11:23,891 --> 00:11:25,455
אז, בחנו את המקרה הבא:

220
00:11:26,103 --> 00:11:29,955
האישה הזו איחרה לאסוף
את אחותה החורגת

221
00:11:29,979 --> 00:11:32,054
מבית ספר במחוז ברווארד, בפלורידה,

222
00:11:32,757 --> 00:11:35,113
והיא רצה ברחוב עם חברתה.

223
00:11:35,137 --> 00:11:39,236
הן הבחינו באופני ילדים ובקורקינט
שהיו לא קשורים במרפסת


224
00:11:39,260 --> 00:11:40,892
ובטיפשות קפצו עליהם.

225
00:11:40,916 --> 00:11:43,515
בעוד הן דוהרות, 
אישה הגיחה ואמרה,

226
00:11:43,549 --> 00:11:45,754
" הי, אלו האופניים של הילד שלי!"

227
00:11:45,768 --> 00:11:49,062
הן זרקו אותם, הן הלכו משם,
אבל הן נעצרו.

228
00:11:49,086 --> 00:11:52,723
היא טעתה, היא עשתה שטות,
אבל היא גם הייתה רק בת 18.

229
00:11:52,747 --> 00:11:55,291
היו לה שתי עברות נעורים קודמות.

230
00:11:55,808 --> 00:12:00,993
בינתיים, האיש הזה נעצר על גניבה מחנות
בהום דיפו -

231
00:12:01,017 --> 00:12:03,941
דברים בשווי של 85 דולר,
פשע חסר חשיבות דומה.

232
00:12:04,766 --> 00:12:09,325
אבל היו לו שתי הרשעות קודמות
על שוד מזויין.

233
00:12:09,955 --> 00:12:13,437
אבל האלגוריתם חישב אותה בסיכון גבוה,
ולא אותו.

234
00:12:14,746 --> 00:12:18,620
שנתיים לאחר מכן, פרו-פבליקה מצאה
שהיא לא פשעה שוב.

235
00:12:18,644 --> 00:12:21,194
רק היה לה קשה למצוא עבודה
עם העבר שלה.

236
00:12:21,218 --> 00:12:23,294
הוא, לעומת זאת, כן פשע שוב

237
00:12:23,318 --> 00:12:27,154
וכעת הוא מרצה עונש של שמונה שנות מאסר
בגלל פשע מאוחר יותר.

238
00:12:28,088 --> 00:12:31,457
בברור, עלינו לבקר 
את הקופסאות השחורות שלנו

239
00:12:31,481 --> 00:12:34,096
ולא לאפשר להן סוג כזה של כוח בלתי בדוק.

240
00:12:34,120 --> 00:12:36,999
(מחיאות כפיים)

241
00:12:38,087 --> 00:12:42,329
ביקורות הן נהדרות וחשובות
אך הן לא פותרות את כל בעיותינו.

242
00:12:42,353 --> 00:12:45,101
קחו למשל את האלגוריתם החזק
של הפיד החדשותי של פייסבוק -

243
00:12:45,125 --> 00:12:49,968
אתם יודעים, זה שמדרג כל דבר 
ומחליט מה להראות לכם

244
00:12:49,992 --> 00:12:52,276
מכל החברים והדפים שאחריהם אתם עוקבים.

245
00:12:52,898 --> 00:12:55,173
האם צריך להראות לכם 
תמונה אחרת של תינוק?

246
00:12:55,197 --> 00:12:56,393
(צחוק)

247
00:12:56,417 --> 00:12:59,013
הערה זועפת מאיזה מכר?

248
00:12:59,449 --> 00:13:01,305
פריט חדשותי חשוב אך קשה לצפייה?

249
00:13:01,329 --> 00:13:02,811
אין כאן תשובה נכונה.

250
00:13:02,835 --> 00:13:05,494
פייסבוק מְיַטֶב לצורך מעורבות באתר:

251
00:13:05,518 --> 00:13:06,933
לייקים, שיתופים, תגובות.

252
00:13:08,168 --> 00:13:10,864
באוגוסט 2014,

253
00:13:10,888 --> 00:13:13,550
פרצה מחאה בפרגוסון, מיזורי

254
00:13:13,574 --> 00:13:17,991
לאחר הריגתו של נער אפריקני-אמריקני
על-ידי שוטר לבן,

255
00:13:18,015 --> 00:13:19,585
בנסיבות חשודות.

256
00:13:19,974 --> 00:13:21,981
החדשות בנוגע למחאה הופיעו בגדול

257
00:13:22,005 --> 00:13:24,690
בדף הטוויטר שלי שהוא ללא סינון אלגוריתמי,

258
00:13:24,714 --> 00:13:26,664
אך לא הופיעו כלל בדף הפייסבוק שלי.

259
00:13:27,182 --> 00:13:28,916
האם היו אלה חבריי בפייסבוק?

260
00:13:28,940 --> 00:13:30,972
ניטרלתי את האלגוריתם של הפייסבוק,

261
00:13:31,472 --> 00:13:34,320
דבר שקשה לעשות כי פייסבוק רוצה שתהיו

262
00:13:34,344 --> 00:13:36,380
כל הזמן תחת שליטת האלגוריתם,

263
00:13:36,404 --> 00:13:38,642
וראיתי שחבריי דיברו על זה.

264
00:13:38,666 --> 00:13:41,175
רק שהאלגוריתם לא הראה לי את זה.

265
00:13:41,199 --> 00:13:44,241
בדקתי את זה ומצאתי
שזו הייתה בעיה נרחבת.

266
00:13:44,265 --> 00:13:48,078
הסיפור מפרגוסון לא היה ידידותי לאלגוריתם.

267
00:13:48,102 --> 00:13:49,273
הוא לא "אהוב".

268
00:13:49,297 --> 00:13:50,849
מי יסמן לזה "לייק"?

269
00:13:51,500 --> 00:13:53,706
אפילו לא קל להגיב עליו.

270
00:13:53,730 --> 00:13:55,101
ללא לייקים ותגובות,

271
00:13:55,125 --> 00:13:58,417
סביר שהאלגוריתם הראה אותו 
אפילו לפחות אנשים,

272
00:13:58,441 --> 00:13:59,983
אז לא זכינו לראות את זה.

273
00:14:00,946 --> 00:14:02,174
במקומו, באותו שבוע,

274
00:14:02,198 --> 00:14:04,496
האלגוריתם של פייסבוק הדגיש את זה,

275
00:14:04,520 --> 00:14:06,746
זהו אתגר דלי הקרח של ALS.

276
00:14:06,770 --> 00:14:10,512
מטרה טובה; שפוך דלי קרח,
תרום כסף, יופי.

277
00:14:10,536 --> 00:14:12,440
אבל הוא היה ידידותי ביותר לאלגוריתם.

278
00:14:13,219 --> 00:14:15,832
המכונה קיבלה את ההחלטה הזו עבורנו.

279
00:14:15,856 --> 00:14:19,353
שיחה חשובה מאד אך קשה

280
00:14:19,377 --> 00:14:20,932
אולי הייתה מושתקת,

281
00:14:20,956 --> 00:14:23,652
אם פייסבוק היה הערוץ היחיד.

282
00:14:24,117 --> 00:14:27,914
כעת, לבסוף, המערכות האלה 
גם יכולות לטעות

283
00:14:27,938 --> 00:14:30,674
בצורות שאינן דומות למערכות אנושיות.

284
00:14:30,698 --> 00:14:33,620
האם אתם זוכרים את ווטסון,
מערכת הבינה המלאכותית של IBM

285
00:14:33,644 --> 00:14:36,772
שטאטאה את הרצפה
עם מתחרה אנושי במשחק "סכנה"?

286
00:14:37,131 --> 00:14:38,559
הוא היה שחקן נהדר.

287
00:14:38,583 --> 00:14:42,152
אבל אז, במשימה האחרונה,
ווטסון נשאל את השאלה הבאה:

288
00:14:42,659 --> 00:14:45,591
"שמו של שדה התעופה הכי גדול שלו
נקרא ע"ש גיבור מלחמת העולם ה-2,

289
00:14:45,615 --> 00:14:47,867
השני הכי גדול 
על שם קרב במלחמת העולם ה-II."

290
00:14:47,891 --> 00:14:49,269
(מזמזת את הנעימה של השלב הסופי במשחק)

291
00:14:49,582 --> 00:14:50,764
שיקגו.

292
00:14:50,788 --> 00:14:52,158
שני האנשים ענו נכון.

293
00:14:52,697 --> 00:14:57,045
ווטסון, לעומת זאת, ענה "טורונטו" -

294
00:14:57,069 --> 00:14:58,887
בקטגוריה של ערים בארצות הברית!

295
00:14:59,596 --> 00:15:02,497
המערכת המרשימה גם עשתה טעות

296
00:15:02,521 --> 00:15:06,172
שבן אנוש לעולם לא היה עושה,
שתלמיד כיתה ב' לא היה עושה.

297
00:15:06,823 --> 00:15:09,932
הבינה המלאכותית שלנו יכולה להכשל

298
00:15:09,956 --> 00:15:13,056
בדרכים שאינן תואמות
לדפוסי טעויות אנושיות,

299
00:15:13,080 --> 00:15:16,030
בדרכים שאנו לא מצפים להן
ולא מוכנים להן.

300
00:15:16,054 --> 00:15:19,692
זה יהיה מחורבן לא לקבל עבודה
שאתה מוכשר אליה,

301
00:15:19,716 --> 00:15:23,443
אבל זה יעצבן פי שלוש
אם זה יהיה בגלל גלישת מחסנית

302
00:15:23,467 --> 00:15:24,899
באיזו פונקציה תכנותית.

303
00:15:24,923 --> 00:15:26,502
(צחוק)

304
00:15:26,526 --> 00:15:29,312
במאי 2010,

305
00:15:29,336 --> 00:15:33,380
התרסקות בזק בוול סטריט
שהתגברה עקב תגובה חוזרת ונשנית

306
00:15:33,404 --> 00:15:36,432
של אלגוריתם ה"מכירה" של וול סטריט

307
00:15:36,456 --> 00:15:40,640
מחקה ערך של טריליון דולר
ב- 36 דקות.

308
00:15:41,722 --> 00:15:43,909
אני אפילו לא רוצה לחשוב 
מה המשמעות של "טעות"

309
00:15:43,933 --> 00:15:47,522
בהקשר של נשק קטלני אוטונומי.

310
00:15:49,894 --> 00:15:53,684
אז כן, אנשים מאז ומתמיד עשו הטיות.

311
00:15:53,708 --> 00:15:55,884
מקבלי החלטות ושומרי הסף,

312
00:15:55,908 --> 00:15:59,401
בבתי משפט, בחדשות, במלחמה...

313
00:15:59,425 --> 00:16:02,463
הם עושים טעויות:
אבל זו בדיוק הטענה שלי.

314
00:16:02,487 --> 00:16:06,008
אנחנו לא יכולים לברוח
מהשאלות הקשות הללו.

315
00:16:06,596 --> 00:16:10,112
איננו יכולים להעביר 
את האחריות שלנו למכונות.

316
00:16:10,676 --> 00:16:14,884
(מחיאות כפים)

317
00:16:17,089 --> 00:16:21,536
הבינה המלאכותית לא נותנת לנו 
אישור להשתחרר מהאתיקה.

318
00:16:22,742 --> 00:16:26,123
מדען הנתונים פרד בנסון
מכנה זאת "שטיפה-מתמטית".

319
00:16:26,147 --> 00:16:27,536
אנחנו זקוקים לדבר ההפוך.

320
00:16:27,560 --> 00:16:32,948
עלינו לפתח אלגוריתם לחשדנות,
בחינה מדוקדקת וחקירה.

321
00:16:33,380 --> 00:16:36,578
עלינו להבטיח שיש לנו 
נטילת אחריות אלגוריתמית,

322
00:16:36,602 --> 00:16:39,047
ביקורות ושקיפות משמעותית.

323
00:16:39,380 --> 00:16:42,614
עלינו לקבל שהכנסת מתמטיקה ומחשוב

324
00:16:42,638 --> 00:16:45,608
אל עניינים אנושיים מסובכים, עמוסי ערך

325
00:16:45,632 --> 00:16:48,016
לא מביאה אוביקטיביות;

326
00:16:48,040 --> 00:16:51,673
אלא, המורכבות של עניינים אנושיים
חודרת אל האלגוריתמים.

327
00:16:52,148 --> 00:16:55,635
כן, אנו יכולים וצריכים להשתמש במחשוב

328
00:16:55,659 --> 00:16:57,673
כדי לעזור לנו לקבל החלטות טובות יותר.

329
00:16:57,697 --> 00:17:03,029
אך עלינו לקחת בעלות 
על האחריות המוסרית והשיפוטיות שלנו,

330
00:17:03,053 --> 00:17:05,871
ולהשתמש באלגוריתמים במסגרת הזו,

331
00:17:05,895 --> 00:17:10,830
לא כאמצעי להתפטר 
או להעביר את האחריות שלנו

332
00:17:10,854 --> 00:17:13,308
מאחד לשני כמו מאדם לאדם.

333
00:17:13,807 --> 00:17:16,416
הבינה המלאכותית כבר כאן.

334
00:17:16,440 --> 00:17:19,861
זה אומר שעלינו לשמור יותר מאי פעם

335
00:17:19,885 --> 00:17:22,032
על ערכים אנושיים ואתיקה אנושית.

336
00:17:22,056 --> 00:17:23,210
תודה רבה.

337
00:17:23,234 --> 00:17:28,254
(מחיאות כפיים)