WEBVTT

00:00:00.739 --> 00:00:04.861
התחלתי את עבודתי הראשונה
כמתכנתת מחשבים

00:00:04.885 --> 00:00:06.841
בשנתי הראשונה בקולג' -

00:00:06.865 --> 00:00:08.372
כשהייתי נערה מתבגרת.

NOTE Paragraph

00:00:08.889 --> 00:00:10.621
זמן קצר לאחר שהתחלתי לעבוד,

00:00:10.645 --> 00:00:12.255
לכתוב תוכנות בחברה,

00:00:12.799 --> 00:00:16.434
מנהל שעבד בחברה
נכנס לחדר בו הייתי,

00:00:16.458 --> 00:00:17.726
ולחש אליי,

00:00:18.229 --> 00:00:21.090
"האם הוא יכול לדעת אם אני משקר?"

00:00:21.806 --> 00:00:23.883
לא היה אף אחד נוסף בחדר.

NOTE Paragraph

00:00:25.032 --> 00:00:29.421
"מי יכול לדעת אם אתה משקר?
ולמה אנחנו לוחשים?"

NOTE Paragraph

00:00:30.266 --> 00:00:33.373
המנהל הצביע על המחשב בחדר.

00:00:33.397 --> 00:00:36.493
"האם הוא יכול לדעת אם אני משקר?"

00:00:37.613 --> 00:00:41.975
טוב, המנהל הזה ניהל רומן עם פקידת הקבלה.

NOTE Paragraph

00:00:41.999 --> 00:00:43.111
(צחוק)

NOTE Paragraph

00:00:43.135 --> 00:00:44.901
ואני הייתי עדיין נערה מתבגרת.

00:00:45.447 --> 00:00:47.466
אז לחשתי-צעקתי אליו בחזרה,

00:00:47.490 --> 00:00:51.114
"כן, המחשב יכול לדעת אם אתה משקר."

NOTE Paragraph

00:00:51.138 --> 00:00:52.944
(צחוק)

NOTE Paragraph

00:00:52.968 --> 00:00:55.891
טוב, צחקתי, אבל בעצם,
הבדיחה היא על חשבוני.

00:00:55.915 --> 00:00:59.183
בימינו, קיימות מערכות ממוחשבות

00:00:59.207 --> 00:01:02.755
שיכולות לקלוט מצבים רגשיים ואפילו שקר

00:01:02.779 --> 00:01:04.823
באמצעות עיבוד פרצופים אנושיים.

00:01:05.248 --> 00:01:09.401
מפרסמים ואפילו ממשלות מאד מתעניינות בזה.

NOTE Paragraph

00:01:10.319 --> 00:01:12.181
אני נהייתי מתכנתת מחשבים

00:01:12.205 --> 00:01:15.318
כי הייתי מהילדים האלה 
שמשוגעים על מתמטיקה ומדעים.

00:01:15.942 --> 00:01:19.050
אבל איפשהו במהלך הדרך
למדתי על נשק גרעיני,

00:01:19.074 --> 00:01:22.026
והתחלתי להיות מאוד מודאגת
בעניין האתיקה של המדע.

00:01:22.050 --> 00:01:23.254
הייתי מוטרדת.

00:01:23.278 --> 00:01:25.919
עם זאת, בגלל נסיבות משפחתיות,

00:01:25.943 --> 00:01:29.241
נאלצתי להתחיל לעבוד
מוקדם ככל האפשר.

00:01:29.265 --> 00:01:32.564
אז חשבתי לעצמי,
אני אבחר בתחום טכני

00:01:32.588 --> 00:01:34.384
בו אמצא עבודה בקלות

00:01:34.408 --> 00:01:38.426
ולא אצטרך להתעסק
בשאלות אתיות מטרידות.

00:01:39.022 --> 00:01:40.551
אז בחרתי במחשבים.

NOTE Paragraph

00:01:40.575 --> 00:01:41.679
(צחוק)

NOTE Paragraph

00:01:41.703 --> 00:01:45.113
טוב, חה, חה, חה!
כל הצחוק הוא על חשבוני.

00:01:45.137 --> 00:01:47.891
בימינו, מדעני מחשבים בונים פלטפורמות

00:01:47.915 --> 00:01:52.124
אשר שולטות במה שמיליארד אנשים
יצפו בכל יום.

00:01:53.052 --> 00:01:56.874
הם מפתחים מכוניות
שיכולות להחליט את מי לדרוס.

00:01:57.707 --> 00:02:00.920
הם אפילו בונים מכונות, כלי נשק,

00:02:00.944 --> 00:02:03.229
שיכולים להרוג בני אדם במלחמה.

00:02:03.253 --> 00:02:06.024
מדובר באתיקה לאורך כל הדרך.

NOTE Paragraph

00:02:07.183 --> 00:02:09.241
הבינה המלאכותית כבר כאן.

00:02:09.823 --> 00:02:13.297
אנו משתמשים כעת במחשוב
כדי לקבל כל מיני החלטות.

00:02:13.321 --> 00:02:15.207
אבל גם החלטות מסוגים חדשים.

00:02:15.231 --> 00:02:20.403
אנחנו שואלים את המחשוב שאלות 
שיש להן יותר מתשובה נכונה אחת,

00:02:20.427 --> 00:02:21.629
שהן סוביקטיביות

00:02:21.653 --> 00:02:23.978
שאלות פתוחות ובעלות מטען ערכי.

NOTE Paragraph

00:02:24.002 --> 00:02:25.760
אנו שואלים שאלות כמו,

00:02:25.784 --> 00:02:27.434
"את מי צריכה החברה להעסיק?"

00:02:28.096 --> 00:02:30.855
"איזה עדכון מאיזה חבר
אנחנו צריכים להראות?"

00:02:30.879 --> 00:02:33.145
"מיהו האסיר שסביר יותר שיפשע שוב?"

00:02:33.514 --> 00:02:36.568
"על איזה אייטם חדשותי או סרט
כדאי להמליץ לאנשים?"

NOTE Paragraph

00:02:36.592 --> 00:02:39.964
תראו, כן, אנחנו משתמשים במחשבים 
כבר זמן רב,

00:02:39.988 --> 00:02:41.505
אבל זה שונה.

00:02:41.529 --> 00:02:43.596
זהו טוויסט היסטורי,

00:02:43.620 --> 00:02:48.957
כיוון שאנחנו לא יכולים להיעזר במחשוב 
בשאלות סובייקטיביות כאלו

00:02:48.981 --> 00:02:54.401
כפי שאנו נעזרים במחשוב 
להטסת מטוסים, לבניית גשרים,

00:02:54.425 --> 00:02:55.684
להגיע לירח.

00:02:56.449 --> 00:02:59.708
האם מטוסים בטוחים יותר?
האם הגשר התנדנד ונפל?

00:02:59.732 --> 00:03:04.230
בדברים האלו הסכמנו על
אמות מידה ברורות למדי,

00:03:04.254 --> 00:03:06.493
ויש לנו את חוקי הטבע שמדריכים אותנו.

00:03:06.517 --> 00:03:09.911
אין לנו עוגנים ואמות מידה כאלו

00:03:09.935 --> 00:03:13.898
עבור החלטות בעניינים אנושיים מסובכים.

NOTE Paragraph

00:03:13.922 --> 00:03:18.159
כדי לסבך את העניין עוד יותר,
התוכנה שלנו הולכת ונעשית חזקה יותר,

00:03:18.183 --> 00:03:21.956
אבל היא גם נעשית פחות שקופה
ויותר מורכבת.

00:03:22.542 --> 00:03:24.582
לאחרונה, בעשור החולף,

00:03:24.606 --> 00:03:27.335
אלגוריתמים מורכבים התקדמו מאד.

00:03:27.359 --> 00:03:29.349
הם יכולים לזהות פרצופים אנושיים.

00:03:29.985 --> 00:03:32.040
הם יכולים לפענח כתב יד.

00:03:32.436 --> 00:03:34.502
הם יכולים לזהות הונאת כרטיסי אשראי

00:03:34.526 --> 00:03:35.715
ולחסום דואר זבל

00:03:35.739 --> 00:03:37.776
והם יכולים לתרגם משפה לשפה.

00:03:37.800 --> 00:03:40.374
הם יכולים לזהות גידולים בהדמיה רפואית.

00:03:40.398 --> 00:03:42.603
הם יכולים לנצח בני אדם 
במשחקי שח-מט וגו.

NOTE Paragraph

00:03:43.264 --> 00:03:47.768
הרבה מההתקדמות הזו היא הודות לשיטה
שנקראת "לימוד מכונה".

00:03:48.175 --> 00:03:51.362
לימוד מכונה הוא שונה מתכנות מסורתי,

00:03:51.386 --> 00:03:54.971
בו נותנים למחשב הוראות מפורטות, 
מדויקות, מדוקדקות.

00:03:55.378 --> 00:03:59.560
זה יותר כמו שמכניסים למערכת הרבה נתונים,

00:03:59.584 --> 00:04:01.240
כולל נתונים לא מובנים,

00:04:01.264 --> 00:04:03.542
כמו אלה שאנו מייצרים בחיינו הדיגיטליים.

00:04:03.566 --> 00:04:06.296
והמערכת לומדת, 
על-ידי ערבול כל הנתונים הללו.

00:04:06.669 --> 00:04:08.195
כמו כן, באופן מכריע,

00:04:08.219 --> 00:04:12.599
המערכות הללו לא פועלות 
על פי ההיגיון של תשובה-אחת.

00:04:12.623 --> 00:04:15.582
הן לא מייצרות תשובה פשוטה;
זה יותר הסתברותי:

00:04:15.606 --> 00:04:19.089
"זו כנראה יותר מתאימה למה שאתה מחפש."

NOTE Paragraph

00:04:20.023 --> 00:04:23.093
היתרון הוא: 
השיטה הזו ממש חזקה.

00:04:23.117 --> 00:04:25.193
המנהל של מערכת AI של גוגל קרא לזה,

00:04:25.217 --> 00:04:27.414
"היעילות חסרת ההיגיון של נתונים."

00:04:27.791 --> 00:04:29.144
החיסרון הוא,

00:04:29.738 --> 00:04:32.809
שאנחנו לא באמת מבינים
מה המערכת למדה.

00:04:32.833 --> 00:04:34.420
בעצם, זה הכוח שלה.

00:04:34.946 --> 00:04:38.744
זה פחות כמו לתת הוראות למחשב;

00:04:39.200 --> 00:04:43.264
זה יותר כמו לאמן יצור שהוא גור-מכונה

00:04:43.288 --> 00:04:45.659
שאנחנו לא באמת מבינים ושולטים בו.

00:04:46.362 --> 00:04:47.913
אז זו הבעיה שלנו.

00:04:48.427 --> 00:04:52.689
זו בעיה כאשר הבינה המלאכותית הזו טועה.

00:04:52.713 --> 00:04:56.253
זו גם בעיה כאשר היא אינה טועה,

00:04:56.277 --> 00:04:59.905
מכיוון שאנו לא יודעים מהו מה
כאשר הבעיה היא סוביקטיבית.


00:04:59.929 --> 00:05:02.268
איננו יודעים מה הדבר הזה חושב.

NOTE Paragraph

00:05:03.493 --> 00:05:07.176
אז, חישבו על אלגוריתם של העסקת עובדים -

00:05:08.123 --> 00:05:12.434
מערכת שרגילה להעסיק אנשים,
משתמשת במערכות לימוד-מכונה.

00:05:13.052 --> 00:05:16.631
מערכת כזו הייתה מאומנת
על נתוני העסקה קודמים

00:05:16.655 --> 00:05:19.246
וניתנת לה הנחייה למצוא ולהעסיק

00:05:19.270 --> 00:05:22.308
אנשים בעלי ביצועים טובים
כמו אלה שכבר נמצאים בחברה.

00:05:22.814 --> 00:05:23.967
נשמע טוב.

00:05:23.991 --> 00:05:25.990
פעם השתתפתי בכנס

00:05:26.014 --> 00:05:29.139
אשר חיבר יחד 
מנהלי משאבי אנוש,

00:05:29.163 --> 00:05:30.363
אנשים ברמה גבוהה,

00:05:30.363 --> 00:05:32.092
המשתמשים במערכות כאלה להעסקת עובדים.

00:05:32.092 --> 00:05:33.622
הם מאד התלהבו.

00:05:33.646 --> 00:05:38.299
הם חשבו שזה יהפוך את תהליך ההעסקה 
לאובייקטיבי יותר, פחות מוטה,

00:05:38.323 --> 00:05:41.323
ויעניק לנשים ומיעוטים סיכוי גבוה יותר

00:05:41.347 --> 00:05:43.535
כנגד מנהלים אנושיים משוחדים.

NOTE Paragraph

00:05:43.559 --> 00:05:46.402
ותראו - העסקה על-ידי בני-אדם היא משוחדת.

00:05:47.099 --> 00:05:48.284
אני יודעת.

00:05:48.308 --> 00:05:51.313
באחד ממקומות העבודה המוקדמים שלי כמתכנתת,

00:05:51.337 --> 00:05:55.205
המנהלת הישירה שלי הייתה באה לפעמים 
למקום בו הייתי

00:05:55.229 --> 00:05:58.982
ממש מוקדם בבוקר
או ממש מאוחר אחר הצהריים,

00:05:59.006 --> 00:06:02.068
ואמרה לי, "זיינב,
בואי נלך לאכול ארוחת צהרים!"

00:06:02.724 --> 00:06:04.891
הייתי מבולבלת מהתזמון המוזר.

00:06:04.915 --> 00:06:07.044
עכשיו 4 אחר הצהריים. ארוחת צהריים?

00:06:07.068 --> 00:06:10.162
הייתי מרוששת, אז ארוחת חינם. תמיד הלכתי.

00:06:10.618 --> 00:06:12.685
מאוחר יותר הבנתי מה קרה.

00:06:12.709 --> 00:06:17.255
מנהליי הישירים לא הודו 
בפני הממונים עליהם

00:06:17.279 --> 00:06:20.392
שהמתכנתת שהם העסיקו בתפקיד רציני
היא נערה מתבגרת

00:06:20.416 --> 00:06:24.346
שבאה לעבודה בג'ינס וסניקרס.

00:06:25.174 --> 00:06:27.376
עשיתי עבודה טובה,
רק לא נראיתי נכון

00:06:27.400 --> 00:06:29.099
והייתי בגיל ובמגדר הלא נכונים.

NOTE Paragraph

00:06:29.123 --> 00:06:32.469
אז העסקת עובדים באופן עיוור למגדר וגזע

00:06:32.493 --> 00:06:34.358
בהחלט נשמע לי טוב.

00:06:35.031 --> 00:06:38.372
אבל עם המערכות האלו,
זה יותר מורכב, וזו הסיבה:

00:06:38.968 --> 00:06:44.759
כעת, מערכות ממוחשבות יכולות להסיק
כל מיני דברים עליכם

00:06:44.783 --> 00:06:46.655
מהפירורים הדיגיטליים שלכם,

00:06:46.679 --> 00:06:49.012
אפילו אם לא גילית את הדברים האלה.

00:06:49.506 --> 00:06:52.433
הם יכולות להסיק לגבי האוריינטציה
המינית שלכם,

00:06:52.994 --> 00:06:54.300
תכונות האופי שלכם,

00:06:54.859 --> 00:06:56.232
הנטייה הפוליטית שלכם.

00:06:56.830 --> 00:07:00.515
יש להן יכולת ניבוי עם רמות דיוק גבוהות.

00:07:01.362 --> 00:07:03.940
זכרו - אפילו לגבי דברים שלא גיליתם.

00:07:03.964 --> 00:07:05.555
זוהי הסקה.

NOTE Paragraph

00:07:05.579 --> 00:07:08.840
יש לי חברה שפיתחה
מערכות ממוחשבות שיכולות

00:07:08.864 --> 00:07:12.505
לנבא את הסיכון לדיכאון קליני
או דיכאון אחרי לידה

00:07:12.529 --> 00:07:13.945
מנתונים של מדיה חברתית.

00:07:14.676 --> 00:07:16.103
התוצאות הן מרשימות.

00:07:16.492 --> 00:07:19.849
המערכת שלה יכולה לנבא 
את הסיכון ללקות בדיכאון

00:07:19.873 --> 00:07:23.776
חודשים לפני הופעת סימפטומים כלשהם -

00:07:23.800 --> 00:07:25.173
חודשים לפני.

00:07:25.197 --> 00:07:27.443
אין סימפטומים, יש ניבוי.

00:07:27.467 --> 00:07:32.279
היא מקווה שישתמשו בזה 
להתערבות מוקדמת. נהדר!

00:07:32.911 --> 00:07:34.951
אבל עכשיו שימו את זה בהקשר של העסקה.

NOTE Paragraph

00:07:36.027 --> 00:07:39.073
אז בכנס הזה של מנהלי משאבי אנוש,

00:07:39.097 --> 00:07:43.806
פניתי אל מנהלת בכירה בחברה גדולה מאד,

00:07:43.830 --> 00:07:48.408
ואמרתי לה, "תראי,
מה אם, ללא ידיעתך,


00:07:48.432 --> 00:07:54.981
"המערכת שלך מנפה החוצה אנשים
עם סיכון עתידי גבוה ללקות בדיכאון?

00:07:55.761 --> 00:07:59.137
"הם לא מדוכאים כעת,
רק אולי בעתיד, בסיכון גבוה יותר.

00:07:59.923 --> 00:08:03.329
"מה אם היא מנפה החוצה נשים
שסיכוייהן גדולים יותר להרות

00:08:03.353 --> 00:08:05.939
"בשנה או שנתיים הקרובות
אך אינן בהריון כעת?

00:08:06.844 --> 00:08:12.480
"מה אם המערכת מעסיקה אנשים אגרסיביים
מכיוון שזו התרבות בסביבת העבודה שלך?"

00:08:13.173 --> 00:08:15.864
אתם לא יכולים לדעת את זה
על-ידי חלוקה למגדרים.

00:08:15.888 --> 00:08:17.390
אלו יכולים להיות מאוזנים.

00:08:17.414 --> 00:08:20.971
ומאחר וזאת למידת מכונה,
לא שיטת קידוד מסורתית,

00:08:20.995 --> 00:08:25.902
אין שם משתנה שמוגדר "סיכון מוגבר לדיכאון",

00:08:25.926 --> 00:08:27.759
"סיכון מוגבר להריון,"

00:08:27.783 --> 00:08:29.517
"סולם של אגרסיביות".

00:08:29.995 --> 00:08:33.674
לא רק שאינכם יודעים 
לפי מה המערכת שלכם בוחרת,

00:08:33.698 --> 00:08:36.021
אתם אפילו לא יודעים איפה להתחיל לחפש.

00:08:36.045 --> 00:08:37.291
זוהי קופסה שחורה.

00:08:37.315 --> 00:08:40.122
יש לה יכולת ניבוי,
אבל אתם לא מבינים אותה.

NOTE Paragraph

00:08:40.486 --> 00:08:42.855
"אילו אמצעי ביטחון," שאלתי, "יש לך

00:08:42.879 --> 00:08:46.552
"להבטיח שהקופסה השחורה שלך
לא עושה משהו מפוקפק?"

00:08:48.863 --> 00:08:52.741
היא הסתכלה עלי כאילו שדרכתי
על 10 זנבות של כלבלבים.

NOTE Paragraph

00:08:52.765 --> 00:08:54.013
(צחוק)

NOTE Paragraph

00:08:54.037 --> 00:08:56.078
היא נעצה בי מבט ואמרה,

00:08:56.556 --> 00:09:00.889
"אני לא רוצה לשמוע מילה נוספת על זה."

00:09:01.458 --> 00:09:03.492
והיא הסתובבה והלכה משם.

00:09:04.064 --> 00:09:05.550
שימו לב - היא לא הייתה גסת רוח.

00:09:05.574 --> 00:09:11.882
זה היה בבירור: מה שאני לא יודעת
הוא לא הבעיה שלי, לכי מכאן, מבט מקפיא.

NOTE Paragraph

00:09:11.906 --> 00:09:13.152
(צחוק)

NOTE Paragraph

00:09:13.862 --> 00:09:17.701
תראו, מערכת כזו
יכולה אפילו להיות פחות מוטה

00:09:17.725 --> 00:09:19.828
מאשר מנהלים אנושיים באופנים מסוימים.

00:09:19.852 --> 00:09:21.998
והיא יכולה להיות הגיונית מבחינה כלכלית.

00:09:22.573 --> 00:09:24.223
אבל היא גם יכולה להוביל

00:09:24.247 --> 00:09:28.995
לסגירה מתמשכת וחמקנית של שוק העבודה

00:09:29.019 --> 00:09:31.312
בפני אנשים עם סיכון גבוה ללקות בדיכאון.

00:09:31.753 --> 00:09:34.349
האם זו החברה שאנחנו רוצים לבנות,

00:09:34.373 --> 00:09:36.658
מבלי שנדע אפילו שאנחנו עושים זאת,

00:09:36.682 --> 00:09:40.646
בגלל שהשארנו את קבלת ההחלטות
בידי מכונות שאנחנו לא מבינים עד הסוף?

NOTE Paragraph

00:09:41.265 --> 00:09:42.723
בעיה נוספת היא זו:

00:09:43.314 --> 00:09:47.766
המערכות האלו לעיתים קרובות מכוונות 
לנתונים המיוצרים על ידי הפעולות שלנו,

00:09:47.790 --> 00:09:49.606
חותם אנושי.

00:09:50.188 --> 00:09:53.996
אם כך, הן יכולות פשוט לשקף 
את ההעדפות שלנו.

00:09:54.020 --> 00:09:57.613
והמערכות האלו יכולות להיטפל להעדפות שלנו

00:09:57.637 --> 00:09:58.950
ולהגביר אותן

00:09:58.974 --> 00:10:00.392
ולשקף לנו אותן בחזרה,

00:10:00.416 --> 00:10:01.878
בזמן שאנחנו אומרים לעצמנו,

00:10:01.902 --> 00:10:05.019
"אנחנו עוסקים במחשוב אובייקטיבי וניטרלי."

NOTE Paragraph

00:10:06.314 --> 00:10:08.991
חוקרים מצאו שבגוגל,

00:10:10.134 --> 00:10:15.447
לנשים יש סיכוי נמוך יותר מאשר לגברים 
לקבל מודעות דרושים לתפקידים עם שכר גבוה.

00:10:16.463 --> 00:10:18.993
וחיפוש של שמות אפריקנים-אמריקנים

00:10:19.017 --> 00:10:23.723
יעלה בסיכוי גבוה יותר פרסומות
המרמזות על עבר פלילי,

00:10:23.747 --> 00:10:25.314
אפילו כאשר אין כזה.

00:10:26.693 --> 00:10:30.242
להטיות חבויות כאלה
ואלגוריתמים של קופסא שחורה

00:10:30.266 --> 00:10:34.239
שחוקרים מגלים לפעמים
אבל לפעמים איננו יודעים עליהם,

00:10:34.263 --> 00:10:36.924
יכולות להיות השלכות משנות חיים.

NOTE Paragraph

00:10:37.958 --> 00:10:42.117
בוויסקונסין, נאשם
נשפט לשש שנים בכלא

00:10:42.141 --> 00:10:43.496
על התחמקות מהמשטרה.

00:10:44.674 --> 00:10:46.070
יכול להיות שאתם לא יודעים זאת,

00:10:46.070 --> 00:10:50.032
אך השימוש באלגוריתמים הולך וגובר
בהחלטות על ענישה וחנינה.

00:10:50.056 --> 00:10:53.011
הוא רצה לדעת:
איך המספר הזה חושב?

00:10:53.795 --> 00:10:55.460
זו היא קופסה שחורה מסחרית.

00:10:55.484 --> 00:10:59.689
החברה סירבה לאפשר לאתגר את האלגוריתם
שלה באולם בית המשפט

00:11:00.396 --> 00:11:05.928
אבל פרו-פבליקה, חברת חקירות 
ללא מטרות רווח, בדקה את האלגוריתם הזה

00:11:05.952 --> 00:11:07.968
עם כל הנתונים הציבוריים שיכלו למצוא,

00:11:07.992 --> 00:11:10.308
וגילו שהתוצאות היו מוטות

00:11:10.332 --> 00:11:13.961
וכוח הניבוי שלו היה מפחיד,
בקושי יותר טוב ממזל,

00:11:13.985 --> 00:11:18.401
והוא הגדיר באופן מוטעה
נאשם שחור כפושע עתידי

00:11:18.425 --> 00:11:22.320
בשיעור כפול מאשר נאשם לבן.

NOTE Paragraph

00:11:23.891 --> 00:11:25.455
אז, בחנו את המקרה הבא:

00:11:26.103 --> 00:11:29.955
האישה הזו איחרה לאסוף
את אחותה החורגת

00:11:29.979 --> 00:11:32.054
מבית ספר במחוז ברווארד, בפלורידה,

00:11:32.757 --> 00:11:35.113
והיא רצה ברחוב עם חברתה.

00:11:35.137 --> 00:11:39.236
הן הבחינו באופני ילדים ובקורקינט
שהיו לא קשורים במרפסת


00:11:39.260 --> 00:11:40.892
ובטיפשות קפצו עליהם.

00:11:40.916 --> 00:11:43.515
בעוד הן דוהרות, 
אישה הגיחה ואמרה,

00:11:43.549 --> 00:11:45.754
" הי, אלו האופניים של הילד שלי!"

00:11:45.768 --> 00:11:49.062
הן זרקו אותם, הן הלכו משם,
אבל הן נעצרו.

NOTE Paragraph

00:11:49.086 --> 00:11:52.723
היא טעתה, היא עשתה שטות,
אבל היא גם הייתה רק בת 18.

00:11:52.747 --> 00:11:55.291
היו לה שתי עברות נעורים קודמות.

00:11:55.808 --> 00:12:00.993
בינתיים, האיש הזה נעצר על גניבה מחנות
בהום דיפו -

00:12:01.017 --> 00:12:03.941
דברים בשווי של 85 דולר,
פשע חסר חשיבות דומה.

00:12:04.766 --> 00:12:09.325
אבל היו לו שתי הרשעות קודמות
על שוד מזויין.

00:12:09.955 --> 00:12:13.437
אבל האלגוריתם חישב אותה בסיכון גבוה,
ולא אותו.

00:12:14.746 --> 00:12:18.620
שנתיים לאחר מכן, פרו-פבליקה מצאה
שהיא לא פשעה שוב.

00:12:18.644 --> 00:12:21.194
רק היה לה קשה למצוא עבודה
עם העבר שלה.

00:12:21.218 --> 00:12:23.294
הוא, לעומת זאת, כן פשע שוב

00:12:23.318 --> 00:12:27.154
וכעת הוא מרצה עונש של שמונה שנות מאסר
בגלל פשע מאוחר יותר.

00:12:28.088 --> 00:12:31.457
בברור, עלינו לבקר 
את הקופסאות השחורות שלנו

00:12:31.481 --> 00:12:34.096
ולא לאפשר להן סוג כזה של כוח בלתי בדוק.

NOTE Paragraph

00:12:34.120 --> 00:12:36.999
(מחיאות כפיים)

NOTE Paragraph

00:12:38.087 --> 00:12:42.329
ביקורות הן נהדרות וחשובות
אך הן לא פותרות את כל בעיותינו.

00:12:42.353 --> 00:12:45.101
קחו למשל את האלגוריתם החזק
של הפיד החדשותי של פייסבוק -

00:12:45.125 --> 00:12:49.968
אתם יודעים, זה שמדרג כל דבר 
ומחליט מה להראות לכם

00:12:49.992 --> 00:12:52.276
מכל החברים והדפים שאחריהם אתם עוקבים.

00:12:52.898 --> 00:12:55.173
האם צריך להראות לכם 
תמונה אחרת של תינוק?

NOTE Paragraph

00:12:55.197 --> 00:12:56.393
(צחוק)

NOTE Paragraph

00:12:56.417 --> 00:12:59.013
הערה זועפת מאיזה מכר?

00:12:59.449 --> 00:13:01.305
פריט חדשותי חשוב אך קשה לצפייה?

00:13:01.329 --> 00:13:02.811
אין כאן תשובה נכונה.

00:13:02.835 --> 00:13:05.494
פייסבוק מְיַטֶב לצורך מעורבות באתר:

00:13:05.518 --> 00:13:06.933
לייקים, שיתופים, תגובות.

NOTE Paragraph

00:13:08.168 --> 00:13:10.864
באוגוסט 2014,

00:13:10.888 --> 00:13:13.550
פרצה מחאה בפרגוסון, מיזורי

00:13:13.574 --> 00:13:17.991
לאחר הריגתו של נער אפריקני-אמריקני
על-ידי שוטר לבן,

00:13:18.015 --> 00:13:19.585
בנסיבות חשודות.

00:13:19.974 --> 00:13:21.981
החדשות בנוגע למחאה הופיעו בגדול

00:13:22.005 --> 00:13:24.690
בדף הטוויטר שלי שהוא ללא סינון אלגוריתמי,

00:13:24.714 --> 00:13:26.664
אך לא הופיעו כלל בדף הפייסבוק שלי.

00:13:27.182 --> 00:13:28.916
האם היו אלה חבריי בפייסבוק?

00:13:28.940 --> 00:13:30.972
ניטרלתי את האלגוריתם של הפייסבוק,

00:13:31.472 --> 00:13:34.320
דבר שקשה לעשות כי פייסבוק רוצה שתהיו

00:13:34.344 --> 00:13:36.380
כל הזמן תחת שליטת האלגוריתם,

00:13:36.404 --> 00:13:38.642
וראיתי שחבריי דיברו על זה.

00:13:38.666 --> 00:13:41.175
רק שהאלגוריתם לא הראה לי את זה.

00:13:41.199 --> 00:13:44.241
בדקתי את זה ומצאתי
שזו הייתה בעיה נרחבת.

NOTE Paragraph

00:13:44.265 --> 00:13:48.078
הסיפור מפרגוסון לא היה ידידותי לאלגוריתם.

00:13:48.102 --> 00:13:49.273
הוא לא "אהוב".

00:13:49.297 --> 00:13:50.849
מי יסמן לזה "לייק"?

00:13:51.500 --> 00:13:53.706
אפילו לא קל להגיב עליו.

00:13:53.730 --> 00:13:55.101
ללא לייקים ותגובות,

00:13:55.125 --> 00:13:58.417
סביר שהאלגוריתם הראה אותו 
אפילו לפחות אנשים,

00:13:58.441 --> 00:13:59.983
אז לא זכינו לראות את זה.

00:14:00.946 --> 00:14:02.174
במקומו, באותו שבוע,

00:14:02.198 --> 00:14:04.496
האלגוריתם של פייסבוק הדגיש את זה,

00:14:04.520 --> 00:14:06.746
זהו אתגר דלי הקרח של ALS.

00:14:06.770 --> 00:14:10.512
מטרה טובה; שפוך דלי קרח,
תרום כסף, יופי.

00:14:10.536 --> 00:14:12.440
אבל הוא היה ידידותי ביותר לאלגוריתם.

00:14:13.219 --> 00:14:15.832
המכונה קיבלה את ההחלטה הזו עבורנו.

00:14:15.856 --> 00:14:19.353
שיחה חשובה מאד אך קשה

00:14:19.377 --> 00:14:20.932
אולי הייתה מושתקת,

00:14:20.956 --> 00:14:23.652
אם פייסבוק היה הערוץ היחיד.

NOTE Paragraph

00:14:24.117 --> 00:14:27.914
כעת, לבסוף, המערכות האלה 
גם יכולות לטעות

00:14:27.938 --> 00:14:30.674
בצורות שאינן דומות למערכות אנושיות.

00:14:30.698 --> 00:14:33.620
האם אתם זוכרים את ווטסון,
מערכת הבינה המלאכותית של IBM

00:14:33.644 --> 00:14:36.772
שטאטאה את הרצפה
עם מתחרה אנושי במשחק "סכנה"?

00:14:37.131 --> 00:14:38.559
הוא היה שחקן נהדר.

00:14:38.583 --> 00:14:42.152
אבל אז, במשימה האחרונה,
ווטסון נשאל את השאלה הבאה:

00:14:42.659 --> 00:14:45.591
"שמו של שדה התעופה הכי גדול שלו
נקרא ע"ש גיבור מלחמת העולם ה-2,

00:14:45.615 --> 00:14:47.867
השני הכי גדול 
על שם קרב במלחמת העולם ה-II."

NOTE Paragraph

00:14:47.891 --> 00:14:49.269
(מזמזת את הנעימה של השלב הסופי במשחק)

NOTE Paragraph

00:14:49.582 --> 00:14:50.764
שיקגו.

00:14:50.788 --> 00:14:52.158
שני האנשים ענו נכון.

00:14:52.697 --> 00:14:57.045
ווטסון, לעומת זאת, ענה "טורונטו" -

00:14:57.069 --> 00:14:58.887
בקטגוריה של ערים בארצות הברית!

00:14:59.596 --> 00:15:02.497
המערכת המרשימה גם עשתה טעות

00:15:02.521 --> 00:15:06.172
שבן אנוש לעולם לא היה עושה,
שתלמיד כיתה ב' לא היה עושה.

NOTE Paragraph

00:15:06.823 --> 00:15:09.932
הבינה המלאכותית שלנו יכולה להכשל

00:15:09.956 --> 00:15:13.056
בדרכים שאינן תואמות
לדפוסי טעויות אנושיות,

00:15:13.080 --> 00:15:16.030
בדרכים שאנו לא מצפים להן
ולא מוכנים להן.

00:15:16.054 --> 00:15:19.692
זה יהיה מחורבן לא לקבל עבודה
שאתה מוכשר אליה,

00:15:19.716 --> 00:15:23.443
אבל זה יעצבן פי שלוש
אם זה יהיה בגלל גלישת מחסנית

00:15:23.467 --> 00:15:24.899
באיזו פונקציה תכנותית.

NOTE Paragraph

00:15:24.923 --> 00:15:26.502
(צחוק)

NOTE Paragraph

00:15:26.526 --> 00:15:29.312
במאי 2010,

00:15:29.336 --> 00:15:33.380
התרסקות בזק בוול סטריט
שהתגברה עקב תגובה חוזרת ונשנית

00:15:33.404 --> 00:15:36.432
של אלגוריתם ה"מכירה" של וול סטריט

00:15:36.456 --> 00:15:40.640
מחקה ערך של טריליון דולר
ב- 36 דקות.

00:15:41.722 --> 00:15:43.909
אני אפילו לא רוצה לחשוב 
מה המשמעות של "טעות"

00:15:43.933 --> 00:15:47.522
בהקשר של נשק קטלני אוטונומי.

NOTE Paragraph

00:15:49.894 --> 00:15:53.684
אז כן, אנשים מאז ומתמיד עשו הטיות.

00:15:53.708 --> 00:15:55.884
מקבלי החלטות ושומרי הסף,

00:15:55.908 --> 00:15:59.401
בבתי משפט, בחדשות, במלחמה...

00:15:59.425 --> 00:16:02.463
הם עושים טעויות:
אבל זו בדיוק הטענה שלי.

00:16:02.487 --> 00:16:06.008
אנחנו לא יכולים לברוח
מהשאלות הקשות הללו.

00:16:06.596 --> 00:16:10.112
איננו יכולים להעביר 
את האחריות שלנו למכונות.

NOTE Paragraph

00:16:10.676 --> 00:16:14.884
(מחיאות כפים)

NOTE Paragraph

00:16:17.089 --> 00:16:21.536
הבינה המלאכותית לא נותנת לנו 
אישור להשתחרר מהאתיקה.

NOTE Paragraph

00:16:22.742 --> 00:16:26.123
מדען הנתונים פרד בנסון
מכנה זאת "שטיפה-מתמטית".

00:16:26.147 --> 00:16:27.536
אנחנו זקוקים לדבר ההפוך.

00:16:27.560 --> 00:16:32.948
עלינו לפתח אלגוריתם לחשדנות,
בחינה מדוקדקת וחקירה.

00:16:33.380 --> 00:16:36.578
עלינו להבטיח שיש לנו 
נטילת אחריות אלגוריתמית,

00:16:36.602 --> 00:16:39.047
ביקורות ושקיפות משמעותית.

00:16:39.380 --> 00:16:42.614
עלינו לקבל שהכנסת מתמטיקה ומחשוב

00:16:42.638 --> 00:16:45.608
אל עניינים אנושיים מסובכים, עמוסי ערך

00:16:45.632 --> 00:16:48.016
לא מביאה אוביקטיביות;

00:16:48.040 --> 00:16:51.673
אלא, המורכבות של עניינים אנושיים
חודרת אל האלגוריתמים.

00:16:52.148 --> 00:16:55.635
כן, אנו יכולים וצריכים להשתמש במחשוב

00:16:55.659 --> 00:16:57.673
כדי לעזור לנו לקבל החלטות טובות יותר.

00:16:57.697 --> 00:17:03.029
אך עלינו לקחת בעלות 
על האחריות המוסרית והשיפוטיות שלנו,

00:17:03.053 --> 00:17:05.871
ולהשתמש באלגוריתמים במסגרת הזו,

00:17:05.895 --> 00:17:10.830
לא כאמצעי להתפטר 
או להעביר את האחריות שלנו

00:17:10.854 --> 00:17:13.308
מאחד לשני כמו מאדם לאדם.

NOTE Paragraph

00:17:13.807 --> 00:17:16.416
הבינה המלאכותית כבר כאן.

00:17:16.440 --> 00:17:19.861
זה אומר שעלינו לשמור יותר מאי פעם

00:17:19.885 --> 00:17:22.032
על ערכים אנושיים ואתיקה אנושית.

NOTE Paragraph

00:17:22.056 --> 00:17:23.210
תודה רבה.

NOTE Paragraph

00:17:23.234 --> 00:17:28.254
(מחיאות כפיים)