0:00:00.739,0:00:04.861
התחלתי את עבודתי הראשונה[br]כמתכנתת מחשבים

0:00:04.885,0:00:06.841
בשנתי הראשונה בקולג' -

0:00:06.865,0:00:08.372
כשהייתי נערה מתבגרת.

0:00:08.889,0:00:10.621
זמן קצר לאחר שהתחלתי לעבוד,

0:00:10.645,0:00:12.255
לכתוב תוכנות בחברה,

0:00:12.799,0:00:16.434
מנהל שעבד בחברה[br]נכנס לחדר בו הייתי,

0:00:16.458,0:00:17.726
ולחש אליי,

0:00:18.229,0:00:21.090
"האם הוא יכול לדעת אם אני משקר?"

0:00:21.806,0:00:23.883
לא היה אף אחד נוסף בחדר.

0:00:25.032,0:00:29.421
"מי יכול לדעת אם אתה משקר?[br]ולמה אנחנו לוחשים?"

0:00:30.266,0:00:33.373
המנהל הצביע על המחשב בחדר.

0:00:33.397,0:00:36.493
"האם הוא יכול לדעת אם אני משקר?"

0:00:37.613,0:00:41.975
טוב, המנהל הזה ניהל רומן עם פקידת הקבלה.

0:00:41.999,0:00:43.111
(צחוק)

0:00:43.135,0:00:44.901
ואני הייתי עדיין נערה מתבגרת.

0:00:45.447,0:00:47.466
אז לחשתי-צעקתי אליו בחזרה,

0:00:47.490,0:00:51.114
"כן, המחשב יכול לדעת אם אתה משקר."

0:00:51.138,0:00:52.944
(צחוק)

0:00:52.968,0:00:55.891
טוב, צחקתי, אבל בעצם,[br]הבדיחה היא על חשבוני.

0:00:55.915,0:00:59.183
בימינו, קיימות מערכות ממוחשבות

0:00:59.207,0:01:02.755
שיכולות לקלוט מצבים רגשיים ואפילו שקר

0:01:02.779,0:01:04.823
באמצעות עיבוד פרצופים אנושיים.

0:01:05.248,0:01:09.401
מפרסמים ואפילו ממשלות מאד מתעניינות בזה.

0:01:10.319,0:01:12.181
אני נהייתי מתכנתת מחשבים

0:01:12.205,0:01:15.318
כי הייתי מהילדים האלה [br]שמשוגעים על מתמטיקה ומדעים.

0:01:15.942,0:01:19.050
אבל איפשהו במהלך הדרך[br]למדתי על נשק גרעיני,

0:01:19.074,0:01:22.026
והתחלתי להיות מאוד מודאגת[br]בעניין האתיקה של המדע.

0:01:22.050,0:01:23.254
הייתי מוטרדת.

0:01:23.278,0:01:25.919
עם זאת, בגלל נסיבות משפחתיות,

0:01:25.943,0:01:29.241
נאלצתי להתחיל לעבוד[br]מוקדם ככל האפשר.

0:01:29.265,0:01:32.564
אז חשבתי לעצמי,[br]אני אבחר בתחום טכני

0:01:32.588,0:01:34.384
בו אמצא עבודה בקלות

0:01:34.408,0:01:38.426
ולא אצטרך להתעסק[br]בשאלות אתיות מטרידות.

0:01:39.022,0:01:40.551
אז בחרתי במחשבים.

0:01:40.575,0:01:41.679
(צחוק)

0:01:41.703,0:01:45.113
טוב, חה, חה, חה![br]כל הצחוק הוא על חשבוני.

0:01:45.137,0:01:47.891
בימינו, מדעני מחשבים בונים פלטפורמות

0:01:47.915,0:01:52.124
אשר שולטות במה שמיליארד אנשים[br]יצפו בכל יום.

0:01:53.052,0:01:56.874
הם מפתחים מכוניות[br]שיכולות להחליט את מי לדרוס.

0:01:57.707,0:02:00.920
הם אפילו בונים מכונות, כלי נשק,

0:02:00.944,0:02:03.229
שיכולים להרוג בני אדם במלחמה.

0:02:03.253,0:02:06.024
מדובר באתיקה לאורך כל הדרך.

0:02:07.183,0:02:09.241
הבינה המלאכותית כבר כאן.

0:02:09.823,0:02:13.297
אנו משתמשים כעת במחשוב[br]כדי לקבל כל מיני החלטות.

0:02:13.321,0:02:15.207
אבל גם החלטות מסוגים חדשים.

0:02:15.231,0:02:20.403
אנחנו שואלים את המחשוב שאלות [br]שיש להן יותר מתשובה נכונה אחת,

0:02:20.427,0:02:21.629
שהן סוביקטיביות

0:02:21.653,0:02:23.978
שאלות פתוחות ובעלות מטען ערכי.

0:02:24.002,0:02:25.760
אנו שואלים שאלות כמו,

0:02:25.784,0:02:27.434
"את מי צריכה החברה להעסיק?"

0:02:28.096,0:02:30.855
"איזה עדכון מאיזה חבר[br]אנחנו צריכים להראות?"

0:02:30.879,0:02:33.145
"מיהו האסיר שסביר יותר שיפשע שוב?"

0:02:33.514,0:02:36.568
"על איזה אייטם חדשותי או סרט[br]כדאי להמליץ לאנשים?"

0:02:36.592,0:02:39.964
תראו, כן, אנחנו משתמשים במחשבים [br]כבר זמן רב,

0:02:39.988,0:02:41.505
אבל זה שונה.

0:02:41.529,0:02:43.596
זהו טוויסט היסטורי,

0:02:43.620,0:02:48.957
כיוון שאנחנו לא יכולים להיעזר במחשוב [br]בשאלות סובייקטיביות כאלו

0:02:48.981,0:02:54.401
כפי שאנו נעזרים במחשוב [br]להטסת מטוסים, לבניית גשרים,

0:02:54.425,0:02:55.684
להגיע לירח.

0:02:56.449,0:02:59.708
האם מטוסים בטוחים יותר?[br]האם הגשר התנדנד ונפל?

0:02:59.732,0:03:04.230
בדברים האלו הסכמנו על[br]אמות מידה ברורות למדי,

0:03:04.254,0:03:06.493
ויש לנו את חוקי הטבע שמדריכים אותנו.

0:03:06.517,0:03:09.911
אין לנו עוגנים ואמות מידה כאלו

0:03:09.935,0:03:13.898
עבור החלטות בעניינים אנושיים מסובכים.

0:03:13.922,0:03:18.159
כדי לסבך את העניין עוד יותר,[br]התוכנה שלנו הולכת ונעשית חזקה יותר,

0:03:18.183,0:03:21.956
אבל היא גם נעשית פחות שקופה[br]ויותר מורכבת.

0:03:22.542,0:03:24.582
לאחרונה, בעשור החולף,

0:03:24.606,0:03:27.335
אלגוריתמים מורכבים התקדמו מאד.

0:03:27.359,0:03:29.349
הם יכולים לזהות פרצופים אנושיים.

0:03:29.985,0:03:32.040
הם יכולים לפענח כתב יד.

0:03:32.436,0:03:34.502
הם יכולים לזהות הונאת כרטיסי אשראי

0:03:34.526,0:03:35.715
ולחסום דואר זבל

0:03:35.739,0:03:37.776
והם יכולים לתרגם משפה לשפה.

0:03:37.800,0:03:40.374
הם יכולים לזהות גידולים בהדמיה רפואית.

0:03:40.398,0:03:42.603
הם יכולים לנצח בני אדם [br]במשחקי שח-מט וגו.

0:03:43.264,0:03:47.768
הרבה מההתקדמות הזו היא הודות לשיטה[br]שנקראת "לימוד מכונה".

0:03:48.175,0:03:51.362
לימוד מכונה הוא שונה מתכנות מסורתי,

0:03:51.386,0:03:54.971
בו נותנים למחשב הוראות מפורטות, [br]מדויקות, מדוקדקות.

0:03:55.378,0:03:59.560
זה יותר כמו שמכניסים למערכת הרבה נתונים,

0:03:59.584,0:04:01.240
כולל נתונים לא מובנים,

0:04:01.264,0:04:03.542
כמו אלה שאנו מייצרים בחיינו הדיגיטליים.

0:04:03.566,0:04:06.296
והמערכת לומדת, [br]על-ידי ערבול כל הנתונים הללו.

0:04:06.669,0:04:08.195
כמו כן, באופן מכריע,

0:04:08.219,0:04:12.599
המערכות הללו לא פועלות [br]על פי ההיגיון של תשובה-אחת.

0:04:12.623,0:04:15.582
הן לא מייצרות תשובה פשוטה;[br]זה יותר הסתברותי:

0:04:15.606,0:04:19.089
"זו כנראה יותר מתאימה למה שאתה מחפש."

0:04:20.023,0:04:23.093
היתרון הוא: [br]השיטה הזו ממש חזקה.

0:04:23.117,0:04:25.193
המנהל של מערכת AI של גוגל קרא לזה,

0:04:25.217,0:04:27.414
"היעילות חסרת ההיגיון של נתונים."

0:04:27.791,0:04:29.144
החיסרון הוא,

0:04:29.738,0:04:32.809
שאנחנו לא באמת מבינים[br]מה המערכת למדה.

0:04:32.833,0:04:34.420
בעצם, זה הכוח שלה.

0:04:34.946,0:04:38.744
זה פחות כמו לתת הוראות למחשב;

0:04:39.200,0:04:43.264
זה יותר כמו לאמן יצור שהוא גור-מכונה

0:04:43.288,0:04:45.659
שאנחנו לא באמת מבינים ושולטים בו.

0:04:46.362,0:04:47.913
אז זו הבעיה שלנו.

0:04:48.427,0:04:52.689
זו בעיה כאשר הבינה המלאכותית הזו טועה.

0:04:52.713,0:04:56.253
זו גם בעיה כאשר היא אינה טועה,

0:04:56.277,0:04:59.905
מכיוון שאנו לא יודעים מהו מה[br]כאשר הבעיה היא סוביקטיבית.[br]

0:04:59.929,0:05:02.268
איננו יודעים מה הדבר הזה חושב.

0:05:03.493,0:05:07.176
אז, חישבו על אלגוריתם של העסקת עובדים -

0:05:08.123,0:05:12.434
מערכת שרגילה להעסיק אנשים,[br]משתמשת במערכות לימוד-מכונה.

0:05:13.052,0:05:16.631
מערכת כזו הייתה מאומנת[br]על נתוני העסקה קודמים

0:05:16.655,0:05:19.246
וניתנת לה הנחייה למצוא ולהעסיק

0:05:19.270,0:05:22.308
אנשים בעלי ביצועים טובים[br]כמו אלה שכבר נמצאים בחברה.

0:05:22.814,0:05:23.967
נשמע טוב.

0:05:23.991,0:05:25.990
פעם השתתפתי בכנס

0:05:26.014,0:05:29.139
אשר חיבר יחד [br]מנהלי משאבי אנוש,

0:05:29.163,0:05:30.363
אנשים ברמה גבוהה,

0:05:30.363,0:05:32.092
המשתמשים במערכות כאלה להעסקת עובדים.

0:05:32.092,0:05:33.622
הם מאד התלהבו.

0:05:33.646,0:05:38.299
הם חשבו שזה יהפוך את תהליך ההעסקה [br]לאובייקטיבי יותר, פחות מוטה,

0:05:38.323,0:05:41.323
ויעניק לנשים ומיעוטים סיכוי גבוה יותר

0:05:41.347,0:05:43.535
כנגד מנהלים אנושיים משוחדים.

0:05:43.559,0:05:46.402
ותראו - העסקה על-ידי בני-אדם היא משוחדת.

0:05:47.099,0:05:48.284
אני יודעת.

0:05:48.308,0:05:51.313
באחד ממקומות העבודה המוקדמים שלי כמתכנתת,

0:05:51.337,0:05:55.205
המנהלת הישירה שלי הייתה באה לפעמים [br]למקום בו הייתי

0:05:55.229,0:05:58.982
ממש מוקדם בבוקר[br]או ממש מאוחר אחר הצהריים,

0:05:59.006,0:06:02.068
ואמרה לי, "זיינב,[br]בואי נלך לאכול ארוחת צהרים!"

0:06:02.724,0:06:04.891
הייתי מבולבלת מהתזמון המוזר.

0:06:04.915,0:06:07.044
עכשיו 4 אחר הצהריים. ארוחת צהריים?

0:06:07.068,0:06:10.162
הייתי מרוששת, אז ארוחת חינם. תמיד הלכתי.

0:06:10.618,0:06:12.685
מאוחר יותר הבנתי מה קרה.

0:06:12.709,0:06:17.255
מנהליי הישירים לא הודו [br]בפני הממונים עליהם

0:06:17.279,0:06:20.392
שהמתכנתת שהם העסיקו בתפקיד רציני[br]היא נערה מתבגרת

0:06:20.416,0:06:24.346
שבאה לעבודה בג'ינס וסניקרס.

0:06:25.174,0:06:27.376
עשיתי עבודה טובה,[br]רק לא נראיתי נכון

0:06:27.400,0:06:29.099
והייתי בגיל ובמגדר הלא נכונים.

0:06:29.123,0:06:32.469
אז העסקת עובדים באופן עיוור למגדר וגזע

0:06:32.493,0:06:34.358
בהחלט נשמע לי טוב.

0:06:35.031,0:06:38.372
אבל עם המערכות האלו,[br]זה יותר מורכב, וזו הסיבה:

0:06:38.968,0:06:44.759
כעת, מערכות ממוחשבות יכולות להסיק[br]כל מיני דברים עליכם

0:06:44.783,0:06:46.655
מהפירורים הדיגיטליים שלכם,

0:06:46.679,0:06:49.012
אפילו אם לא גילית את הדברים האלה.

0:06:49.506,0:06:52.433
הם יכולות להסיק לגבי האוריינטציה[br]המינית שלכם,

0:06:52.994,0:06:54.300
תכונות האופי שלכם,

0:06:54.859,0:06:56.232
הנטייה הפוליטית שלכם.

0:06:56.830,0:07:00.515
יש להן יכולת ניבוי עם רמות דיוק גבוהות.

0:07:01.362,0:07:03.940
זכרו - אפילו לגבי דברים שלא גיליתם.

0:07:03.964,0:07:05.555
זוהי הסקה.

0:07:05.579,0:07:08.840
יש לי חברה שפיתחה[br]מערכות ממוחשבות שיכולות

0:07:08.864,0:07:12.505
לנבא את הסיכון לדיכאון קליני[br]או דיכאון אחרי לידה

0:07:12.529,0:07:13.945
מנתונים של מדיה חברתית.

0:07:14.676,0:07:16.103
התוצאות הן מרשימות.

0:07:16.492,0:07:19.849
המערכת שלה יכולה לנבא [br]את הסיכון ללקות בדיכאון

0:07:19.873,0:07:23.776
חודשים לפני הופעת סימפטומים כלשהם -

0:07:23.800,0:07:25.173
חודשים לפני.

0:07:25.197,0:07:27.443
אין סימפטומים, יש ניבוי.

0:07:27.467,0:07:32.279
היא מקווה שישתמשו בזה [br]להתערבות מוקדמת. נהדר!

0:07:32.911,0:07:34.951
אבל עכשיו שימו את זה בהקשר של העסקה.

0:07:36.027,0:07:39.073
אז בכנס הזה של מנהלי משאבי אנוש,

0:07:39.097,0:07:43.806
פניתי אל מנהלת בכירה בחברה גדולה מאד,

0:07:43.830,0:07:48.408
ואמרתי לה, "תראי,[br]מה אם, ללא ידיעתך,[br]

0:07:48.432,0:07:54.981
"המערכת שלך מנפה החוצה אנשים[br]עם סיכון עתידי גבוה ללקות בדיכאון?

0:07:55.761,0:07:59.137
"הם לא מדוכאים כעת,[br]רק אולי בעתיד, בסיכון גבוה יותר.

0:07:59.923,0:08:03.329
"מה אם היא מנפה החוצה נשים[br]שסיכוייהן גדולים יותר להרות

0:08:03.353,0:08:05.939
"בשנה או שנתיים הקרובות[br]אך אינן בהריון כעת?

0:08:06.844,0:08:12.480
"מה אם המערכת מעסיקה אנשים אגרסיביים[br]מכיוון שזו התרבות בסביבת העבודה שלך?"

0:08:13.173,0:08:15.864
אתם לא יכולים לדעת את זה[br]על-ידי חלוקה למגדרים.

0:08:15.888,0:08:17.390
אלו יכולים להיות מאוזנים.

0:08:17.414,0:08:20.971
ומאחר וזאת למידת מכונה,[br]לא שיטת קידוד מסורתית,

0:08:20.995,0:08:25.902
אין שם משתנה שמוגדר "סיכון מוגבר לדיכאון",

0:08:25.926,0:08:27.759
"סיכון מוגבר להריון,"

0:08:27.783,0:08:29.517
"סולם של אגרסיביות".

0:08:29.995,0:08:33.674
לא רק שאינכם יודעים [br]לפי מה המערכת שלכם בוחרת,

0:08:33.698,0:08:36.021
אתם אפילו לא יודעים איפה להתחיל לחפש.

0:08:36.045,0:08:37.291
זוהי קופסה שחורה.

0:08:37.315,0:08:40.122
יש לה יכולת ניבוי,[br]אבל אתם לא מבינים אותה.

0:08:40.486,0:08:42.855
"אילו אמצעי ביטחון," שאלתי, "יש לך

0:08:42.879,0:08:46.552
"להבטיח שהקופסה השחורה שלך[br]לא עושה משהו מפוקפק?"

0:08:48.863,0:08:52.741
היא הסתכלה עלי כאילו שדרכתי[br]על 10 זנבות של כלבלבים.

0:08:52.765,0:08:54.013
(צחוק)

0:08:54.037,0:08:56.078
היא נעצה בי מבט ואמרה,

0:08:56.556,0:09:00.889
"אני לא רוצה לשמוע מילה נוספת על זה."

0:09:01.458,0:09:03.492
והיא הסתובבה והלכה משם.

0:09:04.064,0:09:05.550
שימו לב - היא לא הייתה גסת רוח.

0:09:05.574,0:09:11.882
זה היה בבירור: מה שאני לא יודעת[br]הוא לא הבעיה שלי, לכי מכאן, מבט מקפיא.

0:09:11.906,0:09:13.152
(צחוק)

0:09:13.862,0:09:17.701
תראו, מערכת כזו[br]יכולה אפילו להיות פחות מוטה

0:09:17.725,0:09:19.828
מאשר מנהלים אנושיים באופנים מסוימים.

0:09:19.852,0:09:21.998
והיא יכולה להיות הגיונית מבחינה כלכלית.

0:09:22.573,0:09:24.223
אבל היא גם יכולה להוביל

0:09:24.247,0:09:28.995
לסגירה מתמשכת וחמקנית של שוק העבודה

0:09:29.019,0:09:31.312
בפני אנשים עם סיכון גבוה ללקות בדיכאון.

0:09:31.753,0:09:34.349
האם זו החברה שאנחנו רוצים לבנות,

0:09:34.373,0:09:36.658
מבלי שנדע אפילו שאנחנו עושים זאת,

0:09:36.682,0:09:40.646
בגלל שהשארנו את קבלת ההחלטות[br]בידי מכונות שאנחנו לא מבינים עד הסוף?

0:09:41.265,0:09:42.723
בעיה נוספת היא זו:

0:09:43.314,0:09:47.766
המערכות האלו לעיתים קרובות מכוונות [br]לנתונים המיוצרים על ידי הפעולות שלנו,

0:09:47.790,0:09:49.606
חותם אנושי.

0:09:50.188,0:09:53.996
אם כך, הן יכולות פשוט לשקף [br]את ההעדפות שלנו.

0:09:54.020,0:09:57.613
והמערכות האלו יכולות להיטפל להעדפות שלנו

0:09:57.637,0:09:58.950
ולהגביר אותן

0:09:58.974,0:10:00.392
ולשקף לנו אותן בחזרה,

0:10:00.416,0:10:01.878
בזמן שאנחנו אומרים לעצמנו,

0:10:01.902,0:10:05.019
"אנחנו עוסקים במחשוב אובייקטיבי וניטרלי."

0:10:06.314,0:10:08.991
חוקרים מצאו שבגוגל,

0:10:10.134,0:10:15.447
לנשים יש סיכוי נמוך יותר מאשר לגברים [br]לקבל מודעות דרושים לתפקידים עם שכר גבוה.

0:10:16.463,0:10:18.993
וחיפוש של שמות אפריקנים-אמריקנים

0:10:19.017,0:10:23.723
יעלה בסיכוי גבוה יותר פרסומות[br]המרמזות על עבר פלילי,

0:10:23.747,0:10:25.314
אפילו כאשר אין כזה.

0:10:26.693,0:10:30.242
להטיות חבויות כאלה[br]ואלגוריתמים של קופסא שחורה

0:10:30.266,0:10:34.239
שחוקרים מגלים לפעמים[br]אבל לפעמים איננו יודעים עליהם,

0:10:34.263,0:10:36.924
יכולות להיות השלכות משנות חיים.

0:10:37.958,0:10:42.117
בוויסקונסין, נאשם[br]נשפט לשש שנים בכלא

0:10:42.141,0:10:43.496
על התחמקות מהמשטרה.

0:10:44.674,0:10:46.070
יכול להיות שאתם לא יודעים זאת,

0:10:46.070,0:10:50.032
אך השימוש באלגוריתמים הולך וגובר[br]בהחלטות על ענישה וחנינה.

0:10:50.056,0:10:53.011
הוא רצה לדעת:[br]איך המספר הזה חושב?

0:10:53.795,0:10:55.460
זו היא קופסה שחורה מסחרית.

0:10:55.484,0:10:59.689
החברה סירבה לאפשר לאתגר את האלגוריתם[br]שלה באולם בית המשפט

0:11:00.396,0:11:05.928
אבל פרו-פבליקה, חברת חקירות [br]ללא מטרות רווח, בדקה את האלגוריתם הזה

0:11:05.952,0:11:07.968
עם כל הנתונים הציבוריים שיכלו למצוא,

0:11:07.992,0:11:10.308
וגילו שהתוצאות היו מוטות

0:11:10.332,0:11:13.961
וכוח הניבוי שלו היה מפחיד,[br]בקושי יותר טוב ממזל,

0:11:13.985,0:11:18.401
והוא הגדיר באופן מוטעה[br]נאשם שחור כפושע עתידי

0:11:18.425,0:11:22.320
בשיעור כפול מאשר נאשם לבן.

0:11:23.891,0:11:25.455
אז, בחנו את המקרה הבא:

0:11:26.103,0:11:29.955
האישה הזו איחרה לאסוף[br]את אחותה החורגת

0:11:29.979,0:11:32.054
מבית ספר במחוז ברווארד, בפלורידה,

0:11:32.757,0:11:35.113
והיא רצה ברחוב עם חברתה.

0:11:35.137,0:11:39.236
הן הבחינו באופני ילדים ובקורקינט[br]שהיו לא קשורים במרפסת[br]

0:11:39.260,0:11:40.892
ובטיפשות קפצו עליהם.

0:11:40.916,0:11:43.515
בעוד הן דוהרות, [br]אישה הגיחה ואמרה,

0:11:43.549,0:11:45.754
" הי, אלו האופניים של הילד שלי!"

0:11:45.768,0:11:49.062
הן זרקו אותם, הן הלכו משם,[br]אבל הן נעצרו.

0:11:49.086,0:11:52.723
היא טעתה, היא עשתה שטות,[br]אבל היא גם הייתה רק בת 18.

0:11:52.747,0:11:55.291
היו לה שתי עברות נעורים קודמות.

0:11:55.808,0:12:00.993
בינתיים, האיש הזה נעצר על גניבה מחנות[br]בהום דיפו -

0:12:01.017,0:12:03.941
דברים בשווי של 85 דולר,[br]פשע חסר חשיבות דומה.

0:12:04.766,0:12:09.325
אבל היו לו שתי הרשעות קודמות[br]על שוד מזויין.

0:12:09.955,0:12:13.437
אבל האלגוריתם חישב אותה בסיכון גבוה,[br]ולא אותו.

0:12:14.746,0:12:18.620
שנתיים לאחר מכן, פרו-פבליקה מצאה[br]שהיא לא פשעה שוב.

0:12:18.644,0:12:21.194
רק היה לה קשה למצוא עבודה[br]עם העבר שלה.

0:12:21.218,0:12:23.294
הוא, לעומת זאת, כן פשע שוב

0:12:23.318,0:12:27.154
וכעת הוא מרצה עונש של שמונה שנות מאסר[br]בגלל פשע מאוחר יותר.

0:12:28.088,0:12:31.457
בברור, עלינו לבקר [br]את הקופסאות השחורות שלנו

0:12:31.481,0:12:34.096
ולא לאפשר להן סוג כזה של כוח בלתי בדוק.

0:12:34.120,0:12:36.999
(מחיאות כפיים)

0:12:38.087,0:12:42.329
ביקורות הן נהדרות וחשובות[br]אך הן לא פותרות את כל בעיותינו.

0:12:42.353,0:12:45.101
קחו למשל את האלגוריתם החזק[br]של הפיד החדשותי של פייסבוק -

0:12:45.125,0:12:49.968
אתם יודעים, זה שמדרג כל דבר [br]ומחליט מה להראות לכם

0:12:49.992,0:12:52.276
מכל החברים והדפים שאחריהם אתם עוקבים.

0:12:52.898,0:12:55.173
האם צריך להראות לכם [br]תמונה אחרת של תינוק?

0:12:55.197,0:12:56.393
(צחוק)

0:12:56.417,0:12:59.013
הערה זועפת מאיזה מכר?

0:12:59.449,0:13:01.305
פריט חדשותי חשוב אך קשה לצפייה?

0:13:01.329,0:13:02.811
אין כאן תשובה נכונה.

0:13:02.835,0:13:05.494
פייסבוק מְיַטֶב לצורך מעורבות באתר:

0:13:05.518,0:13:06.933
לייקים, שיתופים, תגובות.

0:13:08.168,0:13:10.864
באוגוסט 2014,

0:13:10.888,0:13:13.550
פרצה מחאה בפרגוסון, מיזורי

0:13:13.574,0:13:17.991
לאחר הריגתו של נער אפריקני-אמריקני[br]על-ידי שוטר לבן,

0:13:18.015,0:13:19.585
בנסיבות חשודות.

0:13:19.974,0:13:21.981
החדשות בנוגע למחאה הופיעו בגדול

0:13:22.005,0:13:24.690
בדף הטוויטר שלי שהוא ללא סינון אלגוריתמי,

0:13:24.714,0:13:26.664
אך לא הופיעו כלל בדף הפייסבוק שלי.

0:13:27.182,0:13:28.916
האם היו אלה חבריי בפייסבוק?

0:13:28.940,0:13:30.972
ניטרלתי את האלגוריתם של הפייסבוק,

0:13:31.472,0:13:34.320
דבר שקשה לעשות כי פייסבוק רוצה שתהיו

0:13:34.344,0:13:36.380
כל הזמן תחת שליטת האלגוריתם,

0:13:36.404,0:13:38.642
וראיתי שחבריי דיברו על זה.

0:13:38.666,0:13:41.175
רק שהאלגוריתם לא הראה לי את זה.

0:13:41.199,0:13:44.241
בדקתי את זה ומצאתי[br]שזו הייתה בעיה נרחבת.

0:13:44.265,0:13:48.078
הסיפור מפרגוסון לא היה ידידותי לאלגוריתם.

0:13:48.102,0:13:49.273
הוא לא "אהוב".

0:13:49.297,0:13:50.849
מי יסמן לזה "לייק"?

0:13:51.500,0:13:53.706
אפילו לא קל להגיב עליו.

0:13:53.730,0:13:55.101
ללא לייקים ותגובות,

0:13:55.125,0:13:58.417
סביר שהאלגוריתם הראה אותו [br]אפילו לפחות אנשים,

0:13:58.441,0:13:59.983
אז לא זכינו לראות את זה.

0:14:00.946,0:14:02.174
במקומו, באותו שבוע,

0:14:02.198,0:14:04.496
האלגוריתם של פייסבוק הדגיש את זה,

0:14:04.520,0:14:06.746
זהו אתגר דלי הקרח של ALS.

0:14:06.770,0:14:10.512
מטרה טובה; שפוך דלי קרח,[br]תרום כסף, יופי.

0:14:10.536,0:14:12.440
אבל הוא היה ידידותי ביותר לאלגוריתם.

0:14:13.219,0:14:15.832
המכונה קיבלה את ההחלטה הזו עבורנו.

0:14:15.856,0:14:19.353
שיחה חשובה מאד אך קשה

0:14:19.377,0:14:20.932
אולי הייתה מושתקת,

0:14:20.956,0:14:23.652
אם פייסבוק היה הערוץ היחיד.

0:14:24.117,0:14:27.914
כעת, לבסוף, המערכות האלה [br]גם יכולות לטעות

0:14:27.938,0:14:30.674
בצורות שאינן דומות למערכות אנושיות.

0:14:30.698,0:14:33.620
האם אתם זוכרים את ווטסון,[br]מערכת הבינה המלאכותית של IBM

0:14:33.644,0:14:36.772
שטאטאה את הרצפה[br]עם מתחרה אנושי במשחק "סכנה"?

0:14:37.131,0:14:38.559
הוא היה שחקן נהדר.

0:14:38.583,0:14:42.152
אבל אז, במשימה האחרונה,[br]ווטסון נשאל את השאלה הבאה:

0:14:42.659,0:14:45.591
"שמו של שדה התעופה הכי גדול שלו[br]נקרא ע"ש גיבור מלחמת העולם ה-2,

0:14:45.615,0:14:47.867
השני הכי גדול [br]על שם קרב במלחמת העולם ה-II."

0:14:47.891,0:14:49.269
(מזמזת את הנעימה של השלב הסופי במשחק)

0:14:49.582,0:14:50.764
שיקגו.

0:14:50.788,0:14:52.158
שני האנשים ענו נכון.

0:14:52.697,0:14:57.045
ווטסון, לעומת זאת, ענה "טורונטו" -

0:14:57.069,0:14:58.887
בקטגוריה של ערים בארצות הברית!

0:14:59.596,0:15:02.497
המערכת המרשימה גם עשתה טעות

0:15:02.521,0:15:06.172
שבן אנוש לעולם לא היה עושה,[br]שתלמיד כיתה ב' לא היה עושה.

0:15:06.823,0:15:09.932
הבינה המלאכותית שלנו יכולה להכשל

0:15:09.956,0:15:13.056
בדרכים שאינן תואמות[br]לדפוסי טעויות אנושיות,

0:15:13.080,0:15:16.030
בדרכים שאנו לא מצפים להן[br]ולא מוכנים להן.

0:15:16.054,0:15:19.692
זה יהיה מחורבן לא לקבל עבודה[br]שאתה מוכשר אליה,

0:15:19.716,0:15:23.443
אבל זה יעצבן פי שלוש[br]אם זה יהיה בגלל גלישת מחסנית

0:15:23.467,0:15:24.899
באיזו פונקציה תכנותית.

0:15:24.923,0:15:26.502
(צחוק)

0:15:26.526,0:15:29.312
במאי 2010,

0:15:29.336,0:15:33.380
התרסקות בזק בוול סטריט[br]שהתגברה עקב תגובה חוזרת ונשנית

0:15:33.404,0:15:36.432
של אלגוריתם ה"מכירה" של וול סטריט

0:15:36.456,0:15:40.640
מחקה ערך של טריליון דולר[br]ב- 36 דקות.

0:15:41.722,0:15:43.909
אני אפילו לא רוצה לחשוב [br]מה המשמעות של "טעות"

0:15:43.933,0:15:47.522
בהקשר של נשק קטלני אוטונומי.

0:15:49.894,0:15:53.684
אז כן, אנשים מאז ומתמיד עשו הטיות.

0:15:53.708,0:15:55.884
מקבלי החלטות ושומרי הסף,

0:15:55.908,0:15:59.401
בבתי משפט, בחדשות, במלחמה...

0:15:59.425,0:16:02.463
הם עושים טעויות:[br]אבל זו בדיוק הטענה שלי.

0:16:02.487,0:16:06.008
אנחנו לא יכולים לברוח[br]מהשאלות הקשות הללו.

0:16:06.596,0:16:10.112
איננו יכולים להעביר [br]את האחריות שלנו למכונות.

0:16:10.676,0:16:14.884
(מחיאות כפים)

0:16:17.089,0:16:21.536
הבינה המלאכותית לא נותנת לנו [br]אישור להשתחרר מהאתיקה.

0:16:22.742,0:16:26.123
מדען הנתונים פרד בנסון[br]מכנה זאת "שטיפה-מתמטית".

0:16:26.147,0:16:27.536
אנחנו זקוקים לדבר ההפוך.

0:16:27.560,0:16:32.948
עלינו לפתח אלגוריתם לחשדנות,[br]בחינה מדוקדקת וחקירה.

0:16:33.380,0:16:36.578
עלינו להבטיח שיש לנו [br]נטילת אחריות אלגוריתמית,

0:16:36.602,0:16:39.047
ביקורות ושקיפות משמעותית.

0:16:39.380,0:16:42.614
עלינו לקבל שהכנסת מתמטיקה ומחשוב

0:16:42.638,0:16:45.608
אל עניינים אנושיים מסובכים, עמוסי ערך

0:16:45.632,0:16:48.016
לא מביאה אוביקטיביות;

0:16:48.040,0:16:51.673
אלא, המורכבות של עניינים אנושיים[br]חודרת אל האלגוריתמים.

0:16:52.148,0:16:55.635
כן, אנו יכולים וצריכים להשתמש במחשוב

0:16:55.659,0:16:57.673
כדי לעזור לנו לקבל החלטות טובות יותר.

0:16:57.697,0:17:03.029
אך עלינו לקחת בעלות [br]על האחריות המוסרית והשיפוטיות שלנו,

0:17:03.053,0:17:05.871
ולהשתמש באלגוריתמים במסגרת הזו,

0:17:05.895,0:17:10.830
לא כאמצעי להתפטר [br]או להעביר את האחריות שלנו

0:17:10.854,0:17:13.308
מאחד לשני כמו מאדם לאדם.

0:17:13.807,0:17:16.416
הבינה המלאכותית כבר כאן.

0:17:16.440,0:17:19.861
זה אומר שעלינו לשמור יותר מאי פעם

0:17:19.885,0:17:22.032
על ערכים אנושיים ואתיקה אנושית.

0:17:22.056,0:17:23.210
תודה רבה.

0:17:23.234,0:17:28.254
(מחיאות כפיים)