האלגוריתמים נמצאים בכל מקום.

הם ממיינים אנשים
ומפרידים בין מנצחים למפסידים.

המנצחים זוכים במשרה הנחשקת

או בהצעה לכרטיס אשראי טוב.

המפסידים לא זוכים אפילו בראיון

או משלמים יותר על הביטוח.

נוסחאות סודיות שאיננו מבינים
מדרגות אותנו,

ובדרך כלל אין אפשרות
לערער על החלטותיהן.

מתבקשת השאלה:

מה אם האלגוריתמים טועים?

כדי לבנות אלגוריתם נחוצים שני דברים:

נתונים:
מה קרה בעבר,

והגדרה של הצלחה,

מה שאתם רוצים או מקווים לו.

האלגוריתם לומד ע"י...

האלגוריתם מזהה מה מתקשר להצלחה.

אילו מצבים מובילים להצלחה?

בעצם, כולנו משתמשים באלגוריתמים,

אבל לא מנסחים אותם
בצורת קוד כתוב.

אתן לכם דוגמה.

אני משתמשת בכל יום באלגוריתם
כדי להכין למשפחתי ארוחה.

הנתונים בהם אני משתמשת

הם המוצרים במטבח שלי,

הזמן שעומד לרשותי,

השאיפות שלי,

ואני מארגנת את הנתונים.

אני לא מחשיבה "מנה חמה" כמזון.

(צחוק)

ההגדרה שלי להצלחה:

ארוחה נחשבת למוצלחת
אם הילדים שלי אוכלים ירקות.

אם בני הצעיר יהיה אחראי לכך
זה יהיה אחרת לגמרי.

הוא יגיד שהצלחה פירושה
שהוא אכל הרבה חמאת-בוטנים.

אבל אני היא זו שבוחרת
מהי הצלחה.

אני האחראית. הדעה שלי קובעת.

זהו החוק הראשון של האלגוריתמים.

אלגוריתמים הם דעות שמוטמעות בקוד.

זה שונה מאד ממה שרוב האנשים
חושבים על אלגוריתמים.

הם חושבים שהאלגוריתמים
הם אובייקטיביים, נכונים ומדעיים.

זו תחבולה שיווקית.

תחבולה שיווקית נוספת

היא להפחיד אתכם באלגוריתמים,

כדי שתבטחו בהם ותחששו מהם

כי אתם בוטחים במתמטיקה
וחוששים ממנה.

הרבה יכול להשתבש כשאנחנו
נותנים אמון עיוור בנתוני-עתק.

זו קירי סוארז,
מנהלת בי"ס תיכון בברוקלין.

ב-2011 היא אמרה לי
שהמורים שלה מדורגים

בעזרת אלגוריתם סודי ומורכב,

שנקרא "מודל הערך המוסף".

אמרתי לה, "תבררי מהי הנוסחה
ותראי לי אותה.

"אני אסביר לך אותה"

היא אמרה,
"ניסיתי לקבל את הנוסחה.

"אך במשרד החינוך אמרו לי
שזאת מתמטיקה,

"ושאני לא אבין אותה."

זה נהיה יותר גרוע.

ה"ניו-יורק פוסט" הגיש בקשה
לפי חוק חופש המידע.

קיבל את כל שמות המורים
והדירוג שלהם,

ופירסם אותן כצעד
של ביוש מורים.

כשניסיתי להשיג את הנוסחאות,
את הקוד המקורי, באותם האמצעים,

אמרו לי, "אי-אפשר".

דחו אותי.

מאוחר יותר גיליתי

שלאף אחד בעיר ניו-יורק
אין גישה לנוסחה ההיא.

שאיש לא מבין אותה.

ואז נכנס לתמונה מישהו ממש חכם.
גרי רובינשטיין.

הוא זיהה בנתוני ה"ניו-יורק פוסט"
665 מורים עם שני דירוגים.

זה יכול היה לקרות אם הם לימדו
מתמטיקה בכיתות ז' וגם בכיתות ח'.

הוא החליט להציג זאת בגרף.

כל נקודה מסמלת מורה.

(צחוק)

מה זה?

(צחוק)

זה לא משהו שאמור לשמש
לצורך הערכות אישיות.

זהו כמעט מחולל מספרים אקראי.

(מחיאות כפיים)

אך זה שימש לכך.

זוהי שרה וויסוקי. היא פוטרה
יחד עם עוד 205 מורים

מהמחוז הבית-סיפרי של וושינגטון הבירה,

למרות שהיו לה המלצות מעולות
מהנהלת ביה"ס

וגם מההורים של הילדים שלימדה.

אני יודעת שרבים מכם חושבים,

במיוחד חוקרי הנתונים
ומומחי הבינה המלאכותית שכאן,

"אני אף פעם לא אכתוב אלגוריתם
כל-כך לא עיקבי."

אבל אלגוריתמים יכולים לטעות,

ואפילו לגרום לתוצאות הרסניות ביותר
מתוך כוונות טובות.

ובעוד שמטוס שתוכנן גרוע מתרסק
וכולם רואים זאת,

הרי כשאלגוריתם מעוצב גרוע,

הוא יכול לעבוד הרבה זמן
ולזרוע בשקט תוהו.

זהו רוג'ר איילס.

(צחוק)

הוא ייסד את "חדשות פוקס" ב-1996.

יותר מ-20 נשים התלוננו
על הטרדה מינית

ואמרו שהן לא הירשו להן
להצליח ב"חדשות פוקס".

הוא הודח בשנה שעברה, 
אך לאחרונה נודע לנו

שהבעיה נמשכת.

נשאלת השאלה:

מה צריכה רשת "חדשות פוקס"
לעשות כדי לפתוח דף חדש?

מה אם הם יחליפו את תהליך
ההעסקה שלהם

באלגוריתם של למידת-מכונה?

נשמע טוב, נכון?

חישבו על זה.

הנתונים, מה הם יהיו?

הגיוני שאלה יהיו נתוני 21 השנים האחרונות
של בקשות עבודה ב"חדשות פוקס".

הגיוני.

מה לגבי ההגדרה להצלחה?

בחירה הגיונית תהיה,

מי מצליח ב"חדשות פוקס"?

אולי מישהו שעובד שם
כבר 4 שנים,

וקיבל קידום לפחות פעם אחת.

נשמע הגיוני.

ואז האלגוריתם יעבור לימוד.

הוא ילמד לחפש אנשים
כדי ללמוד מה הוביל להצלחה,

אילו מועמדים הפכו לעובדים מוצלחים,

לפי ההגדרה הזו.

עכשיו חישבו מה יקרה
אם ניישם זאת למאגר מועמדים בהווה:

האלגוריתם יסנן החוצה נשים,

כי הן אינן דומות לאנשים שהצליחו בעבר.

האלגוריתמים אינם מתקנים את העולם

אם מיישמים אותם בשמחה ובעיוורון

הם לא מתקנים את העולם

אלא רק חוזרים על מה שעשינו בעבר,

על הדפוסים שלנו.

הם הופכים את המצב הקיים לאוטומטי.

היה נהדר אם היה לנו עולם מושלם,

אבל אין לנו.

ואני אוסיף שרוב החברות
לא מתמודדות עם תביעות מביכות,

אבל מומחי הנתונים בחברות אלה
מחוייבים לציית לנתונים,

להתמקד בדיוק.

חישבו מה זה אומר,

הרי לכולנו יש הטיות.

אולי הם מתכנתים לאפליה על רקע מין,

או כל סוג אחר של גזענות.

ניסוי מחשבתי,

כי אני אוהבת כאלה:

דמיינו חברה שלמה
שמופרדת לפי גזעים:

כל העיירות, כל השכונות,

ואת המשטרה שולחים לחפש פשיעה
רק בשכונות של מיעוטים.

נתוני המעצרים יהיו
מוטים בצורה מובהקת.

מה אם בנוסף,
מצאנו מומחה לנתונים

ושילמנו לו כדי שינבא
איפה יקרה הפשע הבא?

שכונת מיעוטים.

או כדי שינבא
מי יהיה הפושע הבא?

בן מיעוטים.

מומחי הנתונים יתפארו
כמה נהדר ומדוייק המודל שלהם.

והם יצדקו.

המציאות לא כל כך דרסטית,
אבל יש לנו באמת הפרדה חמורה

בערים ועיירות רבות,

ויש לנו שפע ראיות

להטיות בנתונים המשטרתיים מוטים
ובמערכת המשפט.

ואנחנו אכן חוזים נקודות סיכון,

מקומות בהם יקרו פשעים.

ואנחנו גם מנבאים את מידת
הנטיה האישית לפשוע.

את נטייתם של אנשים מסויימים לפשוע.

סוכנות החדשות "פרופבליקה" בחנה לאחרונה

אחד אותם אלגוריתמים
ל"ניבוי הישנות פשיעה"

כמו שקוראים להם.

בפלורידה משתמשים בהם
שופטים בזמן חריצת גזר הדין.

ברנרד, משמאל, הגבר השחור
קיבל 10 נקודות מתך 10.

דילן, מימין - 3 מתוך 10.

10 מתוך 10 - סיכון גבוה.
3 מתוך 10 - סיכון נמוך.

שניהם נעצרו על החזקת סמים.

לשניהם היה כבר תיק.

אבל דילן עבר עבירה

וברנרד - לא.

זה משנה, כי ככל שתקבל
ניקוד יותר גבוה,

גובר הסיכוי שתקבל 
עונש מאסר ארוך יותר.

מה קורה פה?

הלבנת נתונים.

זהו תהליך שבו אנשי הטכנולוגיה 
מסתירים אמיתות מכוערות

בתוך אלגוריתמים חתומים

ואומרים שהם "אובייקטיביים",

שזאת מריטוקרטיה.

טבעתי כינוי לאלגוריתמים
סודיים, חשובים והרסניים אלו:

"נשק להשמדה מתמטית".

(צחוק)

(מחיאות כפיים)

הם בכל מקום
וזו לא טעות:

מדובר בחברות פרטיות
שכותבות אלגוריתמים פרטיים

לצרכיהן הפרטיים.

אפילו אלו שהזכרתי,
שמשמשים להערכה של מורים ולשיטור

נכתבו בידי חברות פרטיות
ונמכרו למוסדות ממשלתיים.

הם אומרים שזה "הרוטב הסודי" שלהם

ולכן אינם יכולים לחשוף אותו.

זהו גם כוח פרטי.

הם מרוויחים מהפעלת כוח העמימות.

אתם יכולים לחשוב,
"בגלל שכל זה פרטי

"וישנה תחרות,

"השוק החופשי
אולי יפתור את הבעיה."

לא נכון.

אפשר להרוויח הרבה כסף
מחוסר הוגנות.

אנחנו גם לא יצורים רציונליים מבחינה כלכלית

לכולנו דעות קדומות.

כולנו גזענים ומוטים
למרות שהיינו מעדיפים לא להיות כאלה,

ובדרכים שאיננו אפילו יודעים.

אבל אנחנו יודעים שבמצטבר,

בגלל שסוציולוגים מראים באופן עקבי

בניסויים שהם עורכים,

שבהם הם שולחים למעסיקים
הרבה קורות חיים

עם כישורים זהים, כשחלק
מהשמות נשמעים "לבנים",

ושמות אחרים נשמעים "שחורים",

והתוצאות של הניסויים תמיד מאכזבות,
תמיד.

אז אנחנו בעלי הדעות הקדומות,

ואנחנו מחדירים את ההטיות האלו
לתוך האלגוריתמים

בכך שאנו בוחרים
אילו נתונים יש לאסוף,

כמו שאני החלטתי
לא להתייחס ל"מנה חמה"-

החלטתי שהיא איננה רלוונטית.

אבל אם אנחנו בוטחים בנתונים
ובהגדרת ההצלחה על יסוד גישות קודמות,

איך אנחנו יכולים לצפות 
שהאלגוריתמים ייצאו ללא פגע?

ממש לא.
אנחנו מוכרחים לבדוק אותם.

אנחנו מוכרחים לוודא שהם הוגנים.

החדשות הטובות הן: זה אפשרי.

אפשר לחקור אלגוריתמים

והם יגידו לנו תמיד את האמת.

ואנחנו יכולים לתקן ולשפר אותם.

אני קוראת לזה "בדיקת אלגוריתם"

אסביר לכם איך זה נעשה.

ראשית מוודאים את שלמות הנתונים.

באלגוריתם "הישנות הפשיעה" שהזכרתי,

בדיקת שלמות הנתונים פירושה
שמוכרחים להשלים עם העובדה

שבארה"ב, הלבנים והשחורים
מעשנים מריחואנה באותה מידה

אבל לשחורים יש סיכוי גבוה יותר להיעצר -

סיכוי גבוה פי ארבעה או חמישה, 
תלוי באיזור.

איך נראית ההטיה 
בתחומי פשע אחרים,

ואיך אנחנו מסבירים אותה?

שנית, אנחנו צריכים
להגדיר מחדש מהי הצלחה.

לבדוק את הנושא.

זוכרים את האלגוריתם לשכירת עובדים?
דיברנו על זה.

עובד המועסק כבר ארבע שנים
וקודם פעם אחת?

זה באמת עובד מצליח,

אבל זה גם עובד
שהסביבה התרבותית תומכת בו.

אבל גם כאן יכולות להיות
דעות קדומות.

צריך להפריד בין שני הדברים.

למשל בבחינות קבלה עיוורות,

כשהבוחנים נמצאים מאחורי מסך.

אני רוצה לחשוב שכאן,

האנשים המקשיבים הם שהחליטו
מה חשוב ומה לא,

ודעתם לא מוסחת ע"י זה.

כשהתחילו המבחנים העיוורים,

מספר הנשים המנגנות בתזמורת
גדל פי חמש.

הבא בתור הוא הדיוק.

כאן אלגוריתם הערך המוסף
לדירוג מורים ייכשל מיד.

אין אלגוריתם מושלם, כמובן,

אז צריך לקחת בחשבון את
השגיאות של כל אלגוריתם:

כמה ומתי הן קורות
ועם מי המודל הזה נכשל?

מהו המחיר של הכשלון הזה?

ולסיום, אנחנו מוכרחים 
לקחת בחשבון

את ההשפעות ארוכות הטווח
של האלגוריתמים,

של לולאות המשוב שנוצרות.

זה נשמע מופשט,

אבל מה אם מהנדסי "פייסבוק"
היו לוקחים זאת בחשבון

בטרם החליטו להראות לנו
רק מה ששיתפו החברים שלנו.

יש לי עוד שני מסרים,
אחד למתכנתים באשר הם:

מתכנתים:
אסור לנו לתווך את האמת.

אנחנו צריכים לתת ביטוי
לדיוני מוסר שמתקיימים

בחברה כולה.

(מחיאות כפיים)

ולשאר האנשים,

אלו שאינם עוסקים במידע:

לא מדובר במבחן במתמטיקה,

אלא במאבק פוליטי.

אנחנו צריכים לדרוש משליטי
האלגוריתמים לקחת אחריות.

(מחיאות כפיים)

עידן האמון העיוור בנתונים
חייב להסתיים.

תודה רבה.

(מחיאות כפיים)