Return to Video

עידן האמון העיוור בנתונים חייב להסתיים

  • 0:00 - 0:03
    האלגוריתמים נמצאים בכל מקום.
  • 0:04 - 0:07
    הם ממיינים אנשים
    ומפרידים בין מנצחים למפסידים.
  • 0:08 - 0:10
    המנצחים זוכים במשרה הנחשקת
  • 0:10 - 0:12
    או בהצעה לכרטיס אשראי טוב.
  • 0:12 - 0:15
    המפסידים לא זוכים אפילו בראיון
  • 0:16 - 0:17
    או משלמים יותר על הביטוח.
  • 0:18 - 0:22
    נוסחאות סודיות שאיננו מבינים
    מדרגות אותנו,
  • 0:23 - 0:26
    ובדרך כלל אין אפשרות
    לערער על החלטותיהן.
  • 0:27 - 0:29
    מתבקשת השאלה:
  • 0:29 - 0:31
    מה אם האלגוריתמים טועים?
  • 0:33 - 0:35
    כדי לבנות אלגוריתם נחוצים שני דברים:
  • 0:35 - 0:37
    נתונים:
    מה קרה בעבר,
  • 0:37 - 0:38
    והגדרה של הצלחה,
  • 0:38 - 0:41
    מה שאתם רוצים או מקווים לו.
  • 0:41 - 0:46
    האלגוריתם לומד ע"י...
  • 0:46 - 0:50
    האלגוריתם מזהה מה מתקשר להצלחה.
  • 0:50 - 0:52
    אילו מצבים מובילים להצלחה?
  • 0:53 - 0:55
    בעצם, כולנו משתמשים באלגוריתמים,
  • 0:55 - 0:57
    אבל לא מנסחים אותם
    בצורת קוד כתוב.
  • 0:57 - 0:58
    אתן לכם דוגמה.
  • 0:58 - 1:02
    אני משתמשת בכל יום באלגוריתם
    כדי להכין למשפחתי ארוחה.
  • 1:02 - 1:04
    הנתונים בהם אני משתמשת
  • 1:04 - 1:06
    הם המוצרים במטבח שלי,
  • 1:06 - 1:08
    הזמן שעומד לרשותי,
  • 1:08 - 1:09
    השאיפות שלי,
  • 1:09 - 1:10
    ואני מארגנת את הנתונים.
  • 1:10 - 1:15
    אני לא מחשיבה "מנה חמה" כמזון.
  • 1:15 - 1:17
    (צחוק)
  • 1:17 - 1:19
    ההגדרה שלי להצלחה:
  • 1:19 - 1:21
    ארוחה נחשבת למוצלחת
    אם הילדים שלי אוכלים ירקות.
  • 1:22 - 1:25
    אם בני הצעיר יהיה אחראי לכך
    זה יהיה אחרת לגמרי.
  • 1:25 - 1:28
    הוא יגיד שהצלחה פירושה
    שהוא אכל הרבה חמאת-בוטנים.
  • 1:29 - 1:31
    אבל אני היא זו שבוחרת
    מהי הצלחה.
  • 1:31 - 1:34
    אני האחראית. הדעה שלי קובעת.
  • 1:34 - 1:37
    זהו החוק הראשון של האלגוריתמים.
  • 1:37 - 1:40
    אלגוריתמים הם דעות שמוטמעות בקוד.
  • 1:42 - 1:45
    זה שונה מאד ממה שרוב האנשים
    חושבים על אלגוריתמים.
  • 1:45 - 1:50
    הם חושבים שהאלגוריתמים
    הם אובייקטיביים, נכונים ומדעיים.
  • 1:50 - 1:52
    זו תחבולה שיווקית.
  • 1:53 - 1:55
    תחבולה שיווקית נוספת
  • 1:55 - 1:59
    היא להפחיד אתכם באלגוריתמים,
  • 1:59 - 2:02
    כדי שתבטחו בהם ותחששו מהם
  • 2:02 - 2:04
    כי אתם בוטחים במתמטיקה
    וחוששים ממנה.
  • 2:06 - 2:10
    הרבה יכול להשתבש כשאנחנו
    נותנים אמון עיוור בנתוני-עתק.
  • 2:12 - 2:15
    זו קירי סוארז,
    מנהלת בי"ס תיכון בברוקלין.
  • 2:15 - 2:18
    ב-2011 היא אמרה לי
    שהמורים שלה מדורגים
  • 2:18 - 2:20
    בעזרת אלגוריתם סודי ומורכב,
  • 2:20 - 2:22
    שנקרא "מודל הערך המוסף".
  • 2:22 - 2:25
    אמרתי לה, "תבררי מהי הנוסחה
    ותראי לי אותה.
  • 2:25 - 2:27
    "אני אסביר לך אותה"
  • 2:27 - 2:29
    היא אמרה,
    "ניסיתי לקבל את הנוסחה.
  • 2:29 - 2:32
    "אך במשרד החינוך אמרו לי
    שזאת מתמטיקה,
  • 2:32 - 2:34
    "ושאני לא אבין אותה."
  • 2:35 - 2:37
    זה נהיה יותר גרוע.
  • 2:37 - 2:40
    ה"ניו-יורק פוסט" הגיש בקשה
    לפי חוק חופש המידע.
  • 2:40 - 2:43
    קיבל את כל שמות המורים
    והדירוג שלהם,
  • 2:43 - 2:46
    ופירסם אותן כצעד
    של ביוש מורים.
  • 2:47 - 2:51
    כשניסיתי להשיג את הנוסחאות,
    את הקוד המקורי, באותם האמצעים,
  • 2:51 - 2:53
    אמרו לי, "אי-אפשר".
  • 2:53 - 2:54
    דחו אותי.
  • 2:54 - 2:55
    מאוחר יותר גיליתי
  • 2:55 - 2:58
    שלאף אחד בעיר ניו-יורק
    אין גישה לנוסחה ההיא.
  • 2:58 - 3:00
    שאיש לא מבין אותה.
  • 3:02 - 3:05
    ואז נכנס לתמונה מישהו ממש חכם.
    גרי רובינשטיין.
  • 3:05 - 3:10
    הוא זיהה בנתוני ה"ניו-יורק פוסט"
    665 מורים עם שני דירוגים.
  • 3:10 - 3:15
    זה יכול היה לקרות אם הם לימדו
    מתמטיקה בכיתות ז' וגם בכיתות ח'.
  • 3:15 - 3:17
    הוא החליט להציג זאת בגרף.
  • 3:17 - 3:19
    כל נקודה מסמלת מורה.
  • 3:19 - 3:21
    (צחוק)
  • 3:22 - 3:23
    מה זה?
  • 3:23 - 3:24
    (צחוק)
  • 3:24 - 3:28
    זה לא משהו שאמור לשמש
    לצורך הערכות אישיות.
  • 3:28 - 3:29
    זהו כמעט מחולל מספרים אקראי.
  • 3:29 - 3:33
    (מחיאות כפיים)
  • 3:33 - 3:34
    אך זה שימש לכך.
  • 3:34 - 3:37
    זוהי שרה וויסוקי. היא פוטרה
    יחד עם עוד 205 מורים
  • 3:37 - 3:40
    מהמחוז הבית-סיפרי של וושינגטון הבירה,
  • 3:40 - 3:43
    למרות שהיו לה המלצות מעולות
    מהנהלת ביה"ס
  • 3:43 - 3:45
    וגם מההורים של הילדים שלימדה.
  • 3:45 - 3:47
    אני יודעת שרבים מכם חושבים,
  • 3:47 - 3:50
    במיוחד חוקרי הנתונים
    ומומחי הבינה המלאכותית שכאן,
  • 3:50 - 3:54
    "אני אף פעם לא אכתוב אלגוריתם
    כל-כך לא עיקבי."
  • 3:55 - 3:56
    אבל אלגוריתמים יכולים לטעות,
  • 3:56 - 4:01
    ואפילו לגרום לתוצאות הרסניות ביותר
    מתוך כוונות טובות.
  • 4:02 - 4:06
    ובעוד שמטוס שתוכנן גרוע מתרסק
    וכולם רואים זאת,
  • 4:06 - 4:09
    הרי כשאלגוריתם מעוצב גרוע,
  • 4:10 - 4:14
    הוא יכול לעבוד הרבה זמן
    ולזרוע בשקט תוהו.
  • 4:16 - 4:17
    זהו רוג'ר איילס.
  • 4:17 - 4:19
    (צחוק)
  • 4:21 - 4:23
    הוא ייסד את "חדשות פוקס" ב-1996.
  • 4:23 - 4:26
    יותר מ-20 נשים התלוננו
    על הטרדה מינית
  • 4:26 - 4:29
    ואמרו שהן לא הירשו להן
    להצליח ב"חדשות פוקס".
  • 4:29 - 4:32
    הוא הודח בשנה שעברה,
    אך לאחרונה נודע לנו
  • 4:32 - 4:35
    שהבעיה נמשכת.
  • 4:36 - 4:37
    נשאלת השאלה:
  • 4:37 - 4:40
    מה צריכה רשת "חדשות פוקס"
    לעשות כדי לפתוח דף חדש?
  • 4:41 - 4:44
    מה אם הם יחליפו את תהליך
    ההעסקה שלהם
  • 4:44 - 4:46
    באלגוריתם של למידת-מכונה?
  • 4:46 - 4:47
    נשמע טוב, נכון?
  • 4:47 - 4:49
    חישבו על זה.
  • 4:49 - 4:51
    הנתונים, מה הם יהיו?
  • 4:51 - 4:56
    הגיוני שאלה יהיו נתוני 21 השנים האחרונות
    של בקשות עבודה ב"חדשות פוקס".
  • 4:56 - 4:57
    הגיוני.
  • 4:58 - 4:59
    מה לגבי ההגדרה להצלחה?
  • 5:00 - 5:01
    בחירה הגיונית תהיה,
  • 5:01 - 5:03
    מי מצליח ב"חדשות פוקס"?
  • 5:03 - 5:06
    אולי מישהו שעובד שם
    כבר 4 שנים,
  • 5:06 - 5:08
    וקיבל קידום לפחות פעם אחת.
  • 5:09 - 5:10
    נשמע הגיוני.
  • 5:10 - 5:13
    ואז האלגוריתם יעבור לימוד.
  • 5:13 - 5:17
    הוא ילמד לחפש אנשים
    כדי ללמוד מה הוביל להצלחה,
  • 5:17 - 5:21
    אילו מועמדים הפכו לעובדים מוצלחים,
  • 5:21 - 5:23
    לפי ההגדרה הזו.
  • 5:24 - 5:29
    עכשיו חישבו מה יקרה
    אם ניישם זאת למאגר מועמדים בהווה:
  • 5:29 - 5:31
    האלגוריתם יסנן החוצה נשים,
  • 5:32 - 5:36
    כי הן אינן דומות לאנשים שהצליחו בעבר.
  • 5:40 - 5:42
    האלגוריתמים אינם מתקנים את העולם
  • 5:42 - 5:45
    אם מיישמים אותם בשמחה ובעיוורון
  • 5:45 - 5:46
    הם לא מתקנים את העולם
  • 5:46 - 5:49
    אלא רק חוזרים על מה שעשינו בעבר,
  • 5:49 - 5:50
    על הדפוסים שלנו.
  • 5:50 - 5:52
    הם הופכים את המצב הקיים לאוטומטי.
  • 5:53 - 5:55
    היה נהדר אם היה לנו עולם מושלם,
  • 5:56 - 5:57
    אבל אין לנו.
  • 5:57 - 6:01
    ואני אוסיף שרוב החברות
    לא מתמודדות עם תביעות מביכות,
  • 6:02 - 6:07
    אבל מומחי הנתונים בחברות אלה
    מחוייבים לציית לנתונים,
  • 6:07 - 6:09
    להתמקד בדיוק.
  • 6:10 - 6:11
    חישבו מה זה אומר,
  • 6:11 - 6:13
    הרי לכולנו יש הטיות.
  • 6:13 - 6:16
    אולי הם מתכנתים לאפליה על רקע מין,
  • 6:16 - 6:18
    או כל סוג אחר של גזענות.
  • 6:19 - 6:21
    ניסוי מחשבתי,
  • 6:21 - 6:22
    כי אני אוהבת כאלה:
  • 6:24 - 6:27
    דמיינו חברה שלמה
    שמופרדת לפי גזעים:
  • 6:28 - 6:32
    כל העיירות, כל השכונות,
  • 6:32 - 6:36
    ואת המשטרה שולחים לחפש פשיעה
    רק בשכונות של מיעוטים.
  • 6:36 - 6:39
    נתוני המעצרים יהיו
    מוטים בצורה מובהקת.
  • 6:40 - 6:42
    מה אם בנוסף,
    מצאנו מומחה לנתונים
  • 6:42 - 6:47
    ושילמנו לו כדי שינבא
    איפה יקרה הפשע הבא?
  • 6:47 - 6:49
    שכונת מיעוטים.
  • 6:49 - 6:52
    או כדי שינבא
    מי יהיה הפושע הבא?
  • 6:53 - 6:54
    בן מיעוטים.
  • 6:56 - 7:00
    מומחי הנתונים יתפארו
    כמה נהדר ומדוייק המודל שלהם.
  • 7:01 - 7:02
    והם יצדקו.
  • 7:04 - 7:08
    המציאות לא כל כך דרסטית,
    אבל יש לנו באמת הפרדה חמורה
  • 7:08 - 7:10
    בערים ועיירות רבות,
  • 7:10 - 7:12
    ויש לנו שפע ראיות
  • 7:12 - 7:15
    להטיות בנתונים המשטרתיים מוטים
    ובמערכת המשפט.
  • 7:16 - 7:18
    ואנחנו אכן חוזים נקודות סיכון,
  • 7:18 - 7:20
    מקומות בהם יקרו פשעים.
  • 7:20 - 7:24
    ואנחנו גם מנבאים את מידת
    הנטיה האישית לפשוע.
  • 7:24 - 7:26
    את נטייתם של אנשים מסויימים לפשוע.
  • 7:27 - 7:31
    סוכנות החדשות "פרופבליקה" בחנה לאחרונה
  • 7:31 - 7:33
    אחד אותם אלגוריתמים
    ל"ניבוי הישנות פשיעה"
  • 7:33 - 7:34
    כמו שקוראים להם.
  • 7:34 - 7:37
    בפלורידה משתמשים בהם
    שופטים בזמן חריצת גזר הדין.
  • 7:38 - 7:42
    ברנרד, משמאל, הגבר השחור
    קיבל 10 נקודות מתך 10.
  • 7:43 - 7:45
    דילן, מימין - 3 מתוך 10.
  • 7:45 - 7:48
    10 מתוך 10 - סיכון גבוה.
    3 מתוך 10 - סיכון נמוך.
  • 7:49 - 7:51
    שניהם נעצרו על החזקת סמים.
  • 7:51 - 7:52
    לשניהם היה כבר תיק.
  • 7:52 - 7:55
    אבל דילן עבר עבירה
  • 7:55 - 7:56
    וברנרד - לא.
  • 7:58 - 8:01
    זה משנה, כי ככל שתקבל
    ניקוד יותר גבוה,
  • 8:01 - 8:04
    גובר הסיכוי שתקבל
    עונש מאסר ארוך יותר.
  • 8:06 - 8:08
    מה קורה פה?
  • 8:09 - 8:10
    הלבנת נתונים.
  • 8:11 - 8:15
    זהו תהליך שבו אנשי הטכנולוגיה
    מסתירים אמיתות מכוערות
  • 8:15 - 8:17
    בתוך אלגוריתמים חתומים
  • 8:17 - 8:19
    ואומרים שהם "אובייקטיביים",
  • 8:19 - 8:21
    שזאת מריטוקרטיה.
  • 8:23 - 8:28
    טבעתי כינוי לאלגוריתמים
    סודיים, חשובים והרסניים אלו:
  • 8:28 - 8:30
    "נשק להשמדה מתמטית".
  • 8:30 - 8:32
    (צחוק)
  • 8:32 - 8:35
    (מחיאות כפיים)
  • 8:35 - 8:37
    הם בכל מקום
    וזו לא טעות:
  • 8:38 - 8:41
    מדובר בחברות פרטיות
    שכותבות אלגוריתמים פרטיים
  • 8:41 - 8:43
    לצרכיהן הפרטיים.
  • 8:43 - 8:46
    אפילו אלו שהזכרתי,
    שמשמשים להערכה של מורים ולשיטור
  • 8:46 - 8:50
    נכתבו בידי חברות פרטיות
    ונמכרו למוסדות ממשלתיים.
  • 8:50 - 8:52
    הם אומרים שזה "הרוטב הסודי" שלהם
  • 8:52 - 8:55
    ולכן אינם יכולים לחשוף אותו.
  • 8:55 - 8:57
    זהו גם כוח פרטי.
  • 8:58 - 9:03
    הם מרוויחים מהפעלת כוח העמימות.
  • 9:05 - 9:08
    אתם יכולים לחשוב,
    "בגלל שכל זה פרטי
  • 9:08 - 9:09
    "וישנה תחרות,
  • 9:09 - 9:11
    "השוק החופשי
    אולי יפתור את הבעיה."
  • 9:11 - 9:13
    לא נכון.
  • 9:13 - 9:16
    אפשר להרוויח הרבה כסף
    מחוסר הוגנות.
  • 9:17 - 9:20
    אנחנו גם לא יצורים רציונליים מבחינה כלכלית
  • 9:21 - 9:22
    לכולנו דעות קדומות.
  • 9:23 - 9:26
    כולנו גזענים ומוטים
    למרות שהיינו מעדיפים לא להיות כאלה,
  • 9:26 - 9:28
    ובדרכים שאיננו אפילו יודעים.
  • 9:29 - 9:32
    אבל אנחנו יודעים שבמצטבר,
  • 9:32 - 9:35
    בגלל שסוציולוגים מראים באופן עקבי
  • 9:35 - 9:37
    בניסויים שהם עורכים,
  • 9:37 - 9:40
    שבהם הם שולחים למעסיקים
    הרבה קורות חיים
  • 9:40 - 9:42
    עם כישורים זהים, כשחלק
    מהשמות נשמעים "לבנים",
  • 9:42 - 9:44
    ושמות אחרים נשמעים "שחורים",
  • 9:44 - 9:47
    והתוצאות של הניסויים תמיד מאכזבות,
    תמיד.
  • 9:48 - 9:49
    אז אנחנו בעלי הדעות הקדומות,
  • 9:49 - 9:53
    ואנחנו מחדירים את ההטיות האלו
    לתוך האלגוריתמים
  • 9:53 - 9:55
    בכך שאנו בוחרים
    אילו נתונים יש לאסוף,
  • 9:55 - 9:57
    כמו שאני החלטתי
    לא להתייחס ל"מנה חמה"-
  • 9:57 - 9:59
    החלטתי שהיא איננה רלוונטית.
  • 9:59 - 10:07
    אבל אם אנחנו בוטחים בנתונים
    ובהגדרת ההצלחה על יסוד גישות קודמות,
  • 10:07 - 10:11
    איך אנחנו יכולים לצפות
    שהאלגוריתמים ייצאו ללא פגע?
  • 10:11 - 10:13
    ממש לא.
    אנחנו מוכרחים לבדוק אותם.
  • 10:14 - 10:16
    אנחנו מוכרחים לוודא שהם הוגנים.
  • 10:16 - 10:19
    החדשות הטובות הן: זה אפשרי.
  • 10:19 - 10:22
    אפשר לחקור אלגוריתמים
  • 10:22 - 10:24
    והם יגידו לנו תמיד את האמת.
  • 10:24 - 10:27
    ואנחנו יכולים לתקן ולשפר אותם.
  • 10:27 - 10:29
    אני קוראת לזה "בדיקת אלגוריתם"
  • 10:29 - 10:31
    אסביר לכם איך זה נעשה.
  • 10:31 - 10:33
    ראשית מוודאים את שלמות הנתונים.
  • 10:34 - 10:37
    באלגוריתם "הישנות הפשיעה" שהזכרתי,
  • 10:38 - 10:41
    בדיקת שלמות הנתונים פירושה
    שמוכרחים להשלים עם העובדה
  • 10:41 - 10:45
    שבארה"ב, הלבנים והשחורים
    מעשנים מריחואנה באותה מידה
  • 10:45 - 10:47
    אבל לשחורים יש סיכוי גבוה יותר להיעצר -
  • 10:47 - 10:50
    סיכוי גבוה פי ארבעה או חמישה,
    תלוי באיזור.
  • 10:51 - 10:54
    איך נראית ההטיה
    בתחומי פשע אחרים,
  • 10:54 - 10:56
    ואיך אנחנו מסבירים אותה?
  • 10:56 - 10:59
    שנית, אנחנו צריכים
    להגדיר מחדש מהי הצלחה.
  • 10:59 - 11:01
    לבדוק את הנושא.
  • 11:01 - 11:03
    זוכרים את האלגוריתם לשכירת עובדים?
    דיברנו על זה.
  • 11:03 - 11:07
    עובד המועסק כבר ארבע שנים
    וקודם פעם אחת?
  • 11:07 - 11:08
    זה באמת עובד מצליח,
  • 11:08 - 11:11
    אבל זה גם עובד
    שהסביבה התרבותית תומכת בו.
  • 11:12 - 11:14
    אבל גם כאן יכולות להיות
    דעות קדומות.
  • 11:14 - 11:16
    צריך להפריד בין שני הדברים.
  • 11:16 - 11:19
    למשל בבחינות קבלה עיוורות,
  • 11:19 - 11:23
    כשהבוחנים נמצאים מאחורי מסך.
  • 11:23 - 11:25
    אני רוצה לחשוב שכאן,
  • 11:25 - 11:30
    האנשים המקשיבים הם שהחליטו
    מה חשוב ומה לא,
  • 11:30 - 11:32
    ודעתם לא מוסחת ע"י זה.
  • 11:33 - 11:36
    כשהתחילו המבחנים העיוורים,
  • 11:36 - 11:39
    מספר הנשים המנגנות בתזמורת
    גדל פי חמש.
  • 11:40 - 11:42
    הבא בתור הוא הדיוק.
  • 11:43 - 11:47
    כאן אלגוריתם הערך המוסף
    לדירוג מורים ייכשל מיד.
  • 11:48 - 11:50
    אין אלגוריתם מושלם, כמובן,
  • 11:51 - 11:54
    אז צריך לקחת בחשבון את
    השגיאות של כל אלגוריתם:
  • 11:55 - 11:59
    כמה ומתי הן קורות
    ועם מי המודל הזה נכשל?
  • 12:00 - 12:02
    מהו המחיר של הכשלון הזה?
  • 12:02 - 12:05
    ולסיום, אנחנו מוכרחים
    לקחת בחשבון
  • 12:06 - 12:08
    את ההשפעות ארוכות הטווח
    של האלגוריתמים,
  • 12:09 - 12:11
    של לולאות המשוב שנוצרות.
  • 12:11 - 12:13
    זה נשמע מופשט,
  • 12:13 - 12:16
    אבל מה אם מהנדסי "פייסבוק"
    היו לוקחים זאת בחשבון
  • 12:16 - 12:21
    בטרם החליטו להראות לנו
    רק מה ששיתפו החברים שלנו.
  • 12:22 - 12:25
    יש לי עוד שני מסרים,
    אחד למתכנתים באשר הם:
  • 12:25 - 12:29
    מתכנתים:
    אסור לנו לתווך את האמת.
  • 12:30 - 12:33
    אנחנו צריכים לתת ביטוי
    לדיוני מוסר שמתקיימים
  • 12:33 - 12:35
    בחברה כולה.
  • 12:36 - 12:38
    (מחיאות כפיים)
  • 12:38 - 12:39
    ולשאר האנשים,
  • 12:40 - 12:41
    אלו שאינם עוסקים במידע:
  • 12:41 - 12:43
    לא מדובר במבחן במתמטיקה,
  • 12:44 - 12:45
    אלא במאבק פוליטי.
  • 12:47 - 12:51
    אנחנו צריכים לדרוש משליטי
    האלגוריתמים לקחת אחריות.
  • 12:52 - 12:54
    (מחיאות כפיים)
  • 12:54 - 12:58
    עידן האמון העיוור בנתונים
    חייב להסתיים.
  • 12:58 - 12:59
    תודה רבה.
  • 12:59 - 13:04
    (מחיאות כפיים)
Title:
עידן האמון העיוור בנתונים חייב להסתיים
Speaker:
קטי אוניל
Description:

האלגוריתם מחליט מי יקבל הלוואה, מי יתקבל לראיון עבודה, למי יפתחו תוכנית ביטוח וכו' - אבל הם לא מתוכנתים לעשות זאת באופן צודק. המתמטיקאית והמומחית למידע קטי אוניל קוראת לאלגוריתמים אלו "נשק להשמדה מתמטית". לימדו עוד על הכוונות הנסתרות שמאחורי הנוסחאות.
more » « less
Video Language:
English
Team:
closed TED
Project:
TEDTalks
Duration:
13:18

Hebrew subtitles

Revisions

Our website uses cookies for analysis purposes.