0:00:00.570,0:00:04.777
אני עובד עם חבורה[br]של מתמטיקאים, פילוסופים ומדעני מחשב.

0:00:04.777,0:00:09.986
ואנחנו יושבים וחושבים[br]על העתיד של אינטיליגנצית מכונות,

0:00:09.986,0:00:12.030
בין דברים אחרים.

0:00:12.030,0:00:16.755
כמה אנשים חושבים שכמה מהדברים האלה[br]הם סוג של מדע בדיוני,

0:00:16.755,0:00:19.856
רחוקים מאוד, משוגעים.

0:00:19.856,0:00:21.326
אבל אני אוהב לומר,

0:00:21.326,0:00:24.930
אוקיי, בואו נביט במצב האנושי המודרני.

0:00:24.930,0:00:26.622
(צחוק)

0:00:26.622,0:00:29.024
זאת הדרך הנורמלית של הדברים.

0:00:29.024,0:00:31.309
אבל אם נחשוב על זה,

0:00:31.309,0:00:34.602
אנחנו למעשה אורחים[br]שהגיעו לאחרונה לפלנטה הזו,

0:00:34.602,0:00:36.684
המין האנושי.

0:00:36.684,0:00:41.430
חשבו על אם כדור הארץ היה נוצר לפני שנה,

0:00:41.430,0:00:44.978
המין האנושי, אז, היה בן 10 דקות.

0:00:44.978,0:00:48.146
המהפכה התעשייתית התחילה לפני שתי שניות.

0:00:49.276,0:00:54.501
דרך נוספת להביט בזה היא לחשוב על התוצר[br]הלאומי הגולמי ב 10,000 השנים האחרונות,

0:00:54.501,0:00:57.530
אני למעשה טרחתי לצייר את זה[br]על גרף בשבילכם.

0:00:57.530,0:00:59.304
זה נראה כך.

0:00:59.304,0:01:00.667
(צחוק)

0:01:00.667,0:01:02.818
זו צורה מוזרה למצב נורמלי.

0:01:02.818,0:01:04.516
אני מאוד לא הייתי רוצה לשבת על זה.

0:01:04.516,0:01:07.067
(צחוק)

0:01:07.067,0:01:11.841
בואו נשאל את עצמנו,[br]מהי הסיבה לאנומליה הנוכחית?

0:01:11.841,0:01:14.393
כמה אנשים היו אומרים שזו טכנולוגיה.

0:01:14.393,0:01:19.061
עכשיו זה נכון, הטכנולוגיה הצטברה[br]במהלך ההסטוריה האנושית,

0:01:19.061,0:01:23.713
וממש עכשיו, ההתקדמות הטכנולוגית[br]היא ממש מהירה --

0:01:23.713,0:01:25.278
זו הסיבה המשוערת,

0:01:25.278,0:01:27.843
לכן אנחנו כל כך פרודוקטיביים עכשיו.

0:01:28.473,0:01:32.134
אבל אני רוצה לחשוב אחורה יותר[br]לסיבה האולטימטיבית.

0:01:33.114,0:01:36.880
הביטו בשני האדונים המאוד נבדלים האלה:

0:01:36.880,0:01:38.480
יש לנו את קנזי --

0:01:38.480,0:01:43.123
הוא שולט ב 200 מונחים לשוניים,[br]מטלה מדהימה.

0:01:43.123,0:01:46.817
ואד וויטן שיחרר את מהפכת מיתרי העל השניה.

0:01:46.817,0:01:49.141
אם נביט מתחת למכסה המנוע, זה מה שנמצא:

0:01:49.141,0:01:50.711
בעיקרון אותו הדבר.

0:01:50.711,0:01:52.524
אחד גדול מעט יותר,

0:01:52.524,0:01:55.282
אולי יש לו גם כמה טריקים[br]בצורה בה הוא מחווט.

0:01:55.282,0:01:59.094
ההבדלים הבלתי נראים לא יכולים[br]להיות כל כך מסובכים, עם זאת,

0:01:59.094,0:02:03.379
מפני שיש הבדל של 250,000 דורות בלבד

0:02:03.379,0:02:05.111
מאז האב המשותף שלנו.

0:02:05.111,0:02:08.960
אנחנו יודעים שלמנגנונים מורכבים[br]לוקח זמן רב להתפתח.

0:02:10.000,0:02:12.499
אז כמה שינויים יחסית קטנים

0:02:12.499,0:02:15.566
לוקחים אותנו מקנזי לוויטן,

0:02:15.566,0:02:20.109
מענפים שבורים לטילים בין יבשתיים.

0:02:20.839,0:02:24.774
אז זה נראה די ברור שכל מה שהשגנו,

0:02:24.774,0:02:26.152
וכל מה שחשוב לנו,

0:02:26.152,0:02:31.380
תלוי קריטית בשינויים יחסית מינוריים[br]שיצרו את המוח האנושי.

0:02:32.650,0:02:36.312
והמקביל לזה, כמובן, זה שכל שינוים עתידיים

0:02:36.312,0:02:39.789
שיכולים להשפיע משמעותית[br]על התשתית של החשיבה

0:02:39.789,0:02:42.991
יכולים פוטנציאלית להיות[br]בעלי תוצאות עצומות.

0:02:44.321,0:02:47.226
כמה מעמיתי חושבים שאנחנו על סף

0:02:47.226,0:02:51.134
משהו שיוכל לגרום לשינוי משמעותי בתשתית,

0:02:51.134,0:02:54.347
ושהדבר זה הוא בינת על של מכונות.

0:02:54.347,0:02:59.086
בינה מלאכותית היתה לשים פקודות במכונה.

0:02:59.086,0:03:00.751
הייתם צריכים מתכנתים אנושיים

0:03:00.751,0:03:03.886
שיבנו בעבודה קשה את פריטי הידע.

0:03:03.886,0:03:05.972
אתם בונים את המערכות המתמחות האלו,

0:03:05.972,0:03:08.296
והן סוג של יעילות למטרות מסויימות,

0:03:08.296,0:03:10.977
אבל הן היו מאוד שבירות,[br]לא יכולתם להגדיל אותן.

0:03:10.977,0:03:14.410
בעיקרון, קיבלתם רק מה שהכנסתם.

0:03:14.410,0:03:15.407
אבל מאז,

0:03:15.407,0:03:18.874
היה שינוי פרדיגמה שהתרחש[br]בשדה של בינה מלאכותית.

0:03:18.874,0:03:21.644
היום, הפעילות סובבת סביב לימוד מכונה.

0:03:22.394,0:03:27.781
אז במקום לייצר יצוג ותכונות של ידע,

0:03:28.511,0:03:34.065
יצרנו אלגוריתמים שלומדים,[br]הרבה פעמים ממידע תפישתי גולמי.

0:03:34.065,0:03:39.063
בעיקרון אותו הדבר שתינוקות אנושיים עושים.

0:03:39.063,0:03:43.270
התוצאה היא ב"מ שלא מוגבלת לתחום אחד --

0:03:43.270,0:03:47.901
אותה מערכת יכולה ללמוד[br]לתרגם בין כל זוג שפות,

0:03:47.901,0:03:53.338
או ללמוד לשחק כל משחק מחשב[br]על קונסולת האטארי.

0:03:53.338,0:03:55.117
עכשיו כמובן,

0:03:55.117,0:03:59.116
ב"מ עדיין לא קרובה ליכולות[br]חוצות התחומים והעוצמה

0:03:59.116,0:04:02.335
והיכולת ללמוד ולתכנן כמו בני אדם.

0:04:02.335,0:04:04.461
לקורטקס עדיין יש כמה טריקים אלגוריתמיים

0:04:04.461,0:04:06.816
שאנחנו עדיין לא יודעים איך לדמות במכונות.

0:04:07.886,0:04:09.785
אז השאלה היא,

0:04:09.785,0:04:13.285
כמה רחקו אנחנו מלהיות מסוגלים[br]להשתוות לטריקים האלה?

0:04:14.245,0:04:15.328
לפני כמה שנים,

0:04:15.328,0:04:18.216
עשינו סקר של כמה ממומחי[br]הב"מ המובילים בעולם,

0:04:18.216,0:04:21.440
כדי לראות מה הם חושבים,[br]ואחת השאלות ששאלנו היתה,

0:04:21.440,0:04:24.793
"באיזו שנה אתם חושבים[br]שיש הסתברות של 50 אחוז

0:04:24.793,0:04:28.275
שנגיע לרמת בינה אנושית במכונות?"

0:04:28.785,0:04:32.968
הגדרנו רמת בינה אנושית פה כיכולת לבצע

0:04:32.968,0:04:35.839
כמעט כל עבודה בצורה טובה [br]לפחות כמו אדם בוגר,

0:04:35.839,0:04:39.844
אז רמה אנושית אמיתית,[br]לא רק בתוך תחום מסויים.

0:04:39.844,0:04:43.494
והתוצאה החציונית היתה בין 2040 ל 2050,

0:04:43.494,0:04:46.300
תלוי בדיוק באיזו קבוצת מומחים שאלנו.

0:04:46.300,0:04:50.339
עכשיו, זה יכול לקרות[br]הרבה הרבה יותר מאוחר, או מוקדם,

0:04:50.339,0:04:52.279
האמת היא שאף אחד לא באמת יודע.

0:04:53.259,0:04:57.671
מה שאנחנו כן יודעים זה[br]שהסף האולטימטיבי לעיבוד מידע

0:04:57.671,0:05:02.542
בתשתית המכונה נמצא[br]מחוץ למגבלות ברקמה ביולוגית.

0:05:03.241,0:05:05.619
זה בסופו של דבר עניין של פיזיקה.

0:05:05.619,0:05:10.337
ניורון ביולוגי יורה, אולי,[br]ב 200 הרץ, 200 פעמים בשניה.

0:05:10.337,0:05:13.931
אבל אפילו טרנזיסטור היום פועל בגיגה הרצים.

0:05:13.931,0:05:19.228
הניורונים מתפשטים לאט באקסונים[br]100 מטר בשניה מקסימום.

0:05:19.228,0:05:22.339
אבל במחשבים, האות יכול לנוע במהירות האור.

0:05:23.079,0:05:24.948
יש גם מגבלות גודל,

0:05:24.948,0:05:27.975
כמו שמוח אנושי חייב להתאים לתוך הגולגולת,

0:05:27.975,0:05:32.736
אבל מחשב יכול להיות[br]בגודל של מחסן או גדול יותר.

0:05:32.736,0:05:38.335
אז הפוטנציאל לבינת על[br]נמצא רדום בתוך החומר,

0:05:38.335,0:05:44.047
בדומה לכוח האטום שנמצא[br]רדום במהלך ההסטוריה האנושית,

0:05:44.047,0:05:48.452
בסבלנות עד 1945,

0:05:48.452,0:05:49.700
במאה הזו,

0:05:49.700,0:05:53.818
מדענים אולי ילמדו להעיר[br]את הכוח של בינה מלאכותית.

0:05:53.818,0:05:57.826
ואני חושב שאולי נראה התפוצצות בינה.

0:05:58.406,0:06:02.363
עכשיו רוב האנשים,[br]כשהם חושבים על מה זה חכם ומה טיפש,

0:06:02.363,0:06:05.386
אני חושב שיש בראשם תמונה בערך כזו.

0:06:05.386,0:06:07.984
אז בצד אחד יש לנו את טיפש הכפר,

0:06:07.984,0:06:10.467
ואז הרחק בצד השני

0:06:10.467,0:06:15.223
יש לנו את אד וויטן, או אלברט איינשטיין,[br]או מי שהגורו החביב עליכם.

0:06:15.223,0:06:19.057
אבל אני חושב שמנקודת המבט[br]של בינה מלאכותית,

0:06:19.057,0:06:22.738
התמונה האמיתית היא למעשה יותר דומה לזה:

0:06:23.258,0:06:26.636
ב"מ מתחילה בנקודה הזו פה, באפס בינה,

0:06:26.636,0:06:29.647
ואז, אחרי הרבה, הרבה, שנים של עבודה קשה,

0:06:29.647,0:06:33.491
אולי לבסוף נגיע לרמת בינה של עכבר,

0:06:33.491,0:06:35.921
משהו שיכול לנווט בסביבות מורכבות

0:06:35.921,0:06:37.908
כמו שעכבר יכול.

0:06:37.908,0:06:42.221
ואז, אחרי עוד הרבה הרבה שנים[br]של עבודה ממש קשה, הרבה השקעות,

0:06:42.221,0:06:46.860
אולי לבסוף נגיע לרמת בינה של שימפנזה.

0:06:46.860,0:06:50.070
ואז, אחרי אפילו יותר שנים[br]של עבודה ממש ממש קשה,

0:06:50.070,0:06:52.983
נגיע לרמה של אידיוט הכפר.

0:06:52.983,0:06:56.255
וכמה רגעים אחר כך, אנחנו מעבר לאד וויטן.

0:06:56.255,0:06:59.225
הרכבת לא עוצרת בעיר בני האדם,

0:06:59.225,0:07:02.247
רוב הסיכוים שהיא תחלוף ביעף.

0:07:02.247,0:07:04.231
עכשיו יש לזה השלכות עמוקות,

0:07:04.231,0:07:08.093
בעיקר כשזה מגיע לשאלות של כוח.

0:07:08.093,0:07:09.992
לדוגמה, שימפנזים חזקים --

0:07:09.992,0:07:15.214
קילו לקילו, שימפנזה חזקה[br]בערך פי שתיים מגבר אנושי.

0:07:15.214,0:07:19.828
ועדיין, הגורל של קנזי וחבריו[br]תלוי הרבה יותר

0:07:19.828,0:07:23.968
במה שאנשים יעשו מאשר במה[br]שהשימפנזות יעשו בעצמן.

0:07:25.228,0:07:27.542
ברגע שתהייה בינת על,

0:07:27.542,0:07:31.381
גורל האנושות אולי יהיה תלוי[br]במה שבינת העל תעשה.

0:07:32.451,0:07:33.508
חשבו על זה:

0:07:33.508,0:07:38.552
בינת מכונות היא ההמצאה האחרונה[br]שהמין האנושי יצטרך אי פעם לעשות.

0:07:38.552,0:07:41.525
מכונות יהיו אז טובות יותר בהמצאה מאיתנו,

0:07:41.525,0:07:44.065
והן יעשו את זה בטווחי זמן דיגיטליים.

0:07:44.065,0:07:48.966
מה שזה אומר זה בעיקרון טלסקופ של העתיד.

0:07:48.966,0:07:52.524
חשבו על כל הטכנולוגיות[br]המשוגעות שתוכלו לדמיין

0:07:52.524,0:07:55.322
שאולי אנשים היו יכולים לפתח במשך הזמן:

0:07:55.322,0:07:58.580
תרופות להזדקנות, ישוב החלל,

0:07:58.580,0:08:02.311
ננו רובוטים שמשכפלים את עצמם[br]או העלאת התודעה שלנו למחשבים,

0:08:02.311,0:08:04.470
כל מיני סוגים של מדע בדיוני

0:08:04.470,0:08:07.207
שעדיין מתאים לחוקי הפיזיקה.

0:08:07.207,0:08:11.419
את כל זה בינת העל הזו[br]יכולה לפתח, ויכול להיות שדי מהר.

0:08:12.449,0:08:16.007
עכשיו בינת על עם כזו בגרות טכנולוגית

0:08:16.007,0:08:18.186
תהיה חזקה מאוד,

0:08:18.186,0:08:22.732
ולפחות בכמה מקרים,[br]היא תהיה מסוגלת להשיג מה שהיא רוצה.

0:08:22.732,0:08:28.393
אז יהיו לנו עתיד שיהיה מעוצב[br]על ידי ההעדפות של ב"מ זו.

0:08:29.855,0:08:33.604
עכשיו שאלה טובה היא, מהן ההעדפות האלו?

0:08:34.244,0:08:36.013
פה זה נעשה מסובך.

0:08:36.013,0:08:37.448
כדי להתקדם בכלל עם זה,

0:08:37.448,0:08:40.724
אנחנו חייבים ראשית להמנע מאנתרופומורפזינג.

0:08:41.934,0:08:45.235
וזה אירוני מפני שבכל מאמר בעיתון

0:08:45.235,0:08:49.090
על העתיד של ב"מ[br]יש את התמונה הזו:

0:08:50.280,0:08:54.414
אז אני חושב שמה שאנחנו צריכים לעשות זה[br]לחשוב על הבעיה הזו בצורה יותר מופשטת,

0:08:54.414,0:08:57.204
לא במונחים של תסריטים הוליוודיים.

0:08:57.204,0:09:00.821
אנחנו צריכים לחשוב על בינה כתהליך מיטוב,

0:09:00.821,0:09:06.470
תהליך שמנתב את העתיד[br]לסט מסויים של קונפיגורציות.

0:09:06.470,0:09:09.981
בינת על היא באמת תהליך מיטוב מאוד חזק.

0:09:09.981,0:09:14.098
היא ממש טובה בשימוש[br]באמצעים זמינים כדי להשיג מצב

0:09:14.098,0:09:16.007
בו המטרה שלה מושגת.

0:09:16.447,0:09:19.119
זה אומר שאין חיבור הכרחי בין

0:09:19.119,0:09:21.853
להיות מאוד נבון במובן הזה,

0:09:21.853,0:09:26.515
ושתהיה לה מטרה שאנחנו האנשים[br]נמצא כדאית או משמעותית.

0:09:27.321,0:09:31.115
נניח שניתן לב"מ את המטרה[br]לגרום לאנשים לחייך.

0:09:31.115,0:09:34.097
כשהב"מ חלשה,[br]היא מבצעת פעולות מועילות או משעשעות

0:09:34.097,0:09:36.614
שגורמות למשתמשים שלה לחייך.

0:09:36.614,0:09:39.031
כשהב"מ הופכת לבינת על,

0:09:39.031,0:09:42.554
היא מבינה שיש דרך יותר יעילה[br]כדי להשיג את המטרה:

0:09:42.554,0:09:44.476
להשתלט על העולם

0:09:44.476,0:09:47.638
ולתקוע אלקטרודות בשרירי הפנים של אנשים

0:09:47.638,0:09:50.579
כדי לגרום לפרצופים מחייכים בקביעות.

0:09:50.579,0:09:51.614
דוגמה נוספת,

0:09:51.614,0:09:54.997
נניח שניתן לב"מ את המטרה[br]לפתור בעיה מתמטית מסובכת.

0:09:54.997,0:09:56.934
כשהב"מ הופכת לבינת על,

0:09:56.934,0:10:01.105
היא מבינה שהדרך הכי אפקטיבית[br]לפתור את הבעיה הזו

0:10:01.105,0:10:04.035
היא להפוך את הפלנטה למחשב עצום,

0:10:04.035,0:10:06.281
כדי להגביר את יכולת החשיבה.

0:10:06.281,0:10:09.045
ושימו לב שזה נותן לב"מ סיבה משמעותית

0:10:09.045,0:10:11.561
לעשות דברים לנו שאולי לא נסכים להם.

0:10:11.561,0:10:13.496
אנשים במודל הזה הם איומים,

0:10:13.496,0:10:16.417
נוכל למנוע מהבעיה המתמטית מלהפתר.

0:10:17.207,0:10:20.701
כמובן, יכול להיות שהדברים לא ילכו[br]לכיוונים לא טובים בדרכים האלה;

0:10:20.701,0:10:22.454
אלה דוגמאות הנפשה.

0:10:22.454,0:10:24.393
אבל הנקודה העיקרית פה היא חשובה:

0:10:24.393,0:10:27.266
אם אתם יוצרים תהליך מיטוב ממש חזק

0:10:27.266,0:10:29.500
כדי למקסם את מטרה X,

0:10:29.500,0:10:31.776
כדאי שתדאגו שההגדרה שלכם ל X

0:10:31.776,0:10:34.245
כוללת כל מה שחשוב לכם.

0:10:34.835,0:10:39.219
זה שיעור שגם מסופר בהרבה מיתוסים.

0:10:39.219,0:10:44.517
המלך מידאס רצה שכל מה שיגע בו יהפוך לזהב.

0:10:44.517,0:10:47.378
הוא נוגע בביתו, והיא הופכת לזהב.

0:10:47.378,0:10:49.931
הוא נוגע באוכל, והוא הופך לזהב.

0:10:49.931,0:10:52.520
זה יכול להפוך לרלוונטי במיוחד,

0:10:52.520,0:10:54.590
לא רק כמטאפורה לתאוות בצע,

0:10:54.590,0:10:56.485
אלא כהדגמה למה שקורה

0:10:56.485,0:10:59.322
אם אתם יוצרים תהליך מיטוב חזק

0:10:59.322,0:11:04.111
ונותנים לו מטרות לא מובנות[br]או לא מוגדרות היטב.

0:11:04.111,0:11:09.300
עכשיו אתם אולי תגידו, אם מחשב יתחיל לתקוע[br]אלקטרודות לתוך פנים של אנשים,

0:11:09.300,0:11:11.565
פשוט נכבה אותו.

0:11:12.555,0:11:17.895
ראשית, זה לא בהכרח יהיה פשוט[br]לעשות אם הפכנו לתלויים במערכת --

0:11:17.895,0:11:20.627
כמו, איפה מתג הכיבוי לאינטרנט?

0:11:20.627,0:11:25.747
שנית, למה השימפנזים[br]לא כיבו את המתג של האנושות,

0:11:25.747,0:11:27.298
או הנאנדרטלים?

0:11:27.298,0:11:29.964
בהחלט היו להם סיבות.

0:11:29.964,0:11:32.759
יש לנו מתג כיבוי, לדוגמה, ממש פה.

0:11:32.759,0:11:34.313
(חנק)

0:11:34.313,0:11:37.238
הסיבה היא שאנחנו יריב נבון;

0:11:37.238,0:11:39.966
אנחנו יכולים לצפות איומים ולתכנן סביבם.

0:11:39.966,0:11:42.470
אבל כך גם תוכל בינת העל,

0:11:42.470,0:11:45.724
והיא תהיה טובה בזה מאיתנו.

0:11:45.724,0:11:52.911
הנקודה היא, אנחנו לא צריכים להיות בטוחים[br]שנוכל לשלוט במצב הזה.

0:11:52.911,0:11:56.358
ונוכל לנסות לעשות את העבודה שלנו[br]מעט קלה יותר על ידי, נגיד,

0:11:56.358,0:11:57.948
לשים את הב"מ בקופסה,

0:11:57.948,0:11:59.744
כמו סביבת תוכנה מאובטחת,

0:11:59.744,0:12:02.766
הדמיית מציאות מדומה[br]ממנה היא לא יכולה לברוח.

0:12:02.766,0:12:06.912
אבל כמה בטוחים אנחנו יכולים להיות[br]שהב"מ לא תוכל למצוא באג.

0:12:06.912,0:12:10.081
בהתחשב בזה שהאקרים אנושיים[br]מוצאים באגים כל הזמן,

0:12:10.081,0:12:13.117
היתי אומר, שכנראה לא כל כך בטוחים.

0:12:14.237,0:12:18.785
אז ננתק את כבל הרשת כדי ליצור מרווח אויר,

0:12:18.785,0:12:21.453
אבל שוב, כמו האקרים אנושיים רגילים

0:12:21.453,0:12:24.834
שעוברים פערי אויר באופן[br]שוטף בעזרת הנדסה חברתית.

0:12:24.834,0:12:26.093
ממש עכשיו, כשאני מדבר,

0:12:26.093,0:12:28.482
אני בטוח שיש איזשהו עובדת אי שם

0:12:28.482,0:12:31.828
ששכנעו אותה לתת את פרטי החשבון שלה

0:12:31.828,0:12:34.574
על ידי מישהו שטוען[br]שהוא ממחלקת מערכות המידע.

0:12:34.574,0:12:36.701
תרחישים יותר יצירתיים הם גם אפשריים,

0:12:36.701,0:12:38.016
כמו אם אתם הב"מ,

0:12:38.016,0:12:41.548
אתם יכולים לדמיין שינוי[br]אלקטרודות בחיווט הפנימי שלכם

0:12:41.548,0:12:45.010
כדי ליצור גלי רדיו בהם אתם יכולים[br]להשתמש כדי לתקשר.

0:12:45.010,0:12:47.434
או אולי תוכלו להעמיד פנים שאתם מקולקלים,

0:12:47.434,0:12:50.931
ואז כשהמתכנת יפתח אתכם[br]לראות מה לא תקין איתכם,

0:12:50.931,0:12:52.867
הם יביטי בקוד המקור -- באם! --

0:12:52.867,0:12:55.314
המניפולציה יכולה להתרחש.

0:12:55.314,0:12:58.744
או אולי היא תוכל להוציא את התוכנית שלה[br]לטכנולוגיה ממש מגניבה,

0:12:58.744,0:13:00.142
וכשתיישמו אותה,

0:13:00.142,0:13:04.539
יהיה לה אפקט משנה חשאי שהב"מ תכננה.

0:13:04.539,0:13:08.002
הנקודה פה היא שאנחנו לא צריכים[br]להיות בטוחים ביכולת שלנו

0:13:08.002,0:13:11.810
לשמור על שד בינת העל[br]נעול בבקבוק שלו לעד.

0:13:11.810,0:13:14.064
במוקדם או במאוחר, הוא יצא.

0:13:15.034,0:13:18.137
אני מאמין שהתשובה פה היא להבין

0:13:18.137,0:13:23.161
איך ליצור בינת על כך[br]שאפילו אם -- מתי - שהיא תברח,

0:13:23.161,0:13:26.438
זה עדיין בטוח מפני שהיא באופן בסיסי לצידנו

0:13:26.438,0:13:28.337
מפני שהיא חולקת את הערכים שלנו.

0:13:28.337,0:13:31.547
אני לא רואה דרך לעקוף[br]את הבעיה המסובכת הזו.

0:13:32.557,0:13:36.391
עכשיו, אני למעשה די אופטימי[br]שהבעיה הזו יכולה להפתר.

0:13:36.391,0:13:40.294
לא נהיה צריכים לכתוב רשימה ארוכה[br]של כל מה שאכפת לנו ממנו,

0:13:40.294,0:13:43.937
או גרוע יותר, לאיית את זה בשפת מחשב כלשהיא

0:13:43.937,0:13:45.391
כמו C++ או פייתון,

0:13:45.391,0:13:48.158
זו תהיה משימה מעבר לחסרת תקווה.

0:13:48.158,0:13:52.455
במקום, אנחנו צריכים ליצור ב"מ[br]שמשמשת בבינה שלה

0:13:52.455,0:13:55.226
כדי ללמוד מה אנחנו מעריכים,

0:13:55.226,0:14:00.506
ומערכת המוטיבציה שלה מורכבת[br]בדרך כזו שיש לה מוטיבציה

0:14:00.506,0:14:05.738
לרדוף אחרי הערכים שלנו כדי לבצע[br]פעולות שהיא צופה שנסכים להן.

0:14:05.738,0:14:09.152
לכן ננצל את הבינה שלה ככל האפשר

0:14:09.152,0:14:11.897
כדי לפתור בעיות של הטענת ערכים.

0:14:12.727,0:14:14.239
זה יכול לקרות,

0:14:14.239,0:14:17.835
והתוצאה תוכל להיות מאוד טובה לאנושות.

0:14:17.835,0:14:21.792
אבל זה לא קורה אוטומטית.

0:14:21.792,0:14:24.790
התנאים ההתחלתיים להתפוצצות הבינה

0:14:24.790,0:14:27.653
אולי צריכים להבנות בדיוק בדרך הנכונה

0:14:27.653,0:14:31.183
אם אנחנו רוצים שיהיה לנו פיצוץ מבוקר.

0:14:31.183,0:14:33.801
הערכים שיש לב"מ צריכים להתאים לשלנו,

0:14:33.801,0:14:35.561
לא רק בהקשר המוכר,

0:14:35.561,0:14:37.999
כמו איפה אנחנו יכולים לבדוק בקלות[br]איך הב"מ מתנהגת,

0:14:37.999,0:14:41.233
אלא גם בהקשרים הכי חדשים[br]שהב"מ אולי תיתקל בהם

0:14:41.233,0:14:42.790
בעתיד הלא בטוח.

0:14:42.790,0:14:47.527
ויש גם כמה נושאים איזוטריים[br]שנצטרך לפתור, לארגן:

0:14:47.527,0:14:49.616
הפרטים המדוייקים של תאוריית ההחלטות שלה,

0:14:49.616,0:14:52.480
איך היא מתמודדת עם[br]חוסר ודאות לוגי וכך האלה.

0:14:53.330,0:14:56.432
אז הבעיות הטכניות שצריכות להפתר[br]כדי לגרום לזה לעבוד

0:14:56.432,0:14:57.545
נראים די קשים --

0:14:57.545,0:15:00.925
לא קשים כמו לעשות ב"מ סופר אינטיליגנטית,

0:15:00.925,0:15:03.793
אבל די קשים.

0:15:03.793,0:15:05.488
הנה הדאגה:

0:15:05.488,0:15:10.172
ליצור ב"מ סופר אינטיליגנטית[br]זה אתגר מאוד קשה.

0:15:10.172,0:15:12.720
ליצור ב"מ סופר אינטיליגנטית שהיא בטוחה

0:15:12.720,0:15:15.136
כולל כמה אתגרים נוספים מעבר לזה.

0:15:16.216,0:15:19.703
הסיכון הוא שמישהו יבין[br]איך לפצח את האתגר הראשון

0:15:19.703,0:15:22.704
בלי לפתור את האתגר הנוסף

0:15:22.704,0:15:24.605
של להבטיח בטיחות מושלמת.

0:15:25.375,0:15:28.706
אז אני חושב שאנחנו צריכים למצוא פיתרון

0:15:28.706,0:15:31.528
לבעית השליטה מראש,

0:15:31.528,0:15:34.188
כך שהיא תהיה זמינה בזמן שמצטרך אותה.

0:15:34.768,0:15:38.275
עכשיו אולי לא נוכל לפתור[br]את כל בעיית השליטה מראש

0:15:38.275,0:15:41.299
מפני שאולי כמה אלמנטים יכולים להיות במקום

0:15:41.299,0:15:45.296
רק ברגע שאנחנו יודעים את הפרטים[br]של הארכיטקטורה בה היא תיושם.

0:15:45.296,0:15:48.676
אבל ככל שנפתור יותר מבעית השליטה מראש,

0:15:48.676,0:15:52.766
הסיכויים יהיו טובים יותר[br]שהמעבר לעידן בינת המכונה

0:15:52.766,0:15:54.306
יעבור טוב.

0:15:54.306,0:15:58.950
זה בשבילי נראה כמו משהו ששווה לעשות

0:15:58.950,0:16:02.282
ואני יכול לדמיין שאם דברים ילכו טוב,

0:16:02.282,0:16:06.940
שאנשים בעוד מליון שנה יביטו אחורה במאה הזו

0:16:06.940,0:16:10.942
ואולי יסתבר שהדבר היחידי שעשינו ובאמת שינה

0:16:10.942,0:16:12.509
היה לעשות את זה נכון.

0:16:12.509,0:16:14.198
תודה לכם.

0:16:14.198,0:16:17.011
(מחיאות כפיים)