0:00:01.000,0:00:03.216
אני אדבר על כשל באינטואיציה

0:00:03.240,0:00:04.840
שרבים מאיתנו סובלים ממנו.

0:00:05.480,0:00:08.520
זהו למעשה כשל בזיהוי[br]סכנה מסוג מסויים.

0:00:09.360,0:00:11.096
אני אתאר תרחיש

0:00:11.120,0:00:14.376
שאני חושב שהוא גם מבעית

0:00:14.400,0:00:16.160
וגם סביר שיתרחש,

0:00:16.840,0:00:18.496
וזה לא שילוב טוב,

0:00:18.520,0:00:20.056
כפי שמסתבר.

0:00:20.080,0:00:22.536
ולמרות זאת, במקום לפחד, רובכם תרגישו

0:00:22.560,0:00:24.640
שמה שאני מדבר עליו הוא די מגניב.

0:00:25.200,0:00:28.176
אני אתאר איך ההתקדמויות שלנו

0:00:28.200,0:00:29.976
בתחום הבינה המלאכותית

0:00:30.000,0:00:31.776
עלולות לבסוף להשמיד אותנו.

0:00:31.800,0:00:34.770
ולמעשה, אני חושב שקשה מאוד[br]לראות איך הם לא ישמידו אותנו,

0:00:34.770,0:00:36.960
או ימריצו אותנו להשמיד את עצמנו.

0:00:37.400,0:00:39.256
ובכל זאת, אם אתם כמוני,

0:00:39.280,0:00:41.936
אתם תגלו שכיף לחשוב על דברים כאלה.

0:00:41.960,0:00:45.336
והתגובה הזו היא חלק מהבעיה.

0:00:45.360,0:00:47.630
התגובה הזו צריכה להדאיג אתכם.

0:00:47.920,0:00:50.576
אם הייתי צריך לשכנע אתכם בשיחה הזו

0:00:50.600,0:00:54.016
שאנחנו צפויים לסבול מרעב עולמי,

0:00:54.040,0:00:57.096
בגלל שינויי אקלים או קטסטרופה אחרת,

0:00:57.120,0:01:03.156
ושסביר מאוד שהנכדים שלכם, [br]או הנכדים שלהם, יחיו כך

0:01:03.200,0:01:04.400
לא הייתם חושבים,

0:01:05.440,0:01:06.776
"מעניין.

0:01:06.800,0:01:08.390
"אני אוהב את ההרצאה הזו."

0:01:09.200,0:01:10.720
רעב זה לא כיף.

0:01:11.800,0:01:15.176
מוות באמצעות מדע בדיוני,[br]לעומת זאת, הוא כיף.

0:01:15.200,0:01:18.540
ואחד הדברים שהכי מדאיגים אותי[br]בנוגע להתפתחות של בינה מלאכותית כיום,

0:01:18.540,0:01:23.296
הוא שאנחנו לא מסוגלים לגייס[br]את התגובה הרגשית המתאימה

0:01:23.320,0:01:25.136
לסכנות שצפויות לנו.

0:01:25.160,0:01:29.210
אני לא מסוגל לגייס את התגובה הזו,[br]ואני מעביר את ההרצאה הזו.

0:01:30.120,0:01:32.816
זה כאילו שאנחנו ניצבים בפני שתי דלתות.

0:01:32.840,0:01:34.096
מאחורי דלת מספר אחת,

0:01:34.120,0:01:37.416
אנחנו מפסיקים להתקדם[br]בבניית מכונות אינטליגנטיות.

0:01:37.440,0:01:41.456
חומרות ותוכנות המחשב שלנו[br]מפסיקות להשתפר מסיבה כלשהי.

0:01:41.480,0:01:44.480
עכשיו קחו לעצמכם רגע[br]לשקול מדוע זה יכול לקרות.

0:01:45.080,0:01:48.736
בהתחשב בערך הרב של[br]אינטלגינציה ואוטומציה עבורנו,

0:01:48.760,0:01:52.280
אנחנו נמשיך לשפר את הטכנולוגיה,[br]אם נהיה מסוגלים לכך.

0:01:53.200,0:01:54.867
מה יכול לעצור אותנו מלעשות זאת?

0:01:55.800,0:01:57.600
מלחמה גרעינית כוללת?

0:01:59.000,0:02:00.560
מגיפה כלל-עולמית?

0:02:02.320,0:02:03.640
פגיעת אסטרואיד?

0:02:05.640,0:02:08.216
ג'סטין ביבר ממונה לנשיא ארה"ב?

0:02:08.240,0:02:10.520
(צחוק)

0:02:12.760,0:02:17.300
הנקודה היא, משהו יצטרך להשמיד[br]את הציוויליזציה המוכרת לנו.

0:02:17.360,0:02:21.656
אתם חייבים לדמיין כמה נורא זה צריך להיות

0:02:21.680,0:02:25.016
בכדי למנוע מאיתנו לבצע[br]שיפורים בטכנולוגיה שלנו

0:02:25.040,0:02:26.256
לתמיד.

0:02:26.280,0:02:28.296
דור אחרי דור.

0:02:28.320,0:02:30.490
כמעט בהגדרה, זהו הדבר הגרוע ביותר

0:02:30.490,0:02:32.496
שאי-פעם קרה בהיסטוריה האנושית.

0:02:32.520,0:02:33.816
אז האלטרנטיבה היחידה,

0:02:33.840,0:02:36.176
וזה מה שנמצא מאחורי דלת מספר שתיים,

0:02:36.200,0:02:39.336
היא שנמשיך לשפר[br]את המכונות האינטליגנטיות שלנו

0:02:39.360,0:02:40.960
שנה אחר שנה אחר שנה.

0:02:41.720,0:02:45.360
ובנקודה מסוימת, נבנה מכונות [br]שהן חכמות יותר מאיתנו,

0:02:46.080,0:02:48.160
וברגע שיהיו לנו מכונות חכמות מאיתנו,

0:02:48.160,0:02:50.706
הן יתחילו לשפר את עצמן.

0:02:50.720,0:02:53.456
ואז אנחנו מסתכנים במה[br]שהמתמטיקאי איי. ג'יי. גוד קרא לו

0:02:53.480,0:02:55.256
"התפוצצות אינטליגנציה",

0:02:55.280,0:02:57.280
שהתהליך יכול לצאת משליטתנו.

0:02:58.120,0:03:00.936
לרוב זה מתואר כפי שנראה פה,

0:03:00.960,0:03:04.176
כפחד מצבאות של רובוטים זדוניים

0:03:04.200,0:03:05.456
שיתקפו אותנו.

0:03:05.480,0:03:08.176
אבל זה לא התרחיש הסביר ביותר.

0:03:08.200,0:03:13.056
זה לא שהמכונות שלנו[br]יהפכו באופן ספונטני למרושעות.

0:03:13.080,0:03:15.696
החשש האמיתי הוא שנבנה מכונות

0:03:15.720,0:03:18.076
שמוכשרות כל כך הרבה יותר מאיתנו,

0:03:18.076,0:03:21.576
שהסטייה הקטנה ביותר [br]בין המטרות שלנו לשלהן

0:03:21.600,0:03:22.800
עלולה להשמיד אותנו.

0:03:23.960,0:03:26.040
רק תחשבו על היחס שלנו לנמלים.

0:03:26.600,0:03:28.256
אנחנו לא שונאים אותן.

0:03:28.280,0:03:30.336
אנחנו לא עושים מאמץ מיוחד לפגוע בהן.

0:03:30.360,0:03:32.736
למעשה, לפעמים אנחנו מתאמצים[br]כדי שלא לפגוע בהן.

0:03:32.760,0:03:34.776
אנחנו צועדים מעליהן במדרכות.

0:03:34.800,0:03:36.936
אבל ברגע שהנוכחות שלהן

0:03:36.960,0:03:39.456
נמצאת בקונפליקט רציני עם אחת המטרות שלנו,

0:03:39.480,0:03:41.957
למשל כשאנחנו בונים בנין כמו זה,

0:03:41.981,0:03:43.941
אנחנו משמידים אותן ללא יסורי מצפון.

0:03:44.480,0:03:47.416
החשש הוא שיום אחד אנחנו נבנה מכונות

0:03:47.440,0:03:50.176
אשר במודע או שלא,

0:03:50.200,0:03:52.200
יוכלו להתייחס אלינו בזלזול דומה.

0:03:53.760,0:03:57.290
עכשיו, אני חושד שכל זה[br]נשמע מופרך עבור רבים מכם.

0:03:57.360,0:04:03.696
אני בטוח שיש בכם כאלה הספקנים לגבי האפשרות[br]להגיע לבינה מלאכותית סופר-אינטליגנטית כזו,

0:04:03.720,0:04:05.376
ובוודאי לחשוב שהיא בלתי נמנעת.

0:04:05.400,0:04:09.020
אבל אז אתם צריכים למצוא פגם[br]באחת מהנחות היסוד הבאות.

0:04:09.044,0:04:10.616
ויש רק שלוש מהן.

0:04:11.800,0:04:16.519
אינטליגנציה היא ענין של עיבוד מידע [br]במערכות פיזיות.

0:04:17.320,0:04:19.649
למעשה, זו קצת יותר מסתם הנחה.

0:04:19.649,0:04:23.416
אנחנו כבר בנינו אינטליגנציה צרה[br]לתוך המכונות שלנו,

0:04:23.440,0:04:25.456
ורבות מהמכונות האלה מתפקדות

0:04:25.480,0:04:28.120
ברמות של אינטליגנציה על-אנושית כבר כיום.

0:04:28.840,0:04:31.416
ואנחנו יודעים שחומר בלבד

0:04:31.440,0:04:34.190
יכול לייצר מה שנקרא "אינטליגנציה כללית",

0:04:34.190,0:04:37.736
היכולת לחשוב בצורה גמישה[br]מעבר לתחומים רבים,

0:04:37.760,0:04:40.896
כי המוח שלנו מצליח לעשות זאת. נכון?

0:04:40.920,0:04:44.856
הרי יש כאן רק אטומים,

0:04:44.880,0:04:49.376
וכל עוד נמשיך לבנות מערכות של אטומים

0:04:49.400,0:04:52.096
שמפגינות התנהגות יותר ויותר אינטליגנטית,

0:04:52.120,0:04:54.656
בסוף, אלא אם כן יפריעו לנו,

0:04:54.680,0:04:58.056
בסוף, נבנה אינטליגנציה כללית

0:04:58.080,0:04:59.376
בתוך המכונות שלנו.

0:04:59.400,0:05:03.056
זה חיוני להבין שקצב ההתקדמות אינו משנה,

0:05:03.080,0:05:06.256
כיוון שכל התקדמות מספיקה[br]בכדי להביא אותנו לקו הסיום.

0:05:06.280,0:05:10.056
אנחנו לא צריכים את חוק מור בשביל להמשיך.[br]אנחנו לא צריכים התקדמות אקספוננציאלית.

0:05:10.080,0:05:11.680
אנחנו רק צריכים להמשיך.

0:05:13.480,0:05:16.400
ההנחה השניה היא שאנחנו נמשיך.

0:05:17.000,0:05:19.760
אנחנו נמשיך לשפר [br]את המכונות האינטליגנטיות שלנו.

0:05:21.000,0:05:25.376
ובהתחשב בחשיבות האינטליגנציה –

0:05:25.400,0:05:28.936
אינטליגנציה היא המקור של כל מה שיקר לנו

0:05:28.960,0:05:31.736
או שאנחנו זקוקים לה בשביל[br]לשמור על כל מה שיקר לנו.

0:05:31.760,0:05:34.016
זהו המשאב הכי יקר שלנו.

0:05:34.040,0:05:35.576
אז אנחנו רוצים לעשות את זה.

0:05:35.600,0:05:38.936
יש לנו בעיות שאנחנו צריכים לפתור נואשות.

0:05:38.960,0:05:42.160
אנחנו רוצים לרפא מחלות כמו אלצהיימר וסרטן.

0:05:42.960,0:05:46.896
אנחנו רוצים להבין מערכות כלכליות.[br]אנחנו רוצים לשפר את מדעי האקלים.

0:05:46.920,0:05:49.176
אז אנחנו נעשה זאת, אם נוכל.

0:05:49.200,0:05:52.486
הרכבת כבר יצאה מהתחנה,[br]ואין לה מעצור שנוכל למשוך בו.

0:05:53.880,0:05:59.336
לבסוף, אנחנו לא עומדים[br]בפסגת האינטליגנציה,

0:05:59.360,0:06:01.160
או אפילו קרוב אליה, ככל הנראה.

0:06:01.640,0:06:03.310
וזו באמת התובנה הקריטית ביותר.

0:06:03.310,0:06:05.976
זה מה שהופך את המצב שלנו לכל כך מסוכן,

0:06:06.000,0:06:10.040
וזה מה שהופך את האינטואיציות שלנו[br]לגבי הסיכון לכל כך לא אמינות.

0:06:11.120,0:06:13.840
עכשיו, תחשבו על האדם[br]החכם ביותר שחי אי פעם.

0:06:14.640,0:06:18.056
כמעט כולם כאן ישימו את[br]ג'ון פון נוימן איפשהו בראש הרשימה.

0:06:18.080,0:06:21.416
הרושם שפון נוימן עשה על האנשים סביבו,

0:06:21.440,0:06:25.496
וזה כולל כמה מהמתמטיקאים[br]והפיזיקאים הגדולים של זמנו,

0:06:25.520,0:06:27.456
מתועד בצורה טובה למדי.

0:06:27.480,0:06:31.256
אילו חצי מהסיפורים עליו היו חצי נכונים,

0:06:31.280,0:06:32.496
אין ספק בכלל

0:06:32.520,0:06:34.976
שהוא אחד האנשים החכמים שחיו עלי אדמות.

0:06:35.000,0:06:37.520
אז חשבו על רצף האינטליגנציה.

0:06:38.320,0:06:39.749
כאן נמצא ג'ון פון נוימן.

0:06:41.560,0:06:42.894
וכאן נמצאים אתם ואני.

0:06:44.120,0:06:45.416
ופה יש לנו תרנגולת.

0:06:45.440,0:06:47.376
(צחוק)

0:06:47.400,0:06:48.616
מצטער – תרנגולת.

0:06:48.640,0:06:49.896
(צחוק)

0:06:49.920,0:06:52.810
אין סיבה שההרצאה הזו [br]תהיה מדכאת יותר מהנדרש.

0:06:52.810,0:06:55.280
(צחוק)

0:06:56.339,0:06:59.816
אבל סביר מאוד שרצף האינטליגנציה

0:06:59.840,0:07:02.960
ממשיך הרבה מעבר למה שאנחנו מכירים כיום,

0:07:03.880,0:07:07.096
ושאם נבנה מכונות[br]שהן יותר אינטליגנטיות מאיתנו,

0:07:07.120,0:07:09.416
סביר מאוד שהן יחקרו את הרצף הזה

0:07:09.440,0:07:11.296
בדרכים שאיננו יכולים לדמיין,

0:07:11.320,0:07:13.840
ולעלות עלינו בדרכים שאיננו יכולים לדמיין.

0:07:15.000,0:07:19.336
וחשוב להבין שזה נכון ולו רק בזכות המהירות.

0:07:19.360,0:07:24.416
נכון? דמיינו שנבנה בינה מלאכותית [br]סופר-אינטליגנטית

0:07:24.440,0:07:27.896
שאינה חכמה יותר מצוות ממוצע של חוקרים

0:07:27.920,0:07:30.216
בסטנפורד או ב-MIT.

0:07:30.240,0:07:34.490
ובכן, מעגלים אלקטרוניים פועלים [br]בערך פי מיליון מהר יותר ממעגלים ביוכימיים,

0:07:34.520,0:07:37.656
אז המכונה הזו תוכל לחשוב[br]בערך פי מיליון מהר יותר

0:07:37.680,0:07:39.496
מהמוחות שבנו אותה.

0:07:39.520,0:07:41.176
אז אתם נותנים לה לרוץ שבוע,

0:07:41.200,0:07:46.330
והיא תבצע 20,000 שנות אדם[br]של עבודה אינטלקטואלית,

0:07:46.400,0:07:48.360
שבוע אחרי שבוע אחרי שבוע.

0:07:49.640,0:07:53.006
איך נוכל להבין, לא כל שכן להגביל,

0:07:53.006,0:07:55.430
מוח שיכול להתקדם כך?

0:07:56.840,0:07:59.506
בכנות, הדבר הנוסף שמדאיג,

0:07:59.506,0:08:03.976
הוא שאם תדמיינו את התרחיש הטוב ביותר,

0:08:04.000,0:08:08.176
דמיינו שפתאום נתקלנו בתכן[br]של בינה מלאכותית סופר-אינטליגנטית

0:08:08.200,0:08:09.816
שאין בו שום דאגות בטיחותיות.

0:08:09.816,0:08:12.856
יש לנו את התכן המושלם על הפעם הראשונה.

0:08:12.880,0:08:15.096
כאילו שקיבלנו אוֹרַקְל

0:08:15.120,0:08:17.136
שמתנהג בדיוק כפי שאנו מצפים.

0:08:17.160,0:08:20.880
אז המכונה הזו תהיה [br]המכשיר המושלם לחיסכון בעבודה.

0:08:21.680,0:08:24.109
היא תוכל לתכנן את המכונה[br]שתוכל לבנות את המכונה

0:08:24.133,0:08:25.896
שתעשה כל עבודה פיזית,

0:08:25.920,0:08:27.376
תופעל בכוח השמש,

0:08:27.400,0:08:30.096
פחות או יותר במחיר של חומרי הגלם.

0:08:30.120,0:08:33.376
אז אנחנו מדברים על סופה[br]של עבודת הפרך האנושית.

0:08:33.400,0:08:36.200
אנחנו מדברים גם על סופה[br]של רוב העבודה האינטלקטואלית.

0:08:37.200,0:08:40.256
אז מה קופים כמונו יעשו בנסיבות שכאלו?

0:08:40.280,0:08:44.360
טוב, נהיה חופשיים לשחק פריסבי[br]ולהעניק אחד לשני עיסויים.

0:08:45.840,0:08:48.696
תוסיפו קצת אל.אס.די[br]ובחירת לבוש מפוקפקת,

0:08:48.720,0:08:51.516
וכל העולם יראה כמו אירוע של ברנינג מאן.

0:08:51.516,0:08:52.560
(צחוק)

0:08:54.320,0:08:56.320
עכשיו, זה אולי נשמע די טוב,

0:08:57.280,0:08:59.656
אבל תשאלו את עצמכם מה יקרה

0:08:59.680,0:09:02.416
תחת הסדר הכלכלי והפוליטי שלנו היום?

0:09:02.440,0:09:04.856
נראה סביר שאנחנו נחזה

0:09:04.880,0:09:09.016
ברמות של אי-שויון כלכלי ואבטלה

0:09:09.040,0:09:10.536
שלא נצפו קודם לכן מעולם.

0:09:10.560,0:09:13.176
ללא רצון להשקיע מיד את כל העושר הזה

0:09:13.200,0:09:14.680
לרווחת המין האנושי כולו,

0:09:15.640,0:09:19.256
מספר טריליונרים יוכלו לקשט[br]את השערים של כתבי העת העסקיים

0:09:19.280,0:09:21.720
בזמן ששאר העולם יהיה חופשי לרעוב.

0:09:22.320,0:09:24.616
ומה הרוסים והסינים יעשו

0:09:24.640,0:09:27.256
אם הם ישמעו שחברה כלשהי בעמק הסיליקון

0:09:27.280,0:09:30.016
עומדת להשיק בינה מלאכותית [br]סופר-אינטליגנטית?

0:09:30.040,0:09:32.896
המכונה הזו תוכל לנהל מלחמה,

0:09:32.920,0:09:35.136
בין אם ארצית או במרחב הסייבר,

0:09:35.160,0:09:36.840
בעוצמה ללא תקדים.

0:09:38.120,0:09:39.976
זה תרחיש שבו המנצח לוקח הכל.

0:09:40.000,0:09:43.136
להקדים את התחרות הזו בשישה חודשים

0:09:43.160,0:09:46.730
משמעו להקדים את העולם ב-500,000 שנה לפחות.

0:09:47.480,0:09:52.216
אז נראה שאפילו שמועות על פריצת דרך שכזו

0:09:52.240,0:09:54.616
יכולות לגרום למין שלנו להשתגע.

0:09:54.640,0:09:57.536
עכשיו, אחד הדברים המפחידים ביותר,

0:09:57.560,0:10:00.336
לראות עיני, ברגע הזה,

0:10:00.360,0:10:04.656
אלה הדברים שחוקרי בינה מלאכותית אומרים

0:10:04.680,0:10:06.240
כשהם רוצים להרגיע אותנו.

0:10:07.000,0:10:10.456
והסיבה הנפוצה ביותר שאומרים[br]לנו שאין סיבה לדאגה היא זמן.

0:10:10.480,0:10:12.536
זה עוד רחוק מאוד, אתם יודעים.

0:10:12.560,0:10:15.000
זה כנראה רחוק מאיתנו ב-50 או 100 שנים.

0:10:15.720,0:10:16.976
חוקר אחד אמר,

0:10:17.000,0:10:18.576
"לדאוג מהבטיחות של בינה מלאכותית

0:10:18.600,0:10:20.880
"זה כמו לדאוג מצפיפות אוכלוסין על המאדים."

0:10:22.116,0:10:23.736
זו הגרסה של עמק הסיליקון

0:10:23.760,0:10:26.496
ל"אל תטרידו את עצמכם בזה."

0:10:26.496,0:10:27.496
(צחוק)

0:10:27.520,0:10:29.416
נראה שאף אחד לא שם לב

0:10:29.440,0:10:32.056
שההתייחסות לאופק הזמן

0:10:32.080,0:10:34.656
מהווה נון סקוויטר מוחלט.

0:10:34.680,0:10:37.936
אם אינטליגנציה היא רק ענין של עיבוד מידע,

0:10:37.960,0:10:40.616
ואנחנו ממשיכים לשפר את המכונות שלנו,

0:10:40.640,0:10:44.230
אנחנו נייצר סוג כלשהו של סופר-אינטליגנציה.

0:10:44.320,0:10:47.976
ואין לנו מושג כמה זמן ייקח לנו

0:10:48.000,0:10:50.400
לייצר את התנאים כדי[br]לעשות זאת באופן בטיחותי.

0:10:52.200,0:10:53.496
תרשו לי להגיד את זה שוב.

0:10:53.520,0:10:57.336
אין לנו מושג כמה זמן ייקח לנו

0:10:57.360,0:11:00.090
לייצר את התנאים כדי[br]לעשות זאת באופן בטיחותי.

0:11:00.920,0:11:04.376
ואם לא שמתם לב,[br]50 שנה זה לא מה שזה היה פעם.

0:11:04.400,0:11:06.856
אלה 50 שנים מחולקים לחודשים.

0:11:06.880,0:11:08.720
זו כמות הזמן שיש לנו אייפונים.

0:11:09.440,0:11:12.040
זו כמות הזמן ש"הסימפסונים"[br]משודרים בטלויזיה.

0:11:12.680,0:11:15.056
חמישים שנים זה לא הרבה זמן

0:11:15.080,0:11:18.240
כדי להתמודד עם אחד האתגרים[br]הגדולים ביותר שהמין שלנו יתקל בהם.

0:11:19.640,0:11:23.656
שוב, נראה שאנחנו לא מצליחים[br]לייצר את התגובה הרגשית המתאימה

0:11:23.680,0:11:26.376
למשהו שאין לנו ספק שהוא מגיע.

0:11:26.400,0:11:30.376
למדען המחשבים סטיוארט ראסל[br]יש אנלוגיה נחמדה בנושא זה.

0:11:30.400,0:11:35.296
הוא אמר, דמיינו שקיבלנו מסר[br]מתרבות חוצנית כלשהי,

0:11:35.320,0:11:37.016
שאומר:

0:11:37.040,0:11:38.576
"תושבי כדור הארץ,

0:11:38.600,0:11:40.960
"אנחנו נגיע לכוכב שלכם בעוד 50 שנים.

0:11:41.800,0:11:43.376
תתכוננו."

0:11:43.400,0:11:47.656
ועכשיו אנחנו רק סופרים את החודשים[br]עד שספינת האם תנחת?

0:11:47.680,0:11:50.680
אנחנו נרגיש קצת יותר דחיפות[br]ממה שאנחנו מרגישים היום.

0:11:52.680,0:11:54.536
סיבה נוספת שאומרים לנו לא לדאוג

0:11:54.560,0:11:57.576
היא שהמכונות הללו[br]בהכרח יחלֵקו את הערכים שלנו

0:11:57.600,0:12:00.216
כי הן יהיו, הלכה למעשה, שלוחות של עצמנו.

0:12:00.240,0:12:02.056
הן יושתלו למוחות שלנו,

0:12:02.080,0:12:04.440
ואנחנו נהפוך למעשה למערכת הלימבית שלהן.

0:12:05.120,0:12:06.536
קחו רגע נוסף בכדי לשקול

0:12:06.560,0:12:11.116
אם ההתקדמות הבטוחה והשקולה היחידה המומלצת,

0:12:11.120,0:12:13.920
היא להשתיל את הטכנולוגיה הזו[br]ישירות לתוך המוח שלנו.

0:12:14.600,0:12:17.976
עכשיו, זו אולי באמת הדרך[br]השקולה והבטוחה להתקדם,

0:12:18.000,0:12:22.766
אבל מומלץ לטפל היטב בבטיחות טכנולוגיה

0:12:22.766,0:12:25.226
לפני שתוקעים אותה לתוך הראש שלכם.

0:12:25.226,0:12:26.776
(צחוק)

0:12:26.800,0:12:32.136
הבעיה העמוקה יותר היא שבניית [br]בינה מלאכותית סופר-אינטליגנטית לבדה

0:12:32.160,0:12:33.896
נראית קלה יותר

0:12:33.920,0:12:35.776
מבניית בינה מלאכותית סופר-אינטליגנטית

0:12:35.800,0:12:37.976
וגם הבנה מלאה במדעי המוח

0:12:37.976,0:12:40.740
שתאפשר לנו לשלב באופן מושלם [br]אותה עם מוחנו.

0:12:40.800,0:12:43.976
ובהתחשב בכך שחברות וממשלות[br]שעושות את העבודה הזו

0:12:44.000,0:12:47.656
כנראה יראו את עצמן במרוץ כנגד כל האחרות,

0:12:47.680,0:12:50.936
ובהתחשב שנצחון במרוץ הזה [br]משמעותו לזכות בעולם,

0:12:50.960,0:12:53.416
בתנאי שלא תהרסו אותו ברגע שאחרי,

0:12:53.440,0:12:56.056
אז נראה סביר שמה שקל יותר לעשות

0:12:56.080,0:12:57.560
ייעשה קודם.

0:12:58.560,0:13:01.416
למרבה הצער, אין לי פתרון לבעיה הזו,

0:13:01.440,0:13:03.710
מלבד להמליץ שיותר מאיתנו יחשבו עליה.

0:13:03.710,0:13:06.456
אני חושב שאנחנו צריכים משהו[br]כמו פרויקט מנהטן

0:13:06.480,0:13:08.496
לנושא של בינה מלאכותית.

0:13:08.520,0:13:11.256
לא כדי לבנות אותה, כי לדעתי [br]זה בלתי נמנע שנעשה זאת,

0:13:11.280,0:13:14.616
אלא כדי להבין איך נמנעים ממרוץ חימוש

0:13:14.640,0:13:18.136
וכדי לבנות אותה באופן שעולה [br]בקנה אחד עם האינטרסים שלנו.

0:13:18.160,0:13:20.296
כשמדברים על בינה מלאכותית סופר-אינטליגנטית

0:13:20.320,0:13:22.576
שיכולה לשנות את עצמה,

0:13:22.600,0:13:27.216
נראה שיש לנו רק הזדמנות אחת[br]ליצור תנאי פתיחה נכונים,

0:13:27.240,0:13:29.296
ואפילו אז נצטרך לספוג

0:13:29.320,0:13:32.360
את ההשלכות הפוליטיות והכלכליות[br]שקשורות בכך.

0:13:33.760,0:13:35.816
אבל ברגע שנודה בכך

0:13:35.840,0:13:39.840
שעיבוד מידע הוא המקור לאינטליגנציה,

0:13:40.720,0:13:45.520
שמערכת חישובית מתאימה [br]היא הבסיס לאינטליגנציה,

0:13:46.360,0:13:50.120
ונקבל שאנחנו נמשיך לשפר[br]את המערכות האלו ללא הפסקה,

0:13:51.280,0:13:55.736
ונקבל שככל הנראה אופק הקוגניציה רחוק בהרבה

0:13:55.760,0:13:56.960
מזה שאנו מכירים כיום,

0:13:58.120,0:13:59.336
אז עלינו לקבל

0:13:59.360,0:14:02.000
שאנחנו בתהליך של בניית אל כלשהו.

0:14:03.400,0:14:04.976
ועכשיו יהיה זמן טוב

0:14:05.000,0:14:06.953
לוודא שזה אל שנוכל לחיות איתו.

0:14:08.120,0:14:09.656
תודה רבה לכם.

0:14:09.680,0:14:14.773
(מחיאות כפיים)