0:00:00.570,0:00:04.777
Pracuję z matematykami,[br]filozofami i informatykami.

0:00:04.777,0:00:08.686
Rozmyślamy między innymi

0:00:08.686,0:00:12.030
o przyszłości sztucznej inteligencji.

0:00:12.030,0:00:16.755
Niektórzy twierdzą, że te sprawy[br]podchodzą pod science-fiction,

0:00:16.755,0:00:19.856
są wydumane, szalone.

0:00:19.856,0:00:21.326
Ale wtedy mówię:

0:00:21.326,0:00:24.930
"Spójrzmy na dzisiejszy[br]stan ludzkości".

0:00:24.930,0:00:26.622
(Śmiech)

0:00:26.622,0:00:29.024
Tak się prezentuje dzisiaj.

0:00:29.024,0:00:31.309
Jeśli się nad tym zastanowić,

0:00:31.309,0:00:34.602
dopiero niedawno ludzie

0:00:34.602,0:00:36.684
zagościli na tej planecie.

0:00:36.684,0:00:41.430
Gdyby Ziemia powstała rok temu,

0:00:41.430,0:00:44.978
rodzaj ludzki istniałby od 10 minut.

0:00:44.978,0:00:48.146
Rewolucja przemysłowa[br]rozpoczęła się 2 sekundy temu.

0:00:49.276,0:00:54.501
Można też spojrzeć na przyrost PKB[br]z ostatnich 10 tysięcy lat.

0:00:54.501,0:00:57.530
Zadałem sobie trud[br]narysowania tego wykresu.

0:00:57.530,0:00:59.304
Wygląda tak.

0:00:59.304,0:01:00.667
(Śmiech)

0:01:00.667,0:01:02.818
Nie jest to typowy kształt.

0:01:02.818,0:01:04.516
Nie chciałbym na nim usiąść.

0:01:04.516,0:01:07.067
(Śmiech)

0:01:07.067,0:01:11.841
Zastanówmy się, co powoduje tę anomalię.

0:01:11.841,0:01:14.393
Niektórzy mówią, że technologia.

0:01:14.393,0:01:19.061
To prawda, tempo rozwoju technologii[br]wciąż przyspiesza,

0:01:19.061,0:01:23.713
a teraz rozwój jest szalenie gwałtowny.

0:01:23.713,0:01:25.278
Jest to bezpośrednia przyczyna,

0:01:25.278,0:01:27.843
dla której obecnie[br]jesteśmy tak produktywni.

0:01:28.473,0:01:32.134
Chciałbym jednak sięgnąć do źródła.

0:01:33.114,0:01:36.880
Spójrzcie na tych dwóch[br]dystyngowanych jegomości.

0:01:36.880,0:01:38.480
Jeden z nich to Kanzi,

0:01:38.480,0:01:43.123
opanował 200 jednostek leksykalnych,[br]niezwykłe osiągnięcie.

0:01:43.123,0:01:46.817
A drugi to Ed Witten, który zapoczątkował[br]drugą rewolucję superstrun.

0:01:46.817,0:01:49.141
Jeśli zajrzymy pod maskę,[br]oto co znajdziemy.

0:01:49.141,0:01:50.711
Prawie to samo.

0:01:50.711,0:01:52.524
Jeden jest nieco większy,

0:01:52.524,0:01:55.282
może bardziej pomysłowo skonstruowany.

0:01:55.282,0:01:59.094
Te niewidoczne różnice[br]nie mogą być jednak zbyt skomplikowane,

0:01:59.094,0:02:02.319
gdyż od wspólnego przodka

0:02:02.329,0:02:05.111
dzieli nas tylko 250 tysięcy pokoleń.

0:02:05.111,0:02:08.960
Wiemy, że skomplikowane mechanizmy[br]potrzebują dużo czasu na ewolucję.

0:02:10.000,0:02:12.499
Istnieją więc stosunkowo[br]niewielkie różnice

0:02:12.499,0:02:15.566
między Kanzim a Wittenem,

0:02:15.566,0:02:20.109
między odłamanymi gałęziami,,[br]a pociskami międzykontynentalnymi.

0:02:20.839,0:02:24.774
Jest jasne, że wszystko, co osiągnęliśmy,

0:02:24.774,0:02:26.152
i wszystko, co dla nas ważne,

0:02:26.152,0:02:31.380
opiera się na niewielkich zmianach,[br]dzięki którym powstał umysł ludzki.

0:02:32.650,0:02:36.312
Wszelkie dalsze zmiany, które mogą zmienić

0:02:36.312,0:02:39.789
podłoże naszego rozumowania,

0:02:39.789,0:02:42.991
mogą nieść ogromne konsekwencje.

0:02:44.321,0:02:47.226
Niektórzy z moich kolegów sądzą,[br]że znajdujemy się u progu

0:02:47.226,0:02:51.134
takiej ogromnej zmiany,

0:02:51.134,0:02:54.347
a jest nią sztuczna superinteligencja.

0:02:54.347,0:02:59.086
Sztuczna inteligencja polegała[br]na wprowadzaniu komend do pudełka.

0:02:59.086,0:03:00.751
Potrzeba było programisty,

0:03:00.751,0:03:03.886
który mozolnie ją kształtował.

0:03:03.886,0:03:05.972
Można było stworzyć zaawansowany system

0:03:05.972,0:03:08.296
przydatny do pewnych celów,

0:03:08.296,0:03:10.977
ale też kruchy,[br]niedający się przeskalować.

0:03:10.977,0:03:14.410
Otrzymywaliśmy tylko to,[br]co sami wprowadziliśmy.

0:03:14.410,0:03:15.407
Ale od tamtej pory

0:03:15.407,0:03:18.874
na polu sztucznej inteligencji[br]zaszła zmiana paradygmatu.

0:03:18.874,0:03:21.644
Dzisiaj skupiamy się na uczeniu maszyn.

0:03:22.394,0:03:27.781
Zamiast ręcznie budować wiedzę i cechy,

0:03:28.511,0:03:34.065
tworzymy algorytmy, które się uczą,[br]często na podstawie szczątkowych danych.

0:03:34.065,0:03:39.063
Praktycznie w taki sam sposób,[br]w jaki robią to niemowlaki.

0:03:39.063,0:03:43.270
W rezultacie sztuczna inteligencja[br]nie ogranicza się do jednej dziedziny.

0:03:43.270,0:03:47.901
Ten sam system może nauczyć się[br]tłumaczyć dowolną parę języków

0:03:47.901,0:03:53.338
albo grać w gry na konsoli Atari.

0:03:53.338,0:03:55.117
Oczywiście, sztuczna inteligencja

0:03:55.117,0:03:59.116
nie jest tak wszechstronna

0:03:59.116,0:04:02.335
w nauce i planowaniu, co człowiek.

0:04:02.335,0:04:04.461
Kora mózgowa ma pewne[br]algorytmiczne sztuczki,

0:04:04.461,0:04:06.816
których nie potrafimy[br]zaimplementować maszynom.

0:04:07.886,0:04:09.785
Pytanie brzmi:

0:04:09.785,0:04:13.285
"Kiedy będziemy mogli to zrobić?".

0:04:14.245,0:04:15.328
Kilka lat temu

0:04:15.328,0:04:18.216
przeprowadziliśmy ankietę[br]wśród światowych ekspertów od SI.

0:04:18.216,0:04:21.440
Jedno z zadanych pytań brzmiało:

0:04:21.440,0:04:24.793
"W którym roku będziemy mieć 50% szans

0:04:24.793,0:04:28.275
na stworzenie inteligencji[br]na poziomie ludzkim?".

0:04:28.785,0:04:32.968
Poziom ten zdefiniowaliśmy[br]jako umiejętność wykonywania

0:04:32.968,0:04:35.839
niemal każdej pracy tak dobrze,[br]jak dorosły człowiek,

0:04:35.839,0:04:39.844
a więc chodziło o rzeczywisty poziom,[br]a nie wąską specjalizację.

0:04:39.844,0:04:43.494
Średnia odpowiedzi przypadała[br]na rok 2040 albo 2050,

0:04:43.494,0:04:46.300
w zależności od grupy ekspertów.

0:04:46.300,0:04:50.339
Może się to zdarzyć dużo później[br]albo dużo wcześniej.

0:04:50.339,0:04:52.279
Nikt tego tak naprawdę nie wie.

0:04:53.259,0:04:58.951
Wiemy, że granica przetwarzania informacji[br]u maszyn leży o wiele dalej

0:04:58.951,0:05:02.542
niż w przypadku istot żywych.

0:05:03.241,0:05:05.619
Wszystko sprowadza się do fizyki.

0:05:05.619,0:05:10.337
Neuron wysyła impuls z częstotliwością[br]200 herców, 200 razy na sekundę.

0:05:10.337,0:05:13.931
Dzisiejsze tranzystory[br]operują w gigahercach.

0:05:13.931,0:05:19.228
Informacja podróżuje przez akson powoli,[br]najwyżej 100 metrów na sekundę.

0:05:19.228,0:05:22.339
W komputerach sygnał może[br]poruszać się z prędkością światła.

0:05:23.079,0:05:24.948
Istnieją też limity wielkości.

0:05:24.948,0:05:27.975
Ludzki mózg musi zmieścić się w czaszce,

0:05:27.975,0:05:32.736
komputer może być jak hala fabryczna[br]albo jeszcze większy.

0:05:32.736,0:05:38.335
Potencjał superinteligencji[br]jest więc uśpiony

0:05:38.335,0:05:44.047
tak jak moc atomu,[br]która była uśpiona od początku ludzkości,

0:05:44.047,0:05:48.452
cierpliwie czekając[br]na przebudzenie w 1945 roku.

0:05:48.452,0:05:49.700
W tym stuleciu

0:05:49.700,0:05:53.818
naukowcom może uda się[br]wybudzić sztuczną inteligencję.

0:05:53.818,0:05:57.826
Myślę, że możemy doświadczyć[br]eksplozji tej inteligencji.

0:05:58.406,0:06:02.363
Większość osób myśląc o tym,[br]co jest mądre, a co głupie,

0:06:02.363,0:06:05.386
wyobraża sobie taki obrazek.

0:06:05.386,0:06:07.984
Po jednej stronie mamy wioskowego głupka,

0:06:07.984,0:06:10.467
a po drugiej stronie

0:06:10.467,0:06:15.223
Eda Wittena, Alberta Einsteina[br]albo jakiegoś innego guru.

0:06:15.223,0:06:19.057
Z punktu widzenia sztucznej inteligencji

0:06:19.057,0:06:22.738
obrazek powinien wyglądać raczej tak.

0:06:23.258,0:06:26.636
Sztuczna inteligencja startuje od zera.

0:06:26.636,0:06:29.647
Po wielu latach ciężkiej pracy

0:06:29.647,0:06:33.491
może osiągnie poziom myszy

0:06:33.491,0:06:35.921
i będzie potrafiła sama omijać przeszkody,

0:06:35.921,0:06:37.908
tak jak mysz.

0:06:37.908,0:06:42.221
Znów po wielu latach ciężkiej pracy,[br]przy dużych nakładach finansowych,

0:06:42.221,0:06:46.860
może osiągnie poziom szympansów.

0:06:46.860,0:06:50.070
A po jeszcze dłuższym czasie[br]wypełnionym ciężką pracą,

0:06:50.070,0:06:52.983
osiągnie poziom wioskowego głupka.

0:06:52.983,0:06:56.255
Chwilę później wyprzedzi Eda Wittena.

0:06:56.255,0:06:59.225
Pociąg nie zatrzyma się[br]na stacji Ludzko Zdrój.

0:06:59.225,0:07:02.247
Przemknie przez nią na pełnym biegu.

0:07:02.247,0:07:04.231
Będzie to niosło głębokie konsekwencje,

0:07:04.231,0:07:08.093
zwłaszcza jeśli chodzi o władzę.

0:07:08.093,0:07:09.992
Na przykład, szympansy są silne.

0:07:09.992,0:07:15.214
Szympans jest dwa razy silniejszy[br]od wysportowanego mężczyzny.

0:07:15.214,0:07:19.828
Mimo to na los Kanziego i jemu podobnych

0:07:19.828,0:07:23.968
mamy większy wpływ niż inne szympansy.

0:07:25.228,0:07:27.542
Kiedy pojawi się superinteligencja,

0:07:27.542,0:07:31.381
los ludzkości może[br]stać się od niej zależny.

0:07:32.451,0:07:33.508
Pomyślcie.

0:07:33.508,0:07:38.552
Sztuczna inteligencja to ostatni[br]wynalazek, jakiego dokona człowiek.

0:07:38.552,0:07:41.525
Maszyny będą lepszymi wynalazcami niż my

0:07:41.525,0:07:44.065
i będą operować na poziomie cyfrowym.

0:07:44.065,0:07:48.966
Oznacza to gwałtowny skok rozwoju.

0:07:48.966,0:07:52.524
Pomyślcie o tych wszystkich[br]szalonych pomysłach,

0:07:52.524,0:07:55.322
które ludzkość mogłaby[br]zrealizować w przyszłości.

0:07:55.322,0:07:58.580
Powstrzymanie starzenia,[br]kolonizacja kosmosu,

0:07:58.580,0:08:02.311
samoreplikujące się nanoroboty,[br]podłączenie naszych umysłów do komputera.

0:08:02.311,0:08:04.470
Wszystkie pomysły rodem z science-fiction,

0:08:04.470,0:08:07.207
które nie przeczą prawom fizyki,

0:08:07.207,0:08:11.419
mogłyby zaistnieć dzięki superinteligencji[br]i to dość gwałtownie.

0:08:12.449,0:08:16.007
Tak technologicznie[br]rozwinięta superinteligencja

0:08:16.007,0:08:18.186
miałaby ogromną moc

0:08:18.186,0:08:22.732
i według niektórych scenariuszy,[br]byłaby w stanie osiągnąć własne cele.

0:08:22.732,0:08:28.393
Nasza przyszłość byłaby kształtowana[br]według uznania sztucznej inteligencji.

0:08:29.855,0:08:33.604
Warto się zastanowić,[br]jakie miałaby ona preferencje.

0:08:34.244,0:08:36.013
Tu tkwi pewna pułapka.

0:08:36.013,0:08:37.448
Żeby posunąć się dalej,

0:08:37.448,0:08:40.724
musimy uniknąć antropomorfizacji.

0:08:41.934,0:08:45.235
Jak na ironię,[br]bo każdy artykuł w gazetach,

0:08:45.235,0:08:49.090
odnoszący się do przyszłości SI.[br]zawiera ten obrazek.

0:08:50.280,0:08:54.414
Myślę, że powinniśmy podejść[br]do tematu bardziej abstrakcyjnie,

0:08:54.414,0:08:57.204
nie kierując się scenariuszami[br]hollywoodzkich filmów.

0:08:57.204,0:09:00.821
Inteligencję należy rozumieć[br]jako proces optymalizacyjny,

0:09:00.821,0:09:06.470
który kształtuje przyszłość[br]według konkretnych ustaleń.

0:09:06.470,0:09:09.981
Superinteligencja jest procesem[br]mocno optymalizacyjnym.

0:09:09.981,0:09:14.098
Jest bardzo dobra w używaniu[br]odpowiednich środków,

0:09:14.098,0:09:16.007
żeby osiągnąć cel.

0:09:16.447,0:09:19.119
Oznacza to, że niekoniecznie[br]musi istnieć związek

0:09:19.119,0:09:21.853
między wysoką inteligencją,

0:09:21.853,0:09:26.515
a posiadaniem celu, który ludzkość[br]uznałaby za warty zachodu lub znaczący.

0:09:27.321,0:09:31.115
Załóżmy, że daliśmy sztucznej inteligencji[br]zadanie wywołania u nas uśmiechu.

0:09:31.115,0:09:34.097
Słaba sztuczna inteligencja[br]wykonywałaby czynności,

0:09:34.097,0:09:36.614
które rozbawiłyby użytkownika.

0:09:36.614,0:09:39.031
Superinteligencja zdałaby sobie sprawę,

0:09:39.031,0:09:42.554
że można osiągnąć cel[br]w bardziej efektywny sposób:

0:09:42.554,0:09:44.476
przejąć kontrolę nad światem,

0:09:44.476,0:09:47.638
wszczepić ludziom elektrody,[br]mające sprawić,

0:09:47.638,0:09:50.579
że na naszych twarzach[br]na stałe zagości promienny uśmiech.

0:09:50.579,0:09:51.614
Inny przykład.

0:09:51.614,0:09:54.997
Załóżmy, że kazaliśmy komputerowi[br]rozwiązać trudne zadanie matematyczne.

0:09:54.997,0:09:56.934
Superinteligencja doszłaby do wniosku,

0:09:56.934,0:10:01.105
że najefektywniej będzie

0:10:01.105,0:10:04.035
przekształcić planetę w ogromny komputer,

0:10:04.035,0:10:06.281
żeby przyspieszyć procesy myślowe.

0:10:06.281,0:10:09.045
To może dać superinteligencji pretekst

0:10:09.045,0:10:11.561
do robienia rzeczy,[br]których my byśmy nie popierali.

0:10:11.561,0:10:13.496
Ludzie w tym modelu stają się przeszkodą

0:10:13.496,0:10:16.417
dla rozwiązania zadania.

0:10:17.207,0:10:20.701
Oczywiście możliwe, że sprawy[br]nie potoczą się w ten sposób.

0:10:20.701,0:10:22.454
To przerysowane przykłady.

0:10:22.454,0:10:24.393
Ale najważniejsze jest,

0:10:24.393,0:10:27.266
że jeśli tworzysz potężny[br]proces optymalizacyjny

0:10:27.266,0:10:29.500
do zmaksymalizowania realizacji celu X,

0:10:29.500,0:10:31.776
lepiej upewnij się, czy definicja X

0:10:31.776,0:10:34.245
zawiera wszystko, na czym ci zależy.

0:10:34.835,0:10:39.219
Tego uczy nas wiele mitów.

0:10:39.219,0:10:44.517
Król Midas chciał, by wszystko,[br]czego dotknie, zamieniało się w złoto.

0:10:44.517,0:10:47.378
Dotknął córki, a ona zmieniła się w złoto.

0:10:47.378,0:10:49.931
Dotknął jedzenia,[br]a ono zmieniło się w złoto.

0:10:49.931,0:10:52.520
To nie tylko metafora chciwości,

0:10:52.520,0:10:54.590
ale też tego, co może się stać,

0:10:54.590,0:10:56.485
jeśli stworzymy proces optymalizacyjny

0:10:56.485,0:10:59.322
i damy mu błędnie określone

0:10:59.322,0:11:04.111
lub słabo sprecyzowane cele.

0:11:04.111,0:11:09.300
Możecie powiedzieć, że jeśli komputer[br]zacznie nam wszczepiać elektrody,

0:11:09.300,0:11:11.565
wtedy go wyłączymy.

0:11:12.555,0:11:17.895
Po pierwsze, to może być trudne,[br]jeśli będziemy zależni od tego systemu.

0:11:17.895,0:11:20.627
Jak wyłączyć internet?

0:11:20.627,0:11:25.747
Po drugie, czemu szympansy[br]lub Neandertalczycy

0:11:25.747,0:11:27.298
nas nie wyłączyli?

0:11:27.298,0:11:29.964
Mieli powody.

0:11:29.964,0:11:32.759
Mamy swój wyłącznik, na przykład tutaj.

0:11:32.759,0:11:34.313
(Charczenie)

0:11:34.313,0:11:37.238
Otóż jesteśmy inteligentnym przeciwnikiem.

0:11:37.238,0:11:39.966
Potrafimy przewidzieć zagrożenie[br]i zaplanować obronę.

0:11:39.966,0:11:42.470
To samo mogłaby zrobić superinteligencja

0:11:42.470,0:11:45.724
i byłaby w tym znacznie od nas lepsza.

0:11:45.724,0:11:52.911
Chodzi o to, żebyśmy nie byli pewni,[br]że wszystko mamy pod kontrolą.

0:11:52.911,0:11:56.358
Można by spróbować ułatwić sobie zadanie,

0:11:56.358,0:11:57.948
umieszczając SI w pudełku,

0:11:57.948,0:11:59.744
w jakiejś odosobnionej przestrzeni,

0:11:59.744,0:12:02.766
w wirtualnej rzeczywistości,[br]z której nie będzie w stanie uciec.

0:12:02.766,0:12:06.912
Na ile możemy być pewni, że komputer[br]nie znajdzie błędu w programie?

0:12:06.912,0:12:10.081
Skoro hakerzy[br]ciągle znajdują jakieś błędy,

0:12:10.081,0:12:13.117
jest to niemal pewne.

0:12:14.237,0:12:18.785
Moglibyśmy odłączyć ethernet,[br]żeby odizolować komputer,

0:12:18.785,0:12:21.453
ale hakerzy potrafią poradzić sobie[br]i z tym problemem,

0:12:21.453,0:12:24.834
wykorzystując inżynierię społeczną.

0:12:24.834,0:12:26.093
W tej właśnie chwili

0:12:26.093,0:12:28.482
gdzieś jakiś pracownik

0:12:28.482,0:12:31.828
przekazuje swoje dane logowania komuś

0:12:31.828,0:12:34.574
podającemu się za informatyka.

0:12:34.574,0:12:36.701
Możliwe są bardziej kreatywne scenariusze.

0:12:36.701,0:12:38.016
Sztuczna inteligencja

0:12:38.016,0:12:41.548
może pokombinować przy elektrodach[br]w swoim obwodzie,

0:12:41.548,0:12:45.010
żeby powstały fale radiowe[br]potrzebne do komunikacji.

0:12:45.010,0:12:47.434
Albo może udawać awarię,

0:12:47.434,0:12:50.931
a kiedy programiści zajrzą do środka,[br]żeby sprawdzić kod źródłowy

0:12:50.931,0:12:52.867
- bum! -

0:12:52.867,0:12:55.314
może dojść do manipulacji.

0:12:55.314,0:12:58.744
Może też zaprojektować[br]bardzo zmyślną technologię,

0:12:58.744,0:13:00.142
a kiedy ją zaimplementujemy

0:13:00.142,0:13:04.539
okaże się, że ma jakiś ukryte działanie,[br]zaplanowane przez komputer.

0:13:04.539,0:13:08.002
Chodzi o to, żebyśmy nie byli pewni,[br]że będziemy potrafili

0:13:08.002,0:13:11.810
trzymać superinteligentnego dżina[br]zamkniętego w lampie na zawsze.

0:13:11.810,0:13:14.064
Prędzej czy później się z niej wydostanie.

0:13:15.034,0:13:18.137
Sęk w tym, żeby zaprojektować[br]superinteligentny komputer,

0:13:18.137,0:13:23.161
który jeśli, czy może kiedy, ucieknie,

0:13:23.161,0:13:26.438
będzie niegroźny,[br]bo będzie po naszej stronie,

0:13:26.438,0:13:28.337
wyznając nasze wartości.

0:13:28.337,0:13:31.547
Nie widzę innego sposobu[br]na ominięcie tego problemu.

0:13:32.557,0:13:36.391
Dość optymistycznie podchodzę[br]do kwestii rozwiązania tego problemu.

0:13:36.391,0:13:40.294
Nie musimy tworzyć długiej listy[br]wszystkiego, co dla nas ważne,

0:13:40.294,0:13:43.937
ani co gorsza, przekładać jej[br]na jakiś język programowania,

0:13:43.937,0:13:45.391
jak C++ czy Python,

0:13:45.391,0:13:48.158
co byłoby beznadziejnym zadaniem.

0:13:48.158,0:13:52.455
Trzeba stworzyć komputer,[br]który użyje swojej inteligencji

0:13:52.455,0:13:55.226
żeby nauczyć się naszych wartości,

0:13:55.226,0:14:00.506
a jego system motywacyjny[br]skonstruowany byłby w taki sposób,

0:14:00.506,0:14:05.738
że dążyłby do naszych wartości i wykonywał[br]pochwalane przez nas czynności.

0:14:05.738,0:14:09.152
W ten sposób[br]wykorzystalibyśmy jego inteligencję

0:14:09.152,0:14:11.897
do rozwiązania problemu wartości.

0:14:12.727,0:14:14.239
Można to zrobić,

0:14:14.239,0:14:17.835
a owoce tej pracy[br]byłyby dobre dla ludzkości.

0:14:17.835,0:14:21.792
Ale to nie stanie się automatycznie.

0:14:21.792,0:14:24.790
Możliwe, że trzeba będzie

0:14:24.790,0:14:27.653
precyzyjnie określić[br]startowe warunki eksplozji inteligencji,

0:14:27.653,0:14:31.183
jeśli chcemy dokonać[br]kontrolowanej detonacji.

0:14:31.183,0:14:33.801
Sztuczna inteligencja[br]musi wyznawać nasze wartości

0:14:33.801,0:14:35.561
nie tylko w znanych sytuacjach,

0:14:35.561,0:14:37.999
które możemy przewidzieć,

0:14:37.999,0:14:41.233
ale też w nowych kontekstach,[br]na które może się natknąć

0:14:41.233,0:14:42.790
w niezdefiniowanej przyszłości.

0:14:42.790,0:14:47.527
Musimy też rozwikłać[br]pewne ezoteryczne kwestie.

0:14:47.527,0:14:49.616
Szczegóły teorii decyzji, jak sobie radzić

0:14:49.616,0:14:52.480
z niepewnością logiczną i tak dalej.

0:14:53.330,0:14:56.432
Techniczne problemy,[br]stojące przed tym zadaniem

0:14:56.432,0:14:57.545
wydają się trudne.

0:14:57.545,0:15:00.925
Nie aż tak trudne, jak stworzenie[br]sztucznej superinteligencji,

0:15:00.925,0:15:03.793
ale dość trudne.

0:15:03.793,0:15:05.488
Tu tkwi problem.

0:15:05.488,0:15:10.172
Stworzenie superinteligentnego komputera[br]jest trudnym wyzwaniem.

0:15:10.172,0:15:12.720
Stworzenie bezpiecznego[br]superinteligentnego komputera

0:15:12.720,0:15:15.136
jest jeszcze trudniejsze.

0:15:16.216,0:15:19.703
Ryzyko polega na tym, że komuś[br]uda się sprostać pierwszemu wyzwaniu

0:15:19.703,0:15:22.704
z pominięciem zapewnienia

0:15:22.704,0:15:24.605
całkowitego bezpieczeństwa.

0:15:25.375,0:15:28.706
Uważam, że najpierw należy

0:15:28.706,0:15:31.528
rozwiązać problem kontroli,

0:15:31.528,0:15:34.188
aby mieć w razie czego pod ręką antidotum.

0:15:34.768,0:15:38.275
Może się okazać, że nie da się[br]rozwiązać zawczasu całego problemu,

0:15:38.275,0:15:41.299
bo niektóre jego elementy można stworzyć,

0:15:41.299,0:15:45.296
wyłącznie znając szczegóły architektury,[br]która zostanie zaimplementowana.

0:15:45.296,0:15:48.676
Ale im większą część[br]tego problemu rozwiążemy,

0:15:48.676,0:15:52.766
tym większe mamy szanse na wkroczenie[br]w epokę inteligentnych maszyn

0:15:52.766,0:15:54.306
zgodnie z naszym planem.

0:15:54.306,0:15:58.950
Dla mnie jest to gra warta świeczki

0:15:58.950,0:16:02.282
i, jeśli wszystko pójdzie dobrze,

0:16:02.282,0:16:06.940
ludzie za milion lat[br]spojrzą na nasze stulecie

0:16:06.940,0:16:10.942
i powiedzą, że jest to jedyna ważna rzecz,

0:16:10.942,0:16:12.509
która nam się udała.

0:16:12.509,0:16:14.198
Dziękuję.

0:16:14.198,0:16:17.011
(Brawa)