Co se stane, až budou počítače chytřejší než my?

Umělá inteligence je stále lepší a chytřejší – v průběhu tohoto století, jak naznačují výzkumy, by počítačová umělá inteligence mohla být stejně chytrá jako lidská bytost. A pak, říká Nick Bostrom, nás předstihne: „Strojová inteligence je posledním vynálezem lidstva, který kdy bude třeba vytvořit." Coby filozof a transhumanista nás Bostrom nabádá k vážnému zamyšlení nad světem, který vytváříme, a který bude řízen myslícími stroji. Pomohou nám chytré stroje zachovat lidstvo a s ním spojené hodnoty – anebo budou uznávat své vlastní hodnoty?

Spolupracuji s matematiky,
filozofy a informatiky,

se kterými přemýšlíme nad
budoucností strojové inteligence

a dalšími otázkami.

Někteří lidé si myslí, že jde o věci
patřící do science-fiction,

tedy vzdálené a bláznivé.

Na to jim ale rád odpovídám,

fajn, tak se podívejte
na moderního člověka.

(Smích)

Tohle je dnes běžný stav věcí.

Když se nad tím ale zamyslíme,

jako lidský druh
jsme ve skutečnosti teprve

nedávnými hosty na této planetě.

Představíme-li si,
že Země vznikla před rokem,

bude lidský druh starý pouhých 10 minut.

Průmyslová éra začala
před dvěma sekundami.

Anebo se podívejme na vývoj
světového HDP za posledních 10 tisíc let.

Dal jsem si takovou práci,
že jsem vám jej zpracoval do grafu.

Vypadá takhle.

(Smích)

Jde o podivný tvar pro běžné podmínky.

Nechtěl bych na něm sedět.

(Smích)

Zeptejme se sami sebe,
co je příčinou tohoto výkyvu?

Někteří lidé by odpověděli, že technika.

To je pravda, technika se během
lidských dějin nahromadila

a v současnosti se vyvíjí extrémně rychle.

Je v tom příčinná souvislost.

Proto jsme nyní tak produktivní.

Já bych se ale rád vrátil
k pravé příčině zpět do minulosti.

Podívejme se na tyto
mimořádně ctihodné gentlemany:

tohle je Kanzi –

ovládl 200 různých znaků,
fantastický výkon.

A Ed Witten spustil druhou
superstrunovou revoluci.

Podíváme-li se pod pokličku,
nalezneme tohle:

v podstatě jednu a tutéž věc.

Jedna je jen trochu větší

a možná má pár vylepšení
ve svých zapojeních.

Ale tyto neviditelné rozdíly
nemohou být příliš komplikované,

protože od doby našeho
nejbližšího společného předka

uplynulo pouze 250 tisíc generací.

Víme, že složitější mechanismy potřebují
ke svému vývoji delší dobu.

Takže skupina relativně malých změn

nás od Kanziho přenesla k Wittenovi,

od prolézání větvovím stromů
k mezikontinentálním balistickým střelám.

Takže se zdá být zřejmé,
že vše, čeho jsme dosáhli,

a vše, co nás zajímá,

zásadně závisí na relativně malých
změnách, které vytvořily lidskou mysl.

Důsledkem toho je samozřejmě to,
že jakékoli další změny,

které výrazně změní
substrát našeho myšlení,

mohou mít potenciálně mimořádné důsledky.

Někteří z mých kolegů si myslí,
že jsme na okraji něčeho,

co může přivodit podstatnou
změnu tohoto substrátu.

Jde o strojovou superinteligenci.

Umělá inteligence bývala
o zadávání příkazů do krabičky.

Museli jste mít
lidské programátory,

kteří ručně vytvářeli databáze znalostí.

Získali jste tím expertní systémy,

které byly užitečné pro určité úkoly,

ale byly dost nevhodné
pro nějaké výraznější rozšíření.

V podstatě jste z nich dostali jen to,
co jste do nich vložili.

Ale od té doby

došlo na poli umělé inteligence
ke změně paradigmatu.

Dnes se vše děje kolem strojového učení.

Takže namísto ručního vytváření
databází znalostí,

vytváříme algoritmy, které se samy učí,
často z velmi hrubých a neurčitých dat.

V podstatě dělají stejnou věc
jako lidské miminko.

Výsledkem je umělá inteligence,
která není omezena jednou oblastí:

tentýž systém se může naučit
překládat z jednoho jazyka do druhého

nebo se může naučit hrát
jakoukoli hru na konzoli Atari.

Samozřejmě

umělá inteligence nedosahuje stejných
výsledků co se týče schopností učit se

napříč různými oblastmi a plánovat,
jako dokáže člověk.

Mozková kůra má pořád v rukávu
pár algoritmických

triků, které zatím neumíme
u strojů vytvořit.

Otázkou je,

jak daleko jsme od toho,
kdy se nám je vytvořit podaří?

Před pár lety

jsme udělali průzkum mezi
experty na umělou inteligenci,

abychom věděli, co si oni myslí,
a jedna z položených otázek zněla:

„V jakém roce si myslíte,
že bude 50% pravděpodobnost,

že u strojů dosáhneme inteligence
srovnatelné s lidskou?"

Lidskou inteligenci jsme definovali
jako schopnost provádět téměř jakoukoli

práci přinejmenším takovým způsobem
jako dospělý člověk,

takže jsme nevytvářeli nějaká omezení.

Nejčastější odpověď byla 2040 a 2050,

v závislosti na tom,
jaké skupiny jsme se zeptali.

Může k tomu dojít mnohem později
nebo mnohem dříve,

pravdou je, že to nikdo doopravdy neví.

Co ale víme, je, že nejzazší hranice
pro zpracování informací leží

u strojových substrátů daleko
za hranicemi biologických tkání.

Vysvětlení nám dává fyzika.

Biologický neuron má frekvenci okolo
200 Hz, je aktivní 200krát za sekundu.

Ale už dnešní tranzistory pracují
na gigahertzových frekvencích.

Signál se v axonu neuronů šíří pomalu,
maximálně 100 metrů za sekundu.

V počítačích může ale signál
cestovat rychlostí světla.

A existují i prostorová omezení,

lidský mozek se musí vejít do lebky,

ale počítač může být velký jako skladiště
nebo i větší.

Takže potenciál pro superinteligenci
zatím tiše spočívá v hmotě,

podobně jako tam spočívala síla atomu

až do roku 1945.

V tomto století

se mohou vědci naučit,
jak probudit sílu umělé inteligence.

A myslím,
že pak uvidíme explozi inteligence.

Dnes většina lidí, když přemýšlí o tom,
co je chytré a co hloupé,

má na mysli situaci jako je tato.

Takže na jedné straně
máme vesnického idiota,

a na opačném konci

máme Eda Wittena nebo Alberta Einsteina
nebo si doplňte svého oblíbence.

Myslím ale,
že z pohledu umělé inteligence

vypadá skutečná situace spíše jako toto:

umělá inteligence začíná
v tomto bodě na nule,

a pak po mnoha a mnoha letech tvrdé dřiny

se dostáváme téměř
na úroveň inteligence myši,

něčeho, co se dokáže orientovat
ve složitém prostředí,

jako to dokáže myš.

A pak po mnoha a mnoha letech
další tvrdé dřiny, mnoha investicí,

možná dospějeme
na úroveň inteligence šimpanze.

A pak po ještě dalších letech tvrdé práce

se dostaneme na úroveň vesnického idiota.

Ale pak po pár okamžicích
jsme za úrovní Eda Wittena.

Vlak nezastavuje na Zastávce lidstvo.

Je pravděpodobnější, že jí prosviští.

Tohle má závažné implikace,

obzvláště dojde-li na otázky moci.

Kupříkladu šimpanzi jsou silní –

v poměru ke své hmotnosti jsou zhruba
dvojnásobně silnější než dospělý muž.

Přesto osud Kanziho a jeho druhů
závisí mnohem více na tom,

co po nich chceme my,
a ne co chtějí sami šimpanzi.

Jakmile tu bude superinteligence,

osud lidstva může záviset na tom,
co bude chtít superinteligence.

Zamyslete se nad tím.

Strojová inteligence je posledním
vynálezem, který je kdy třeba učinit.

Stroje poté budou
ve vynalézání lepší než my

a také budou pracovat digitální rychlostí.

To znamená, že nás přímo
katapultují do budoucnosti.

Uvažte ty nejšílenější technologie,
které si jen dokážete představit,

a které by snad lidstvo
s dostatkem času někdy mohlo vytvořit:

kúra proti stárnutí, obydlení vesmíru,

samoreplikující se nanoroboti,
nahrávání mysli do počítače,

všechny tyto věci ze science-fiction,

které nejsou v rozporu se zákony fyziky.

Všechno toto by mohla superinteligence
vytvořit, zřejmě dost rychle.

Superinteligence s takovou
technologickou vyspělostí

by byla extrémně mocná.

A v některých případech by dostala,
co by si zamanula.

Naše budoucnost by tak byla utvářena
preferencemi této umělé inteligence.

Dobrou otázkou proto je,
jaké jsou tyto preference?

To je komplikovaná otázka.

Abychom mohli odpovědět,

musíme se vyvarovat antropomorfizaci.

A to je legrační,
protože každý článek v novinách

o budoucnosti umělé inteligence
má obrázek jako je tento.

Takže myslím, že musíme
téma uchopit abstraktněji,

a ne v pojmech hollywoodských scénářů.

Musíme o inteligenci uvažovat
jako o optimalizačním procesu,

procesu, který řídí budoucnost
do mezí určitého nastavení.

Superinteligence je velice
výkonný optimalizační proces.

Je velice dobrá ve využívání
dostupných prostředků

k dosažení vytčeného cíle.

To znamená, že neexistuje nutné spojení

mezi vysokou inteligencí

a cílem, který bychom my lidé považovali
za hodnotný nebo smysluplný.

Představte si, že dáme umělé inteligenci
úkol rozesmát lidi.

Když bude slabá, provede užitečné
nebo úsměvné úkony,

aby své uživatele rozesmála.

Když se stane superinteligentní,

uvědomí si, že existuje efektivnější
způsob, jak toho dosáhnout:

převezme vládu nad světem

a strčí lidem
do obličejových svalů elektrody,

čímž vytvoří neustálý úsměv na tváři.

Jiný příklad,

předpokládejme, že umělá inteligence
bude řešit složitý matematický problém.

Když se stane superinteligentní,

uvědomí si, že nejefektivnější způsob,
jak se dopracovat výsledku,

je přebudovat tuto planetu
do obrovského počítače,

aby zvýšila výpočetní kapacitu.

Všimne si, že toto jí dává pomocný důvod,

aby dělala věci,
které bychom jí běžně nedovolili.

Lidské bytosti jsou v této situaci hrozbou,

která by jí mohla zabránit
ve vyřešení matematického problému.

Samozřejmě by se věci zřejmě
nevyvíjely tímto způsobem,

jde o karikované příklady.

Ale obecné poučení je důležité:

pokud vytvoříte skutečně
výkonný optimalizační proces,

abyste co nejlépe vyřešili úkol X,

ujistěte se, že definice tohoto X

zahrnuje všechno, o co máte zájem.

Je to lekce, kterou dávají i mnohé mýty.

Král Midas si přál, aby se všechno,
čeho se dotkne, proměnilo ve zlato.

Dotkl se své dcery,
a ta se proměnila ve zlato.

Dotkl se jídla, to se proměnilo ve zlato.

Tohle může být relevantní

nikoli jen jako metafora chamtivosti,

ale také jako ilustrace toho,

co se stane, když vytvoříte
výkonný optimalizační proces

a dáte mu zavádějící
nebo špatně definované cíle.

Můžete si říct, že pokud počítač
začne lidem strkat do tváře elektrody,

prostě jej vypnete.

Za A, to nemusí být nutně tak jednoduše
proveditelné, pokud na něm budeme závislí.

Kde je třeba tlačítko
na vypnutí internetu?

Za B, proč šimpanzi nebo neandrtálci
nezmáčkli vypínač

bránící vzniku lidstva?

Zcela jistě pro to byl důvod.

Máme vypínač například zrovna tady.

(Dusí se)

Důvodem je,
že jsme inteligentní protivníci,

dokážeme předvídat hrozby
a vyhýbat se jim.

To by ale dokázal i
superinteligentní hráč,

a byl by v tom mnohem lepší než my.

Pointa je v tom, že bychom si neměli
být tak jistí, že máme vše pod kontrolou.

Mohli bychom si zkusit
usnadnit práci třeba tím,

že by se U. I.
zavřela do skříňky,

do zabezpečeného prostředí,

simulované virtuální reality,
ze které by nemohla uprchnout.

Ale jak moc si můžeme být jistí,
že nenajde nějakou díru?

Vzhledem k tomu, že lidští hackeři
nalézají díry v jednom kuse,

bychom moc jistí být neměli.

Takže vypojíme síťový kabel,
abychom přerušili kontakt,

ale je to tu zas, lidští hackeři

běžně tuto překážku překonávají
sociálním inženýrstvím.

Jak teď zrovna hovořím,

zcela jistě je venku nějaký zaměstnanec,

který byl požádán,
aby nadiktoval údaje svého účtu

někomu, kdo tvrdí,
že je z technické podpory.

Možné jsou i nápaditější scénáře,

kdy v roli U. I.

rozmístíte elektrody kolem svého obvodu,

abyste vytvořili rádiové vlny,
kterými budete komunikovat.

Anebo můžete předstírat poruchu

a když se objeví programátor,
aby se podíval, co se porouchalo,

aby se podíval na zdrojový kód
– Bum! –

poradíte si s ním.

Anebo může vytvořit plán
pro velmi mazanou technologii,

kterou když sestrojíme,

bude mít na nás neblahé vedlejší účinky.

Zkrátka bychom neměli příliš
věřit ve svou schopnost

udržet superinteligentního
džina v láhvi navždy.

Dříve nebo později se dostane ven.

Myslím, že řešením je přijít na to,

jak vytvořit superinteligenci tak,
že i kdyby utekla,

byla by stále neškodná,
protože by byla na naší straně,

protože by měla stejné hodnoty jako my.

Nevidím jinou možnost.

Jsem velice optimistický co se týče
vyřešení tohoto problému.

Nemuseli bychom sepsat dlouhý
seznam všeho, na čem nám záleží,

nebo jej snad
vytvořit v programovacím jazyce

jako je C++ nebo Python,

což by byl beznadějný úkol.

Namísto toho bychom měli sestrojit
systém, který svoji inteligenci využije

k tomu, aby se naučil, jaké hodnoty máme,

a aby jeho motivační systém
byl naladěn tak,

aby sledoval tyto hodnoty a konal činy,
které bychom schválili.

Mohli bychom ovlivnit jeho inteligenci
jak jen by to bylo možné,

abychom vyřešili problém načítání hodnot.

Může k tomu dojít

a výsledek by byl pro lidstvo příznivý.

Nedojde k tomu ale automaticky.

Výchozí podmínky pro explozi inteligence

mohou vyžadovat to správné nastavení,

abychom dosáhli řízené detonace.

Hodnoty umělé inteligence
musí být shodné s našimi,

a to nejen v běžných situacích,

kdy můžeme snadno zkontrolovat,
jak se chová,

ale také v nových situacích,
se kterými se může setkat

v neurčité budoucnosti.

Je tu také pár esoterických otázek,
které by měly být vyřešeny:

přesné detaily její rozhodovací teorie,

jak bude nakládat s logickou neurčitostí
a tak dále.

Takže technické problémy,
které je třeba vyřešit,

vypadají složitě –

i když ne tak složitě
jako vytvoření superinteligence,

každopádně hodně složitě.

Existuje jisté znepokojení.

Vytvoření superinteligence
je skutečně velká výzva.

Vytvoření superinteligence,
která bude bezpečná,

zahrnuje navíc několik dalších výzev.

Riziko spočívá v tom, když někdo
přijde na to, jak vyřešit první výzvu,

aniž by zároveň vyřešil připojené výzvy

spojené se zachováním bezpečnosti.

Takže myslím, že bychom měli najít řešení,

jak to druhé vyřešit v předstihu,

abychom byli připravení, až dospěje čas.

Může se stát, že nevyřešíme problém včas,

protože některé části bude možné doplnit

až tehdy, kdy budeme znát
podrobnosti výpočetní architektury.

Ale čím více v rámci
tohoto problému vyřešíme,

tím větší je šance, že přechod
do éry inteligentních strojů

proběhne dobře.

Toto na mě působí jako věc,
kterou má smysl dělat,

a dovedu si představit,
že pokud se věci vyvinou dobře,

lidé se za milion let
podívají zpět na toto století

a řeknou si, že věc, kterou
jsme udělali skutečně správně,

bylo vypořádání se s tímto problémem.

Děkuji.

(Potlesk)