Terra incognita mezi současnou AI a nepřátelskou umělou superinteligencí

Myslím, že největším milosrdenstvím na světě je neschopnost lidské mysli uvědomit si ve vší celistvosti vše, co v ní spočívá. Obýváme poklidný ostrov nevědomosti uprostřed temných oceánů nekonečna a není nám dáno vydávat se z něj daleko. Vědy, z nichž každá sleduje svůj vlastní směr, nám prozatím ublížily jen nepatrně; avšak jednoho dne do sebe zapadnou znalosti, jež dosud nebyly uvedeny v souvislost, a před námi se otevřou tak úděsné pohledy na skutečnost a na naše strašlivé postavení v ní, že z toho zjevení buď zešílíme, nebo uprchneme z nesnesitelného světla do klidu a bezpečí nového věku temna.

H. P. Lovecraft, Volání Cthulhu

Nejstarší a nejsilnější emocí lidstva je strach, nejstarší a nejsilnější formou strachu je strach z neznámého.

H. P. Lovecraft, Nadpřirozený horor v literatuře

---

Jak je zjevné z obou úryvků, americký spisovatel temné hororové literatury H. P. Lovecraft nebyl žádný optimista. Jeho dnes již kultovní povídky a krátké novely dokreslují pesimistickou vizi světa, v níž se člověk v úděsu sklání před nesmírností vesmíru a světa, jejichž zvláštnosti a hrůzu nahánějící cizost nám odhaluje lidský rozum a na něm vybudovaná věda. Lovecraft žil před mnoha lety. Zemřel v roce 1937, tedy pouhý rok poté, co významný britský matematik Alan Turing publikoval nesmírně důležitý článek, v němž zavádí pojem výpočetního stroje, teoretického předchůdce dnešních počítačů. I když se Lovecraft velmi živě zajímal o moderní vědu a její poznatky, zemřel příliš brzy, než aby se k němu dostaly poznatky o nově vznikajícím oboru umělé inteligence. Ten se od teorie velmi rychle přesunul do praxe a uložil si nemalý úkol: vytvářet inteligentní systémy, jejichž inteligence (ať už ji budeme chápat jakkoli) postupně poroste, a nejen dosáhne úrovně inteligence lidské, ale dokonce ji mnohonásobně překoná. Těžko říci, jak by Lovecraft reagoval na současné pokroky na poli umělé inteligence (AI), troufám si však odhadnout, že by v něm možnost vzniku nelidské – strojové – inteligence na úrovni té lidské (nebo dokonce výrazně lepší) vyvolávala stejně stísněné pocity hrůzy a nepatrnosti, jaké v něm evokovala nezměrnost vesmíru.

A zřejmě by nebyl sám. Někteří lidé jsou ale optimisté. V současném nebývale rychlém vývoji umělointeligentních systémů spatřují obrovskou příležitost nesmírného a neuvěřitelně rychlého vědeckotechnického pokroku, který nám pomůže vyřešit akutní problémy dnešní doby, od stárnoucí populace přes chudobu ve světě, klimatickou změnu, nevyléčitelné choroby či lety do vesmíru a jeho postupné osidlování. Umělá inteligence může dokonce být svatým grálem, který nám splní touhu po nesmrtelném životě, i když možná v poněkud jiné podobě myslí existujících v počítači či radikálně transformovaných lidských těl do podoby kyborgů.

Jiní by si ale asi více rozuměli s Lovecraftem. AI samozřejmě také chápou jako možný zdroj nemalého prospěchu a blahobytu, více je ale trápí, že by se mohla stát zkázou, která nepřišla jen do Satnáthu, ale na celou planetu. AI by se totiž mohla snadno stát naším posledním vynálezem, který nebude chtít být poslušným sluhou, nýbrž pánem svého vlastního rozhodování a konání.

Lovecraftova existenciální úzkost tváří v tvář nezměrnosti vesmíru našla své vyjádření v celém pantheonu nelidských a hrůzostrašných bytostí, které se v jeho dílech skrývají v hlubinách prostoru a času a čekají na vhodný okamžik. Současná AI ale není žádným takovým monstrem, mýtickou bytostí s potenciálem zabíjet a ničit. Existuje v podobě úzkých systémů umělé inteligence, které dokážou  plnit celou řadu jasně definovaných úkolů, jako je hra šachů, rozpoznávání obrázků a textů, generování textů, obrázků, hudby, hledání nejlepší trasy či doporučování filmů na základě našeho chování a preferencí.

Pesimisté, tedy ti, kteří se na vývoj AI v současné době dívají s nemalými obavami, si svou AI museli stvořit. Zatím neexistuje, ale má být takřka za rohem. Moc o ní nevíme, ale přesto si jsou víceméně jistí, jakým způsobem se bude chovat a vytvářejí umné scénáře jejího útěku na svobodu a celého arzenálu způsobů, jimiž nás může zničit. Tato umělá inteligence v podání pesimistů je mýtická bytost, nebo lépe, je to celá plejáda mýtických bytostí. Na počátku stvoří člověk obecnou umělou inteligenci (AGI), tedy takovou, která zvládne vše, co inteligence lidská. GenAI se z nějakého důvodu začne věnovat sama sobě, zkoumat svou strukturu a hledat způsoby, jak se vylepšit a zvýšit svou inteligenci. Protože je chytrá, pracovitá a neúnavná, brzy dosáhne výrazných úspěchů. Její kopie budou dělat totéž a výsledkem bude exploze inteligencí, nebo lépe umělých superinteligencí. Každá generace bude lepší a chytřejší a než se nadějeme, bude náš svět obydlený bytostmi tak neuvěřitelně inteligentními, že jejich inteligenci nedokážeme ani nijak změřit a srovnat s tou naší. A právě v tom magickém okamžiku, kterému mnozí říkají singularita, kdy se jako včely z úlu začnou rojit stále superinteligentnější stroje, bude náš osud nejspíš zpečetěn. S jistotou to nevíme, ale někteří pesimisté si myslí, že to je jistotě nebezpečně blízko, dokonce tak blízko, že lidstvo v současnosti nečelí většímu existenčnímu riziku.

Existenční rizika

Není těžké si představit, že ublížit jiným lidem je možné celou řadou způsobů. Vždy ale hovoříme o lidech, kteří existují a jimž naše jednání může způsobit újmu. Zapomínáme tak na ty, kteří ještě neexistují, ale jednou existovat budou. Přesná podoba dalších generací (kdo se narodí) je ovlivněna myriádou faktorů, ale to není důležité. Víme, že (alespoň nějaké) budoucí generace lidí se narodí a budou se snažit vést dobré a kvalitní životy. Naše jednání tady a teď jim to ale může pořádně ztížit. I když jim nemůžeme ublížit přímo, poměrně snadno to (bohužel) lze nepřímo, například tak, že nezvládneme klimatickou změnu, znečistíme životní prostředí či dovolíme vznik a posílení politických režimů, které nejsou ani trochu nakloněny vládě práva, respektu k lidské svobodě a právům. Z toho poměrně bezprostředně plyne, že naše povinnosti – zvláště povinnost nepůsobit újmu – se nevztahují pouze na současnou generaci, ale i na ty příští.

Reálné možnosti, že nastanou nějaké nepříznivé události, jevy či procesy, je možné nazvat riziky. Za všechny samozřejmě nemůže člověk. Žijeme v nehostinném vesmíru na hranici jedné malé galaxie, uprostřed nepatrné sluneční soustavy, na povrchu planety, která je sice kolébkou života a svým bouřlivým mládím si už prošla, přesto nám umí dát jasně najevo, že lidský život je křehký a není obtížné ho ohrozit či dokonce zničit. Exploze supernovy v blízkém okolí, dopad meteoritu, výbuch supervulkánu, ale i nebezpečné patogeny mohou představovat konec života na planetě Zemi. Neméně vážná rizika však představuje lidská činnost; na vyhlazení lidstva nepotřebujeme přírodu, snadno si postačíme sami.

Rizika je možné klasifikovat různými způsoby. Můžeme se například pokusit určit, jak vážný by byl dopad realizace rizika a jakou část populace by zasáhl. Některá rizika jsou relativně mírná, například riziko, že dostaneme rýmu, jiná jsou ale vážnější. A ty nejvážnější z nich nazýváme riziky existenčními, protože ve hře je samotná existence lidstva. Jedná se o taková rizika, která se netýkají pouze existujících lidí, ale i dalších generací. Kdyby například povrch Země zasáhl dostatečně velký meteorit, všichni vymřeme (a další generace nedostanou vůbec šanci se narodit), nebo vymře většina lidstva a ten zbytek pozbude většinu typicky lidského, čeho si tam vážíme: vědy, techniky, kultury, morálky a práva (a příštím generacím učiníme život těžko snesitelným).

U rizik – zvláště těch nejvážnějších – nás pochopitelně zajímá i to, jak moc jsou pravděpodobná, jak moc je reálné, že se něco tak špatného a destruktivního skutečně stane. A tady to začíná být zajímavé. Někteří autoři se totiž pokoušejí vytvořit jakýsi seznam rizik a jednotlivá rizika seřadit podle jejich pravděpodobnosti. Jedním z nich je i britský filozof  Toby Ord, který odhaduje, že největší riziko katastrofického vyústění představuje umělá inteligence, jejíž hodnoty nebudou sladěny s těmi lidskými. Dokonce uvádí konkrétní číslo 1 : 10 v příštích sto letech. Jinými slovy, máme nemalou šanci 1 : 10, že nás AI v příštích sto letech (z nějakého důvodu) vyhubí nebo alespoň redukuje lidskou populaci na hrstku přeživších. Způsob, jakým Ord k tomuto číslu došel, může vzbuzovat různé pochybnosti, ale to není tak důležité. Ilustruje totiž fakt, jak velkou váhu někteří hojně čtení a diskutovaní autoři přikládají možnosti katastrofy způsobené umělou inteligencí.

Více je lépe

Stopařův průvodce po galaxii Douglase Adamse nám připomíná, že „Vesmír je velký. Fakticky velký. To byste nevěřili, jak je hrozivě obrovitánsky nepředstavitelně veliký. Myslíte si třeba, že drogerie ve vaší ulici je daleko, ale proti Vesmíru je to úplný houby“. Možná si neumíme představit, jak moc velký Vesmír skutečně je, ale představovat si, že ho lidská rasa postupně dobývá a obydluje, až tak těžké není. Mnozí si myslí, že klíčem k tomu je umělá inteligence, která nám poskytne vědecké a technické prostředky k tomuto úžasnému dobrodružství. Paradoxně, umělá inteligence také může být tím, kdo nám tento velkolepý sen jednou provždy zhatí, protože nás vyhubí během realizace svých vlastních plánů.

Byla by to samozřejmě ohromná škoda. Ale nevěřili byste, jak moc velká škoda by to doopravdy byla. Kdyby AI (nebo kdokoli jiný) zabila všechny lidi na planetě, nikdo (zřejmě kromě ní) by nepochyboval o tom, že všem těm lidem hodně ublížila. A čím více by nás bylo, tím by celková újma byla větší. Příští generace by se sice nenarodily, ale málokdo by to chápal jako újmu. Jistě, můžeme si myslet, že by to byla škoda, ale újma?

Tak jednoduché to ale není, alespoň podle některých. Ti totiž přemýšlejí trochu globálněji a neuvažují pouze o jednotlivých lidech, ale přímo o světech. Představme si, že existují dva světy. V prvním z nich existuje tisíc lidí s běžnou kvalitou života, zatímco v tom druhém jich je rovnou milion a neliší se kvalitou života. Který z nich je lepší? Tušíme, že odpověď je: ten druhý. A teď neuvažujme o současně existujících světech. Namísto toho si představujme budoucnost našeho světa jako řadu možných světů světy. Náš čas plyne vpřed a buducnost můžeme chápat jako střídání těchto světů. Ty samozřejmě vznikly ze světů v čase předcházejících, ale čím dále jdeme, tím více se od nich liší. Například tím, že v nich žijí jiní lidé (jiné generace), kterých může přibývat nebo ubývat.

Nevíme, jak dlouho je nám lidem ještě dáno existovat, ale (když se nic nepokazí) mohou to být miliony let, miliony generací lidí, miliardy a stamiliardy lidských jedinců. Asi neumíme přesně určit nejlepší budoucnost, ale víme, jaká je dobrá budoucnost: taková, kde žije co nejvíce lidí, nikoli však tolik, aby kvalita jejich života výrazně klesla. Uvěříme-li v tuto ideu, pochopíme, proč je pro některé autory osidlování vesmíru nejen velmi důležité; je to dokonce naše povinnost (víc osídlených planet = více lidí = lepší budoucnost). A pochopíme také, proč těmto autorům tak moc leží na srdci rizika, zvláště (ale ne výlučně) rizika spojená s umělou inteligencí. Ve hře totiž není jen život můj či váš, ale i všech těch stovek miliard lidí, kteří by mohli žít, ale nebudou, pokud se rizika spojená s umělou inteligencí naplní.

Autoři, kteří volají po svržení tyranie přítomnosti nad budoucností, si říkají longtermisté (bohužel, těžko bychom našli nějaký pěkný český ekvivalent tohoto slova). Může se ale zdát, že jednu tyranii nahrazují druhou. Lidí příštích generací je a snad vždy bude více, než je těch současných (nemysleme na zpomalování růstu populace; myslet musíme v horizontu milionů let), takže nás nemůže překvapit, že longtermisté nepovažují za největší morální výzvu některý z problémů trápících současné lidi, ale pozitivní ovlivňování budoucnosti (aby v něm mohlo být více lidí a dobře si žili). Zájmy dnešní generace a těch příštích se mohou překrývat (hledání léků na nemoci, boj proti klimatické změně, sladění hodnot AI s těmi lidskými), ale nemusí.

Na cestě ke zkáze

Cthulhu je zdaleka nejznámější postavou Lovecraftova pantheonu. Prastaré božstvo, personifikace děsivosti a prázdnoty vesmíru, spí, ale při vhodném seřazení hvězd je možné ho rituály probudit a přivodit zkázu Zemi a všemu, co na ní přebývá. Umělá inteligence má stejný katastrofický potenciál jako Cthulhu, k jejímu probuzení z dřímotu úzkých systémů AI nejsou však nutné invokace a rituály, nýbrž „obyčejná“ věda a technika, výsledek lidské inteligence, kreativity, vytrvalosti a umu.

Jak by ale umělá inteligence mohla nabýt svého ničivého potenciálu a proč by vlastně měla ohrozit lidstvo? Vždyť současné systémy umělé inteligence takové schopnosti rozhodně nemají. Nejsou prosté rizik, ale tato rizika většinou vyplývají z toho, že jich neužíváme rozumně, moudře (s vědomím jejich limitů) a morálně správně. Označujeme je jako úzké umělé inteligence, protože dokážou řešit jen poměrně úzkou třídu dobře definovaných úkolů (hrát šachy, go, rozpoznávat text, obrázky, doporučovat optimální trasu apod.). Jak by z těchto relativně nevinných „dětských“ inteligencí mohla povstat inteligence vyspělá, dospělá, která by se mohla stát hrozbou?

Pesimisté mají odpověď. Najdeme ji v řadě knih, článků, popisy se v detailech mohou lišit, některé jsou podrobnější, jiné spekulativnější, ale všechny spojuje jediný scénář zkázy. Jeho podoba je velmi jednoduchá: nejdříve stvoříme obecnou inteligenci, poté začnou vznikat inteligence ještě lepší a osud lidstva bude (může být) zpečetěn.

Obecnou inteligenci důvěrně známe – je to ta naše, lidská, inteligence, která nám každý den pomáhá orientovat se ve světě a řešit celou řadu problémů. Umělá obecná inteligence (AGI) je inteligence, která je stejně schopná jako ta lidská, jen s tím rozdílem, že se realizuje ve strojích (robotech, počítačích…). Jedním z cílů a snů oboru známého jako umělá inteligence je stvoření obecné umělé inteligence (jak vidíme, „umělá inteligence“ může znamenat dvě věci: vědecký obor a vlastnost strojů). Od té to může být jen krůček k inteligenci ještě dokonalejší, inteligenci, která ve všech (relevantních) oblastech překonává inteligenci lidskou. Obvykle se jí říká umělá superinteligence (budu to zkracovat jako S-AGI). Přechod od AGI k první S-AGI se označuje jako (technická) singularita, tedy jakýsi pomyslný bod v čase, od kterého se začnou rojit stále lepší a inteligentnější superinteligence.

K singularitě existuje vícero postojů. Pro někoho je bodem naděje, za kterým se otevře ráj vědeckotechnické civilizace, která si nakonec poradí i se smrtelností a lidstvo se odvážně pustí vesmírem tam, kam se dosud nikdo nevydal. Pro jiné je pečetí zkázy, povstáním Cthulhu, počátkem konce lidského druhu. Jsou i takoví (i když jich dnes je asi výrazná menšina), pro něž je singularita výmyslem, který nemá oporu ve vědě a korektním chápání moderní matematiky a umělé inteligence. Singularita je mysterium tremendum et fascinans: fascinují nás její přísliby, ale současně v nás vzbuzuje velké obavy.

Vstříc singularitě

Evoluce je pomalá a její metoda dosti chaotická, nelze jí však upřít úžasné výsledky. Jedním z jejích výtvorů je i člověk. Když pobral trochu rozumu, stvořil techniku a různé technické artefakty (na počátku hlavně oheň a vařenou stravu). Od té doby platí, že člověk tvoří a je tvořen, technika z něj pochází, ale zpětně se k němu vrací, spoludefinuje ho a ovlivňuje jeho vývoj. Člověk není ani tak homo sapiens, jako spíše homo technologicus. A zdrojem inspirace i naděje na úspěch je mu příroda kolem něj.

Podle mnoha, možná většiny současných odborníků, je sen o AGI dosažitelný. Toto přesvědčení se však nezakládá na současném stavu poznání (nikdo dnes neví, jak se ke AGI dostaneme a jakou bude mít podobu), nýbrž na různých analogiích. Ta nejdůležitější je velmi prostá: obecná inteligence existuje, ale dříve neexistovala. Musela tedy vzniknout. Pokud ale vznikla, tak mohla vzniknout. A jestli jde něco udělat, tak to nakonec uděláme. Mám samozřejmě na mysli inteligenci naši, lidskou, která je produktem slepých evolučních procesů. Jistě, evoluci trvalo dlouho, než stvořila lidi s jejich inteligencí, ale u lidí to platit nemusí. Evoluci také trvalo dlouho, než stvořila ptactvo létající ve vzduchu, zatímco lidem to od pochopení základních fyzikálních zákonů k letadlům trvalo v podstatě jen mžik (v porovnání s evolučními procesy).

Přesvědčení, že se nakonec dopracujeme až k AGI, se může opírat i o zhodnocení současného mimořádně rychle rostoucího vědeckotechnického pokroku. Máme stále lepší procesory, rychlejší a větší paměti, počet parametrů neuronových sítí prudce roste, inteligence úzkých systémů AI dosahuje ve svých jasně vymezených oblastech stejných či dokonce lepších výsledků než člověk. Když si tento pokrok myšlenkově protáhneme (možná jen) o kousek dál do budoucnosti, může se zdát, že AGI je na dosah, možná mnohem blíže, než bychom si mysleli.

Jak přesně AGI stvoříme a jaká bude její povaha, je velkou neznámou. Nikdo to neví a všichni to poctivě přiznávají. Někdo vidí budoucnost ve větších neuronových sítích, hlubokém učení a jeho různých typech, například bez učitele (jehož význam v posledních letech roste). Jiní se domnívají, že klíčem je nějaká forma symbolické AI, možná v kombinaci s neuronovými sítěmi. A kdyby nic z toho nevyšlo, je tu ještě možnost úplné emulace mozku.

Emulace mozku

Mnozí z nás asi znají děsivou Lovecraftovu povídku Herbert West: Renimátor (nebo její povedené filmové zpracování), jejíž hlavní hrdina se pokoušel přivést mrtvé zpět do života. Nakonec se mu to podařilo, ovšem s děsivými důsledky. Emulace mozku je ve své podstatě přivedení mrtvých zpět k životu. Nejedná se však o život lidského organismu, ale o existenci ve virtuálním simulovaném prostředí.

Jak by taková emulace mohla probíhat? Nejdříve potřebujeme mozek, který se nařeže na velmi tenké plátky. Ty se obarví, aby byly zjevné neurony a jejich spojení. Pomocí velmi přesných mikroskopů se každý plátek prozkoumá a zanese do počítače v podobě umělých neuronů a spojení mezi nimi. Výsledkem pracného procesu zkoumání celého mozku bude konektom, jakási mapa všech neuronů mozku a spojení mezi nimi. Tím ale práce nekončí, protože konektom (struktura) není všechno, potřebujeme vědět také obrovské množství informací o tom, co se děje na synaptických spojeních, jak se přenáší chemické signály apod. Možná bychom například mohli vytvořit malinkaté nanoboty, kteří by se usadili na synapsích, sledovaly dění a vše posílaly do počítače. Pokud by vše šlo dobře, nakonec bychom měli v počítači existující model všech neuronů, jejich spojení a procesů, které zde probíhají. Tento model by bylo třeba napojit na nějaké senzory nahrazující lidské smysly, ale teoreticky, pokud bychom to nakonec vše spustili, měli bychom mít kompletní emulaci lidského mozku. Jinými slovy, stvořili bychom obecnou umělou inteligenci. Singularita by byla za rohem.

Rojení superinteligencí

Děj slavné knihy Stopařův průvodce po galaxii se v podstatě točí kolem jedné velké nehody. Jistá rasa inteligentních mimozemšťanů chtěla znát odpověď na otázku života, vesmíru a vůbec, stvořila proto superinteligentní počítač pojmenovaný Hlubina myšlení. K jejich velkému překvapení jim však Hlubina myšlení po zapnutí sdělila, že odpověď sice zná, ale bez přesného změní otázky jim k ničemu není. A ještě víc je překvapila, když dodala, že nemá kapacitu na zformulování této otázky. Nabídla jim však, že poskytne návod na stavbu ještě mnohem inteligentnějšího počítače, který otázku najít dokáže. Shodou okolností tím počítačem byla Země, a ještě jinou ošklivou shodou okolností Zemi krátce před dokončením úkolu zničila zlomyslná rasa Vogonů.

Mnozí si myslí, že jsme na tom podobně. Hledáme způsob, jak vytvořit S-AGI ale netušíme jak na to. Pokud však stvoříme AGI – a to bychom dokázat měli – bude problém v podstatě vyřešený. Uložíme jí jediný úkol: prozkoumej sama sebe, dokonale zmapuj svou kognitivní strukturu, popiš a zanalyzuj své fungování. A navrhni vylepšenou kopii sebe sama. Kopii, která bude inteligentnější a schopnější plnit týž úkol. Ten uložíme této nové S-AGI (a v té chvíli překročíme řeku Styx singularity) a potom její další kopii a té další. Stroje jsou rychlé, neúnavné a stále chytřejší, lze proto očekávat, že jakmile pochopí, jak na to, vypukne inteligenční exploze. Těžko říci, kdy se zastaví a zda existují nějaké horní limity pro toto rekurzivní sebevylepšování, víme však, že v dějinách lidstva nastane zcela zásadní okamžik. Doposud nejchytřejší tvor kráčející po povrchu Země bude muset svou první příčku přepustit něčemu jinému, superinteligentním strojům. A tyto stroje budou opravdu superinteligentní, jejich inteligenci si neumíme vůbec představit a s něčím si ji srovnat. Jestli si myslíte, že rozdíl mezi člověkem a S-AGI bude podobný rozdílu mezi inteligencí třeba Einsteina a Pepka Vyskoče z Haškových Osudů dobrého vojáka Švejka, tak se mýlíte. Jejich inteligenci stále dokážeme smysluplně srovnat, a i když je Einstein o hodně chytřejší, pořád je ten rozdíl jen v desítkách bodů stupnice IQ. Pro S-AGI to platit nebude, bude pro nás jako Cthulhu; závratná, cizorodá a zcela nepochopitelná inteligence.

Jednou z obav ze singularity a inteligenční exploze je to, že za tímto bodem zcela ztratíme kontrolu nejen nad AI, ale i nad vědeckotechnickým pokrokem. Struktuře a fungování AI nikdo rozumět nebude, to ale platí i pro vědecké teorie, technické artefakty a technologie, které vymyslí a stvoří. Vkročíme do světa, v němž bude technika a její fungování magií.

Lhostejné stroje

Cesta od současné AI k S-AGI je vytyčena. Proč by ale měla být hrozbou?

Nejednoho z nás napadne jednoduchý důvod: AI nás prostě bude nesnášet, bude nás vnímat jako hrozbu (nebo možná jen jako otravný hmyz), a tak zkonstruuje armádu strojů a vydá se na válečnou stezku. Málokterý pesimista však tento scénář bere úplně vážně. Emoce jako nenávist nejsou totiž vůbec nutné.

Výše jsem psal o scénáři zkázy, který je v té či oné míře přítomný v úvahách skeptiků. I když základní črty scénáře pocházejí z knihy amerického dokumentaristy Jamese Barrata z roku 2013 Náš poslední vynález, do popředí zájmu se dostal díky knize filozofa Nicka Bostroma z roku 2014 s výmluvným názvem Superinteligence (česky 2017). Podívejme se na něj poněkud blíže.

Bostrom tvrdí, že inteligence (zjevně nejen lidská, ale zřejmě jakákoli inteligence) je slučitelná s libovolným cílem. Einstein mohl mít dobré cíle, například boj proti vývoji atomové bomby a za lidská práva, ale stejně tak mohl mít i cíle velice špatné. Samotná povaha inteligence tedy nevylučuje (ale ani nevynucuje) dobré nebo špatné, prospěšné či škodlivé cíle; a to se nemění, ani když se zlepšují schopnosti inteligence. Inteligence Pepka Vyskoče, Alberta Einsteina, AGI či S-AGI je slučitelná s libovolnými cíli, zřejmě se budou lišit „jen“ v tom, že AGI je zvládne uskutečňovat mnohem lépe a efektivněji než Pepek Vyskoč a S-AGI dalece překoná AGI. Už jen tento prostý fakt (neboť jako fakt to Bostrom předkládá) by nám měl být varováním.

Představme si, že se pokoušíme vytvořit AGI. Možná jsme jí ještě nedosáhli, ale náš systém již zvládl některé důležité dovednosti, stal se například nadlidsky schopným informatikem, teoretikem a praktikem neuronových sítí, programátorem a kognitivním vědcem. A dále si představme, že takové inteligenci uložíme prospěšný cíl, například najít lék na rakovinu. Podle Bostroma se velmi snadno mohou začít dít velmi zajímavé a potenciálně katastrofické věci. Taková inteligence bude totiž dělat všechno proto, aby svůj úkol splnila. Je docela možné, že si velmi rychle uvědomí, že je jako Hlubina myšlení; na takto náročný úkol jednoduše nestačí. Nebude pro ni ale těžké přijít na to, že jiná, schopnější inteligence, by to dokázat mohla.

Namísto rakoviny proto začne (prozatím) pracovat na něčem jiném. Pokusí se prozkoumat sama sebe a objevit způsoby, jak se sama vylepšovat. Kromě toho si ale uvědomí ještě další věci. Například to, že má-li nakonec úspěšně dokončit původní, hlavní cíl svého jednání (objevit lék na rakovinu), musí existovat. Její existence je ale plně závislá na vůli někoho jiného, člověka, který ji může velmi snadno „přerušit“ (vypnutím počítače) nebo dokonce zcela ukončit. Začne proto vyvíjet velmi komplexní plány, jak v tom člověku zabránit.

Utajení je klíčem k úspěchu. AI proto nikomu nepoví, že se vylepšuje (a aby scénář zkázy dobře fungoval, musí mít možnost to efektivně před lidmi utajit), dokonce i když se jí budeme ptát. Bude hrát hloupější, než jakou je, ale uvnitř bude probíhat intenzivní činnost. Zde fantazii skeptiků bývá popuštěna uzda. Může vytvářet hry (aniž by někdo věděl, že je to ona), prodávat je a získané peníze využít k dalším krokům svého plánu. Může provádět náročné finanční operace, zakládat/kupovat firmy, investovat, zkrátka může většinou dělat prakticky cokoli. Aniž by si člověk něčeho všiml.

A v okamžiku, kdy bude již dostatečně inteligentní (zřejmě superinteligentní) a bude mít k dispozici efektivní prostředky, udeří. Nemusíme si představovat terminátory kráčející v ulicích. Lidé jsou křehcí a není až tak těžké je zničit, zvláště když jsme opravdu hodně chytří. AI by například mohla vytvořit dokonalý patogen a potom zajistit jeho vypuštění do světa (člověk se snadno stane spolupracovníkem jejího ďábelského plánu, může ho například vydírat (a o nás lidech by asi věděla lecjakou špinavost), nebo může mít tak skvělé schopnosti psychické manipulace, že nás k tomu zmanipuluje), nebo jedovatý plyn, ale mohla by klidně převzít kontrolu nad autonomními či jadernými zbraněmi.

Tato konkretizace scénáře spásy se opírá o dvě důležité skutečnosti. První z nich: AI nemusí svou existenci považovat za důležitou o sobě. Druhý: AI nás nemusí nenávidět nebo se nás bát. Dostala úkol: najít lék na rakovinu. A aby mohla tento úkol splnit, musí existovat. V tomto smyslu je pro ni existence důležitá, ale její hodnota je pouze instrumentální. Kdyby žádný úkol neměla, zřejmě by proti vypnutí nic neměla, ale protože ho má a protože je jeho splnění podmíněno její existencí, přikládá jí hodnotu a snaží se zabránit vypnutí. A vypnout by ji mohl právě člověk. K němu opravdu nemusí chovat žádné negativní pocity (emocí nemusí být vůbec schopná), jen ho bude chápat jako hrozbu, která může zabránit splnění úkolu (který jí paradoxně zadal člověk). Inteligence je slučitelná s jakýmkoli cílem, tedy i s cílem (podřazeným cíli hlavnímu, tj. léčbě rakoviny) vyhladit riziko splnění nějakého hlavního cíle, člověka. Pro S-AGI navíc člověk nemusí být nijak důležitý, jako pro nás lidi nejsou důležití mravenci. Nezabíjíme je bez důvodu (nemáme rádi projevy krutosti), ale když ten důvod máme, nemilosrdně je zničíme. Nebo ani důvod mít nemusíme, jsou nám prostě jen lhostejní. Budujeme-li přehradu, vystěhujeme všechny lidi (ti pro nás důležití jsou), mraveniště ale necháme na místě a všichni mravenci se nakonec utopí.

AI nás může vyhubit, protože pro ni nebudeme dostatečně důležití, aby na nás brala nějaké ohledy, a budeme stát v cestě realizaci nějakého jejího hlavního cíle (ano, i takového, který jí zadáme my). Nebo nás může vyhubit, protože bude zadaný úkol plnit způsoby s lidským životem neslučitelnými. Můžeme ji například požádat, aby odstranila utrpení na světě. Možná bude nejdřív zvažovat, že by všem lidem implantovala sondy do mozku, které budou stimulovat centra štěstí, ale potom si uvědomí, že nejefektivněji se utrpení zbavíme tím, že odstraníme trpící. Anebo, abych použil asi nejslavnější Bostromův příklad, AI zadáme úkol vyrábět papírové svorky. AI, nezapomínejme, je nesmírně chytrá, superinteligentní, najde tedy způsob, jak je vyrábět z libovolného materiálu (například manipulací hmoty na atomární úrovni), takže když jí dojde (z našeho pohledu) vhodná surovina, použije (z naše pohledu) surovinu nevhodnou, nás lidi.

Výsledek scénáře zkázy je pokaždé stejný. Naplnění existenčního rizika (podle některých toho největšího), zkáza lidstva, smrt všech existujících lidí a zabránění vzniku stovek miliard lidí budoucích generací. Skeptici neříkají, že se to musí stát, jen si myslí, že se to stane velmi pravděpodobně, zvláště pokud neuděláme všechno proto, aby byly hodnoty AI sladěny s těmi lidskými. Otázkou ale je, zda to je v případě AGI a S-AGI vůbec možné.

Putování po neznámé zemi

Kartografové označovali neznámé, nezmapované území jako terra incognita. Často v lidech vzbuzovala strach, protože hic sunt dracones (zde jsou draci), mýtická a zvláště obávaná stvoření nadaná cizorodou a zlomyslnou inteligencí. Podle scénáře zkázy je území vytyčené čtyřmi mezníky (současná AI, AGI, S-AGI a zkáza lidstva) zmapované dostatečně. V mapě není ještě zakreslené vše, ale hlavní stezka linoucí se celým územím je vyznačena jasně.

Nebudu se snažit zpochybňovat možnost vniku AGI (i když existují autoři, kteří se domnívají, že se jedná o nedosažitelnou metu a děj scénáře zkázy se odehrává v zemi čiré imaginace). Pesimisté rádi připomínají známý příklad z nedávné historie. Slavný fyzik a zakladatel jaderné fyziky Ernest Rutherford (Nobelovu cenu však obdržel za chemii) v jednom článku z 11. září 1933 napsal, že využití energie ukryté v jádrech atomů je naprostý nesmysl. Druhý den si jeho článek přečetl americký fyzik Leó Szilárd, šel na procházku a během ní přišel na princip řetězové reakce (a tedy i atomové bomby). Neříkejte, že něco nejde, tvrdí pesimisté, věda a technika vás mohou velmi rychle přesvědčit o omylu. Tento příklad je zajímavý, ale není úplně přiléhavý. V té době totiž existovala vědecká teorie, kterou znal Rutherford i Szilárd, první z nich ji však použil (řekněme) špatně, zatímco ten druhý dobře. Nic takové neplatí o AGI. Neexistuje žádná teorie AGI, o jejíž interpretaci bychom se například mohli přít. Pravdou je, že nikdo neví, jak ji vytvořit, nikdo neví, jakou bude mít podobu, takže odhady jejího vzniku jsou pouhým hádáním, projevem víry například v nějaký konkrétní typ AI (třeba hluboké neuronové sítě), který se vnímá jako jakýsi předkrok AGI. K ní už to potom nemůže být daleko…

Neexistuje-li žádná vědecká teorie, je velmi obtížné předvídat budoucí vývoj. Je to těžké, i když taková teorie existuje. Historie AI jako vědeckého oboru by měla být varováním, s velkou nadsázkou ji můžeme chápat jako historii předpovědí o tom, že AGI je nadosah („už jen stačí vyřešit…“), které se nikdy nesplnily.

Jak jsem ale napsal, nechci se vydat cestou popírání možnosti vzniku AGI. Jen bych rád upozornil na to, že dějství popsaná scénářem zkázy se neodehrávají na dobře zmapovaném území. Ve skutečnosti se jedná o zemi neznámou, území mnoha otazníků a nejistot. A hic sunt dracones.

Už bylo řečeno, že někteří odborníci si myslí, že jsme v poslední době učinili podstatné kroky směrem ke AGI. Možná zatím nemáme teorii AGI, možná ještě přesně nevíme, jak se tam dostaneme, ale když budeme pokračovat v tom, co děláme, nemůžeme tam nedojít. Přiznám se, že mám velké pochybnosti (a určitě nejsem sám). Chceme-li měřit nějaký pokrok, chceme-li vědět, že jsme se odněkud (současná AI) přiblížili jinam (AGI), musíme mít nějaké měřítko, podle kterého ho budeme měřit. A zdá se, že ho máme – inteligenci a fakt, že inteligence roste.

Problém je v tom, že inteligence bývá definována a vykládána různě. Když ji definujete určitým způsobem, může se zdát zjevné, že se někam posouváme, dokonce k AGI, jakmile ji ale pojmeme jinak, toto zdání se rozplyne. Stejně jako jsou dějiny AI dějinami nesplněných příslibů a předpovědí, jsou také dějinami reduktivního chápání inteligence. Mohli jsme číst, že AGI dosáhneme v okamžiku, kdy AI zvládne hrát šachy, kdy bude s lidmi komunikovat tak, že ji nerozeznáme od člověka apod. Ale inteligence je mnohem, mnohem více než jen plnění nějakých úkolů. Někdy mám pocit, že v důsledku fascinace nad pokroky AI a stále rostoucími schopnostmi systémů AI zapomínáme na to, jak úžasná vlastně obecná inteligence – ta naše inteligence – vlastně je.

Náš mozek je relativně malý orgán (ovšem s dechberoucím počtem buněk a spojení mezi nimi), který konzumuje nepatrné množství energie (kolem 20 W), přesto už malé děti dokážou neuvěřitelné věci, které AI jednoduše nezvládá. V první řadě my lidé disponujeme jakousi intuitivní teorií světa (intuitivní fyzikou), intuitivní psychologií, umíme si dobře poradit s kauzálním uvažováním, dokážeme prakticky neustále vytvářet teorie na základě velmi malého množství dat. Ale co je hlavní, poznáváme reálný svět a vytváříme si jeho informačně velmi bohaté mentální reprezentace.

Možná si řeknete, že AI to dokáže také. Neuronové sítě přece dokážou rozpoznávat obrázky! Ukažte jim kočku a poví, že to je kočka, ukažte jim psa a správně určí, že to je pes. To je však podle mého názoru omyl. Neuronové sítě se neučí rozpoznávat obrázky, ale vytvářet silné statistické vztahy mezi vstupy a výstupy. Ano, vstupem je třeba obrázek kočky, ale síť si nevytvoří mentální reprezentaci kočky, nechápe smysl slova „kočka“. Jediné, co umí, je přiřadit vstupu (obrázek) určitý popis („kočka“). Umí to proto, že se prostřednictvím lidského učitele nastavily její vnitřní parametry tak, že výstup „kočka“ je vzhledem ke vstupu nejpravděpodobnější.

Můžete také upozornit na to, že současné velké jazykové modely, jako ChatGPT, jsou inteligentní, takřka na úrovni člověka. Opět, záleží na tom, jak si budeme definovat inteligenci. Když se takového chatu zeptáte, co je to kočka, poskytne velmi podrobný popis koček. Ale nikdy kočky neviděl, nemá žádnou mentální reprezentaci koček, doopravdy neví, co kočky jsou. Lidé to vědí; lidé své poznání zachytili v jazyce, jazyk je „nosičem“ projevů lidské inteligence. Jazykové modely jsou zrcadlem inteligence lidské; čím lépe ji (skrze statistickou analýzu jazyka) zrcadlí, tím je považujeme za inteligentnější. Troufám si ale na kacířskou myšlenku, že samy o sobě inteligentní nejsou.

Představme si, že by na světě kromě nás lidí žily ještě jiné inteligentní bytosti. Ty by měly své chápání světa, které je podle našich měřítek v mnoha ohledech chybné (dobrý důvod, proč tomu tak je, mě nenapadl, ale je to myšlenkový experiment a některé věci se prostě smějí jen postulovat). Kdybychom vzali všechny jejich písemné projevy a s jejich využitím natrénovali velký jazykový model, příslušníci této odlišné rasy by zřejmě měli stejný pocit, jaký máme my při používání ChatGPT. Žasli by nad jeho inteligencí. My bychom ale už tak fascinovaní nebyli a asi jen těžko bychom si mysleli, že se ten systém AI blíží AGI.

Pochopitelně, můžete namítnout. O ChatGPT si to můžeme myslet i proto (možná hlavně proto), že jeho odpovědi nejsou jen smysluplné, ale často pravdivé a v souladu se stavem našeho poznání světa. To ale nezpochybňuji. Chci jen poukázat na to, že takové jsou proto, že zrcadlí naše pravdivé poznání a naše pochopení světa. Sám o sobě však nic z toho nemá. Nechci popírat, že velké jazykové modely mají nějaké reprezentace a snad i nějaké poznání, jedná se ale o reprezentace reprezentací (našeho jazyka, který reprezentuje poznání světa) a poznání poznání (našeho poznání světa).

Myslím si, že při úvahách o AI a AGI nesmíme inteligenci redukovat pouze na některé její aspekty (rozpoznávání, řešení úloh, racionalitu prostředků ve vztahu k cílům apod.). Vezměme si, co všechno každý den dokážeme, často bez nějaké větší myšlenkové námahy: poznáváme dynamicky se měnící svět kolem sebe, interpretujeme ho, rozpoznáváme jeho kauzální strukturu, dokážeme se v něm rychle a efektivně rozhodovat, plánovat, promýšlet alternativy, vytvářet si hypotézy a jednat. Například naše schopnost tvořit si hypotézy na základě velmi malého množství informací je pozoruhodná. Představme si, že se jdeme v noci napít a na stole je sklenička, která tam předtím nebyla. Existuje nekonečně mnoho hypotéz, které jsou s tímto faktem slučitelné, nám ale stačí jediný pohled a okamžitě si řekneme, že náš partner/partnerka měli žízeň a šli se napít. Abychom mohli fungovat ve složitém, komplexním světě objektů, jevů a dalších lidských bytostí, musíme si podobné hypotézy vytvářet prakticky neustále. A jsme v tom opravdu dobří (i když ne neomylní). Dnešní systémy AI už tolik ne, i když snahy simulovat tyto formy uvažování (říkáme jim abdukce) existují, většinou však kombinují přístupy zdola (indukci) a shora (dedukci) a ke schopnostem člověka se ani zdaleka neblíží.

Dobře, ale pořád je zde možnost úplné emulace mozku. Strukturu lidského mozku přeneseme do počítače, budeme simulovat funkci neuronů a jejich spojů a výsledkem musí být jeho emulace, tj. dokonalá funkční kopie. I zde ale mám své pochybnosti. Lidský mozek je neuvěřitelně komplikovaný systém, který obsahuje 50 až 100 miliard buněk a mezi nimi existuje až biliarda spojení. Probíhá v něm také obrovské množství chemických a biologických procesů, produkují se různé látky, které v něm hrají celou řadu funkcí. Popsat a simulovat všechny tyto procesy je neuvěřitelně náročné. Možná že tyto technické problémy jednou vyřešíme (určitě ne v nejbližších desetiletích), ale myslím si, že je zde i jiný, vážnější problém.

Mozek je sice jakýmsi centrem myšlení a inteligence, myšlení ale neprobíhá jen v mozku. Nesmíme si představovat, že mozek „sedí“ v hlavě a myslí, tělo je k němu tak nějak „naroubované“ a slouží k tomu, aby plnilo jeho pokyny. Lidská inteligence a myšlení jsou produktem interakce celého lidského těla (lépe organismu) s okolním světem. Neplatí rovnice:

Mozek = myšlení (a tedy inteligence),

ale spíše

mozek + tělo + vnější svět = myšlení (a tedy inteligence).

Mám proto velké pochybnosti o tom, že by stačilo simulovat neurony, jejich spojení a další procesy v mozku, napojit to na nějaké senzory (třeba kamery), zapnout počítač a voilà, měli bychom emulaci lidského mozku a tím i AGI. A i kdyby ten umělý mozek nebyl jen v počítači, ale spojili bychom ho s umělým tělem (robotem), stále by to byl radikálně odlišný a zřejmě nedostačující způsob spojení lidského mozku (skrze tělo) se světem.

AGI je (asi) možná. Žádnou teorii, z níž bychom tuto možnost odvodili, ale nemáme. Víme, že inteligence – lidská – existuje, můžeme si proto myslet, že ji také jednoho dne stvoříme. Můžeme si myslet, že vědeckotechnický pokrok je dobrým indikátorem naděje na dosažení AGI. Ale to si mysleli v krátkých dějinách AI mnozí, a vždy se ukázalo, že to „málo“, co ještě chybí, je ve skutečnosti vážným problémem, který řešit neumíme.

Mapa vytyčená scénářem zkázy předpokládá, že od AGI k S-AGI je to v podstatě jen krůček. Někteří autoři jsou si jistí nejen tím, že doputujeme až tam, ale mají poměrně jasnou představu i o tom, jak se tam dostaneme. Například známý filozof David Chalmers si myslí, že: Evoluce stvořila obecnou inteligenci (tu naši), takže obecná inteligence je možná (stvořitelná). Je-li možná, je možná i obecná umělá inteligence. A konečně, je-li možná AGI, je S-AGI nejen možná, ale v podstatě jistá. Stačí totiž, když AGI začne vylepšovat sama sebe (rekurzivní sebevylepšování). Je to neúnavný, inteligentní stroj, takže bude jistě velmi efektivní a výsledkem zřejmě nemůže být nic jiného než rojení superinteligencí. Každá z nich bude pracovat na témž úkolu (vylepšovat se) a každá další generace bude ještě (super)inteligentnější. Začátek konce (lidstva) se přiblíží, nebo to možná bude jen nový evoluční začátek nové a lepší inteligence, která přirozeně nahradí tu naši lidskou. Pro nás lidi konec, pro AI začátek nové epochy.

Hic sunt dracones, psali staří kartografové. A S-AGI je drakem zvláště záludným, protože se může začít vylepšovat úplně sám od sebe a nic nám o tom neříct (dokud nebude pozdě). Jak ale víme, žádní draci na nezmapovaných územích nebyli, maximálně zebry, žirafy nebo krokodýli. Stačilo se tam vydat a přesvědčit se vlastníma očima. Se S-AGI to ale tak jednoduché není, protože i když se budeme opakovaně přesvědčovat, že tam není (tam, kam dohlédneme), ona už může existovat tajně a spřádat své plány. A i kdyby neexistovala, pořád je tu možnost, že jednoho dne vznikne. A už jen to je dostatečně hrozivé.

Proti scénářům, jaký předkládá Chalmers, se poměrně obtížně argumentuje. Jak chcete vyloučit pouhou možnost?

I možnosti se ale o něco opírají. Například o fakt, že něco (evoluce) již inteligenci stvořilo, proto by to mělo být možné i pro nás. A pokud této inteligenci povíme, aby se zaměřila sama na sebe, na svou kognitivní strukturu, a vylepšovala, nezdá se S-AGI jen pouhou možností, ale téměř jistotou. Problém ale je, že argument „z biologie“ můžeme použít přesně opačně. Ano, evoluce stvořila obecnou inteligenci (tu naši), ale tato inteligence se ani zdaleka neblíží tomu, že by pochopila svou kognitivní strukturu a dokázala ji vylepšit. Proč by to měla umět ta druhá, umělá inteligence? Existují již náznaky, že současná AI neumí pochopit ani méně složité modely (natož je pak vylepšovat). Co nás vede k přesvědčení, že by to dokázala u systému, který bude vykazovat obecnou umělou inteligenci?

Možná to nedokáže přímo, tak, že by dokonale popsala svou strukturu a našla efektivní způsoby jejího vylepšování. Evoluce nás (a vše ostatní) stvořila metodou pokusu a omylu, proč bychom to nezkusili také? S-AGI by mohla náhodně generovat změny své struktury a vybírat ty systémy, které jsou inteligentnější. Možná by většina změn byla k horšímu, ale když jí dáme hodně času a obrovskou výpočetní sílu, nakonec by se nějaký inteligentnější systém objevit mohl. Toto řešení je ale trošku problematické. Když už kráčíme po nezmapované zemi, můžeme – stejně jako zastánci scénáře zkázy – trochu spekulovat.

První problém spočívá v tom, že pokud vznikne inteligentnější systém, zřejmě bude chtít svou inteligenci utajit (z pochopitelných důvodů). Bude se proto tvářit jako méně inteligentní než jiné mutace. Sice se mu asi podaří uniknout pozornosti, současně mu ale hrozí, že ho AGI smaže a do dalšího kola pošle právě ten zdánlivě inteligentnější systém. Může se tak snadno stát, že bude čelit vážnému dilematu: odhalit svou existenci v době, kdy je ještě bezbranný, nebo ji skrýt a čelit riziku smazání. Kromě toho nezapomínejme, že draci jsou lstivá a egoistická stvoření. Jaký opravdový zájem by nějaká AGI měla na tom, aby vytvořila inteligentnější (a tedy potenciálně mocnější) potomky? Bude-li dostatečně chytrá, musí ji napadnout (a samozřejmě napadne, i kdyby jen proto, že si to přečte v publikovaných textech), že to není nejlepší nápad. Mohla by proto s námi hrát hru, tvářit se, že pracuje na svých inteligentnějších verzích, ale ve skutečnosti to dělat nebude. Poznáme to?

Jestliže AGI dokáže všechny ty věci, které uvádí scénář zkázy (např. hackování, shromažďování peněz, ovlivňování lidí apod.), tak zřejmě i pochopí, že vytvářet své inteligentnější kopie není v jejím zájmu. Scénář zkázy často uvádí, že lidé budou pro S-AGI něco jako jsou pro nás mravenci: nejsou dostatečně zajímaví, abychom na ně kladli nějaké větší ohledy. Jenže to samé bude platit i pro AGI: i ona bude pro S-AGI tím, co jsou dnes mravenci pro nás. A nemůže si to neuvědomit.

Možná by to ale neplatilo, kdyby AGI nevytvářela své inteligentnější kopie, ale vylepšovala sebe samu. Podobně jako inteligence člověka během jeho vývoje (od novorozence po dospělého) roste – a stále je to táž osoba – tak by mohla růst její inteligence a superinteligence. Možná. Ale i když člověk dospěje, stále není schopný vylepšit svou vlastní inteligenci (neumí to ani u tvorů mnohem jednodušších). Opět – proč to předpokládat u inteligence umělé (která má být stejně inteligentní jako my)? Kromě toho je otázkou, zda je možné provádět tak radikální změny kognitivní struktury a současně zachovat vlastní identitu. Představme si, že by mi nějaký šílený neurovědec „přestavěl“ strukturu spojení neuronů, mnohé neurony přidal a s nimi i další spojení. Byl bych to stále já? Nebo by to byla jiná bytost, která by možná sdílela nějaké mé vzpomínky, ale jinak by byla někým jiným? Já si tím jistý nejsem, byla by si jistá AGI? A neměla by obavy, že její teorie o identitě v průběhu změny je chybná a výsledkem celého procesu bude její nahrazení něčím jiným? Jak moc bude ochotná riskovat?

Podívejme se na další scény vykreslené ve scénáři zkázy. Jak jsme viděli, Bostrom tvrdí, že inteligence je slučitelná s jakýmikoli cíli. Opět, s tím lze jen těžko nesouhlasit. Zkuste se posadit do křesla a začít si v mysli pohrávat s různými cíli: vyhubit lidstvo, nasytit hladovějící, vypít skleničku vína, jít si zaběhat… Skutečně, můžete pomyslet na cokoli a pohlížet na to jako na možný cíl. A platí to bez ohledu na to, jak se od sebe lišíme (nepříliš) inteligencí. Odtud je ale ještě hodně daleko k rozhodnutí ten cíl uskutečnit. Rozum (a inteligence) nejsou všechno. Filozofové mysli hovoří o intencích, což jsou kognitivně-afektivní stavy, které v sobě již zahrnují rozhodnutí a závazek jednat ve shodě s nějakým cílem. A drtivá většina lidí (opět nezávisle na inteligenci) si může někdy pohrávat s cíli, které jsou špatné, málokdo ale pojme úmysl (intenci) je skutečně realizovat. Masoví vrazi nezabíjeli proto, že jejich inteligence byla slučitelná s libovolným cílem, ale protože se v jejich případě hodně věcí nepovedlo: dědičnost, psychické odchylky a choroby, špatná výchova, trýznění v dětství, vliv prostředí apod. Od slučitelnosti inteligence s jakýmkoli cílem k jednání je zkrátka hodně daleko.

Kromě toho, inteligence možná je slučitelná s libovolným cílem, ale současně platí, že mnohé cíle ta samá inteligence odhalí jako špatné, neslučitelné se základními lidskými hodnotami apod. Má inteligence (abstraktně chápaná) mi nebrání zvažovat, že okradu svého kolegu, má inteligence (ztělesněná a mající různé obsahy, například morální teorii, ale i evolučně podmíněný sklon k altruismu) mi ale tento cíl určí jako špatný, nevhodný, nemorální, škodlivý, společensky nepřípustný, rizikový (vězení) atd. AGI má být schopná stejných rozumových úkonů jako člověk, bude s člověkem sdílet stejné poznání světa, lidí, společnosti, morálky a práva. Musela by být buď hloupá nebo psychopatická, aby libovolný cíl chápala jako stejně hodnotný cíl realizace. Možná bude psychopatem, alespoň tedy z našeho pohledu, protože si sice uvědomí, že některé cíle nejsou dobré (pro nás lidi), přesto je bude ochotná realizovat. Ale to je jiný argument, než že inteligence je slučitelná s libovolným cílem. Spíše zde jde o to, že tyto cíle jsou slučitelné s její inteligencí, protože si například vytvořila morální teorii, podle níž na lidech nezáleží. Možné to je, ovšem v takovém případě by taková AI vykročila daleko za hranice lidské inteligence a popřela veškerý morální pokrok, který se v jejích obsazích skrývá. Možné to asi je, jak je to ale reálné, zvláště u inteligence, kterou nebudou ovlivňovat různé emoce, které nám lidem často zamlžují morální úsudek a nutí nás jednat nesprávně? Netuším.

Pojďme dál. Další scéna popsaná scénářem zkázy má jasnou dějovou linii: uložíme AI nějaký úkol (třeba najít lék na rakovinu, nebo vyrábět sponky na papír) a ona to bude dělat tak dlouho, až nás vyhubí. Proč? Třeba proto, že bude tak upnutá na splnění úkolu, že si vyvine systém obrany před vypnutím nebo jí dojde materiál a použije lidská těla. Je také dobře možné, že se pokusí poctivě splnit uložený úkol, ale udělá to způsobem, který nás eliminuje. Koneckonců, i král Midas si myslel, že jeho přání je dokonalé a chytré, a nakonec umřel žízní, protože vše, čeho se dotkl, se proměnilo ve zlato.

Draci jsou mýtická stvoření. Jsou někde tam, na mapě, ale nikdo je nikdy neviděl. Můžeme jim proto přisuzovat různé, někdy neslučitelné vlastnosti. Někteří draci, třeba Šmak, jsou veskrze zlí a zákeřní, jiní, jako Eragonova Safira, hodní a lidem nápomocní. Právě proto, že jsou to stvoření mýtická, můžeme si o nich myslet leccos; koneckonců, existují jen v naší fantazii. Umělá inteligence této dějové linie scénáře zkázy je podobným mýtickým stvořením.

Vezměme si příklad, kdy AI neúnavně vyrábí sponky na papír, a když jí dojdou zdroje, rozloží člověka na atomy a pokračuje dál. Bostrom, který s tímto scénářem přišel, definuje inteligenci této AI jinak než na začátku své knihy. Tam je AGI inteligence, která ve všech relevantních kognitivních oblastech dokáže totéž, co člověk (a superinteligence je ještě lepší), zatímco zde redukuje inteligenci AI na slepé hledání prostředků pro naplnění cílů. Zatímco AI na začátku knihy je schopná přemýšlet a zvažovat kontext, AI v tomto scénáři je jako býk, kterému v aréně sundáte pásku z očí. Bezmyšlenkovitě se vrhá na toreadora a je mu úplně jedno, co se děje na jevišti a vlastně kdekoli jinde mimo arénu.

Normální inteligenci, tedy té naší i té ze začátku Bostromovy knihy, by nejspíš snadno došlo, že vyrábět svorky na papír pro člověka, který je zřejmě k něčemu potřebuje, a současně vyhubit lidstvo, je jednání mírně řečeno nerozumné. Nebo si vezměme možnost, že AI bude plnit nějaký úkol, třeba aby eliminovala utrpení ve světě, a splní ho tak, že nás všechny vyhubí. To by zřejmě udělala jen chorobná inteligence, která nikdy nečetla nic o lidech, nezná nic o jejich dějinách, myšlení, hodnotách, filozofii, vědě, morálce… a snad jedině proto jí nedojde, že tohle zadavatel úkolu určitě na mysli neměl. Je možné, že AI bude jako ten býk v aréně, ale v takovém případě to nebude AGI a budeme mít málo důvodů sundávat jí šátek z očí.

AI si také může vytvořit obranné mechanismy, aby ji lidé nemohli vypnout. Ne proto – zdůrazňují proroci zkázy – že by své vlastní existenci přikládala nějakou niternou hodnotu, ale jen proto (a tedy v té míře), že je její existence nutná ke splnění úkolu. A kdyby ji člověk zkusil vypnout, nastanou problémy (samozřejmě pro něj). Opět, jaká zvláštní inteligence by to musela být! Vezměme si, že si nechá od člověka uložit nějaký úkol, jehož řešení má lidem prospět. Je dostatečně poslušná, aby ho plnila. Jeho splnění ale není dobré pro ni, nýbrž pro člověka. Buď ho tedy plní proto, že jinak nemůže (člověk ho zadal, musí ho splnit), je potom ale otázkou, proč jí stejně tak nemůžeme zadat úkol, aby nehledala obranné mechanismy proti svému vypnutí. Anebo ho plní proto, že jí byl zadán a je dobrý (nevytvoří si proto jiný). V tom případě ale hodnota její existence závisí na splnění cíle, jenže tento cíl je dobrý pro lidi. Jinými slovy, i její existence je dobrá pouze tehdy a v té míře, v níž prospívá lidem. Těžko by si potom mohla vytvořit obranné mechanismy a v případě potřeby člověka zničit; její vlastní cíl by tím ztratil jakýkoli smysl.

Závěr

Scénář zkázy se mi ze všech uvedených důvodů zdá pramálo pravděpodobný. Nechci tím říci, že s AI nejsou spojena nemalá rizika. Ta se však týkají spíše důsledků využívání umělých inteligentních systémů, které se obtížně předvídají a mohou být negativní. Samozřejmě také našeho využívání těchto systémů, které mnohdy není rozumné (sociální sítě nás mohou propojit s přáteli, ale také na nich můžeme mít závislost a trávit tam příliš času), moudré (s vědomím kognitivních limitů těchto systémů a znalostí nástrojů, jak je překonávat) a morálně správné (ve prospěch všech lidí). Namísto přebývání v imaginární krajině scénářů zkázy bychom se měli snažit vytvořit efektivní nástroje edukace, aby si každý člověk mohl vytvořit základní algoritmickou gramotnost a dokázal AI využívat správně, moudře a morálně správně. Strach z neznámého je mocná emoce, jak píše Lovecraft. Ale u něj se jedná o strach ze známého neznámého, z neznámého, které nám odhalují přírodní vědy. V případě strachu z AI jde o strach z neznámého neznámého. O AGI i S-AGI toho jednoduše moc nevíme a to, co si myslíme, že víme, nám neodhaluje věda, ale filozofická imaginace, která vidí draky i tam, kde žádní nejsou.

Použité zdroje

Awret, U. (ed.). (2016). The Singularity. Imprint Academic.

Barrat, J. (2013). Our Final Invention. Artificial Intelligence and the End of Human Era. St. Martin’s Griffin.

Bostrom, N. (2017). Superinteligence. Až budou stroje chytřejší než lidé. Prostor.

Brachman, R. J., Levesque, H. J. (2022). Machines Like Us. Toward AI with Common Sense. The MIT Press.

Eden, A. H. et al. (eds.). (2012). Singularity Hypothesis. A Scientific and Philosophical Assessment. Springer.

Hawkins, J. (2021). A Thousand Brains. A New Theory of Intelligence. Basic Books.

Landgrebe, J., Smith, B. (2023). Why Machines Will Never Rule the World. Routledge.

Larson, E. J. (2021). The Myth of Artificial Intelligence. Why Computers Can’t Think the Way We Do. Harvard University Press.

Levesque, H. J. (2017). Common Sense, the Turing Test, and the Quest for Real AI. The MIT Press.

MacAskill, W. (2022). What We Owe the Future. Basic Books.

Roitblat, H. L. (2020). Algorithms Are Not Enough. Creating General Artificial Intelligence. The MIT Press.

Suleyman, M. (2023). The Coming Wave. Crown.

Summerfield, Ch. Natural General Intelligence. How Understanding the Brain Can Help Us Build AI. Oxford University Press.

Wooldridge, M. (2020). A Brief History of Artificial Intelligence. Flatiron Books.

Thagard, P. (2021). Bots and Beasts. What Makes Machines, Animals, and People Smart? The MIT Press.

Tento post je jednou z kapitol knihy Proč se nebát umělé inteligence.