O nebezpečí strojové inteligence

10. 9. 2024

 
Jazyk - a lidská schopnost spřádat z něj rozsáhlé příze obepínající celý svět - je základem toho, jak izraelský historik, který nyní píše svou čtvrtou populárně-vědeckou knihu, chápe náš druh a jeho zranitelnost. Ve svém megahitu Sapiens z roku 2014 (původně vyšel v hebrejštině v roce 2011) tvrdí, že lidé se stali dominantními, protože se naučili spolupracovat ve velkém počtu díky nově objevené schopnosti vyprávět příběhy. Tato schopnost, která našim předkům umožnila věřit ve zcela vymyšlené věci, stojí u kořenů našich náboženství, ekonomik a národů, které by se rozpadly, kdyby se naše schopnost spřádat příběhy nějakým způsobem vypnula.

Knihy Sapiens se doposud prodalo 25 milionů výtisků, což svědčí o Harariho vypravěčském umění, ačkoli má i své odpůrce. Akademici zpochybňovali její přesnost a nápad vtěsnat 70 000 let lidské historie na 450 stran. Sitcomy si utahovaly z Harariho fanoušků, kteří knihou mávají jako novodobou biblí. Přitažlivost Sapiens spočívá v jejím závratném rozsahu, ale jak upozornil profil v New Yorkeru v roce 2020, Harariho přístup může mít za následek minimalizaci významu současných událostí.

Nexus by mohl být vnímán jako reakce na tuto kritiku. Ačkoli se v něm autor řítí tisíciletími a přeskakuje v čase i mezi kontinenty, velmi ho zajímá, co se děje dnes.

Jestliže pro schéma Sapiens byly zásadní příběhy, zde jde o informační sítě, které Harari považuje za základní struktury, na nichž stojí naše společnosti. „Moc vždy pramení ze spolupráce mezi velkým počtem lidí,“ píše a ‚lepidlem‘, které tyto sítě spolupráce drží pohromadě, jsou informace, které ‚mnozí filozofové a biologové‘ považují za ‚nejzákladnější stavební kámen reality‘.

Informace však nevypovídají spolehlivě o světě. Častěji, zdůrazňuje Harari, dávají vzniknout fikcím, fantaziím a masovým bludům, které vedou k tak katastrofickému vývoji, jako byl nacismus a stalinismus. Proč je Homo sapiens přes všechny své evoluční úspěchy tak trvale sebedestruktivní? „Na vině“, jak tvrdí Harari, ‚není naše přirozenost, ale naše informační sítě‘.

Jeho základní myšlenkou je, že informační revoluce mohou přinést období lidského rozkvětu, ale vždy za určitou cenu.

Když Harari zkoumá, jak nás informace v minulosti svedly na scestí, nemá nouzi o příklady, z nichž může čerpat. Jedním z těch, které si lze zapamatovat, je Malleus Maleficarum, kniha, kterou  napsal dominikánský mnich Heinrich Kramer v 80. letech patnáctého století v Rakousku. Kniha, která je návodem k odhalování a vraždění čarodějnic hrůznými způsoby, by se nedostala daleko, kdyby o několik desetiletí dříve nebyl vynalezen knihtisk, který umožnil šíření Kramerových šílených myšlenek po celé Evropě a podnítil šílenství honu na čarodějnice.

Harariho základní myšlenkou je, že informační revoluce mohou přinést období lidského rozkvětu, ale vždy za cenu nákladů. Když vynalezneme nové zářivé technologie, které přenášejí slova a myšlenky dál a rychleji než kdykoli předtím, je velká část informací, které se šíří, odpadem nebo aktivně nebezpečná. Nepomáhá tomu ani skutečnost, že pokud jde o udržování společenského řádu, bývají fikce spolehlivějším pojivem než pravdy.

Na revoluci umělé inteligence není děsivé jen to, že budeme zahlceni dezinformacemi od chatbotů, nebo že ji mocní využijí ke zneužívání dat o našem soukromém životě. Na rozdíl od předchozích technologií, jako byly knihy a rádia, píše Harari: „Umělá inteligence je prvním nástrojem, který je schopen sám rozhodovat a generovat myšlenky.“ Prvního varování jsme byli svědky v Myanmaru v letech 2016-17, kdy algoritmy Facebooku, které měly za úkol maximalizovat zapojení uživatelů, reagovaly podporou nenávistné protirohingské propagandy, která podnítila masové vraždění a etnické čistky.

Harari uvádí pádné argumenty, proč bychom měli takové algoritmy považovat za autonomní agenty a jak by se lidé, pokud si nedáme pozor, mohli stát nástroji, kterými bude umělá inteligence manipulovat se stále strašlivější silou. Pokud nepřijmeme okamžitá opatření, mohla by tato rostoucí „mimozemská inteligence“, jak ji Harari raději nazývá, vyvolat katastrofy, které si ani nedokážeme představit, a to až do zániku lidské civilizace.

Tento pesimistický pohled na umělou inteligenci není ničím novým: před jejím apokalyptickým potenciálem varují „pesimisté“, jako je Eliezer Yudkowsky, už léta a obavy začal vyjadřovat i průmysl umělé inteligence. Harari se snaží do debaty vnést dlouhodobý pohled. Tím, že svou optikou zkoumá předchozí informační revoluce a ukazuje, jak na ně reagovaly různé formy vlády, se podle něj můžeme připravit na zemětřesení, které přijde.

Nexus má některá zajímavá slepá místa; je zvláštní, že v kritice technologie poháněné převážně korporacemi usilujícími o zisk není kapitalismus téměř vůbec zmíněn. Ale ať už s Harariho historickým rámcem umělé inteligence souhlasíte, nebo ne, je těžké nebýt ohromen jeho pečlivostí, s jakou jej buduje, a to, co by mohlo být poněkud suchopárnou analýzou, prokládá živými příklady, jako je příběh Cher Ami, poštovního holuba z první světové války, který je zde použit k poukázání na základní nevěrohodnost informací. Stejně jako v předchozích knihách se autor hodně opírá o seznamy („dvě hlavní výzvy“, „pět základních principů“) a binární pojmy (pravda versus řád, demokracie versus diktatura), ale slouží mu to spíše k uspořádání myšlenek než k otupení textu.