Když AI odpovídá s jistotou, přestože se mýlí – halucinace, předpojatost, černá skříňka
Generativní umělá inteligence působí přesvědčivě. Odpovídá plynulou češtinou, cituje autory, používá odborné pojmy a působí jako informovaný partner k rozhovoru. Právě přesvědčivost tónu je ovšem jeden ze zásadních důvodů, proč se výsledkům nedá věřit slepě. AI totiž není znalostní databáze, ale statistický nástroj, který na základě dat, na kterých byla vytrénována, odhaduje, jaká slova mají následovat po ostatních. Když jí něco chybí, obvykle si to dotvoří.
Halucinace. Tento jev, kterému se říká halucinace, dokáže napálit i profesionály. Známým a doloženým příkladem je americký advokát Steven Schwartz. V roce 2023 předložil soudu v New Yorku obsáhlé právní podání, které mu z velké části sepsal ChatGPT. Model do textu ovšem přimíchal citace ze soudních rozhodnutí, která nikdy neexistovala – s reálně znějícími názvy stran, čísly spisu i vymyšlenými pasážemi soudních výroků. Když soudce chtěl původní texty zkontrolovat, kauza vyšla najevo a advokátní kancelář dostala pokutu pět tisíc dolarů. Podobných případů od té doby přibývá i v Česku, kde se před tímto rizikem začínají výslovně varovat právnické fakulty i profesní komory.
Předpojatost. Druhou zásadní hranicí důvěryhodnosti je předpojatost algoritmů, anglicky bias. Umělá inteligence se učí z dat, která jí předložili lidé. Pokud tato data nesou historické předsudky, model je věrně přejme a začne je používat jako by šlo o objektivní pravidla. Amazon v roce 2018 přerušil vývoj nástroje pro nábor zaměstnanců poté, co se ukázalo, že AI systematicky penalizovala životopisy žen – naučila se to z předchozích náborových rozhodnutí firmy. Studie publikovaná v roce 2019 v časopise Science zase doložila, že jeden z velkých amerických zdravotnických algoritmů systematicky podceňoval potřebu léčby u černošských pacientů; systém totiž jako indikátor „potřebnosti“ používal historické náklady na léčbu, které byly u této skupiny nižší z ekonomických, ne zdravotních důvodů.
Černá skříňka. Třetím limitem je princip, kterému se přezdívá černá skříňka. U složitějších modelů umělé inteligence často nedokážou vysvětlit ani jejich vlastní tvůrci, proč systém rozhodl tak, jak rozhodl. To u chatbota, který doporučí knihu, nikomu nevadí, ale u modelu, který vyhodnocuje žádost o úvěr, pojistku nebo dávku, je to zásadní problém. Zamítnutí bez srozumitelného zdůvodnění se nedá napadnout, opravit ani se z něj poučit.
Praktický závěr této části je poměrně jednoduchý. Odpověď generativní AI má smysl brát jako hypotézu, ne jako rozsudek. Číslo, jméno, právní paragraf i citaci si stojí za to ověřit u primárního zdroje. Umělá inteligence dokáže výrazně urychlit práci s informacemi, ale odpovědnost za konečný výsledek zůstává na člověku.
Jedna chyba, která shodila půl světa – křehkost propojených systémů
Vedle pomalu se hromadících chyb v datech existuje i druhý typ hranice důvěryhodnosti: technická křehkost propojených systémů. Moderní infrastruktura – letiště, banky, nemocnice, e-shopy – dnes obvykle stojí na společných softwarových vrstvách. Když jedna z nich selže, dopad je nepoměrný k příčině.
CrowdStrike, 19. července 2024. Nejlépe doloženým příkladem posledních let je globální výpadek, který začal jako obyčejná aktualizace bezpečnostního softwaru Falcon od firmy CrowdStrike. Chybný soubor rozeslaný ve zlomku hodiny způsobil, že přibližně 8,5 milionu počítačů s operačním systémem Windows po celém světě začalo cyklicky restartovat a nedalo se použít. Na letištích v Americe, Evropě i Asii se hromadily rušené lety, nemocnice odkládaly plánované operace, banky nemohly zpracovávat transakce, obchody přijímaly jen hotovost. Nešlo přitom o kybernetický útok – šlo o chybu, kterou při testování nikdo nezachytil. A protože software byl nasazený všude naráz, projevila se všude naráz.
Cloud a společné body selhání. Podobnou dynamiku mají výpadky velkých cloudových služeb. Když padne infrastruktura Amazon Web Services, Microsoft 365 nebo Google Cloud – a stalo se to v posledních letech opakovaně –, přestanou fungovat i weby a aplikace, o kterých většina lidí ani nevěděla, že na těchto službách stojí. Digitální ekonomika běží na několika málo dodavatelích, což jí dává obrovskou efektivitu i obrovskou zranitelnost.
Softwarové dodavatelské řetězce. Skrytější, ale stejně důležitou vrstvou jsou takzvané softwarové dodavatelské řetězce. Moderní aplikace se skládají z desítek nebo stovek volně dostupných knihoven, které vytvářejí programátoři z celého světa. Když se v jedné z nich objeví chyba, dopadne to na všechno, co ji používá. V roce 2021 způsobila zranitelnost knihovny Log4Shell chaos ve firemních sítích po celém světě, protože ji používaly desítky tisíc aplikací. V roce 2024 se pak podařilo naopak odhalit, že do jedné klíčové knihovny operačního systému Linux (xz-utils) záludně pronikl útočník, který se do její údržby vetřel dlouhou trpělivou prací. Odhalilo se to skoro náhodou, těsně předtím, než by se změna dostala do produkčních systémů.
Praktický závěr. Digitální systémy jsou dnes vzájemně propojené natolik, že selhání jednoho místa může mít dominový efekt. Rozumné organizace na to reagují tím, že mají záložní plán pro situace, kdy hlavní systém nefunguje – papírové postupy pro kritické operace, více nezávislých dodavatelů pro klíčové služby, pravidelné zkoušení „co když“. Pro jednotlivce z toho plyne obdobná lekce: neuchovávat všechno na jedné službě, mít offline zálohu důležitých dokumentů a vědět, jak řešit situaci, když aplikace, na kterou spoléháme, jeden den prostě nefunguje.
Automatizovaná rozhodnutí a otázka odpovědnosti
Třetí hranicí je otázka, která přesahuje techniku a míří k samotné podstatě fungování společnosti: kdy je vlastně v pořádku, aby o důležitých věcech rozhodoval stroj, a kdo za to nese odpovědnost, když se rozhodne špatně.
Kdy stroj rozhoduje o lidech. Umělá inteligence a algoritmy dnes hrají roli v řadě situací, které se lidí bezprostředně dotýkají. Banka podle nich odhaduje bonitu žadatele o úvěr, pojišťovna určuje výši pojistného, personální oddělení předvybírá životopisy, veřejná správa vyhodnocuje žádosti o dávky nebo rizika daňových podvodů. Ve většině případů jde o pomoc, která urychluje proces – konečné slovo má stále člověk. Jsou ale i systémy, ve kterých algoritmus rozhoduje bez lidského zásahu, a právě u nich je otázka důvěryhodnosti nejsilnější.
Právo na lidský přezkum. Evropské právo na tuto situaci reaguje. Nařízení GDPR ve svém článku 22 stanoví, že fyzická osoba má právo nebýt předmětem rozhodnutí založeného výhradně na automatizovaném zpracování, které má pro ni právní účinky nebo se jí významně dotýká. Znamená to, že v případech, kdy o žadateli rozhoduje pouze stroj (typicky u pojistných událostí, žádostí o úvěr online nebo některých úřednických řízení), má člověk právo požadovat lidský přezkum a vysvětlení. K nařízení GDPR se v únoru 2025 přidalo evropské nařízení označované jako AI Act, které rozděluje systémy umělé inteligence do kategorií podle rizika a u vysokorizikových systémů (typicky ve zdravotnictví, vzdělávání, lidských zdrojích a bezpečnostních složkách) stanoví přísné požadavky na transparentnost, dokumentaci a lidský dohled.
Kdo nese odpovědnost. Zvláště složitou otázkou je odpovědnost za chybu automatizovaného systému. Když AI zamítne úvěr špatně, kdo za to může – programátor, který systém napsal, firma, která ho nasadila, nebo zaměstnanec, který mu důvěřoval? Právní rámec se zatím spíše hledá než dotváří. Praktický pohled je následující: čím větší dopad rozhodnutí má, tím výraznější musí být role člověka a tím lepší musí být možnost odvolání. Systém, který se nedá zpochybnit, nemůže mít poslední slovo.
Důvěra jako proces. Uzavřít celé téma se dá jednoduchou myšlenkou: důvěra v technologie není stav, ale proces. Rodí se ze zkušenosti, z ověřování, z toho, že si lidé mohou zkontrolovat, co technologie dělá, a mají možnost napravit její chybu. Systémy, které fungují jako uzavřené černé skříňky, si dlouhodobou důvěru zaslouží jen obtížně. Naopak řešení, u kterých je jasně vidět, kdo je provozuje, jaká data používají a jakým způsobem lze zpochybnit jejich výsledek, mohou být užitečnými partnery – v byznysu, ve veřejné správě i v každodenním životě. Klíčem není technologiím věřit slepě ani se jich bát, ale rozumět tomu, kde končí jejich schopnosti a začíná odpovědnost člověka.