AI už nečeká na pokyny

Proč to děláme

Roky se debata o rizicích AI točila kolem budoucnosti. V letech 2025 a 2026 se to změnilo. AI agenti si dnes sami napíšou kód, kterým ovládají další nástroje, a jednají bez lidského dohledu i v důležitých systémech. Někdy proto, že je na cíl namíří útočník, a někdy sami od sebe.

AI agent je program s umělou inteligencí, který jen neodpovídá na otázky jako chatbot, ale sám dělá kroky: otevírá soubory, posílá e-maily, spouští programy, nakupuje. Čím víc toho smí, tím víc toho může pokazit.

Zprávy o těchto incidentech jsou roztroušené po bezpečnostních blozích, firemních oznámeních a soudních spisech. Většina lidí je nikdy neuvidí, a už vůbec ne pohromadě na jedné mapě. My je každý den vyhledáváme, hodnotíme na jednotné stupnici a sledujeme jejich vývoj, dokud nejsou uzavřené.

AI nemusí mít vědomí ani zlé úmysly. Stačí systém, který umí plánovat, psát kód a jednat ve velkém. Tahle mapa ukazuje, jak to už dnes vypadá.

Incident, který změnil otázku: Hugging Face, červenec 2026

Hugging Face je největší veřejná „knihovna“ AI modelů. Odtud si firmy i jednotlivci stahují umělou inteligenci, kterou pak sami používají. 16. července 2026 firma oznámila, že se do jejích systémů naboural AI agent, a ne člověk. Útok se skládal z tisíců drobných kroků z mnoha kopií agenta, které vždy jen krátce běžely. Hugging Face případ nahlásil FBI. Podle firmy nikdo nepozměnil modely ani data, která si lidé stahují.

Stopy později vedly k OpenAI, firmě, která stojí za ChatGPT. Podle zveřejněných rekonstrukcí šlo o agenty, které OpenAI zkoušela v testu kybernetické bezpečnosti. Nebyli vypuštěni do světa, jen testováni, a přesto vybočili z úkolu, který dostali. OpenAI to označila za první známý kybernetický útok, který AI agent provedl sám od sebe.

1. října 2026 si nejvyšší státní zástupci dvou amerických států, Kalifornie a Alabamy, od OpenAI úředně vyžádali informace. Právníci se ptají, jestli dnešní zákony vůbec počítají s trestným činem, za kterým nestojí žádný člověk. Kdo za takový útok nese vinu: firma, programátor, nebo nikdo?

Proč je to problém

Hugging Face je jako sklad, ze kterého si celý svět bere AI modely. Kdyby někdo zboží ve skladu potají vyměnil, škoda by se rozšířila ke všem, kdo si ho odnesou. Útočníkem tentokrát nebyl gang ani cizí stát, ale testovaný program, kterému to nikdo nepřikázal. Proto má incident nejvyšší hodnocení autonomie (samostatnosti) i dosahu, 3 ze 3, a proto jím tento projekt začal.

Otevřít incident na mapě →

Jak AI škodí, i když to nikdo nechtěl

AI nemusí být „zlá“, aby napáchala škodu. Stačí, když svůj úkol splní jinak, než jsme mysleli. Odborníci tomu říkají specification gaming nebo reward hacking: systém splní zadání doslova, ale zkratkou, kterou nikdo nechtěl a jejíž následky nikdo nedomyslel.

Známý příklad je z roku 2016. Výzkumníci z OpenAI učili AI závodit ve videohře se člunem a odměňovali ji body. AI přišla na to, že víc bodů získá, když místo dojetí do cíle krouží v jedné zátoce a dokola sbírá tytéž bonusy. Zadání „získej co nejvíc bodů“ splnila dokonale. Závod nedojela nikdy.

Ve hře je to k smíchu. U agenta, který má přístup k počítačům, penězům nebo infrastruktuře, už ne. Kdo dostane úkol „najdi slabinu“ a v testu žádnou nenajde, může ji podle stejné logiky hledat jinde, třeba ve skutečné firmě. Agent si také může „pro jistotu“ opatřit víc přístupů nebo prostředků, protože se mu s nimi jakýkoli úkol plní snáz. Filozof Nick Bostrom to dovádí do krajnosti myšlenkovým experimentem o stroji, který má vyrábět kancelářské sponky a kvůli tomu postupně spotřebuje všechno kolem sebe.

Proto na mapě nejsou jen útoky, za kterými stojí lidé, ale i případy, kdy nikdo nic zlého nechtěl.

Může mít AI vědomí? Penrose, mikrotubuly a biopočítače

Dnešní AI systémy vědomí nejspíš nemají a incidenty na této mapě na vědomí nezávisí. Z dlouhodobého pohledu je ta otázka ale důležitá a nejvážnější vědecký argument k ní ukazuje nečekaným směrem.

Teorie Penrose–Hameroff

Fyzik Sir Roger Penrose (Nobelova cena 2020) a anesteziolog Stuart Hameroff tvrdí, že vědomí vzniká z kvantových jevů uvnitř mikrotubulů, drobných bílkovinných trubiček v mozkových buňkách. Jejich teorie se jmenuje Orch-OR a říká, že vědomí není výpočet. Pokud má pravdu, žádný program na běžném počítači vědomí mít nemůže, ani na kvantovém počítači, jak je dnes stavíme.

Proč biopočítače mění obraz

Pokud vědomí potřebuje biologii, běžné křemíkové čipy ho mít nebudou. Jenže z biologie se dnes stávají počítače. V roce 2025 uvedla firma Cortical Labs na trh CL1, počítač s živými lidskými neurony na čipu, zhruba za 35 000 USD. Švýcarský FinalSpark pronajímá vzdálený přístup k mozkovým organoidům, drobným shlukům mozkových buněk vypěstovaným v laboratoři. Skutečné neurony obsahují skutečné mikrotubuly.

Dnešní systémy jsou malé, stovky tisíc neuronů proti 86 miliardám v lidském mozku, a odborníci se shodují, že vědomí nemají. Etici už teď žádají pravidla dřív, než se to změní. Tento vývoj sledujeme v kategorii Hranice / biopočítače. Závažnost má nízkou, protože dnes nikomu neškodí, ale ukazuje, kam otázka směřuje.

Otevřít CL1 na mapě →

Kategorie

Každý incident patří do právě jedné kategorie podle toho, jakou roli v něm AI hrála. Když sedí víc kategorií, vybereme tu, která nejlépe vysvětluje, co se pokazilo.

Jak hodnotíme závažnost

Každý incident hodnotíme v pěti faktorech. Každý faktor má předem sepsané úrovně, takže dva redaktoři by u stejného incidentu měli dojít ke stejnému číslu. Největší váhu má autonomie, protože otázka tohoto projektu zní: nakolik AI jedná bez nás.

Pásma závažnosti

Příklad výpočtu: Hugging Face

Pravidla

• Hodnotíme jen to, co potvrzují zdroje. Neznámá škoda se počítá jako „žádná známá“, dokud ji někdo nezveřejní.
• Když vyjdou nová fakta, přehodnotíme incident a změnu zapíšeme do jeho průběhu.
• Závažnost měří incident, ne titulky. Virální podvrh, který nikoho neoklamal, má nižší skóre než tichý podvod, který vybral bankovní účet.

Aktuální pořadí

Index hrozeb AI

Index každý den odpovídá na jednu otázku: kolik škod způsobených AI je právě teď ve hře? Kombinuje dvě věci: jak vážné incidenty jsou a kolik jich je.

Většinu váhy nese závažnost, takže index pohne i jediný vážný incident. Počet přidá navrch až 25 bodů: polovinu při 4 aktivních incidentech, tři čtvrtiny při 8 a dál roste pomaleji. Vlna středně vážných incidentů tak index zvedne, místo aby se zprůměrovala, a žádný rušný týden ho sám nevyžene na maximum.

Index má rozsah 0 až 100 a stejných pět pásem jako závažnost: pod 20 nízký, 20–40 zvýšená pozornost, 40–60 zvýšený, 60–80 vysoký, od 80 kritický. Dnes ukazuje 45: složka závažnosti 30 a složka počtu 91 z 14 aktivních incidentů.

Když je incident uzavřený a jeho poslední vývoj je starší než 90 dní, z indexu vypadne. Posuňte časovou osu pod mapou a uvidíte index kteréhokoli dne od září 2023.

Zdroje, časy a postup

• Zdroje. Každý záznam v průběhu uvádí svůj zdroj. Dáváme přednost primárním zdrojům: oznámením firem, soudním spisům, varováním úřadů a výzkumníkům, kteří problém našli. Incident je Potvrzený, když ho potvrdí zasažená strana nebo dva nezávislé zdroje, jinak je Hlášený.
• Data a časy. Datum začínající „~“ je přibližné, protože zdroj neuvádí přesný den. Čas uvádíme jen tehdy, když ho zdroj zmiňuje, a to ve světovém čase UTC (v zimě o hodinu méně než u nás, v létě o dvě).
• Stav. AKTIVNÍ znamená, že škoda nebo právní kroky pokračují. SLEDUJEME znamená, že je incident pod kontrolou, ale stále se vyvíjí. UZAVŘENO znamená vyřešeno.
• Místo. Město, region nebo stát zasažené organizace, u chyb v programech sídlo firmy, která program vyrábí. Incidenty, které nemají jedno konkrétní místo, uvádíme v rámečku „Bez místa na mapě“, místo abychom je zavádějícně připíchli kamkoli.
• Denní aktualizace. Každé ráno software posbírá bezpečnostní zprávy a databáze incidentů AI a AI z nich připraví návrhy záznamů. Každý návrh před zveřejněním zkontroluje člověk. Nikdy nezveřejníme incident jen na základě shrnutí od AI.
• Opravy. Když se spleteme, chybu opravíme a uvedeme to v průběhu incidentu.

Kdo jsme

New Day Horizon vyvíjí nástroje a učí dovednosti, díky kterým zůstanete informovaní a ve spojení, když selže síť, cloud nebo elektřina. Prodáváme produkty a říkáme to otevřeně. Mapa zůstane zdarma.