Autonomní agenti – kdo nese kůži na trh?

Průběh roku 2026 potvrzuje trend, který jsme již dříve predikovali. Doba jednoduchých chatbotů, kteří si s vámi umí jen povídat, je už jen pěna dní.

Do popředí zájmů se dostávají AI agenti. Systémy, které s vámi nejen mluví, ale především autonomně jednají a interagují s okolním prostředím. Zdá se, že na sociálních sítích převládá nadšení z nárůstu produktivity. My pozorujeme ještě jeden trend, kterým jsou varovné signály odborné veřejnosti. Signály, které říkají, že existují vysoká rizika z hlediska bezpečnosti, práva i etiky. Není proto divu, že jsme se rozhodli podívat blíže na problematiku agentů optikou regulace.

Když se AI agenti utrhnou ze řetězu

Pomalu končící léto nebylo horké jen na plážích, pro největší poskytovatele AI služeb znamenalo doslova peklo. Proč?

Měli jsme totiž možnost pozorovat neobvyklé množství bezpečnostních incidentů, které překonaly i ty nejdivočejší představy o rizicích umělé inteligence. Následující dva případy ukazují, jak rychle dokáže autonomní systém překročit stanovené hranice a jaké hrozby představuje pro bezpečnost a ochranu soukromí.

Kdo má agenty pod kontrolou?

Úniky AI agentů naplno obnažily jeden z největších problémů současnosti: pro autonomně jednající systémy chybí funkční AI Governance na globální úrovni.

Tématu se dlouhodobě věnuje uznávaná expertka na AI Luiza Jarovsky, která dnešní stav popisuje jako cyklus bezmocnosti. Přední AI vývojáři chrlí na trh závratnou rychlostí stále dokonalejší agenty, u nichž technologické schopnosti převažují nad bezpečností. Státy na inovace odpovídají pomalu a reaktivně. Než stihnou schválit jakoukoli regulaci, technologie znovu pokročí a pracně vypracovaný zákon se stává cárem papíru. Mnoho institucí si přitom s AI Governance ani neví rady a reálnou moc nad trhem umělé inteligence přebírá hrstka technologických gigantů.

Rizika se však neobjevují jen u bezpečnostních testů, promítají se i do běžných nástrojů. Příkladem může být nedávná integrace ChatGPT od OpenAI do ekosystému Apple a jeho nástrojů pro psaní, kde agent získá přístup ke kompletní historii zpráv uživatele a dokáže odesílat texty jeho jménem. Zde narážíme na zásadní a opomíjený problém, kterému se věnuje studie výzkumného institutu Stanford HAI - ke komu je vlastně agent loajální? Pokud za vás agent vyjednává, nakupuje nebo komunikuje, ale jeho vnitřní procesy jsou nastaveny vývojářem, dochází k masivnímu střetu zájmů. Podle studie pak agent může jednoduše preferovat komerční zájmy svého poskytovatele na úkor uživatele, aniž by si to dotyčný vůbec uvědomil.

K tomu se navíc přidává jedno zásadní nebezpečí, před kterým na konci srpna varovala studie AI Agents Push Humans Out of the Loop. Agenti nás totiž podle ní z rozhodovacích procesů spíše vytlačují a je velmi kognitivně náročné nad nimi udržet dohled. Jejich dlouhodobé používání navíc lidské kognitivní schopnosti postupně degraduje. Čím víc věcí za nás agenti dělají, tím menší mentální kapacitu máme na to, abychom jejich kroky mohli efektivně kontrolovat. Ztrácíme tak schopnost být tím nezbytným a často skloňovaným všelékem - člověkem ve smyčce.

Kdo tedy má agenty pod kontrolou? Regulátor ani koncový uživatel to, zdá se, nejsou.

AI agenti a vaše odpovědnost

Incidenty OpenAI a Anthropicu zřetelně ukazují, kam až může autonomie AI agentů zajít. Zároveň nás ale přivádí k možná mnohem důležitější otázce: nabízí regulace vůbec odpověď na otázku, kdo nese odpovědnost za škodu způsobenou agenty?

Neměla by být tahle debata přinejmenším stejně intenzivní jako ta, která se už léta vede kolem odpovědnosti za autonomní řízení? U autonomních vozidel jsou potenciální škody hmatatelnější, snáze představitelné, a tím možná i jednodušší k uchopení právem. U AI agentů mohou být následky sice méně viditelné a více "virtuální", to ale neznamená, že budou méně závažné.

Z pohledu českého práva je AI agent i přes svou autonomii stále jen softwarem bez právní osobnosti. Nemůže být sám o sobě stranou smlouvy ani subjektem odpovědnosti. Otázka konkrétní formy zastoupení AI agentem je v našem právním řádu nejasná, v praxi na tom ale příliš nezáleží, důležitější je výsledek.

A ten je poměrně jednoznačný: odpovědnost dopadá na toho, kdo agenta použil, bez ohledu na to, že chybu způsobil software. Pokud vámi naprogramovaný agent na vašem e-shopu vlivem autonomního rozhodnutí potvrdí zákazníkovi smlouvu za nereálně nízkou cenu, budete pravděpodobně touto smlouvou vázáni. Jestliže mohl zákazník důvodně věřit, že agent jedná v rámci vašich pokynů, nemůžete se dovolávat chyby softwaru.

Jak se poskytovatel odpovědnosti ubrání

Pokud uživateli vznikne v důsledku chyby agenta škoda, nabízí se otázka, zda ji může vymáhat po poskytovateli (vývojáři) systému. Vztahy mezi těmito subjekty sice bývají ošetřeny smlouvami a licenčními podmínkami, ty však ze strany dodavatelů obsahují přísné disclaimery o tom, že systém může chybovat a na výsledky se nelze vždy spolehnout.

První způsob, jak je na odpovědnost poskytovatele možné nahlížet, je podle našeho názoru obecná prevenční povinnost. Jde tedy o to, zda poskytovatel udělal maximum pro to, aby vzniku škody předešel, v praxi nejčastěji implementací dostatečných bezpečnostních bariér (guardrails).

Pokud dodavatel prokáže, že systém řádně zabezpečil a transparentně varoval před možnými limity či chybami, za případná selhání či halucinace agenta se může odpovědnosti zprostit.

Tento přístup zvolil například čínský soud v přelomovém případu z Chang-čou, kde zprostil vývojáře AI odpovědnosti za halucinace systému právě proto, že společnost prokázala splnění prevenční povinnosti a nasazení robustních ochranných guardrails. Stejně tak americký soud ve věci Walters v. OpenAI zamítl žalobu na pomluvu novináře, o kterém si chatbot vymyslel, že zpronevěřil peníze, neboť OpenAI dostatečně varovala před možnou nepřesností výstupů a aktivně vyvíjela filtry pro odstraňování závadného obsahu.

Když naopak poskytovatel prevenci zanedbá, navrhne chybnou architekturu s nedostatečnými guardrails nebo při vývoji poruší právní předpisy, odpovědnosti se nezprostí. Například Americká asociace NEDA musela odstranit svého chatbota Tessa poté, co uživatelům s poruchami příjmu potravy začal udílet nebezpečné rady, třeba k drastickému omezení kalorií.

Druhý způsob, jak lze přemýšlet o odpovědnosti poskytovatele, je optikou odpovědnosti za vadný výrobek. Co se totiž stane v případě, že AI agent bude vytvořen bez respektu k GDPR či AI Actu a v této příčinné souvislosti způsobí škodu? Dle našeho názoru může jít o škodu způsobenou vadou výrobku (softwaru). Přiznáváme, že je to zatím neprobádaná úvaha, která vyžaduje další výzkum, přesto ji nelze jen tak smést ze stolu.

A co z toho plyne pro vás?

Shrňme si, kde stojíme. Agenta reálně nekontroluje regulátor, protože nestíhá. Nekontrolujete ho ani vy, protože jeho loajalita je minimálně pochybná a udržet nad ním dohled je kognitivně vyčerpávající. Ale právní odpovědnost za to, co udělá, nesete vy. A je přinejmenším otázkou, zda se poskytovatel odpovědnosti zbavit dokáže, zejména v případě, pokud doloží guardrails a varování před chybami.

Je to nepříjemné rozložení sil a výchozí bod, se kterým je potřeba pracovat. Mluví se o agentech jako o nových kolezích. Problém je, že za tohohle kolegu ručíte vy a jediná kontrola, na kterou se můžete spolehnout, je vaše vlastní. Tomu se říká AI governance.

Chystáte se nasadit AI agenty, nebo chcete prověřit fungování těch stávajících? Zarezervujte si úvodní konzultaci. Pomůžeme vám nastavit AI Governance tak, aby vám technologie sloužila bezpečně.

Detaily probereme 12. 11. 2026 v komplexním celodenním kurzu AI Governance. Poslední volná místa.

Autoři:

Petra Stupková, jednatelka advokátní kanceláře Legitas a spoluzakladatelka České asociace umělé inteligence. Osobnost AI 2025 v kategorii Právo

Lucie Malá, Legal and Public Affairs Manager České asociace umělé inteligence

Hubert Hais, paralegal advokátní kanceláře Legitas