AI agenti, 2. díl: Jak je správně nastavit a řídit

Představte si, že v rámci zákaznické podpory nasadíte AI agenta, aby řešil vratky. Dostane přístup k platební bráně i k datům o zákaznících – a omylem odešle stovky plateb ve špatné výši. Kdo za to ponese odpovědnost? I na to se ptáme v druhém díle našeho seriálu. 

Tradiční způsoby propojování softwaru řešily úzké, jasně definované případy a jejich chování se dalo snadno předvídat. Například účetní systém si pouze automaticky načítal faktury z databáze. To u AI agentů neplatí. Vykonávají komplexní úkoly a potřebují k tomu široký přístup k nástrojům a službám. A jejich akce jsou mnohem méně předvídatelné.  

AI agenti, 1. díl: Pomůžou v diagnostice i administrativě, mají ale svá rizika

Zobrazit

Jako první nastavte agentovi identitu 

Než je možné AI agenty bezpečně provozovat a řídit, je nutné mít jasno v jejich identitě. Právě ta určuje, jak se agent přihlašuje do systémů, k čemu má oprávnění a jak lze jeho kroky zpětně dohledat. Jinými slovy: bez jasně nastavené identity není možné nastavit efektivní governance ani nést odpovědnost za jeho akce. Proto se při řízení agentů začíná právě otázkou, kým agent „je“ v digitálním prostředí.  

Nabízelo by se použít tradiční identity management (OAuth, SAML) a přidělit agentovi identitu podobnou lidskému uživateli. Tyto identity jsou ale navržené pro stabilní a předvídatelné role, a proto mívají poměrně široká práva. AI agenti jsou oproti tomu dynamičtí, dočasní a autonomní. A hlavně jim chybí lidský úsudek – mechanicky využívají všechny dostupné prostředky k dosažení cíle, což může snadno vést k neočekávaným problémům.  

AI agent by nikdy neměl být v systému veden jako „člověk“. Jinak by se snadno ztrácela stopa toho, zda akci provedl skutečný člověk, nebo autonomní software.

6 tipů, jak řídit své AI agenty 

1. Dejte každému agentovi vlastní identitu 

AI agent může pod lidským či sdíleným účtem fungovat jen v případě, že to sami chcete a máte jasně udělaný auditing toho, co se kde děje. V opačném případě by vždy měl mít vlastní, jednoznačně oddělenou identitu – samostatný účet nebo token. Jen tak lze spolehlivě dohledat, kdo provedl určitou akci, a předejít ztrátě odpovědnosti.  

V některých scénářích se vyplatí zavést i hybridní model, kdy agent kombinuje práva dočasně „půjčená“ od člověka s vlastními oprávněními. Například lékař může agentovi kvůli diagnóze umožnit nahlédnout do zdravotní dokumentace pacienta. 

Pokud se firma rozhodne, že AI agent nebude tvrdě oddělený od lidských a sdílených účtů, je nutné zajistit plnou dohledatelnost jeho akcí. Delegování oprávnění se pak většinou řeší časovým omezením a navázáním na konkrétní úkol.

Petr Hirš
ředitel Dataclair

2. Omezte oprávnění na minimum a udělujte ho jen dočasně 

AI agenti by měli mít přístup pouze k nezbytným datům a nástrojům, a to vždy jen po omezenou dobu. K tomu slouží princip just-in-time access, kdy agent získá oprávnění až v okamžiku potřeby a po dokončení úkolu ho zase ztratí. Stejně fungují i krátkodobé přístupové tokeny.  

Takto nastavený systém minimalizuje riziko zneužití a umožňuje přizpůsobit rozsah práv aktuálnímu kontextu – například zda agent jedná samostatně, nebo jménem člověka. 

3. Logujte každý krok a držte agenty pod dohledem 

Bez důkladného auditu není možné AI agenty bezpečně provozovat. Je nezbytné logovat přihlášení, provedené akce, změny dat i přidělená oprávnění. V praxi se logují především bezpečnostně relevantní události, aby byl systém v souladu s požadavky na ochranu osobních údajů. Tyto záznamy jsou klíčem k bezpečnostní analýze i regulatorní shodě, proto je vhodné je doplnit šifrováním a jasně nastavenými retenčními politikami. 

4. Vymezte prostředí, ve kterém agent působí 

Vedle identity a auditu je důležité i technické vymezení prostoru. Sandbox a whitelisting API zajistí, že agent může pracovat jen v povoleném prostředí a s předem schválenými koncovými body. Takové omezení minimalizuje riziko škodlivého chování a umožňuje bezpečně testovat nové oprávnění ještě před nasazením do produkce. 

5. Vyžadujte lidský dohled nad citlivými akcemi 

Ani nejlepší zabezpečení nenahradí lidský úsudek. Kritické operace – například finanční převody, mazání dat nebo přístup k osobním údajům – by měly vždy podléhat schválení člověkem. To je zvlášť důležité tehdy, když agent jedná na základě delegovaných práv. Člověk, který oprávnění poskytl, musí mít možnost potvrdit nebo odmítnout citlivý krok. 

6. Nastavte jasná pravidla 

Správa agentů nesmí být ponechána náhodě. Každá organizace potřebuje pravidla, která definují, kdo agenty spravuje, jak se přidělují oprávnění a kdo nese odpovědnost za případné incidenty. Součástí musí být pravidelné revize přístupů i právní vymezení odpovědnosti.  

Kdo zodpovídá za chyby 

Právě otázka odpovědnosti je při nasazení AI agentů zásadní. Pokud agent sjedná nevýhodnou smlouvu nebo odešle citlivá data třetí straně, může to vést k vážným právním i finančním problémům pro firmu – a situace je ještě složitější, pokud chybí logy a nelze přesně dohledat, co se stalo. 

AI může Čechům pomoct s konkurenceschopností

Zobrazit

Současný právní rámec je jasný: AI agent nemá právní subjektivitu, a proto nenese odpovědnost sám o sobě. Veškerá odpovědnost leží na lidech a institucích, které ho využívají: 

• Firma jako celek – nese primární odpovědnost za provoz agenta, protože je jeho provozovatelem. 
• Konkrétní oddělení – zpravidla IT, bezpečnost nebo compliance, které agenta spravuje a nastavuje jeho oprávnění. 
• Jednotlivci – například administrátor, který mu přidělil příliš široká práva, nebo manažer, který neschválil kontrolní mechanismy. 
• Výrobce či dodavatel – pokud škoda vznikla kvůli chybě softwaru, nedostatečnému zabezpečení nebo porušení SLA. 

Aby se předešlo sporům o to, kdo má nést následky, je klíčové mít už od začátku jasně popsané role, schvalovací procesy a mechanismy kontroly. Praktickým nástrojem mohou být i smluvní doložky s dodavateli nebo pojištění kybernetických rizik, které kryje škody způsobené technologiemi. 

Co si z článku odnést? 

• Každý AI agent by měl mít vlastní identitu a jasně nastavená práva. Bez toho nelze dohledat, kdo provedl konkrétní akci, a vznikají bezpečnostní i právní rizika. 
• Agenti by neměli mít široká ani trvalá oprávnění. Nemají lidský úsudek a k dosažení svého cíle mohou využít všechno, co jim systém dovolí. Což může snadno vést ke škodám.  
• Sandbox, whitelisting API nebo krátkodobé přístupové klíče snižují riziko chyb i zneužití. Tyto mechanismy fungují jako mantinely, které udržují agenty pod kontrolou. 
• Citlivé operace musí vždy potvrdit člověk. Jako poslední pojistka proti finančním ztrátám nebo úniku dat. 
• AI agent není právní subjekt a otázka odpovědnosti se vždy posuzuje podle konkrétní situace a smluvních vztahů – například při vadě produktu nebo porušení smlouvy může jít i o odpovědnost dodavatele. Proto je nutné mít governance rámec, který určí, kdo agenty spravuje a kdo zodpovídá za případné incidenty.
• Provoz AI agentů už dnes spadá do existujícího regulatorního rámce. Je nutné zohlednit zejména role a povinnosti definované v AI Actu (například deployer vs. provider) a návaznost na požadavky NIS2 či GDPR, které upravují bezpečnost, odpovědnost a práci s daty. 

Kateřina Dobrá
Marketingový specialista pro B2B

Káťa se věnuje tvorbě článků, O2 CyberCastu a newsletterů na téma kyberbezpečnosti a moderních technologií. Srozumitelně překládá složitá témata do lidské řeči, propojuje technický svět s praxí a ráda jde pod povrch věcí. Zaměřuje se na bezpečnost dat, nové technologické trendy a jejich reálný dopad na firmy i jednotlivce.