Co je evidence AI agentů a proč je důležitá pro řízení AI?

Evidence AI agentů je aktuální přehled agentů, kteří ve firmě pracují. Zachycuje účel každého agenta, odpovědnou osobu, oprávnění, propojené systémy a stav kontroly. Pomáhá týmům pochopit, co agent smí dělat, prověřit incidenty a udržet kontrolu nad provozem.

Tento článek se zaměřuje na záznam o jednotlivých agentech. Širší pohled na modely, nástroje a pravidla najdete v článku Co je inventář a kontrola podnikové AI?

Proč je evidence agentů důležitá

Když AI agenti čtou firemní data, používají nástroje nebo mění záznamy, samotný seznam softwarových licencí nestačí. Tým potřebuje vědět, který agent jedná, kdo za něj odpovídá a kde končí jeho oprávnění. NIST AI RMF GOVERN 1.6 doporučuje evidovat AI systémy podle rizikových priorit organizace. Jde o rámec řízení rizik, ne o obecnou zákonnou povinnost. Článek 26 AI Actu upravuje povinnosti subjektů, které používají vysoce rizikové AI systémy, včetně lidského dohledu, monitorování a záznamů. Konkrétní povinnosti závisejí na systému, jeho použití a platných pravidlech. Samotná evidence soulad s předpisy nezajistí.

Časté mylné představy

Stávající registr IT majetku může být dobrým východiskem. Musí ale zachytit také oprávnění agenta jednat, přístup k datům a odpovědnou osobu. Evidence má smysl i u malého nasazení: už pilot potřebuje jasný rozsah a člověka, který za něj odpovídá. Samotné přiřazení vlastníka bez průběžné aktualizace záznamu mezery v dohledu neodstraní.

Rozdělení odpovědností rozebírá článek Co je provozní odpovědnost v podnikové AI?

Provozní rizika a odpovědnost

Neúplná evidence zpomaluje řešení incidentů. Tým nemusí vědět, kdo smí agenta pozastavit a které propojené systémy je třeba zkontrolovat. Zahrňte agenty od dodavatelů i vlastní řešení. Zaznamenejte jejich závislosti a osobu odpovědnou za kontrolu změn, aby aktualizace modelu, nástroje nebo oprávnění nerozšířila možnosti agenta bez povšimnutí.

Jak vypadá užitečný záznam

Záznam by měl obsahovat účel, odpovědnou osobu, stav nasazení, model a poskytovatele, oprávnění, propojené systémy, citlivost dat, datum poslední kontroly a termín další. Podle potřeby přidejte datum ukončení platnosti, podmínky pozastavení a osobu, která smí agenta zastavit. Na schválení, historii běhů a incidenty odkazujte, nekopírujte je do evidence. Záznam aktualizujte při změně nasazení nebo oprávnění a frekvenci kontrol nastavte podle rizika.

Propojení evidence s kontrolami při provádění vysvětluje článek Jak převést pravidla řízení AI do provozu?

Jak k tomu přistupuje Elevon

Elevon spojuje AI agenty, pracovní postupy, znalosti a integrace na jedné řízené platformě. Přístupová práva podle rolí a záznamy o provedení pracovních postupů podporují provozní dohled. Tým je může propojit s evidencí agentů jako podklady ke kontrole. Organizace přesto potřebuje určit odpovědné osoby, pravidla kontrol a pozastavení a zahrnout také agenty, kteří běží mimo platformu.

Často kladené otázky

Kdo má evidenci udržovat?

Správu obvykle koordinuje tým odpovědný za řízení AI, provozní rizika nebo IT kontroly. Každý agent ale potřebuje také konkrétního člověka odpovědného za jeho použití v byznysu.

Jak často ji kontrolovat?

Záznam aktualizujte při nasazení, změně nebo vyřazení agenta. Pravidelné kontroly nastavte podle rizika. Čtvrtletní kontrola může být pro některé týmy vhodným východiskem, není ale obecným zákonným požadavkem.

Co má obsahovat každý záznam?

Účel, odpovědnou osobu, stav nasazení, model a poskytovatele, oprávnění, propojené systémy, citlivost dat a termíny kontrol. Podle potřeby doplňte konec platnosti, podmínky pozastavení a odkazy na schválení a provozní záznamy.

Jak evidence souvisí s registrem IT majetku?

Registr IT majetku zachycuje technická aktiva. Evidence agentů doplňuje informace o tom, co smějí agenti provádět, s jakými daty pracují a kdo za jejich činnost odpovídá. Může být součástí stávajícího registru.

Patří do ní i agenti od dodavatelů?

Ano. Aby byl přehled použitelný, měl by zahrnovat i externí agenty, kteří ve firemním prostředí vykonávají úlohy nebo přistupují k datům.

Kdy je třeba záznam aktualizovat?

Při novém nasazení, vyřazení, změně oprávnění, incidentu nebo pravidelné kontrole. Ověřte také změny modelů, nástrojů a propojení, které mohou ovlivnit rozsah činnosti agenta.

Jak chránit citlivé informace v evidenci?

Omezte přístup na oprávněné osoby a zaznamenávejte přístupy a změny. Do evidence nevkládejte hesla ani přístupové tokeny. Odkazujte na jejich bezpečně spravované umístění.

Co při vyřazení agenta?

Označte ho jako vyřazeného, odeberte mu přístupy a oprávnění a zaznamenejte související změny. Potřebné historické podklady uchovejte podle interních pravidel a platných povinností.

Jak evidence pomáhá při auditu?

Usnadňuje dohledání odpovědných osob, schválení a provozních záznamů. Podporuje audit, ale nenahrazuje technickou dokumentaci, monitoring ani další kontroly potřebné pro konkrétní případ použití.

Má smysl i u pilotu?

Ano, přiměřený záznam má smysl už u pilotu, zejména pokud má přístup k firemním datům nebo nástrojům. Výjimky určete v interních pravidlech. Zákonné požadavky závisejí na případu použití a jurisdikci. Neplatí jednotné pravidlo, že každý pilot musí vést stejnou evidenci.

Zdroje a další čtení

NIST AI RMF GOVERN 1.6: doporučení k evidenci AI systémů, odpovědnosti a rozsahu podle rizika.

Článek 26 AI Actu: povinnosti subjektů používajících vysoce rizikové AI systémy. Ověřte aktuální pravidla a jejich uplatnění na váš případ použití.

Platforma Elevon: možnosti platformy popsané v tomto článku.