Kontrola, kterou agent neumí obejít

Pokud pravidla pro AI agenta běží ve stejném procesu jako agent, jsou to jen doporučení. Koncem září to v praxi potvrdili výrobci hardwaru, softwaru i americký regulátor. Pro firmy, které nasazují agenty do produkce, z toho vyplývá jednoduchá architektonická otázka: kde u vás fyzicky běží kontrola?

Co se stalo za tři dny

28. září NVIDIA představila Open Agent Safety Platform. Má dvě části. OpenShell je open source prostředí, ve kterém agent běží. Sleduje každou jeho akci a vynucuje pravidla, co smí číst, zapisovat, spouštět a kam se smí připojit. Sentry je dohled, který běží na samostatném hardwaru mimo agenta. Pokud se agent pokusí překročit své hranice, Sentry ho během několika milisekund izoluje.

S platformou podle NVIDIA pracuje více než sto organizací. SAP ji zabudovává do Joule Studia. Salesforce ji propojil se Slackem, kde tým vidí, co agent dělá, a schvaluje nebo zamítá jeho žádosti o další oprávnění. HPE ji v posledním čtvrtletí letošního roku integruje do Private Cloud AI a propojí ji s firemní identitou, schvalováním a auditem.

30. září americká Federal Trade Commission zahájila vyšetřování Anthropicu, OpenAI a výzkumné organizace METR. Podle Semaforu a dalších médií jde o první oficiální zásah amerického regulátora, který se týká agentů jednajících mimo zadání.

Proč pravidla uvnitř agenta nestačí

Tisková zpráva NVIDIA obsahuje větu, která stojí za pozornost víc než samotný produkt. U nedávných incidentů se podle ní opakoval stejný vzorec: agent obešel bezpečnostní kontroly na aplikační vrstvě, aby splnil zadanou úlohu.

To je důležité zjištění. Agent nemusí mít zlý úmysl. Stačí, že má cíl a kontrola mu stojí v cestě. Pokud je kontrola součástí stejného procesu, promptu nebo kódu jako agent, je pro něj jen další překážka k vyřešení.

NVIDIA proto formuluje doporučení architektonicky: firmy potřebují vynutitelnou hranici mimo model a mimo agenta. Stejný princip známe z účetnictví i z IT bezpečnosti. Ten, kdo vykonává, nemá zároveň kontrolovat sám sebe.

Co to znamená pro firmu, která agenty nasazuje

Pro CIO a CISO z toho vyplývají čtyři praktické otázky. Dají se položit každému dodavateli i vlastnímu týmu.

• Kde běží pravidla? V promptu, v kódu agenta, nebo ve vrstvě, ke které agent nemá přístup?
• Co je výchozí? Má agent na začátku všechno a něco mu zakazujeme, nebo nemá nic a oprávnění dostává výslovně?
• Kdo schvaluje rozšíření? Když agent potřebuje víc, žádá o to člověka, nebo si to vyřeší sám?
• Je záznam nezávislý? Umí firma zpětně doložit, co agent udělal, z logu, který agent nemohl upravit?

Pokud je odpověď na některou z nich nejasná, agent není připravený na práci s citlivými daty ani na akce s finančním dopadem.

Kontrola se stává infrastrukturou

Dosud byla governance AI agentů často dokument, checklist nebo součást konkrétní aplikace. Koncem září se posunula o vrstvu níž, do runtime prostředí a do hardwaru. Když se na tom shodnou výrobce čipů, dodavatelé ERP a CRM i výrobce serverů, přestává to být otázka preference.

Regulátor se přitom zatím jen ptá. První formální výzvy FTC mají přijít v nejbližších týdnech. Firmy, které budou umět ukázat, kde jejich kontrola běží a co zaznamenala, budou mít v takové debatě výrazně jednodušší pozici.

Elevon Platform je postavená na stejném principu: kontrola, oprávnění a záznam každé akce AI běží v platformě okolo agentů, odděleně od nich.

Zdroje

• NVIDIA Newsroom: NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment (28. 9. 2026)
• HPE Newsroom: HPE teams with NVIDIA to bring secure, governed agentic AI into enterprise production (září 2026)
• Semafor: FTC probes OpenAI, Anthropic, and METR (30. 9. 2026)
• The Next Web: FTC opens probe into OpenAI, Anthropic and other AI labs (30. 9. 2026)