Co je private inference a kdy ji firma potřebuje?

Private inference je provozování jazykových modelů na infrastruktuře, kterou kontroluje zákazník, takže prompty, vyhledané dokumenty ani generovaný výstup neopustí jeho bezpečnostní perimetr. Používá se tehdy, když regulace, pravidla o místě uložení dat nebo interní politika brání organizaci posílat provozní data do komerčního modelového API. V praxi to znamená open-weight modely na vlastních GPU zákazníka, přičemž aplikační, governance a auditní vrstva nad nimi zůstává beze změny.

Kdy to firma opravdu potřebuje

Většina AI workloadů private inference nepotřebuje. Komerční modelová API jsou levnější na token, ve většině úloh silnější a nevyžadují práci s infrastrukturou. Private inference se vyplatí v úzkém okruhu případů.

Prvním je právní nebo smluvní překážka. Některé regulované instituce nesmějí přenášet provozní data mimo vymezenou jurisdikci nebo mimo vlastní tenancy, bez ohledu na certifikace poskytovatele.

Druhým je klasifikace dat. Organizace může běžně používat komerční API, ale jedna konkrétní třída dat, například klientské záznamy nebo interní rizikové materiály, nesmí být součástí žádného externího volání.

Třetím je koncentrace dodavatele. Některé instituce vyžadují prokazatelnou náhradu pro kritické procesy, aby výpadek nebo změna podmínek jednoho dodavatele nezastavila provozní workflow.

Pokud neplatí ani jedno z toho, private inference přidává náklad a provozní zátěž bez přidané hodnoty.

Dimenzování vychází ze souběžnosti, ne z počtu uživatelů

Nejčastější chybou při dimenzování je odhadovat potřebu GPU z počtu lidí, kteří budou systém používat. To číslo o zátěži neříká skoro nic.

Kapacitu určuje, kolik požadavků se obsluhuje současně a jak dlouhý kontext má každý z nich. Workload postavený na vyhledávání s dlouhým kontextem se chová úplně jinak než krátké konverzační výměny, i při stejném počtu uživatelů.

Ve feasibility studii pro slovenského telekomunikačního operátora dosáhl vyhledávací workload při 32K kontextu přibližně 33 sekund do prvního tokenu u jednoho uživatele. Při pěti souběžných uživatelích se tentýž workload pohyboval zhruba od 101 do 169 sekund. Zvýšení kontextu na 100K snížilo efektivní souběžnost vLLM na přibližně 1,64.

Ta čísla platí pro konkrétní model, konkrétní hardware a konkrétní workload. Přenositelná je metoda: dimenzovat z naměřené špičkové souběžnosti a ze skutečného rozložení délek kontextu, na vlastních dokumentech organizace.

Chyby v konfiguraci vypadají přesně jako selhání modelu

Tatáž studie přinesla zjištění, které stojí za zopakování, protože se na něj dá naletět způsobem, který stojí skutečné peníze.

První kolo testů uzavřelo, že modely velikosti 7B a 8B nedokážou produkovat přijatelnou slovenštinu a že praktickým minimem pro jazyk je 70B. Ten závěr byl nesprávný.

Při opakovaném testu s deterministickým nastavením, minimálně třemi běhy na případ, ověřenými chat template a objektivní detekcí cizích písem se ukázalo, že degradovaný výstup byl artefakt konfigurace. Chat template ve vLLM byl nesprávný nebo chyběl. Se správným template ten samý 8B model neprodukoval cizí písmo vůbec a stal se použitelným, s výhradami.

Důsledek je finanční. Nesprávný závěr na tomto místě posouvá požadavek z 24GB karty na 80GB, což je zhruba pětinásobný rozdíl v měsíčním nákladu. Disciplína v měření rozhoduje víc než počet parametrů.

Chování modelu je navíc specifické pro úlohu a jazyk způsobem, který publikované benchmarky neukazují. V týchž testech jeden 72B model produkoval ve slovenském výstupu čínské znaky a jeden reasoning model vložil do odpovědi vlastní úvahu v angličtině.

Jak vypadaly naměřené tiery

Z testování vyšly tři tiery. Primární slovenský tier s EuroLLM-22B v BF16 na A100 80GB. Rozpočtový tier s Llama 3.1 8B v BF16 na 24GB kartách jako L4, A10G nebo RTX 4090. Tier pro dlouhý kontext s Llama 3.3 70B AWQ na H100 NVL.

Každý tier byl vázaný na konkrétní verze vLLM a ovladačů. Aktualizace ovladače nebo runtime dokáže změnit výstup i latenci, takže zafixování verzí patří do smlouvy o nasazení, ne do provozní příručky.

Co se nemění, když se model přesune

Model je jednou složkou podnikového AI nasazení a obvykle ne tou, která nese governance zátěž.

Routing rozhoduje, který model a která infrastruktura zpracuje danou úlohu. Oprávnění určují, co agent smí dělat a která data smí číst. Verifikace kontroluje výstup vůči kvalitativní laťce dřív, než se použije. Audit trail zaznamenává, co se stalo a na jakém základě.

V těchto čtyřech funkcích sídlí auditovatelnost a kontrola. Když jsou v platformní vrstvě a ne uvnitř integrace modelu, přesun workloadu z komerčního API na self-hosted model je konfigurační změna, ne přestavba. Právě tato přenositelnost dělá sovereign variantu ekonomicky vůbec smysluplnou.

Hranice toho, co jsme naměřili

Uvést hranice je součást metody, takže tady jsou naše.

Šlo o posouzení realizovatelnosti, ne o produkční nasazení, a používaly se syntetické prompty, ne skutečný produkční provoz klienta.

Testované modely byly generace 2025. Je to hloubkový pohled na slovenštinu, ne výpověď o aktuálním stavu open-weight modelů.

Kvantizovaný EuroLLM na 24GB kartách ověřen nebyl, protože jeden kvantizační test selhal a nebyl zopakován. Čistý údaj o latenci při 100K kontextu byl extrapolován, ne naměřen.

Kdo dimenzuje nasazení z publikovaných čísel, včetně našich, měl by je brát jako vstupní hypotézu a před závazkem k hardwaru udělat krátký placený pilot na vlastních promptech a vlastních dokumentech.

Jak spolupracujeme s NVIDIA

Elevon.io je členem programu NVIDIA Inception. Pro tuto část naší práce jsou relevantní vývojářské nástroje, technické zdroje, zvýhodněné ceny hardwaru a kredity na GPU cloud, které snižují náklad na otestování konfigurace dřív, než zákazník váže kapitálové výdaje.

Je to podstatné proto, že poctivý postup u private inference je nejdřív prokázat potřebu na pronajatých GPU a hardware koupit až naposledy. Přístup do programu zlevňuje krok prokazování, a roste tak pravděpodobnost, že se opravdu udělá.

Kde začít

Pokud vám někdo řekl, že konkrétní AI use case je nemožný, protože data nesmějí opustit vaše prostředí, je to omezení toho, kde běží inference. Není to omezení toho, jestli je use case realizovatelný.

Prvním krokem není obstarávání. Je jím krátké měření na vašich datech, při vašich délkách kontextu a při očekávané souběžnosti, které řekne, kolik by nasazení reálně stálo.