Dá sa časť AI práce vo firme robiť na bežnom notebooku, s dátami, ktoré firmu nikdy neopustia? Na túto otázku hľadáme odpoveď v našom súčasnom výskume. Jedno je už jasné: samotný malý model nestačí. O tom, či je lokálna AI použiteľná, rozhoduje architektúra okolo neho.
Prečo na lokálnej AI záleží
Posielať každý dokument do cloudového modelu nie je vždy možné. Zmluvy, údaje o klientoch a interné reporty sú často práve tie dokumenty, ktoré by si firma radšej nechala na vlastných zariadeniach. Ak časť práce dokáže bežať lokálne a spoľahlivo, dáta zostanú tam, kde sú, a cloud sa použije len tam, kde naozaj niečo pridá.
Ako to testujeme
Na odpoveď treba otestovať veľa kombinácií malých modelov, kvantizácií a promptov na rovnakých dátach. Túto prácu robíme na superpočítači Discoverer (PetaSC, Sofia) cez program EuroHPC AI Factories Playground. Karty H200 nám umožňujú pustiť paralelne desiatky konfigurácií a merať ich za rovnakých podmienok. Pracujeme výlučne so syntetickými dátami.
Štyri veci, ktoré rozhodujú, či je malý model použiteľný
Deterministická vrstva. Model vracia štruktúrovaný výstup podľa JSON schémy. Každý výstup sa validuje a každá citácia sa overí voči zdroju. Tomu, čo model vyprodukuje, neverime, kým neprejde týmito kontrolami.
Krátke, uzavreté otázky. Namiesto jedného veľkého promptu sa práca rozloží na malé, presne zadané kroky. Každý krok sa pýta jednu otázku s jasnou odpoveďou.
Kalibrované rozhodovacie modely. Kde ide o citlivé rozhodnutie, rozhoduje model kalibrovaný na toto rozhodnutie, nie všeobecný.
Vlastná evaluácia. Meriame na vlastnom testovacom harnesse so syntetickými slovenskými, českými a anglickými dátami, nie na verejných rebríčkoch. Podstatné je, ako model obstojí na dokumentoch a v jazykoch, s ktorými bude naozaj pracovať.
Lokálne, kde to sedí, cloud, kde to dáva zmysel
Cieľ je jednoduchý: AI, ktorá beží lokálne a spoľahlivo tam, kde má, a cloud tam, kde dáva zmysel. Model sa môže zmeniť. Architektúra okolo neho je to, vďaka čomu sa firma môže na výsledok spoľahnúť.
Ak riešite lokálne modely alebo evaluácie, ozvite sa. Radi si vymeníme skúsenosti.
Zdroje
- EuroHPC JU: AI Factories Access Modes (eurohpc-ju.europa.eu/ai-factories/ai-factories-access-modes_en)
