Telekomunikačná spoločnosť
Rovnaký CX report, bit po bite, pri každom spustení
Auditovateľný reporting NPS, CSAT, CES, tagov a sentimentu postavený bez jediného volania modelu.
Dôveryhodná CX analytika.
Čo sa zmenilo
- Minútyod dvoch CSV exportov k dvom hotovým reportom (odhad)
- 0 halucinovaných metríkžiadne volania LLM nikde v ceste (odhad)
- Reprodukovateľnérovnaký vstup, bajt na bajt rovnaký výstup (odhad)
01Výzva
Kde to začalo.
Tím zákazníckej skúsenosti dostáva surové dáta ako CSV exporty z dátového skladu a musí z nich spraviť čitateľné reporty o NPS, CSAT, CES, rozpade tagov a sentimente, pre tím aj pre vedenie. Stavať ich ručne každý cyklus je pomalé a náchylné na chyby.
Podrobne
Každé ručne alebo AI vyrátané číslo vyvoláva pochybnosť. Ak sa metrika na slide pre vedenie nedá dohľadať späť k zdrojovým riadkom a zreprodukovať, niekto ju spochybní a celý report stráca váhu.
Citát
“Ak číslo skončí na slide pre vedenie, vedia otvoriť zdrojové riadky a dostať presne to isté číslo. O to celé ide.”
02Čo sme postavili
Agenti a workflowy na jednej platforme.
Brali sme to ako problém reportingu, nie problém AI. Cieľom boli čísla, za ktorými si vedenie vie stáť, tak sme odstránili jedinú časť, ktorá sa nedá auditovať: model.
Vstupy
Deterministické spracovanie (kód)
Výstupy
Prečo platforma Elevon
Bez LLM už z návrhu
Každý výpočet aj vykreslenie HTML bežia deterministicky v kóde. Žiadne volanie modelu nie je nikde v ceste, takže nie je možné, aby vznikla halucinovaná metrika.
Reprodukovateľný výstup
Rovnaké dva CSV exporty vždy vyprodukujú bajt na bajt rovnaké reporty. Ktokoľvek vie suitu spustiť nad zdrojovými dátami a dostať identický výsledok, aby si číslo overil.
Explicitné poistky
Prah minimálneho počtu odpovedí potlačí každú metriku s príliš málo odpoveďami a prah upozornenia na NPS označí skóre, ktoré si žiada pozornosť. Pravidlá sú v kóde, nie v úsudku.
03Nasadenie
Krok za krokom.
Vyšli sme z dvoch CSV exportov, ktoré sklad už produkuje, a namapovali každé pole, ktoré CX tím potreboval: skóre odpovedí, kategórie, textové tagy a sentiment. Žiadny nový dátový pipeline, žiadny nový zdroj pravdy.
Ako to beží
Potom sme napísali logiku metrík aj HTML renderer ako čistý deterministický kód, doplnili prahy minimálneho počtu odpovedí a upozornenia na NPS a napojili to na existujúci reportovací cyklus, takže tím to spúšťa vždy, keď príde nový export.
V praxi
Suita beží on demand v bežnom reportovacom cykle tímu. Príde nový export, o pár minút sú vonku dva HTML reporty, a keďže je výstup deterministický, opätovné spustenie nad tým istým súborom je platný spôsob overenia ľubovoľného čísla, nie zdroj novej odchýlky.
04Výsledky
Čo sa zmenilo.
Reporty teraz vychádzajú z opakovateľného procesu namiesto ručného a čísla obstoja pri kontrole.
- Minútyod dvoch CSV exportov k dvom hotovým reportom (odhad)
- 0 halucinovaných metríkžiadne volania LLM nikde v ceste (odhad)
- Reprodukovateľnérovnaký vstup, bajt na bajt rovnaký výstup (odhad)
Čísla sú ilustratívne a slúžia na priblíženie rozsahu; pred zverejnením ich nahraďte reálnymi číslami klienta.
- Dva CSV exporty sa zmenia na dva interaktívne HTML CX reporty za pár minút namiesto pomalej ručnej stavby každý cyklus.
- NPS, CSAT, CES, rozpady tagov a sentiment sa počítajú v kóde, takže neostáva žiadna ručná aritmetika, v ktorej by sa dalo pomýliť.
- Pri nulových volaniach LLM sa žiadna metrika nedá halucinovať; každé číslo sa dá dohľadať priamo k zdrojovým riadkom.
- Prah minimálneho počtu odpovedí ticho potlačí metriky s príliš málo odpoveďami, takže nikto neuvádza číslo, ktoré vzorka neunesie.
- Prah upozornenia na NPS označí skóre, ktoré si žiada pozornosť, v rámci toho istého behu, bez toho, aby ich niekto sledoval ručne.
Prečo to fungovalo
Zadefinovali sme to ako reporting, nie AI. Keďže v ceste nie je žiadny model, nie je čo halucinovať ani čo vysvetľovať a deterministický renderer znamená, že report je čistou funkciou svojho vstupu.
Poistky sú explicitné a žijú v kóde, nie v úsudku človeka, takže pravidlá minimálneho počtu odpovedí a upozornenia na NPS platia rovnako pri každom behu a vedenie si vie ktorékoľvek číslo kedykoľvek zreprodukovať.
Citát
“Odstránili sme jedinú vec, ktorú sme nevedeli auditovať. Ostala aritmetika, ktorú si vie overiť ktokoľvek.”
Ďalší krok
Váš proces môže byť ďalší prípad.
30-minútový hovor. Opíšete nám jeden proces a my povieme, či sedí na platformu, produktový vývoj alebo konzultačný projekt.