Smerovanie modelov
Jedno API pre celú firmu. Za ním beží viac modelov od rôznych dodávateľov. Smerujete podľa úlohy a zároveň vidíte náklady. Limity vás ochránia pred prekvapením na faktúre.
Čo je brána modelov
Centrálny bod medzi vašimi aplikáciami a svetom LLM. Nextcloud, interné skripty aj asistent sa pripájajú sem.
Formát API je kompatibilný s bežnými SDK, takže pri zmene modelu nemusíte prepisovať kód. Sledovanie spotreby a limity výdavkov sú súčasťou brány od začiatku.
Viac modelov naraz
OpenAI, Anthropic, open source na vlastnom serveri, európski poskytovatelia. Prepínate podľa úlohy: rýchly model na klasifikáciu, silnejší na zmluvy.
Jedna adresa
Aplikácie volajú jeden endpoint. Kľúče k dodávateľom držíme na serveri, nie v notebooku každého vývojára.
Záložné trasy
Keď primárny model neodpovedá alebo je preťažený, požiadavka ide na záložný model. Menej výpadkov v produkcii.
Sledovanie nákladov
Každá požiadavka sa započíta: používateľ, tím, model, projekt. Vidíte, čo stojí chat, zhrnutie zmlúv alebo automatizácia, bez toho, aby ste skladali údaje z troch faktúr od dodávateľov.
Limity výdavkov
Mesačný strop pre oddelenie alebo celú firmu. Upozornenie pred prekročením, tvrdý stop pri kritickom limite. Jeden tím neminie rozpočet za víkend.
Politika a EÚ
Nastavíme, ktoré modely smú ktoré tímy používať. Brána beží v EÚ a logy sú pod vašou zmluvou.
Typické použitie
- Nextcloud AI aplikácie cez integráciu v Nextcloud.
- Interné nástroje (helpdesk, CRM, skripty) bez priameho volania USA API.
- Testovanie nového modelu na časti trafficu pred plným nasadením.
- Kontrola rozpočtu: limity podľa tímu, upozornenia a jedna fakturácia od nás.
Podrobnosti o fakturácii a audite nájdete na náklady a limity. Chat pre zamestnancov na súkromný asistent.