Smerovanie modelov
Jedno API pre celú firmu. Za ním viac modelov od rôznych dodávateľov. Smerujete podľa úlohy a zároveň vidíte náklady — s limitmi, ktoré vás ochránia pred prekvapením na faktúre.
Čo je brána modelov
Centrálny bod medzi vašimi aplikáciami a svetom LLM. Nextcloud, interné skripty aj asistent sa pripájajú sem.
Formát API je kompatibilný s bežnými SDK. Nemusíte prepisovať kód pri zmene modelu. Sledovanie spotreby a limity výdavkov sú súčasť brány, nie doplnok navrch.
Viac modelov naraz
OpenAI, Anthropic, open source na vlastnom serveri, európski poskytovatelia. Prepínate podľa úlohy: rýchly model na klasifikáciu, silnejší na zmluvy.
Jedna adresa
Aplikácie volajú jeden endpoint. Kľúče k dodávateľom držíme na serveri, nie v notebooku každého vývojára.
Záložné trasy
Keď primárny model neodpovedá alebo je preťažený, požiadavka ide na záložný model. Menej výpadkov v produkcii.
Sledovanie nákladov
Každá požiadavka sa započíta: používateľ, tím, model, projekt. Vidíte čo stojí chat, zhrnutie zmlúv alebo automatizácia — nie až z troch faktúr od dodávateľov.
Limity výdavkov
Mesačný strop pre oddelenie alebo celú firmu. Upozornenie pred prekročením, tvrdý stop pri kritickom limite. Jeden tím neminie rozpočet za víkend.
Politika a EÚ
Nastavíme ktoré modely smú ktoré tímy používať. Brána beží v EÚ. Logy pod vašou zmluvou.
Typické použitie
- Nextcloud AI aplikácie cez integráciu v Nextcloud.
- Interné nástroje (helpdesk, CRM, skripty) bez priameho volania USA API.
- Testovanie nového modelu na časti trafficu pred plným nasadením.
- Kontrola rozpočtu: limity podľa tímu, upozornenia a jedna fakturácia od nás.
Podrobnosti o fakturácii a audite nájdete na náklady a limity. Chat pre zamestnancov na súkromný asistent.