Chytré směrování

Nejlevnější model, který laťku přeskočí.

Router je rozdíl mezi AI platformou a účtem za AI. ThaiGPT+ klasifikuje každý požadavek, poměří ho s tím, co každý model v rodině skutečně umí, a pošle ho tomu nejmenšímu, který to zvládne správně — pak odpověď zkontroluje a eskaluje, pokud to nezvládl. Tato stránka ukazuje, jak se to rozhodnutí dělá a co si můžete vynutit.

Čtyři rozhodnutí, než vznikne token

1

Který model

Lite na přeformulování, Base na většinu, Pro když se kontext nevejde, Vision když je obrázek, Voice když je zvuk, Reason když člověk musí auditovat řetězec.

2

Kde běží

V zařízení, pokud to zařízení zvládne, v zemi, pokud ne, a nikde, pokud pracovní prostor uzamkl region, který by požadavek opustil.

3

Kolik to stojí

Router zná cenu každého modelu v bahtech a zůstatek, který na účtu zbývá. Levný požadavek se neposílá drahému modelu pro jistotu.

4

Zda eskalovat

První odpověď se zkontroluje proti požadavku. Neúspěšná kontrola směruje výš a řekne to v odpovědi — vidíte, že se to stalo a kolik to stálo.


Co čte

Osm signálů a žádný z nich nevyžaduje, abyste svůj požadavek popisovali. Všech osm je vidět v odpovědi, takže rozhodnutí o směrování je něco, s čím můžete polemizovat, ne něco, co se vám prostě stane.

task

Typ úlohy

Psát, shrnout, přeložit, vytěžit, klasifikovat, uvažovat. Odvozeno a lze přepsat.

dialect

Písmo a dialekt

Centrální thajština, isan, kam mueang, pak tai, smíšená thajština s angličtinou nebo thajština psaná latinkou.

modality

Modalita

Text, obrázek, naskenované PDF, zvuk. Obrázek v požadavku vylučuje každý model, který zvládá jen text.

tokens

Délka kontextu

Měřeno thajským tokenizérem, ne odhadováno z počtu znaků — právě tady se zahraniční platformy mýlí.

pdpa

Citlivost

Thajské číslo občanského průkazu, zdravotní záznam pacienta, daňové identifikační číslo. Rozpoznáno lokálně; uzamkne trasu dřív, než se požadavek kamkoli odešle.

network

Připojení

Offline, úspora dat nebo plné. Router snižuje model, ne odpověď.

baht

Rozpočet

Zbývající předplacený zůstatek v bahtech a strop na požadavek nastavený pro účet.

ttft

Požadavek na latenci

Hlasová odpověď potřebuje první token do jedné sekundy. Noční dávka ne.


Směrovací tabulka

Ilustrativní. Aktivní tabulka přichází z platformy a mění se s přidáváním modelů — a právě proto nemá smysl psát název modelu do vašeho klienta.

PožadavekSměrováno naProč
„Přepište to ve zdvořilém registru“ThaiLLM-Lite · v zařízeníKrátké, bez vyhledávání, síť není potřeba
„Shrňte tento šestistránkový oběžník“ThaiLLM-BaseVejde se do kontextu, potřebuje odkazy na zdroj
„Které klauzule se na těchto 400 stranách změnily?“ThaiLLM-ProKontext přesahuje Base
[fotografie orazítkovaného formuláře]ThaiLLM-Vision → BaseNejdřív obrázek, pak úvaha nad přečteným
[hlas, mluveno isan]ThaiLLM-Voice → BaseDialekt rozpoznán, přepsán a zodpovězen dialektem, který slyšel
„Splňuje tato zakázka práh?“ThaiLLM-ReasonČlověk musí mít možnost zkontrolovat každý krok
Cokoli, co obsahuje číslo občanského průkazuV zařízení, nebo odmítnutoZásady pracovního prostoru, vynucené před přenosem

Trasa, kterou smí odmítnout

Každá jiná směrovací vrstva optimalizuje náklady a latenci. Tahle má třetí osu a právě tu si instituce skutečně kupuje: pracovní prostor může stanovit, že jeho požadavky nikdy neopustí th-bkk-1, a router pak vrátí chybu, místo aby potichu našel model jinde. Odmítnutí je funkce. Je to také jediná forma umístění dat, která přežije setkání s routerem.

409 route_forbidden · workspace pinned to th-bkk-1

Eskalační žebřík

Eskalace je viditelná a účtuje se podle toho, kolik stála, ne za cenu největšího modelu. Pokud se router mýlil, vidíte, že se mýlil.

ThaiLLM-Lite×1
ThaiLLM-Base×4
ThaiLLM-Pro×11
ThaiLLM-Reason×26

Každá příčka se použije jen tehdy, když předchozí odpověď neprojde vlastní kontrolou.

A vždy ho můžete přepsat

Zadejte název modelu a router ustoupí. Zadejte zásadu a bude se jí řídit. Směrování je výchozí nastavení, ne klec — ale výchozí nastavení je to, co v předverzi skutečně použilo 81 % volání.

POST /v1/messages
{
  "model": "auto",                    // default: the router decides
  "route": {
    "region": "th-bkk-1",             // refuse rather than leave
    "max_baht": 0.75,                 // per-request ceiling
    "prefer": "cheapest_passing"      // or "fastest" | "best"
  }
}

// The decision comes back with the answer, every time:
// { "routed_to": "ThaiLLM-Base", "considered": ["Lite", "Base", "Pro"],
//   "reason": "context 4.1k > Lite 8k window at 0.62 confidence",
//   "escalated": false, "region": "th-bkk-1", "usage": { "baht": 0.11 } }

Program předverze

Vyberte si, jak se přidáte.

Otevřené jsou tři skupiny. Výběr jedné nastaví formulář níže — tam jej můžete změnit.