Enrutamiento inteligente

El modelo más barato que da la talla.

Un enrutador es la diferencia entre una plataforma de IA y una factura de IA. ThaiGPT+ clasifica cada solicitud, la contrasta con lo que cada modelo de la familia sabe hacer de verdad y la envía al más pequeño que la resolverá bien; después comprueba la respuesta y escala si no fue así. Esta página explica cómo se toma esa decisión y qué puedes forzar.

Cuatro decisiones, antes de generar un token

1

Qué modelo

Lite para reescribir, Base para casi todo, Pro cuando el contexto no cabe, Vision cuando hay una imagen, Voice cuando hay audio, Reason cuando una persona tiene que auditar la cadena.

2

Dónde se ejecuta

En el dispositivo si el dispositivo puede, en el país si no, y en ninguna parte si el espacio de trabajo ha fijado una región de la que la solicitud saldría.

3

Cuánto cuesta

El enrutador conoce el precio de cada modelo en baht y el saldo que queda en la cuenta. Una solicitud barata no se manda a un modelo caro por si acaso.

4

Si hay que escalar

La primera respuesta se comprueba contra la solicitud. Una comprobación fallida reenruta hacia arriba y lo indica en la respuesta: ves que ocurrió y lo que costó.


Lo que lee

Ocho señales, ninguna de las cuales te obliga a describir tu solicitud. Las ocho aparecen en la respuesta, de modo que una decisión de enrutamiento es algo que puedes discutir, no algo que te pasa.

task

Tipo de tarea

Redactar, resumir, traducir, extraer, clasificar, razonar. Inferido y modificable.

dialect

Escritura y dialecto

Tailandés central, isan, kam mueang, pak tai, tailandés mezclado con inglés o tailandés escrito con letras latinas.

modality

Modalidad

Texto, imagen, PDF escaneado, audio. Una imagen en la solicitud descarta cualquier modelo solo de texto.

tokens

Longitud del contexto

Medida con el tokenizador tailandés, no estimada a partir del número de caracteres, que es donde fallan las plataformas extranjeras.

pdpa

Sensibilidad

Un número de identidad nacional tailandés, un historial de paciente, un número fiscal. Se detecta localmente y fija la ruta antes de enviar la solicitud a ninguna parte.

network

Conectividad

Sin conexión, ahorro de datos o completa. El enrutador degrada el modelo, no la respuesta.

baht

Presupuesto

El saldo prepago que queda en baht y el límite por solicitud que fijó la cuenta.

ttft

Requisito de latencia

Una respuesta por voz necesita el primer token en menos de un segundo. Un lote nocturno, no.


La tabla de enrutamiento

Ilustrativa. La tabla real la sirve la plataforma y cambia a medida que se añaden modelos, que es justo la razón para no nombrar un modelo en tu cliente.

SolicitudEnrutada aPor qué
«Reescribe esto en registro cortés»ThaiLLM-Lite · en el dispositivoBreve, sin recuperación, sin red
«Resume esta circular de 6 páginas»ThaiLLM-BaseCabe en el contexto, necesita citas
«¿Qué cláusulas cambiaron en estas 400 páginas?»ThaiLLM-ProEl contexto supera a Base
[foto de un formulario sellado]ThaiLLM-Vision → BasePrimero la imagen, después el razonamiento sobre lo leído
[voz, hablada en isan]ThaiLLM-Voice → BaseDialecto detectado, transcrito y respondido en el dialecto oído
«¿Esta contratación cumple el umbral?»ThaiLLM-ReasonUna persona tiene que poder comprobar cada paso
Cualquier cosa que contenga un número de identidad nacionalEn el dispositivo, o rechazadoPolítica del espacio de trabajo, aplicada antes de transmitir

Una ruta que puede rechazar

Todas las demás capas de enrutamiento optimizan coste y latencia. Esta tiene un tercer eje, y es el que una institución compra de verdad: un espacio de trabajo puede declarar que sus solicitudes nunca salen de th-bkk-1, y el enrutador devolverá un error en lugar de buscar en silencio un modelo en otra parte. Un rechazo es una funcionalidad. Y es la única versión de la residencia de datos que sobrevive al contacto con un enrutador.

409 route_forbidden · workspace pinned to th-bkk-1

La escalera de escalado

El escalado es visible y se factura por lo que costó, no a la tarifa del modelo más alto. Si el enrutador se equivocó, puedes ver que se equivocó.

ThaiLLM-Lite×1
ThaiLLM-Base×4
ThaiLLM-Pro×11
ThaiLLM-Reason×26

Cada paso solo se da si la respuesta anterior falla su propia comprobación.

Y siempre puedes anularlo

Indica un nombre de modelo y el enrutador se aparta. Indica una política y la obedece. El enrutamiento es un valor por defecto, no una jaula, pero ese valor por defecto es el que realmente usó el 81 % de las llamadas en la preversión.

POST /v1/messages
{
  "model": "auto",                    // default: the router decides
  "route": {
    "region": "th-bkk-1",             // refuse rather than leave
    "max_baht": 0.75,                 // per-request ceiling
    "prefer": "cheapest_passing"      // or "fastest" | "best"
  }
}

// The decision comes back with the answer, every time:
// { "routed_to": "ThaiLLM-Base", "considered": ["Lite", "Base", "Pro"],
//   "reason": "context 4.1k > Lite 8k window at 0.62 confidence",
//   "escalated": false, "region": "th-bkk-1", "usage": { "baht": 0.11 } }

Programa de preversión

Elige cómo entrar.

Hay tres cohortes abiertas. Elegir una prepara el formulario de abajo — puedes cambiarlo allí.