智能路由

能过线的最便宜模型。

路由器,是 AI 平台和 AI 账单之间的差别。ThaiGPT+ 对每个请求分类,对照家族中每个模型的真实能力,把它交给能做对的最小模型——再检查回答,没做对就升级。本页说明这个决定如何做出,以及你可以强制指定什么。

生成词元之前的四个决定

1

用哪个模型

改写用 Lite,多数任务用 Base,上下文放不下时用 Pro,有图片用 Vision,有音频用 Voice,需要人工审计推理链时用 Reason。

2

在哪里运行

设备能胜任就在设备上,不能就在境内;如果工作区锁定了请求会离开的区域,那就哪里都不运行。

3

花多少钱

路由器知道每个模型的泰铢价格和账户剩余余额。便宜的请求不会为了保险而送去贵的模型。

4

是否升级

第一个回答会对照请求检查。检查不通过就向上路由,并在响应中说明——你能看到发生了什么、花了多少。


它读取什么

八个信号,没有一个需要你描述自己的请求。八个信号都会显示在响应里,所以路由决定是你可以争辩的东西,而不是被动接受的结果。

task

任务类型

写作、摘要、翻译、抽取、分类、推理。自动推断,可以覆盖。

dialect

文字与方言

中部泰语、伊桑语、北部泰语、南部泰语、泰英夹杂,或用拉丁字母书写的泰语。

modality

模态

文本、图片、扫描 PDF、音频。请求中有图片,就排除所有只处理文本的模型。

tokens

上下文长度

用泰语分词器实测,而不是按字符数估算——外国平台恰恰在这里出错。

pdpa

敏感度

泰国身份证号、病历、税号。在本地检测;在请求发往任何地方之前就锁定路线。

network

连接状况

离线、省流量或满速。路由器降的是模型,不是回答。

baht

预算

剩余的泰铢预付余额,以及账户设定的单次请求上限。

ttft

延迟要求

语音回答需要在一秒内出首个词元。夜间批处理不需要。


路由表

示意。实际的路由表由平台下发,并随着模型增加而变化——这正是不要在客户端里写死模型名的原因。

请求路由至原因
“用礼貌语体改写这段”ThaiLLM-Lite · 设备端短,无需检索,无需网络
“总结这份 6 页的通知”ThaiLLM-Base上下文放得下,需要引用
“这 400 页里哪些条款改了?”ThaiLLM-Pro上下文超出 Base
[一张盖章表格的照片]ThaiLLM-Vision → Base先看图,再对读到的内容推理
[语音,用伊桑语说]ThaiLLM-Voice → Base识别方言、转写,并用听到的方言回答
“这项采购达到门槛了吗?”ThaiLLM-Reason人必须能核查每一步
任何含身份证号的内容设备端,或拒绝工作区策略,在传输前强制执行

它有权拒绝的路线

其他路由层都只针对成本和延迟做优化。这一层多了第三个维度,而这正是机构真正要买的:工作区可以规定其请求永远不离开 th-bkk-1,此时路由器会返回错误,而不是悄悄在别处找一个模型。拒绝就是功能。这也是唯一一种在遇到路由器之后还能成立的数据驻留。

409 route_forbidden · workspace pinned to th-bkk-1

升级阶梯

升级是可见的,并按实际花费计费,而不是按最大模型的价格。如果路由器判断错了,你能看到它错了。

ThaiLLM-Lite×1
ThaiLLM-Base×4
ThaiLLM-Pro×11
ThaiLLM-Reason×26

只有上一步的回答没通过自身检查,才会走下一级。

而且你随时可以覆盖它

指定模型名,路由器就让开。指定策略,它就照策略走。路由是默认选项,不是牢笼——但在预发布期间,81% 的调用实际用的就是这个默认。

POST /v1/messages
{
  "model": "auto",                    // default: the router decides
  "route": {
    "region": "th-bkk-1",             // refuse rather than leave
    "max_baht": 0.75,                 // per-request ceiling
    "prefer": "cheapest_passing"      // or "fastest" | "best"
  }
}

// The decision comes back with the answer, every time:
// { "routed_to": "ThaiLLM-Base", "considered": ["Lite", "Base", "Pro"],
//   "reason": "context 4.1k > Lite 8k window at 0.62 confidence",
//   "escalated": false, "region": "th-bkk-1", "usage": { "baht": 0.11 } }

预发布计划

选择你的加入方式。

三类名额已开放。选择其一即会配置下方表单——你也可以在那里更改。