スマートルーティング

基準を満たす、最も安いモデル。

ルーターは、AI プラットフォームと AI の請求書を分けるものです。ThaiGPT+ は各リクエストを分類し、ファミリー内の各モデルが実際にできることと照らし合わせ、正しくこなせる最小のモデルに送ります。そのうえで回答を確認し、不十分なら上位に回します。このページでは、その判断がどう下されるか、そして何を強制できるかを示します。

トークンを生成する前の4つの判断

1

どのモデルか

書き直しには Lite、たいていは Base、文脈が収まらなければ Pro、画像があれば Vision、音声があれば Voice、人が推論の筋道を監査する必要があれば Reason。

2

どこで実行するか

端末で処理できるなら端末で、できなければ国内で。そしてワークスペースが、リクエストが出ていくことになるリージョンを固定していれば、どこでも実行しません。

3

いくらかかるか

ルーターは各モデルのバーツ建て料金と、アカウントの残高を把握しています。安いリクエストを念のために高いモデルへ送ることはしません。

4

上位に回すか

最初の回答をリクエストと照らして確認します。確認に失敗すれば上位のモデルに回し、そのことをレスポンスに明記します。何が起き、いくらかかったかが分かります。


読み取るもの

8つのシグナルがあり、どれもリクエストの説明を求めません。8つすべてがレスポンスに表示されるので、ルーティングの判断は、ただ受け入れるものではなく、異を唱えられるものになります。

task

タスクの種類

書く、要約する、翻訳する、抽出する、分類する、推論する。自動で推定し、上書きできます。

dialect

文字と方言

中部タイ語、イサーン語、北部タイ語、南部タイ語、タイ語と英語の混在、ローマ字で書いたタイ語。

modality

モダリティ

テキスト、画像、スキャンした PDF、音声。リクエストに画像があれば、テキスト専用のモデルはすべて候補から外れます。

tokens

コンテキスト長

文字数からの推定ではなく、タイ語のトークナイザーで実測します。外国のプラットフォームが誤るのはまさにここです。

pdpa

機微性

タイの国民IDカード番号、患者の診療記録、納税者番号。ローカルで検出し、リクエストがどこかへ送られる前にルートを固定します。

network

接続状況

オフライン、データセーバー、通常。ルーターが下げるのはモデルであって、回答ではありません。

baht

予算

バーツ建てのプリペイド残高と、アカウントが設定した1リクエストあたりの上限。

ttft

応答時間の要件

音声の回答は1秒以内に最初のトークンが必要です。夜間のバッチ処理は違います。


ルーティング表

説明用です。実際の表はプラットフォームから配信され、モデルが追加されるたびに変わります。だからこそ、クライアントにモデル名を書き込まないのです。

リクエストルーティング先理由
「これを丁寧な文体で書き直して」ThaiLLM-Lite · 端末内短く、検索不要、ネットワーク不要
「この6ページの通達を要約して」ThaiLLM-Base文脈に収まり、出典が必要
「この400ページで変わった条項は?」ThaiLLM-Pro文脈が Base を超える
[押印された書類の写真]ThaiLLM-Vision → Baseまず画像、次に読み取った内容で推論
[音声、イサーン語で話したもの]ThaiLLM-Voice → Base方言を識別して文字起こしし、聞いた方言で回答
「この調達は基準額を満たしている?」ThaiLLM-Reason人がすべてのステップを確認できる必要がある
国民ID番号を含むものすべて端末内、または拒否ワークスペースのポリシーを送信前に強制

拒否してよいルート

ほかのルーティング層はどれも、コストと応答時間を最適化します。この層には3つ目の軸があり、機関が実際に買うのはそこです。ワークスペースは、リクエストが th-bkk-1 の外へ一切出ないよう定めることができ、その場合ルーターは、黙って別の場所のモデルを探すのではなくエラーを返します。拒否は機能です。そしてそれは、ルーターと出会っても成り立つ、ただ1つのデータ所在地のかたちでもあります。

409 route_forbidden · workspace pinned to th-bkk-1

エスカレーションの段階

エスカレーションは目に見え、最大のモデルの料金ではなく、実際にかかった分で請求されます。ルーターが間違えれば、間違えたことが分かります。

ThaiLLM-Lite×1
ThaiLLM-Base×4
ThaiLLM-Pro×11
ThaiLLM-Reason×26

各段階に進むのは、前の回答がそれ自身の確認に通らなかったときだけです。

そして、いつでも上書きできます

モデル名を指定すれば、ルーターは身を引きます。ポリシーを指定すれば、それに従います。ルーティングは既定値であって檻ではありません。ただ、先行版の呼び出しの81%が実際に使ったのは、その既定値です。

POST /v1/messages
{
  "model": "auto",                    // default: the router decides
  "route": {
    "region": "th-bkk-1",             // refuse rather than leave
    "max_baht": 0.75,                 // per-request ceiling
    "prefer": "cheapest_passing"      // or "fastest" | "best"
  }
}

// The decision comes back with the answer, every time:
// { "routed_to": "ThaiLLM-Base", "considered": ["Lite", "Base", "Pro"],
//   "reason": "context 4.1k > Lite 8k window at 0.62 confidence",
//   "escalated": false, "region": "th-bkk-1", "usage": { "baht": 0.11 } }

先行版プログラム

参加方法を選んでください。

3つの枠が開いています。1つ選ぶと下のフォームが設定されます — そこで変更もできます。