Định tuyến thông minh

Mô hình rẻ nhất vẫn vượt ngưỡng yêu cầu.

Bộ định tuyến là sự khác biệt giữa một nền tảng AI và một hóa đơn AI. ThaiGPT+ phân loại từng yêu cầu, đối chiếu với những gì mỗi mô hình trong họ thực sự làm được, rồi gửi tới mô hình nhỏ nhất làm đúng — sau đó kiểm tra câu trả lời và leo thang nếu chưa đạt. Trang này cho thấy quyết định đó được đưa ra thế nào và bạn được phép ép buộc điều gì.

Bốn quyết định, trước khi một token được sinh ra

1

Mô hình nào

Lite để viết lại, Base cho phần lớn, Pro khi ngữ cảnh không vừa, Vision khi có hình ảnh, Voice khi có âm thanh, Reason khi con người phải kiểm toán chuỗi lập luận.

2

Chạy ở đâu

Trên máy nếu máy kham nổi, trong nước nếu không, và không ở đâu cả nếu không gian làm việc đã khóa một vùng mà yêu cầu sẽ rời khỏi.

3

Chi phí bao nhiêu

Bộ định tuyến biết giá của từng mô hình bằng baht và số dư còn lại trong tài khoản. Một yêu cầu rẻ không bị gửi tới mô hình đắt chỉ để cho chắc.

4

Có leo thang không

Câu trả lời đầu tiên được kiểm tra so với yêu cầu. Kiểm tra thất bại sẽ định tuyến lên cấp cao hơn và nói rõ trong phản hồi — bạn thấy điều đó đã xảy ra và tốn bao nhiêu.


Nó đọc những gì

Tám tín hiệu, và không tín hiệu nào đòi bạn phải mô tả yêu cầu của mình. Cả tám đều hiển thị trong phản hồi, nên quyết định định tuyến là thứ bạn có thể tranh luận, chứ không phải thứ cứ thế xảy đến với bạn.

task

Loại tác vụ

Viết, tóm tắt, dịch, trích xuất, phân loại, suy luận. Được suy ra và có thể ghi đè.

dialect

Chữ viết và phương ngữ

Tiếng Thái miền Trung, Isan, Kam Mueang, Pak Tai, Thái-Anh trộn lẫn, hoặc tiếng Thái viết bằng chữ Latinh.

modality

Phương thức

Văn bản, hình ảnh, PDF quét, âm thanh. Một hình ảnh trong yêu cầu loại trừ mọi mô hình chỉ xử lý văn bản.

tokens

Độ dài ngữ cảnh

Đo bằng bộ tách token tiếng Thái, không ước lượng từ số ký tự — đó chính là chỗ các nền tảng nước ngoài sai.

pdpa

Độ nhạy cảm

Số căn cước công dân Thái, hồ sơ bệnh nhân, mã số thuế. Được phát hiện ngay trên máy; nó khóa tuyến trước khi yêu cầu được gửi đi bất cứ đâu.

network

Kết nối

Ngoại tuyến, tiết kiệm dữ liệu hoặc đầy đủ. Bộ định tuyến hạ mô hình, không hạ câu trả lời.

baht

Ngân sách

Số dư trả trước còn lại bằng baht và mức trần mỗi yêu cầu mà tài khoản đã đặt.

ttft

Yêu cầu độ trễ

Câu trả lời bằng giọng nói cần token đầu tiên trong vòng một giây. Một tác vụ xử lý hàng loạt ban đêm thì không.


Bảng định tuyến

Minh họa. Bảng thực tế được cung cấp từ nền tảng và thay đổi khi có thêm mô hình — đó chính là lý do không nên ghi cứng tên mô hình trong máy khách của bạn.

Yêu cầuĐịnh tuyến tớiLý do
“Viết lại đoạn này bằng ngữ vực lịch sự”ThaiLLM-Lite · trên máyNgắn, không cần tìm kiếm, không cần mạng
“Tóm tắt thông tư 6 trang này”ThaiLLM-BaseVừa ngữ cảnh, cần trích dẫn
“Những điều khoản nào đã thay đổi trong 400 trang này?”ThaiLLM-ProNgữ cảnh vượt quá Base
[ảnh chụp một biểu mẫu đã đóng dấu]ThaiLLM-Vision → BaseHình ảnh trước, rồi suy luận trên nội dung đã đọc
[giọng nói, bằng tiếng Isan]ThaiLLM-Voice → BaseNhận diện phương ngữ, phiên âm và trả lời bằng đúng phương ngữ đã nghe
“Gói thầu này có đạt ngưỡng không?”ThaiLLM-ReasonCon người phải có thể kiểm tra từng bước
Bất cứ thứ gì chứa số căn cước công dânTrên máy, hoặc bị từ chốiChính sách của không gian làm việc, được thực thi trước khi truyền đi

Tuyến đường nó được phép từ chối

Mọi lớp định tuyến khác đều tối ưu chi phí và độ trễ. Lớp này có trục thứ ba, và đó là thứ một cơ quan thực sự mua: không gian làm việc có thể quy định rằng các yêu cầu của mình không bao giờ rời khỏi th-bkk-1, và khi đó bộ định tuyến trả về lỗi thay vì lặng lẽ tìm một mô hình ở nơi khác. Từ chối là một tính năng. Đó cũng là hình thức giữ nơi đặt dữ liệu duy nhất còn đứng vững khi gặp một bộ định tuyến.

409 route_forbidden · workspace pinned to th-bkk-1

Thang leo thang

Việc leo thang được hiển thị và tính phí theo chi phí thực tế, không theo giá của mô hình lớn nhất. Nếu bộ định tuyến sai, bạn có thể thấy nó đã sai.

ThaiLLM-Lite×1
ThaiLLM-Base×4
ThaiLLM-Pro×11
ThaiLLM-Reason×26

Mỗi bậc chỉ được dùng nếu câu trả lời trước đó không vượt qua bước kiểm tra của chính nó.

Và bạn luôn có thể ghi đè nó

Chỉ định tên mô hình và bộ định tuyến sẽ đứng sang một bên. Chỉ định một chính sách và nó sẽ tuân theo chính sách đó. Định tuyến là mặc định, không phải cái lồng — nhưng mặc định đó là thứ 81% lệnh gọi trong bản tiền phát hành thực sự đã dùng.

POST /v1/messages
{
  "model": "auto",                    // default: the router decides
  "route": {
    "region": "th-bkk-1",             // refuse rather than leave
    "max_baht": 0.75,                 // per-request ceiling
    "prefer": "cheapest_passing"      // or "fastest" | "best"
  }
}

// The decision comes back with the answer, every time:
// { "routed_to": "ThaiLLM-Base", "considered": ["Lite", "Base", "Pro"],
//   "reason": "context 4.1k > Lite 8k window at 0.62 confidence",
//   "escalated": false, "region": "th-bkk-1", "usage": { "baht": 0.11 } }

Chương trình tiền phát hành

Chọn cách bạn tham gia.

Ba nhóm đang mở. Chọn một nhóm sẽ thiết lập biểu mẫu bên dưới — bạn có thể đổi ở đó.