Chụp một trang sổ hộ khẩu
Hướng camera vào ทะเบียนบ้าน và nhận lại mọi trường dưới dạng dữ liệu có cấu trúc — họ tên, số căn cước, địa chỉ, tất cả — mà không cần cán bộ nào gõ lại bất kỳ trường nào lúc bốn giờ chiều.
Đa phương thức · lộ trình Lộ trình — chưa bàn giao
Phần lớn tiếng Thái quan trọng không được gõ ra. Nó được đóng dấu, chụp ảnh, viết tay, in ra rồi quét lại, nói bằng phương ngữ, hoặc đọc to cho người không đọc được. Một mô hình chỉ xử lý văn bản không chạm tới được bất kỳ điều nào trong số đó. Đây là những gì thay đổi, vì sao tiếng Thái đặc biệt cần điều này, và khoảng khi nào.
Mô hình đa phương thức là gì
Mô hình văn bản đọc token. Mô hình đa phương thức nhận nhiều hơn một loại đầu vào — hình ảnh, âm thanh, video, tài liệu — và suy luận về chúng trong cùng ngữ cảnh với văn bản. Cấu trúc phổ biến gắn một bộ mã hóa cho mỗi phương thức vào mô hình ngôn ngữ và huấn luyện phần kết nối, để hình ảnh trở thành thứ mà mô hình ngôn ngữ có thể chú ý tới bên cạnh các từ trong prompt.
Thuật ngữ quan trọng trong thực tế là mô hình thị giác-ngôn ngữ: một mô hình ngôn ngữ có bộ mã hóa hình ảnh, và đó thực chất là gần như mọi khả năng kiểu “nó có đọc được ảnh chụp màn hình của tôi không”. Định nghĩa của IBM là bản ngắn gọn — một mô hình có thể xử lý và suy luận trên nhiều phương thức như văn bản, hình ảnh và âm thanh — và bảng thuật ngữ của NVIDIA là bản ngắn gọn cho nửa thị giác.
Ý tưởng này có trước làn sóng hiện nay. CLIP cho thấy năm 2021 rằng hình ảnh và văn bản có thể được huấn luyện vào một không gian chung, dùng ngôn ngữ tự nhiên làm tín hiệu giám sát; Flamingo cho thấy một mô hình ngôn ngữ đóng băng có thể được dạy chú ý tới hình ảnh chỉ với vài ví dụ; tinh chỉnh chỉ dẫn thị giác biến kết quả thành thứ có thể trò chuyện được. Mọi thứ đang vận hành hôm nay đều bắt nguồn từ ba công trình đó.
Đọc nguồn gốcVì sao tiếng Thái cần điều này hơn tiếng Anh
Đây không phải cùng một tính năng bằng một ngôn ngữ khác. Bốn điều khiến thị giác tài liệu cho tiếng Thái trở thành một bài toán kỹ thuật riêng, và cả bốn đều là lý do mô hình đa dụng làm kém hơn ở đây.
Không có dấu cách giữa các từ, nên bộ nhận dạng không thể dựa vào khoảng trống để tìm ranh giới. Nguyên âm và dấu thanh xếp chồng tới bốn tầng quanh một phụ âm, và một bản quét mất dòng trên cùng sẽ lặng lẽ đổi từ thay vì làm hỏng nó một cách dễ thấy.
Đầu vào thực tế là ảnh điện thoại chụp một trang có đóng dấu trên bàn, bị lệch, trong một văn phòng chỉ có một bóng đèn huỳnh quang. Các phép đo chuẩn dùng bản quét sạch không nói lên điều gì về chuyện đó.
Sổ sách thôn bản, ghi chép của trạm y tế, phiếu giao hàng, bảng điểm ở trường. Chữ viết tay tiếng Thái nối và viết tắt theo những cách mà huấn luyện trên văn bản in không bao quát được.
Chữ số Thái ๐–๙ đặt cạnh chữ số Ả Rập, năm Phật lịch đi trước dương lịch 543 năm, và số tiền baht viết theo lối đọc số tiếng Thái. Đọc sai năm thì mọi ngày tháng trong tài liệu đều sai.
Bốn giác quan, ba mô hình
Được cung cấp dưới dạng các mô hình riêng thay vì một mô hình lớn, vì khi đó bộ định tuyến có thể gửi ảnh tới mô hình biết đọc và bản ghi âm tới mô hình biết nghe — và không mô hình nào phải trả giá cho trọng số của mô hình kia.
Ảnh chụp, ảnh màn hình, biểu đồ, kệ hàng, cảnh vật, biểu mẫu. Trả lời bằng tiếng Thái về nội dung trong ảnh, kèm vùng đã phục vụ.
Chuyên gia tài liệu: giấy tờ tiếng Thái đóng dấu, đã quét, bị lệch, nhiều cột, một phần viết tay được chuyển thành các trường có cấu trúc để bạn đưa vào cơ sở dữ liệu.
Nhận dạng và tổng hợp giọng nói tiếng Thái ở bốn phương ngữ, bao gồm trường hợp phổ biến là câu hỏi bằng tiếng Isan cần được trả lời bằng tiếng Thái miền Trung — hoặc ngược lại.
Thứ thực sự quan trọng: một bức ảnh và một câu hỏi bằng lời trong cùng một yêu cầu, được trả lời dựa trên tài liệu của chính bạn. Đó là khả năng mà các mô hình riêng biệt tồn tại để làm cho rẻ đi.
Mười tám điều trước đây không làm được
Mỗi điều là một công việc mà hôm nay ai đó ở Thái Lan đang làm bằng cách gõ lại những gì trước mặt. Minh họa — chúng mô tả khả năng hướng tới, không phải tính năng đã bàn giao.
Hướng camera vào ทะเบียนบ้าน và nhận lại mọi trường dưới dạng dữ liệu có cấu trúc — họ tên, số căn cước, địa chỉ, tất cả — mà không cần cán bộ nào gõ lại bất kỳ trường nào lúc bốn giờ chiều.
Một trang ราชกิจจานุเบกษา đã quét trở thành bản tóm tắt trong đó mọi nghĩa vụ đều truy nguyên được tới điều khoản gốc, và ngày hiệu lực được đọc như một năm Phật lịch thay vì phải đoán.
Chụp trang mà thư ký ủy ban thực sự đã viết và nhận về biên bản tiếng Thái đánh máy bằng ngữ vực hành chính, với tên người được viết nhất quán và các quyết định được đánh số.
Chụp một biểu mẫu của bộ mới điền một nửa và biết ô nào còn thiếu, con dấu nào chưa có, và tài liệu đính kèm nào sẽ khiến văn phòng bảo bạn về nhà.
Ảnh chụp nhãn thuốc của nhà thuốc Thái trở thành lời giải thích bằng tiếng Thái dễ hiểu về liều dùng và giờ uống — cho bệnh nhân đọc chậm hoặc không nắm được ngữ vực trên nhãn.
Chụp bản tóm tắt ra viện và nhận “việc cần làm tuần này” bằng phương ngữ nói ở nhà, với ngày tái khám được quy đổi từ พ.ศ. và đặt vào lời nhắc.
Cho xem chỗ bị hại và biết nó giống bệnh gì, thường bị nhầm với gì và nên gọi văn phòng khuyến nông tỉnh nào — kèm lời từ chối rõ ràng không kê cách chữa mà nó không chắc chắn.
Chụp bao phân, nói diện tích thửa ruộng bằng rai, và nhận tỷ lệ pha dưới dạng câu trả lời bằng giọng nói, ngoại tuyến, ngay giữa đồng.
Chụp cả xấp. Nhận một bảng gồm nhà cung cấp, mã số thuế, ngày, VAT và tổng tiền, có đánh dấu những chỗ biên lai không phải hóa đơn thuế đầy đủ và sẽ không qua được kiểm toán.
Ảnh chụp màn hình biên nhận chuyển khoản được khớp với hóa đơn mà nó thanh toán, số tiền và mã tham chiếu được kiểm tra, và phần chênh lệch được chỉ rõ thay vì bị lặng lẽ bỏ qua.
Chụp kệ hàng và nhận danh sách sản phẩm bằng tiếng Thái kèm số mặt trưng bày và chỗ trống — công việc hôm nay là một người cầm bìa kẹp đi hết dãy kệ hai lần.
Chụp trang sách và nhận giáo án gắn với các mục tiêu của chương trình giáo dục quốc gia, với hai mục tiêu mà trang sách không đề cập được nêu rõ.
Chụp trang bài của học sinh và nhận các lỗi chính tả, lỗi dấu thanh và lỗi khoảng cách được đánh dấu kèm quy tắc mà mỗi lỗi vi phạm — để việc sửa bài dạy được điều gì đó chứ không chỉ cho điểm.
Chụp thực đơn. Thực khách nhận được ngôn ngữ của mình và thông tin dị ứng; món ăn giữ tên tiếng Thái, vì ผัดกะเพรา không phải là “húng quế xào chảo”, và nhà hàng không nên phải giả vờ như vậy.
Chụp một bia ký trong chùa và nhận bản chuyển tự, bản đọc bằng tiếng Thái dễ hiểu và một ghi chú trung thực về những ký tự đã quá mòn để đọc được.
Chụp phiếu giao hàng tại bến bốc dỡ và để các trường có cấu trúc đi thẳng vào WMS — kể cả chỗ ai đó đã sửa số lượng bằng bút bi.
Một khung hình tĩnh từ camera an ninh trở thành ghi chú sự cố bằng tiếng Thái có mô tả và dấu thời gian, đúng ngữ vực mà báo cáo cần được nộp, để một người ký.
Hướng camera và nghe bằng tiếng Thái những gì đang ở trước mặt bạn, theo nhịp bước chân — phiên bản của công nghệ này hoàn toàn không phải một tính năng năng suất.
Trông như thế nào trong API
Cùng một điểm cuối. Một hình ảnh trong mảng content, và bộ định tuyến lo phần còn lại — đó là toàn bộ lý do định tuyến được bàn giao trước.
POST /v1/messages
{
"model": "auto", // the router picks
"messages": [{
"role": "user",
"content": [
{ "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
{ "type": "text", "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
]
}],
"thai": { "register": "official", "dialect": "auto" }
}
// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
// "region": "th-bkk-1", "usage": { "baht": 0.42 } }Lộ trình
Bốn giai đoạn. Không giai đoạn nào là một ngày cụ thể: mỗi giai đoạn mở ra khi bộ đánh giá của nó đạt, và bộ đánh giá được chấm bởi người nói tiếng Thái, không phải bởi một bảng xếp hạng.
Tài liệu tiếng Thái in và quét được chuyển thành các trường có cấu trúc. Phật lịch và chữ số Thái được xử lý ngay khi đọc, không vá lại sau.
ChốtẢnh điện thoại bị lệch, con dấu, ấn triện và chữ viết tay tiếng Thái. Đây là giai đoạn quyết định sản phẩm có dùng được bên ngoài văn phòng hay không.
ChốtGiọng nói vào và ra, chấm điểm riêng cho tiếng Thái miền Trung, Isan, Kam Mueang và Pak Tai — vì điểm trung bình gộp che giấu đúng kiểu thất bại quan trọng nhất.
ChốtMột mô hình thị giác nén chạy ngoại tuyến trên điện thoại Android tầm trung, cho những công việc diễn ra ở nơi không có sóng.
ChốtTài liệu tham khảo
Tài liệu đọc thêm về mô hình đa phương thức, từ tài liệu gốc và các bài báo làm nền tảng cho lĩnh vực này. Liên kết bên ngoài, không liên kết với ThaiGPT+.
Định nghĩa ngắn gọn rõ ràng nhất về mô hình ngôn ngữ lớn đa phương thức và công dụng của nó.
NVIDIAWhat are vision-language models? — NVIDIA glossaryCách một bộ mã hóa hình ảnh được gắn vào mô hình ngôn ngữ để cho nó thị giác.
WikipediaVision-language model — WikipediaMột tổng quan trung lập với danh mục tài liệu rộng, nếu bạn muốn thấy hình dạng của lĩnh vực trước khi đi vào chi tiết.
AnthropicVision — Claude API documentationTài liệu thực hành về việc gửi hình ảnh tới mô hình, và các giới hạn thực tế khi làm vậy.
GoogleImage understanding — Gemini API documentationMột API đa phương thức từ gốc, bao gồm tài liệu và video làm đầu vào.
OpenAIImages and vision — OpenAI platform documentationAPI hình ảnh phổ biến còn lại, để so sánh cấu trúc yêu cầu.
Hugging FaceImage-text-to-text — Hugging FacePhía mô hình mở: định nghĩa tác vụ và các mô hình bạn có thể tự chạy.
arXiv 2103.00020Learning Transferable Visual Models From Natural Language SupervisionCLIP, 2021 — hình ảnh và văn bản được huấn luyện vào một biểu diễn chung. Bài báo khởi đầu của lĩnh vực hiện đại.
arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning2022 — cách dạy một mô hình ngôn ngữ đóng băng chú ý tới hình ảnh.
arXiv 2304.08485Visual Instruction Tuning2023 — LLaVA, và bước tiến giúp mô hình thị giác-ngôn ngữ có thể trò chuyện.
Chương trình tiền phát hành
Ba nhóm đang mở. Chọn một nhóm sẽ thiết lập biểu mẫu bên dưới — bạn có thể đổi ở đó.
Bản tiền phát hành · đang mở đăng ký
Ba trường. Cho chúng tôi biết bạn là ai và liên hệ ở đâu, chúng tôi sẽ gửi email khi lời mời sẵn sàng.
Chạy được trên 3G · ภาษาไทย / English