住民登録簿のページを撮る
ทะเบียนบ้าน にカメラを向けると、氏名、ID番号、住所など、すべての項目が構造化データで返ってきます。夕方4時に職員が1つずつ打ち直す必要はありません。
マルチモーダル · ロードマップ ロードマップ — 未提供
大事なタイ語の多くは、キーボードで打たれてはいません。押印され、撮影され、手で書かれ、印刷されてはまたスキャンされ、方言で話され、読めない人のために読み上げられています。テキスト専用のモデルは、そのどれにも届きません。ここでは、何が変わるのか、なぜタイ語にこそそれが必要なのか、そしておおよその時期を説明します。
マルチモーダルモデルとは
テキストモデルはトークンを読みます。マルチモーダルモデルは、画像、音声、動画、文書など複数の種類の入力を受け取り、テキストと同じ文脈の中でそれらについて推論します。一般的な構成では、モダリティごとのエンコーダーを言語モデルにつなぎ、その接続部分を学習させます。こうして画像は、プロンプトの言葉と並んで言語モデルが注意を向けられるものになります。
実務で重要なのは、視覚言語モデルという言葉です。画像エンコーダーを備えた言語モデルのことで、「スクリーンショットを読める?」という類いの機能は、ほぼすべて実際にはこれです。短い定義としては IBM のもの(テキスト、画像、音声など複数のモダリティを処理し、それらをまたいで推論できるモデル)があり、視覚の側については NVIDIA の用語集が簡潔です。
この発想は、いまの波よりも古いものです。CLIP は2021年に、自然言語を教師信号として、画像とテキストを共通の空間に学習できることを示しました。Flamingo は、凍結した言語モデルに少数の例で画像への注意を学ばせられることを示しました。視覚的な指示チューニングは、その成果を対話できるものに変えました。いま使われているものはすべて、この3つの流れをくんでいます。
一次資料を読むなぜタイ語は英語以上にこれを必要とするのか
同じ機能を別の言語で提供するのとは違います。4つの点がタイ語の文書認識を独自の技術課題にしており、その4つすべてが、汎用モデルがここで劣る理由でもあります。
単語の間にスペースがないため、認識エンジンは空白を手がかりに境界を見つけられません。母音記号と声調記号は子音の周りに最大4段重なり、スキャンで最上段が欠けると、目に見えて崩れるのではなく、黙って別の単語に変わってしまいます。
実際の入力は、机の上の押印されたページをスマートフォンで斜めに撮った、蛍光灯が1本しかない事務所の写真です。きれいなスキャン画像でのベンチマークは、これについて何も教えてくれません。
村の台帳、保健所のメモ、納品書、学校の成績表。タイ語の手書きは、印刷文字での学習では拾えない形で文字をつなげ、省略します。
アラビア数字と並ぶタイ数字 ๐–๙、西暦より543年進んだ仏暦の年、タイ語の数の書き方で記されたバーツの金額。年を読み違えれば、文書中のすべての日付が間違います。
4つの感覚、3つのモデル
1つの大きなモデルではなく、別々のモデルとして提供します。そうすればルーターは、写真を読むモデルへ、録音を聞くモデルへと振り分けられ、どちらも相手の重みの分まで支払わずに済みます。
写真、スクリーンショット、グラフ、陳列棚、風景、書類。画像に何があるかをタイ語で答え、処理したリージョンを添えます。
文書の専門家。押印され、スキャンされ、傾き、段組みがあり、一部が手書きのタイ語の書類を、データベースに入れられる構造化された項目に変換します。
4つの地域変種に対応したタイ語の音声認識と音声合成。イサーン語で尋ねられた質問に中部タイ語で答える、あるいはその逆という、よくある場面も含みます。
本当に重要なのはこれです。1枚の写真と口頭の質問を同じリクエストに入れ、自社の文書にもとづいて答えます。別々のモデルは、この能力を安くするために存在します。
これまでできなかった18のこと
どれも、いまタイで誰かが目の前のものを打ち直して行っている仕事です。説明用の例であり、目指す能力を示すもので、提供済みの機能ではありません。
ทะเบียนบ้าน にカメラを向けると、氏名、ID番号、住所など、すべての項目が構造化データで返ってきます。夕方4時に職員が1つずつ打ち直す必要はありません。
スキャンした ราชกิจจานุเบกษา のページが要約になり、各義務は根拠となる条文までたどれます。施行日は推測ではなく、仏暦の年として読み取ります。
委員会の書記が実際に書いたページを撮ると、公文書の文体で清書されたタイ語の議事録になります。人名の表記はそろい、決議には番号が振られます。
書きかけの省の申請書を撮ると、空欄の項目、足りない印、そして窓口で追い返される原因になる添付書類が分かります。
タイの薬局のラベルの写真が、用量と服用時間を平易なタイ語で説明する音声になります。読むのが遅い患者や、ラベルの文体になじみのない患者のために。
病院の退院サマリーを撮ると、家で話す方言で「今週やること」が分かります。再診日は พ.ศ. から換算され、リマインダーに登録されます。
傷んだ部分を見せると、何に似ているか、何とよく取り違えられるか、どの県の普及指導事務所に電話すべきかが分かります。確信の持てない処置を勧めることは、はっきりと断ります。
袋を撮り、畑の広さをライ単位で声に出すと、混合比が音声で返ってきます。オフラインのまま、畑に立ったままで。
束を撮ってください。仕入先、納税者番号、日付、VAT、合計の表ができ、完全な税務インボイスではなく監査に通らない領収書には印が付きます。
振込控えのスクリーンショットを、支払い対象の請求書と突き合わせ、金額と参照番号を確認します。差異は黙って見過ごさず、はっきり指摘します。
棚を撮ると、フェイス数と欠品を含むタイ語の商品リストができます。いまはクリップボードを持った人が通路を2往復している仕事です。
ページを撮ると、国のカリキュラムの目標に対応した指導案ができ、そのページでは扱っていない2つの目標も明記されます。
生徒のページを撮ると、つづりの誤り、声調記号の誤り、スペースの誤りに、それぞれが破っている規則付きで印が付きます。点をつけるだけでなく、教える添削になります。
メニューを撮ってください。客は自分の言語とアレルゲン情報を受け取り、料理はタイ語の名前のままです。ผัดกะเพรา は「バジルの炒め物」ではなく、店がそう偽る必要もないからです。
寺の碑文を撮ると、翻字、平易なタイ語での読み、そしてどの文字がすり減って読めないかについての正直な注記が得られます。
荷受け場で納品書を撮り、構造化された項目をそのまま WMS に入れます。誰かがボールペンで手書きした数量の訂正も含めて。
防犯カメラの静止画が、説明とタイムスタンプ付きのタイ語の事故記録になります。報告書を提出すべき文体で書かれ、署名は人が行います。
カメラを向けると、目の前に何があるかを、歩く速さに合わせてタイ語で聞けます。この技術の、生産性とはまったく関係のない使い方です。
API ではこうなる
同じエンドポイントです。content 配列に画像を1つ入れれば、あとはルーターが処理します。ルーティングを最初に提供したのは、まさにこのためです。
POST /v1/messages
{
"model": "auto", // the router picks
"messages": [{
"role": "user",
"content": [
{ "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
{ "type": "text", "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
]
}],
"thai": { "register": "official", "dialect": "auto" }
}
// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
// "region": "th-bkk-1", "usage": { "baht": 0.42 } }ロードマップ
4つの段階があり、どれも日付ではありません。各段階は評価スイートに合格した時点で始まり、その採点はランキングではなく、タイ語話者が行います。
印刷・スキャンされたタイ語の文書を構造化された項目に変換。仏暦とタイ数字は読み取りの時点で処理し、後から継ぎはぎしません。
ゲート傾いたスマートフォンの写真、印章、公印、タイ語の手書き。製品が事務所の外で使えるかどうかを決める段階です。
ゲート音声の入力と出力を、中部タイ語、イサーン語、北部タイ語、南部タイ語ごとに別々に採点します。全体の平均は、まさに重要な失敗を覆い隠してしまうからです。
ゲート中価格帯の Android スマートフォンでオフラインのまま動く、圧縮した視覚モデル。電波の届かない場所で行われる仕事のために。
ゲート参考資料
マルチモーダルモデルについての背景資料。一次資料のドキュメントと、この分野の土台となった論文から選びました。外部リンクであり、ThaiGPT+ とは関係ありません。
マルチモーダルな大規模言語モデルとは何か、何に使うのかを示す、最も明快な短い定義。
NVIDIAWhat are vision-language models? — NVIDIA glossary画像エンコーダーを言語モデルにつなぎ、視覚を与える仕組み。
WikipediaVision-language model — Wikipedia幅広い参考文献を備えた中立的な概説。細部に入る前に分野の全体像をつかみたい方に。
AnthropicVision — Claude API documentationモデルに画像を送るための実践的なドキュメントと、その実際の制約。
GoogleImage understanding — Gemini API documentation文書や動画の入力を含め、根本からマルチモーダルな API。
OpenAIImages and vision — OpenAI platform documentationもう1つの広く使われている画像 API。リクエストの形を比べるのに。
Hugging FaceImage-text-to-text — Hugging Faceオープンモデルの側。タスクの定義と、自分で動かせるモデル。
arXiv 2103.00020Learning Transferable Visual Models From Natural Language SupervisionCLIP、2021年。画像とテキストを共通の表現に学習させた、現代のこの分野の出発点となる論文。
arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning2022年。凍結した言語モデルに画像への注意を学ばせる方法。
arXiv 2304.08485Visual Instruction Tuning2023年。LLaVA と、視覚言語モデルを対話型にした一歩。
先行版プログラム
3つの枠が開いています。1つ選ぶと下のフォームが設定されます — そこで変更もできます。
先行版 · 登録受付中
項目は3つ。お名前とご連絡先だけ伺い、ご招待の準備ができ次第メールでお知らせします。
3G でも動作 · ภาษาไทย / English