拍一页户籍簿
把镜头对准 ทะเบียนบ้าน,每个字段都以结构化数据返回——姓名、身份证号、地址,全部——不用办事员在下午四点逐项手敲。
多模态 · 路线图 路线图——尚未交付
真正重要的泰语,大多不是打出来的。它被盖章、拍照、手写、打印后又扫描,用方言说出来,或者念给不识字的人听。只处理文本的模型一样都够不着。以下是会发生的变化、为什么泰语尤其需要,以及大致的时间。
什么是多模态模型
文本模型读取词元。多模态模型接受不止一种输入——图像、音频、视频、文档——并在与文本相同的上下文中对它们进行推理。常见做法是为每种模态接一个编码器到语言模型上并训练这个连接,让图像成为语言模型可以与提示词中的文字一同关注的东西。
实践中最重要的概念是视觉语言模型:带有图像编码器的语言模型,几乎所有“它能读我的截图吗”这类能力,实际上都是它。IBM 的定义是简短版——能够处理多种模态(如文本、图像和音频)并跨模态推理的模型——而 NVIDIA 的术语表是视觉那一半的简短版。
这个想法比当前这波浪潮更早。CLIP 在 2021 年证明,可以用自然语言作监督,把图像和文本训练进同一个空间;Flamingo 证明,冻结的语言模型只需少量示例就能学会关注图像;视觉指令微调则让结果变成可以对话的东西。今天投入使用的一切,都源自这三项工作。
阅读原始资料为什么泰语比英语更需要它
这不是同一个功能换一种语言。有四件事让泰语文档视觉成为一个独立的技术难题,而这四点也正是通用模型在这里表现更差的原因。
词与词之间没有空格,识别器无法靠空白找到边界。元音和声调符号在辅音周围最多叠加四层,扫描时丢掉最上面一行,会悄悄改变词义,而不是明显地出错。
真实的输入是用手机拍下的一页盖章文件,放在桌上,歪着,办公室里只有一根日光灯。用干净扫描件做的基准测试对此毫无参考价值。
村务登记、卫生站记录、送货单、学校成绩单。泰文手写的连笔和缩写方式,是在印刷文本上训练所覆盖不到的。
泰文数字 ๐–๙ 与阿拉伯数字并存,佛历年份比公历早 543 年,泰铢金额用泰语的数字写法书写。年份读错,文件里的每个日期都会错。
四种感官,三个模型
以独立模型而非一个大模型交付,这样路由器可以把照片交给会读的模型、把录音交给会听的模型——谁也不必为另一个的权重买单。
照片、截图、图表、货架、场景、表格。用泰语回答图中有什么,并附上处理它的区域。
文档专家:把盖章、扫描、歪斜、多栏、部分手写的泰文纸质文件,转成可以存进数据库的结构化字段。
覆盖四种地区变体的泰语语音识别与合成,包括常见的情况:用伊桑语提出的问题需要用中部泰语回答——或者反过来。
真正重要的那个:一张照片和一句口头提问放在同一个请求里,依据你自己的文档作答。分开的模型,正是为了让这种能力变得便宜。
十八件以前做不到的事
每一件都是今天泰国有人在做的工作——把眼前的东西重新打一遍。以下为示意,描述的是目标能力,而非已交付的功能。
把镜头对准 ทะเบียนบ้าน,每个字段都以结构化数据返回——姓名、身份证号、地址,全部——不用办事员在下午四点逐项手敲。
一页扫描的 ราชกิจจานุเบกษา 变成摘要,每项义务都能追溯到出处条款,生效日期按佛历年份读取,而不是靠猜。
拍下委员会秘书亲手写的那一页,得到一份公文语体的泰文打字稿,人名写法统一,决议逐条编号。
拍下填了一半的部委表格,就知道哪些栏没填、缺哪个章,以及哪份附件会让你被办事处打发回家。
一张泰国药店标签的照片,变成用浅白泰语讲解剂量和服用时间的语音——给读得慢、或看不懂标签所用语体的病人。
拍下医院的出院小结,得到用家里说的方言讲的“这周该做什么”,复诊日期从 พ.ศ. 换算好并设成提醒。
给它看病斑,就能知道像什么、常被误认成什么、该打给哪个府级农技推广办公室——并明确拒绝开出它没有把握的药方。
拍下肥料袋,说出地块有几莱,就能站在田里、在离线状态下,以语音得到配比。
拍下这一叠。得到一张包含供应商、税号、日期、增值税和合计的表格,并标出哪些收据不是完整的税务发票、过不了审计。
一张转账回单截图,与它所支付的发票相匹配,金额和参考号逐一核对,差异被点明,而不是被悄悄忽略。
拍下货架,得到一份泰文商品清单,包括排面数和缺货位——这份工作今天要一个人拿着夹板把货架走两遍。
拍下这一页,得到一份对应国家课程目标的教案,并明确指出这一页没覆盖的两个目标。
拍下学生的作业,拼写错误、声调符号错误和空格错误都会被标出,并注明各自违反的规则——让批改是在教学,而不只是打分。
拍下菜单。客人看到自己的语言和过敏原信息;菜品保留泰文名称,因为 ผัดกะเพรา 不是“炒罗勒”,餐厅也不该假装它是。
拍下寺庙里的碑文,得到转写、浅白泰语的释读,以及一个诚实的说明:哪些字已经磨损到无法辨认。
在装卸平台拍下送货单,让结构化字段直接进入 WMS——包括有人用圆珠笔手改的数量。
一帧监控截图变成带描述和时间戳的泰文事件记录,采用报告应提交的语体,由人来签字。
举起镜头,以步行的节奏用泰语听到面前有什么——这项技术的这个版本,根本不是什么效率功能。
在 API 中是什么样子
同一个端点。在 content 数组里放一张图片,其余交给路由器——这也正是路由功能最先交付的原因。
POST /v1/messages
{
"model": "auto", // the router picks
"messages": [{
"role": "user",
"content": [
{ "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
{ "type": "text", "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
]
}],
"thai": { "register": "official", "dialect": "auto" }
}
// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
// "region": "th-bkk-1", "usage": { "baht": 0.42 } }路线图
四个阶段。没有一个是日期:每个阶段在其评估集通过后才开放,评估由泰语使用者打分,而不是看排行榜。
把印刷和扫描的泰文文件转成结构化字段。佛历和泰文数字在读取时就处理好,而不是事后修补。
关卡歪斜的手机照片、印章、封印和泰文手写。这一阶段决定产品能否走出办公室。
关卡语音输入和输出,分别针对中部泰语、伊桑语、北部泰语和南部泰语评分——因为混在一起的平均分,恰恰掩盖了最重要的失败。
关卡一个压缩的视觉模型,在中端 Android 手机上离线运行,服务于没有信号的地方所发生的工作。
关卡参考资料
关于多模态模型的背景阅读,来自原始文档以及这一领域赖以建立的论文。外部链接,与 ThaiGPT+ 无关联。
对多模态大语言模型及其用途最清楚的简短定义。
NVIDIAWhat are vision-language models? — NVIDIA glossary图像编码器如何接到语言模型上,让它看得见。
WikipediaVision-language model — Wikipedia一篇中立的综述,参考文献丰富,适合在看细节之前先了解这个领域的全貌。
AnthropicVision — Claude API documentation把图片发给模型的实用文档,以及这样做的实际限制。
GoogleImage understanding — Gemini API documentation从底层就是多模态的 API,支持文档和视频作为输入。
OpenAIImages and vision — OpenAI platform documentation另一个被广泛使用的图像 API,可用来比较请求的形式。
Hugging FaceImage-text-to-text — Hugging Face开放模型这一侧:任务定义,以及你可以自己运行的模型。
arXiv 2103.00020Learning Transferable Visual Models From Natural Language SupervisionCLIP,2021——把图像和文本训练进同一种表示。现代这一领域的起点论文。
arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning2022——如何让冻结的语言模型学会关注图像。
arXiv 2304.08485Visual Instruction Tuning2023——LLaVA,以及让视觉语言模型能够对话的那一步。
预发布计划
三类名额已开放。选择其一即会配置下方表单——你也可以在那里更改。
预发布 · 报名开放
三个字段。告诉我们你是谁、往哪里联系,邀请准备好后我们会发邮件通知。
3G 网络下也能用 · ภาษาไทย / English