多模态 · 路线图 路线图——尚未交付

一个可以给它看东西的泰语模型。

真正重要的泰语,大多不是打出来的。它被盖章、拍照、手写、打印后又扫描,用方言说出来,或者念给不识字的人听。只处理文本的模型一样都够不着。以下是会发生的变化、为什么泰语尤其需要,以及大致的时间。

什么是多模态模型

文本模型读取词元。多模态模型接受不止一种输入——图像、音频、视频、文档——并在与文本相同的上下文中对它们进行推理。常见做法是为每种模态接一个编码器到语言模型上并训练这个连接,让图像成为语言模型可以与提示词中的文字一同关注的东西。

实践中最重要的概念是视觉语言模型:带有图像编码器的语言模型,几乎所有“它能读我的截图吗”这类能力,实际上都是它。IBM 的定义是简短版——能够处理多种模态(如文本、图像和音频)并跨模态推理的模型——而 NVIDIA 的术语表是视觉那一半的简短版。

这个想法比当前这波浪潮更早。CLIP 在 2021 年证明,可以用自然语言作监督,把图像和文本训练进同一个空间;Flamingo 证明,冻结的语言模型只需少量示例就能学会关注图像;视觉指令微调则让结果变成可以对话的东西。今天投入使用的一切,都源自这三项工作。

阅读原始资料

为什么泰语比英语更需要它

这不是同一个功能换一种语言。有四件事让泰语文档视觉成为一个独立的技术难题,而这四点也正是通用模型在这里表现更差的原因。

1

泰文 OCR 尚未解决

词与词之间没有空格,识别器无法靠空白找到边界。元音和声调符号在辅音周围最多叠加四层,扫描时丢掉最上面一行,会悄悄改变词义,而不是明显地出错。

2

文件是拍的,不是扫的

真实的输入是用手机拍下的一页盖章文件,放在桌上,歪着,办公室里只有一根日光灯。用干净扫描件做的基准测试对此毫无参考价值。

3

手写仍是主要界面

村务登记、卫生站记录、送货单、学校成绩单。泰文手写的连笔和缩写方式,是在印刷文本上训练所覆盖不到的。

4

数字不只是数字

泰文数字 ๐–๙ 与阿拉伯数字并存,佛历年份比公历早 543 年,泰铢金额用泰语的数字写法书写。年份读错,文件里的每个日期都会错。


四种感官,三个模型

以独立模型而非一个大模型交付,这样路由器可以把照片交给会读的模型、把录音交给会听的模型——谁也不必为另一个的权重买单。

图像 · 视频帧

ThaiLLM-Vision

照片、截图、图表、货架、场景、表格。用泰语回答图中有什么,并附上处理它的区域。

文档 · 手写

ThaiLLM-Scribe

文档专家:把盖章、扫描、歪斜、多栏、部分手写的泰文纸质文件,转成可以存进数据库的结构化字段。

音频输入 · 音频输出

ThaiLLM-Voice

覆盖四种地区变体的泰语语音识别与合成,包括常见的情况:用伊桑语提出的问题需要用中部泰语回答——或者反过来。

以上全部,合而为一

跨模态

真正重要的那个:一张照片和一句口头提问放在同一个请求里,依据你自己的文档作答。分开的模型,正是为了让这种能力变得便宜。


十八件以前做不到的事

每一件都是今天泰国有人在做的工作——把眼前的东西重新打一遍。以下为示意,描述的是目标能力,而非已交付的功能。

政府与公共部门

拍一页户籍簿

把镜头对准 ทะเบียนบ้าน,每个字段都以结构化数据返回——姓名、身份证号、地址,全部——不用办事员在下午四点逐项手敲。

从照片读懂《政府公报》公告

一页扫描的 ราชกิจจานุเบกษา 变成摘要,每项义务都能追溯到出处条款,生效日期按佛历年份读取,而不是靠猜。

把手写的村务会议记录变成文件

拍下委员会秘书亲手写的那一页,得到一份公文语体的泰文打字稿,人名写法统一,决议逐条编号。

排队之前先检查表格

拍下填了一半的部委表格,就知道哪些栏没填、缺哪个章,以及哪份附件会让你被办事处打发回家。

医疗卫生

把药品标签讲给你听

一张泰国药店标签的照片,变成用浅白泰语讲解剂量和服用时间的语音——给读得慢、或看不懂标签所用语体的病人。

让出院小结真正有用

拍下医院的出院小结,得到用家里说的方言讲的“这周该做什么”,复诊日期从 พ.ศ. 换算好并设成提醒。

农业

从照片诊断稻叶

给它看病斑,就能知道像什么、常被误认成什么、该打给哪个府级农技推广办公室——并明确拒绝开出它没有把握的药方。

读懂肥料袋,算出用量

拍下肥料袋,说出地块有几莱,就能站在田里、在离线状态下,以语音得到配比。

商业与金融

把一叠收据变成增值税表

拍下这一叠。得到一张包含供应商、税号、日期、增值税和合计的表格,并标出哪些收据不是完整的税务发票、过不了审计。

把 PromptPay 回单与发票对账

一张转账回单截图,与它所支付的发票相匹配,金额和参考号逐一核对,差异被点明,而不是被悄悄忽略。

盘点货架

拍下货架,得到一份泰文商品清单,包括排面数和缺货位——这份工作今天要一个人拿着夹板把货架走两遍。

教育

用课本的一页备课

拍下这一页,得到一份对应国家课程目标的教案,并明确指出这一页没覆盖的两个目标。

批改手写的泰语作业

拍下学生的作业,拼写错误、声调符号错误和空格错误都会被标出,并注明各自违反的规则——让批改是在教学,而不只是打分。

旅游与服务

翻译菜单,但不丢掉菜名

拍下菜单。客人看到自己的语言和过敏原信息;菜品保留泰文名称,因为 ผัดกะเพรา 不是“炒罗勒”,餐厅也不该假装它是。

读一段碑文

拍下寺庙里的碑文,得到转写、浅白泰语的释读,以及一个诚实的说明:哪些字已经磨损到无法辨认。

工业与物流

把送货单录入系统

在装卸平台拍下送货单,让结构化字段直接进入 WMS——包括有人用圆珠笔手改的数量。

根据画面写事件报告

一帧监控截图变成带描述和时间戳的泰文事件记录,采用报告应提交的语体,由人来签字。

无障碍

描述这个房间

举起镜头,以步行的节奏用泰语听到面前有什么——这项技术的这个版本,根本不是什么效率功能。


在 API 中是什么样子

同一个端点。在 content 数组里放一张图片,其余交给路由器——这也正是路由功能最先交付的原因。

POST /v1/messages
{
  "model": "auto",                     // the router picks
  "messages": [{
    "role": "user",
    "content": [
      { "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
      { "type": "text",  "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
    ]
  }],
  "thai": { "register": "official", "dialect": "auto" }
}

// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
//   "region": "th-bkk-1", "usage": { "baht": 0.42 } }

路线图

四个阶段。没有一个是日期:每个阶段在其评估集通过后才开放,评估由泰语使用者打分,而不是看排行榜。

  1. 1
    阶段 1 · 文档视觉

    把印刷和扫描的泰文文件转成结构化字段。佛历和泰文数字在读取时就处理好,而不是事后修补。

    关卡
  2. 2
    阶段 2 · 照片与手写

    歪斜的手机照片、印章、封印和泰文手写。这一阶段决定产品能否走出办公室。

    关卡
  3. 3
    阶段 3 · 语音,全部四种变体

    语音输入和输出,分别针对中部泰语、伊桑语、北部泰语和南部泰语评分——因为混在一起的平均分,恰恰掩盖了最重要的失败。

    关卡
  4. 4
    阶段 4 · 设备端跨模态

    一个压缩的视觉模型,在中端 Android 手机上离线运行,服务于没有信号的地方所发生的工作。

    关卡

预发布计划

选择你的加入方式。

三类名额已开放。选择其一即会配置下方表单——你也可以在那里更改。