Fotografare una pagina del registro di famiglia
Punta la fotocamera su un ทะเบียนบ้าน e ottieni ogni campo come dati strutturati — nomi, numeri d'identità, indirizzi, tutto — senza che un impiegato ne ribatta nemmeno uno alle quattro del pomeriggio.
Multimodale · roadmap Roadmap — non ancora disponibile
La maggior parte del thai che conta non viene digitata. Viene timbrata, fotografata, scritta a mano, stampata e scansionata di nuovo, parlata in un dialetto o letta ad alta voce a chi non sa leggerla. Un modello solo testuale non arriva a nulla di tutto questo. Ecco cosa cambia, perché il thai in particolare ne ha bisogno e, più o meno, quando.
Cos'è un modello multimodale
Un modello di testo legge token. Un modello multimodale accetta più di un tipo di input — immagini, audio, video, documenti — e ragiona su di essi nello stesso contesto del testo. La costruzione tipica collega un encoder per ogni modalità a un modello linguistico e ne addestra l'unione, così un'immagine diventa qualcosa a cui il modello linguistico può prestare attenzione accanto alle parole del prompt.
Il termine che conta in pratica è modello visione-linguaggio: un modello linguistico con un encoder di immagini, che è ciò che è davvero quasi ogni capacità del tipo «riesce a leggere il mio screenshot?». La definizione di IBM è quella breve — un modello in grado di elaborare e ragionare su più modalità come testo, immagini e audio — e il glossario di NVIDIA è quello breve per la metà visiva.
L'idea è più vecchia dell'ondata attuale. CLIP ha mostrato nel 2021 che immagine e testo potevano essere addestrati in uno spazio condiviso grazie alla supervisione in linguaggio naturale; Flamingo ha mostrato che a un modello linguistico congelato si poteva insegnare a prestare attenzione alle immagini con pochi esempi; il visual instruction tuning ne ha fatto qualcosa con cui si può parlare. Tutto ciò che oggi è in produzione discende da questi tre.
Leggi le fonti primariePerché il thai ne ha più bisogno dell'inglese
Non è la stessa funzione in un'altra lingua. Quattro elementi fanno della visione documentale in thai un problema di ingegneria a sé, e tutti e quattro spiegano perché un modello generico qui rende meno.
Nessuno spazio tra le parole, quindi un sistema di riconoscimento non può usare i vuoti per trovare i confini. Vocali e segni tonali si impilano fino a quattro livelli attorno a una consonante, e una scansione che perde la riga superiore cambia la parola in silenzio invece di corromperla in modo visibile.
L'input reale è la foto col telefono di una pagina timbrata su una scrivania, di sbieco, in un ufficio con un solo tubo al neon. I benchmark su scansioni pulite non dicono nulla al riguardo.
Registri di villaggio, note d'ambulatorio, bolle di consegna, pagelle scolastiche. La scrittura thai a mano lega e abbrevia in modi che l'addestramento su testo stampato non copre.
Cifre thai ๐–๙ accanto a quelle arabe, anni dell'era buddista 543 avanti rispetto al calendario gregoriano e importi in baht scritti in un registro numerico thai. Leggi male l'anno e ogni data del documento è sbagliata.
Quattro sensi, tre modelli
Rilasciati come modelli separati anziché come uno grande, perché così il router può mandare una foto al modello che legge e una registrazione al modello che ascolta, e nessuno dei due paga per i pesi dell'altro.
Foto, screenshot, grafici, scaffali, scene, moduli. Risponde in thai su ciò che c'è nell'inquadratura, indicando la regione che ha servito la risposta.
Lo specialista dei documenti: pratiche thai timbrate, scansionate, storte, su più colonne e in parte scritte a mano trasformate in campi strutturati da inserire in un database.
Riconoscimento e sintesi vocale del thai nelle quattro varietà regionali, compreso il caso comune di una domanda posta in isan a cui si deve rispondere in thai centrale — o viceversa.
Quello che conta: una foto e una domanda a voce nella stessa richiesta, con la risposta basata sui tuoi documenti. È la capacità che i modelli separati esistono per rendere economica.
Diciotto cose che prima non si potevano fare
Ognuna è un lavoro che qualcuno in Thailandia oggi fa ribattendo ciò che ha davanti. A titolo illustrativo — descrivono capacità previste, non funzioni disponibili.
Punta la fotocamera su un ทะเบียนบ้าน e ottieni ogni campo come dati strutturati — nomi, numeri d'identità, indirizzi, tutto — senza che un impiegato ne ribatta nemmeno uno alle quattro del pomeriggio.
Una pagina scansionata della ราชกิจจานุเบกษา diventa un riassunto in cui ogni obbligo rimanda all'articolo da cui proviene, e la data di entrata in vigore viene letta come anno dell'era buddista invece di essere indovinata.
Fotografa la pagina che il segretario del comitato ha davvero scritto e ottieni un verbale thai dattiloscritto in registro ufficiale, con i nomi scritti in modo coerente e le delibere numerate.
Fotografa un modulo ministeriale compilato a metà e scopri quali caselle mancano, quale timbro è assente e per quale allegato l'ufficio ti rimanderà a casa.
La foto di un'etichetta di farmacia thai diventa una spiegazione parlata, in thai semplice, della dose e degli orari — per un paziente che legge lentamente o non conosce il registro in cui è scritta l'etichetta.
Fotografa la lettera di dimissione dell'ospedale e ottieni «cosa fare questa settimana» nel dialetto parlato a casa, con la data del controllo convertita dal พ.ศ. e inserita in un promemoria.
Mostra la lesione e scopri a cosa assomiglia, con cosa viene spesso confusa e quale ufficio provinciale di assistenza agricola chiamare — con un rifiuto esplicito di prescrivere un prodotto di cui non può essere sicuro.
Fotografa il sacco, di' ad alta voce la dimensione dell'appezzamento in rai e ricevi la dose di miscela come risposta vocale, offline, in piedi nel campo.
Fotografa la pila. Ottieni una tabella con fornitore, partita IVA, data, IVA e totale, segnalando dove uno scontrino non è una fattura fiscale completa e non supererà una verifica.
Lo screenshot di una ricevuta di bonifico, abbinato alla fattura che paga, con importo e causale verificati e la discrepanza indicata invece che ignorata in silenzio.
Fotografa lo scaffale e ottieni un elenco di prodotti in thai con facce e vuoti — il lavoro che oggi fa una persona con una cartellina percorrendo una corsia due volte.
Fotografa la pagina e ottieni un piano di lezione collegato ai traguardi del curricolo nazionale, con i due traguardi che la pagina non copre indicati esplicitamente.
Fotografa la pagina di uno studente e ottieni gli errori di ortografia, di segni tonali e di spaziatura segnalati con la regola che ciascuno viola — così correggere significa insegnare, non solo dare un voto.
Fotografa il menù. L'ospite ottiene la sua lingua e gli allergeni; il piatto mantiene il suo nome thai, perché ผัดกะเพรา non è «basilico saltato» e un ristorante non dovrebbe fingere che lo sia.
Fotografa l'iscrizione di un tempio e ottieni una traslitterazione, una lettura in thai semplice e una nota onesta su quali caratteri sono troppo consumati per essere leggibili.
Fotografa la bolla alla baia di carico e fai arrivare i campi strutturati nel WMS — compresa la correzione a penna della quantità fatta da qualcuno.
Un fermo immagine della videosorveglianza diventa una nota d'incidente descritta e con orario, in thai, nel registro in cui il rapporto va archiviato, pronta per la firma di una persona.
Punta la fotocamera e senti in thai ciò che hai davanti, al passo di chi cammina — la versione di questa tecnologia che non è affatto una funzione di produttività.
Come appare nell'API
Lo stesso endpoint. Un'immagine nell'array dei contenuti, e il router fa il resto — ed è proprio per questo che il routing è arrivato per primo.
POST /v1/messages
{
"model": "auto", // the router picks
"messages": [{
"role": "user",
"content": [
{ "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
{ "type": "text", "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
]
}],
"thai": { "register": "official", "dialect": "auto" }
}
// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
// "region": "th-bkk-1", "usage": { "baht": 0.42 } }Roadmap
Quattro fasi. Nessuna è una data: ognuna si apre quando la sua batteria di valutazione viene superata, e la batteria è valutata da parlanti thai, non da una classifica.
Documenti thai stampati e scansionati trasformati in campi strutturati. Era buddista e cifre thai gestite in lettura, non rattoppate dopo.
BarrieraFoto col telefono di sbieco, timbri, sigilli e scrittura thai a mano. È la fase che decide se il prodotto è utile fuori da un ufficio.
BarrieraVoce in ingresso e in uscita, valutata separatamente per thai centrale, isan, kam mueang e pak tai — perché una media su tutte nasconde proprio il fallimento che conta.
BarrieraUn modello di visione compresso che gira su un telefono Android di fascia media senza connessione, per il lavoro che si svolge dove non c'è segnale.
BarrieraRiferimenti
Letture di approfondimento sui modelli multimodali, dalla documentazione primaria e dagli articoli su cui si fonda il campo. Link esterni, senza affiliazione con ThaiGPT+.
La definizione breve più chiara di un grande modello linguistico multimodale e di a cosa serve.
NVIDIAWhat are vision-language models? — NVIDIA glossaryCome un encoder di immagini viene collegato a un modello linguistico per dargli la vista.
WikipediaVision-language model — WikipediaUna panoramica neutrale con un'ampia bibliografia, se vuoi la forma del campo prima dei dettagli.
AnthropicVision — Claude API documentationDocumentazione operativa per passare immagini a un modello, e i limiti pratici del farlo.
GoogleImage understanding — Gemini API documentationUn'API nativamente multimodale, con input di documenti e video.
OpenAIImages and vision — OpenAI platform documentationL'altra API di visione molto diffusa, per confrontare la forma delle richieste.
Hugging FaceImage-text-to-text — Hugging FaceIl lato dei modelli aperti: definizione del compito e modelli che puoi eseguire da solo.
arXiv 2103.00020Learning Transferable Visual Models From Natural Language SupervisionCLIP, 2021 — immagine e testo addestrati in una rappresentazione condivisa. L'articolo da cui parte il campo moderno.
arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning2022 — come si insegna a un modello linguistico congelato a prestare attenzione alle immagini.
arXiv 2304.08485Visual Instruction Tuning2023 — LLaVA, e il passo che ha reso conversazionali i modelli visione-linguaggio.
Programma di preversione
Tre gruppi sono aperti. Sceglierne uno prepara il modulo qui sotto — puoi cambiarlo lì.
Preversione · iscrizioni aperte
Tre campi. Dicci chi sei e dove scriverti, e ti manderemo un’e-mail appena il tuo invito sarà pronto.
Funziona in 3G · ภาษาไทย / English