Multimodale · roadmap Roadmap — non ancora disponibile

Un modello thai a cui si possono mostrare le cose.

La maggior parte del thai che conta non viene digitata. Viene timbrata, fotografata, scritta a mano, stampata e scansionata di nuovo, parlata in un dialetto o letta ad alta voce a chi non sa leggerla. Un modello solo testuale non arriva a nulla di tutto questo. Ecco cosa cambia, perché il thai in particolare ne ha bisogno e, più o meno, quando.

Cos'è un modello multimodale

Un modello di testo legge token. Un modello multimodale accetta più di un tipo di input — immagini, audio, video, documenti — e ragiona su di essi nello stesso contesto del testo. La costruzione tipica collega un encoder per ogni modalità a un modello linguistico e ne addestra l'unione, così un'immagine diventa qualcosa a cui il modello linguistico può prestare attenzione accanto alle parole del prompt.

Il termine che conta in pratica è modello visione-linguaggio: un modello linguistico con un encoder di immagini, che è ciò che è davvero quasi ogni capacità del tipo «riesce a leggere il mio screenshot?». La definizione di IBM è quella breve — un modello in grado di elaborare e ragionare su più modalità come testo, immagini e audio — e il glossario di NVIDIA è quello breve per la metà visiva.

L'idea è più vecchia dell'ondata attuale. CLIP ha mostrato nel 2021 che immagine e testo potevano essere addestrati in uno spazio condiviso grazie alla supervisione in linguaggio naturale; Flamingo ha mostrato che a un modello linguistico congelato si poteva insegnare a prestare attenzione alle immagini con pochi esempi; il visual instruction tuning ne ha fatto qualcosa con cui si può parlare. Tutto ciò che oggi è in produzione discende da questi tre.

Leggi le fonti primarie

Perché il thai ne ha più bisogno dell'inglese

Non è la stessa funzione in un'altra lingua. Quattro elementi fanno della visione documentale in thai un problema di ingegneria a sé, e tutti e quattro spiegano perché un modello generico qui rende meno.

1

L'OCR del thai non è risolto

Nessuno spazio tra le parole, quindi un sistema di riconoscimento non può usare i vuoti per trovare i confini. Vocali e segni tonali si impilano fino a quattro livelli attorno a una consonante, e una scansione che perde la riga superiore cambia la parola in silenzio invece di corromperla in modo visibile.

2

Le pratiche si fotografano, non si scansionano

L'input reale è la foto col telefono di una pagina timbrata su una scrivania, di sbieco, in un ufficio con un solo tubo al neon. I benchmark su scansioni pulite non dicono nulla al riguardo.

3

La scrittura a mano è ancora l'interfaccia

Registri di villaggio, note d'ambulatorio, bolle di consegna, pagelle scolastiche. La scrittura thai a mano lega e abbrevia in modi che l'addestramento su testo stampato non copre.

4

I numeri non sono i numeri

Cifre thai ๐–๙ accanto a quelle arabe, anni dell'era buddista 543 avanti rispetto al calendario gregoriano e importi in baht scritti in un registro numerico thai. Leggi male l'anno e ogni data del documento è sbagliata.


Quattro sensi, tre modelli

Rilasciati come modelli separati anziché come uno grande, perché così il router può mandare una foto al modello che legge e una registrazione al modello che ascolta, e nessuno dei due paga per i pesi dell'altro.

immagine · fotogramma video

ThaiLLM-Vision

Foto, screenshot, grafici, scaffali, scene, moduli. Risponde in thai su ciò che c'è nell'inquadratura, indicando la regione che ha servito la risposta.

documento · scrittura a mano

ThaiLLM-Scribe

Lo specialista dei documenti: pratiche thai timbrate, scansionate, storte, su più colonne e in parte scritte a mano trasformate in campi strutturati da inserire in un database.

audio in · audio out

ThaiLLM-Voice

Riconoscimento e sintesi vocale del thai nelle quattro varietà regionali, compreso il caso comune di una domanda posta in isan a cui si deve rispondere in thai centrale — o viceversa.

tutto quanto sopra, insieme

Crossmodale

Quello che conta: una foto e una domanda a voce nella stessa richiesta, con la risposta basata sui tuoi documenti. È la capacità che i modelli separati esistono per rendere economica.


Diciotto cose che prima non si potevano fare

Ognuna è un lavoro che qualcuno in Thailandia oggi fa ribattendo ciò che ha davanti. A titolo illustrativo — descrivono capacità previste, non funzioni disponibili.

Governo e pubblica amministrazione

Fotografare una pagina del registro di famiglia

Punta la fotocamera su un ทะเบียนบ้าน e ottieni ogni campo come dati strutturati — nomi, numeri d'identità, indirizzi, tutto — senza che un impiegato ne ribatta nemmeno uno alle quattro del pomeriggio.

Leggere un avviso della Royal Gazette da una foto

Una pagina scansionata della ราชกิจจานุเบกษา diventa un riassunto in cui ogni obbligo rimanda all'articolo da cui proviene, e la data di entrata in vigore viene letta come anno dell'era buddista invece di essere indovinata.

Trasformare un verbale di villaggio scritto a mano in un documento

Fotografa la pagina che il segretario del comitato ha davvero scritto e ottieni un verbale thai dattiloscritto in registro ufficiale, con i nomi scritti in modo coerente e le delibere numerate.

Controllare un modulo prima di mettersi in coda

Fotografa un modulo ministeriale compilato a metà e scopri quali caselle mancano, quale timbro è assente e per quale allegato l'ufficio ti rimanderà a casa.

Sanità

Spiegare ad alta voce l'etichetta di un farmaco

La foto di un'etichetta di farmacia thai diventa una spiegazione parlata, in thai semplice, della dose e degli orari — per un paziente che legge lentamente o non conosce il registro in cui è scritta l'etichetta.

Rendere utilizzabile una lettera di dimissione

Fotografa la lettera di dimissione dell'ospedale e ottieni «cosa fare questa settimana» nel dialetto parlato a casa, con la data del controllo convertita dal พ.ศ. e inserita in un promemoria.

Agricoltura

Diagnosticare una foglia di riso da una foto

Mostra la lesione e scopri a cosa assomiglia, con cosa viene spesso confusa e quale ufficio provinciale di assistenza agricola chiamare — con un rifiuto esplicito di prescrivere un prodotto di cui non può essere sicuro.

Leggere un sacco di fertilizzante e fare i conti

Fotografa il sacco, di' ad alta voce la dimensione dell'appezzamento in rai e ricevi la dose di miscela come risposta vocale, offline, in piedi nel campo.

Commercio e finanza

Trasformare una pila di scontrini in una tabella IVA

Fotografa la pila. Ottieni una tabella con fornitore, partita IVA, data, IVA e totale, segnalando dove uno scontrino non è una fattura fiscale completa e non supererà una verifica.

Riconciliare una ricevuta PromptPay con una fattura

Lo screenshot di una ricevuta di bonifico, abbinato alla fattura che paga, con importo e causale verificati e la discrepanza indicata invece che ignorata in silenzio.

Contare uno scaffale

Fotografa lo scaffale e ottieni un elenco di prodotti in thai con facce e vuoti — il lavoro che oggi fa una persona con una cartellina percorrendo una corsia due volte.

Istruzione

Costruire una lezione da una pagina del libro

Fotografa la pagina e ottieni un piano di lezione collegato ai traguardi del curricolo nazionale, con i due traguardi che la pagina non copre indicati esplicitamente.

Correggere compiti scritti a mano in thai

Fotografa la pagina di uno studente e ottieni gli errori di ortografia, di segni tonali e di spaziatura segnalati con la regola che ciascuno viola — così correggere significa insegnare, non solo dare un voto.

Turismo e servizi

Tradurre un menù senza perdere il piatto

Fotografa il menù. L'ospite ottiene la sua lingua e gli allergeni; il piatto mantiene il suo nome thai, perché ผัดกะเพรา non è «basilico saltato» e un ristorante non dovrebbe fingere che lo sia.

Leggere un'iscrizione

Fotografa l'iscrizione di un tempio e ottieni una traslitterazione, una lettura in thai semplice e una nota onesta su quali caratteri sono troppo consumati per essere leggibili.

Industria e logistica

Inserire una bolla di consegna nel sistema

Fotografa la bolla alla baia di carico e fai arrivare i campi strutturati nel WMS — compresa la correzione a penna della quantità fatta da qualcuno.

Scrivere il rapporto d'incidente dal fotogramma

Un fermo immagine della videosorveglianza diventa una nota d'incidente descritta e con orario, in thai, nel registro in cui il rapporto va archiviato, pronta per la firma di una persona.

Accessibilità

Descrivere la stanza

Punta la fotocamera e senti in thai ciò che hai davanti, al passo di chi cammina — la versione di questa tecnologia che non è affatto una funzione di produttività.


Come appare nell'API

Lo stesso endpoint. Un'immagine nell'array dei contenuti, e il router fa il resto — ed è proprio per questo che il routing è arrivato per primo.

POST /v1/messages
{
  "model": "auto",                     // the router picks
  "messages": [{
    "role": "user",
    "content": [
      { "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
      { "type": "text",  "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
    ]
  }],
  "thai": { "register": "official", "dialect": "auto" }
}

// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
//   "region": "th-bkk-1", "usage": { "baht": 0.42 } }

Roadmap

Quattro fasi. Nessuna è una data: ognuna si apre quando la sua batteria di valutazione viene superata, e la batteria è valutata da parlanti thai, non da una classifica.

  1. 1
    Fase 1 · Visione documentale

    Documenti thai stampati e scansionati trasformati in campi strutturati. Era buddista e cifre thai gestite in lettura, non rattoppate dopo.

    Barriera
  2. 2
    Fase 2 · Foto e scrittura a mano

    Foto col telefono di sbieco, timbri, sigilli e scrittura thai a mano. È la fase che decide se il prodotto è utile fuori da un ufficio.

    Barriera
  3. 3
    Fase 3 · Voce, tutte e quattro le varietà

    Voce in ingresso e in uscita, valutata separatamente per thai centrale, isan, kam mueang e pak tai — perché una media su tutte nasconde proprio il fallimento che conta.

    Barriera
  4. 4
    Fase 4 · Crossmodale sul dispositivo

    Un modello di visione compresso che gira su un telefono Android di fascia media senza connessione, per il lavoro che si svolge dove non c'è segnale.

    Barriera

Riferimenti

Letture di approfondimento sui modelli multimodali, dalla documentazione primaria e dagli articoli su cui si fonda il campo. Link esterni, senza affiliazione con ThaiGPT+.

Programma di preversione

Scegli come entrare.

Tre gruppi sono aperti. Sceglierne uno prepara il modulo qui sotto — puoi cambiarlo lì.