Multimodal · veikart Veikart — ikke levert ennå

En thailandsk modell du kan vise ting.

Det meste av det thailandske språket som betyr noe, blir ikke skrevet på tastatur. Det blir stemplet, fotografert, håndskrevet, skrevet ut og skannet på nytt, snakket på en dialekt eller lest høyt for noen som ikke kan lese det. En modell som bare håndterer tekst, når ingenting av det. Her er hva som endrer seg, hvorfor akkurat thai trenger det, og omtrent når.

Hva en multimodal modell er

En tekstmodell leser tokens. En multimodal modell tar imot mer enn én type input — bilder, lyd, video, dokumenter — og resonnerer over dem i samme kontekst som teksten. Den vanlige konstruksjonen kobler en koder per modalitet til en språkmodell og trener koblingen, slik at et bilde blir noe språkmodellen kan rette oppmerksomheten mot ved siden av ordene i prompten.

Begrepet som betyr noe i praksis, er vision-language-modellen: en språkmodell med en bildekoder, som er det nesten enhver evne av typen «kan den lese skjermbildet mitt» egentlig er. IBMs definisjon er den korte — en modell som kan behandle og resonnere på tvers av flere modaliteter som tekst, bilder og lyd — og NVIDIAs ordliste er den korte for den visuelle halvdelen.

Ideen er eldre enn den nåværende bølgen. CLIP viste i 2021 at bilde og tekst kunne trenes inn i et felles rom med naturlig språk som veiledning; Flamingo viste at en frossen språkmodell kunne læres å rette oppmerksomheten mot bilder med få eksempler; visuell instruksjonstuning gjorde resultatet til noe man kan snakke med. Alt som er i drift i dag, stammer fra de tre.

Les primærkildene

Hvorfor thai trenger dette mer enn engelsk

Det er ikke den samme funksjonen på et annet språk. Fire ting gjør dokumentsyn for thai til et eget teknisk problem, og alle fire er grunner til at en generell modell gjør det dårligere.

1

Thailandsk OCR er ikke løst

Ingen mellomrom mellom ordene, så en gjenkjenner kan ikke bruke blanktegn til å finne grenser. Vokaler og tonetegn stables opptil fire nivåer rundt en konsonant, og en skanning som mister den øverste linjen, endrer ordet i stillhet i stedet for å ødelegge det synlig.

2

Papirene blir fotografert, ikke skannet

Den reelle inputen er et mobilfoto av en stemplet side på et skrivebord, skjevt, på et kontor med ett lysrør. Benchmarker med rene skanninger sier ingenting om det.

3

Håndskrift er fortsatt grensesnittet

Landsbyregistre, notater fra helsesentre, følgesedler, karakterlister fra skoler. Thailandsk håndskrift binder sammen og forkorter på måter som trening på trykt tekst ikke dekker.

4

Tallene er ikke tallene

Thailandske sifre ๐–๙ ved siden av arabiske, år i buddhistisk tidsregning som ligger 543 år foran den gregorianske, og beløp i baht skrevet i et thailandsk tallregister. Les året feil, og hver dato i dokumentet blir feil.


Fire sanser, tre modeller

Leveres som separate modeller i stedet for én stor, fordi ruteren da kan sende et foto til modellen som leser, og et opptak til modellen som hører — og ingen av dem betaler for den andres vekter.

bilde · videobilde

ThaiLLM-Vision

Bilder, skjermbilder, diagrammer, hyller, scener, skjemaer. Svarer på thai om det som er i bildet, med regionen det ble levert fra.

dokument · håndskrift

ThaiLLM-Scribe

Dokumentspesialisten: stemplede, skannede, skjeve, flerspaltede, delvis håndskrevne thailandske papirer gjort om til strukturerte felt du kan legge i en database.

lyd inn · lyd ut

ThaiLLM-Voice

Thailandsk talegjenkjenning og talesyntese i de fire regionale variantene, inkludert det vanlige tilfellet med et spørsmål stilt på isan som må besvares på sentralthai — eller omvendt.

alt over, samlet

Kryssmodal

Den som betyr noe: et foto og et muntlig spørsmål i samme forespørsel, besvart ut fra dine egne dokumenter. Det er evnen de separate modellene finnes for å gjøre billig.


Atten ting som ikke gikk før

Hver av dem er en jobb noen i Thailand i dag gjør ved å skrive av det som ligger foran dem. Illustrative — de beskriver tiltenkt evne, ikke leverte funksjoner.

Myndigheter og offentlig forvaltning

Fotografer en side fra husholdningsregisteret

Rett kameraet mot et ทะเบียนบ้าน og få hvert felt tilbake som strukturerte data — navn, ID-numre, adresser, alt sammen — uten at en saksbehandler skriver av ett eneste av dem klokken fire på ettermiddagen.

Les en kunngjøring i Royal Gazette fra et foto

En skannet ราชกิจจานุเบกษา-side blir til et sammendrag der hver plikt kan spores til artikkelen den kommer fra, og ikrafttredelsen leses som et år i buddhistisk tidsregning i stedet for å bli gjettet.

Gjør et håndskrevet landsbyreferat til et dokument

Fotografer siden en utvalgssekretær faktisk skrev, og få et maskinskrevet referat på thai i offisielt register, med navnene stavet likt og vedtakene nummerert.

Sjekk et skjema før du stiller deg i kø

Fotografer et halvt utfylt skjema fra et departement og få vite hvilke felt som mangler, hvilket stempel som mangler, og hvilket vedlegg kontoret kommer til å sende deg hjem for.

Helse

Forklar en medisinetikett høyt

Et foto av en thailandsk apoteketikett blir til en muntlig forklaring på enkel thai av dosen og tidspunktene — for en pasient som leser sakte eller ikke behersker registeret etiketten er skrevet i.

Gjør et utskrivningsbrev brukbart

Fotografer sykehusets utskrivningssammendrag og få «hva du skal gjøre denne uken» på dialekten som snakkes hjemme, med datoen for kontrollen regnet om fra พ.ศ. og lagt inn i en påminnelse.

Landbruk

Diagnostiser et risblad ut fra et foto

Vis skaden og få vite hva den ligner på, hva den ofte forveksles med, og hvilket regionalt rådgivningskontor du bør ringe — med et uttrykkelig nei til å foreskrive et middel den ikke kan være sikker på.

Les en gjødselsekk og regn ut dosen

Fotografer sekken, si størrelsen på jordstykket i rai høyt, og få blandingsforholdet tilbake som et muntlig svar, frakoblet, stående ute på jordet.

Handel og finans

Gjør en bunke kvitteringer til en momstabell

Fotografer bunken. Få en tabell med leverandør, skattenummer, dato, mva. og total, flagget der en kvittering ikke er en fullstendig skattefaktura og ikke vil holde i en revisjon.

Avstem en PromptPay-kvittering mot en faktura

Et skjermbilde av en overføringskvittering, matchet med fakturaen den betaler, med beløp og referanse sjekket og avviket navngitt i stedet for ignorert i stillhet.

Tell en hylle

Fotografer hylla og få en thailandsk produktliste med fronter og hull — jobben som i dag er en person med skriveplate som går en gang to ganger.

Utdanning

Bygg en time ut fra en side i læreboka

Fotografer siden og få en undervisningsplan knyttet til målene i den nasjonale læreplanen, med de to målene siden ikke dekker, uttrykkelig navngitt.

Rett håndskrevne lekser på thai

Fotografer en elevs side og få stavefeil, feil i tonetegn og feil i mellomrom flagget med regelen hver av dem bryter — slik at rettingen lærer bort i stedet for bare å gi poeng.

Turisme og service

Oversett en meny uten å miste retten

Fotografer menyen. Gjesten får sitt eget språk og allergenene; retten beholder sitt thailandske navn, for ผัดกะเพรา er ikke «wokket basilikum», og en restaurant skal ikke måtte late som den er det.

Les en inskripsjon

Fotografer en tempelinskripsjon og få en translitterering, en lesning på enkel thai og en ærlig merknad om hvilke tegn som er for slitte til å kunne leses.

Industri og logistikk

Få en følgeseddel inn i systemet

Fotografer følgeseddelen ved lasterampen og la de strukturerte feltene havne i WMS — inkludert den håndskrevne mengderettelsen noen har gjort med penn.

Skriv hendelsesrapporten ut fra bildet

Et stillbilde fra et overvåkingskamera blir til et beskrevet, tidsstemplet hendelsesnotat på thai, i registeret rapporten skal leveres i, for et menneske å signere.

Tilgjengelighet

Beskriv rommet

Rett kameraet og hør på thai hva som er foran deg, i gangtempo — den versjonen av teknologien som slett ikke er en produktivitetsfunksjon.


Slik ser det ut i API-et

Samme endepunkt. Et bilde i content-arrayet, og ruteren tar seg av resten — noe som er hele grunnen til at rutingen ble levert først.

POST /v1/messages
{
  "model": "auto",                     // the router picks
  "messages": [{
    "role": "user",
    "content": [
      { "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
      { "type": "text",  "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
    ]
  }],
  "thai": { "register": "official", "dialect": "auto" }
}

// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
//   "region": "th-bkk-1", "usage": { "baht": 0.42 } }

Veikart

Fire faser. Ingen av dem er en dato: hver fase åpner når testsamlingen er bestått, og testsamlingen vurderes av thaitalende, ikke av en rangeringsliste.

  1. 1
    Fase 1 · Dokumentsyn

    Trykte og skannede thailandske dokumenter gjort om til strukturerte felt. Buddhistisk tidsregning og thailandske sifre håndteres ved lesingen, ikke lappet i etterkant.

    Sperre
  2. 2
    Fase 2 · Foto og håndskrift

    Skjeve mobilfotoer, stempler, segl og thailandsk håndskrift. Dette er fasen som avgjør om produktet er brukbart utenfor et kontor.

    Sperre
  3. 3
    Fase 3 · Tale, alle fire varianter

    Tale inn og tale ut, vurdert separat for sentralthai, isan, kam mueang og pak tai — fordi et gjennomsnitt på tvers skjuler nøyaktig den feilen som betyr noe.

    Sperre
  4. 4
    Fase 4 · Kryssmodalt på enheten

    En komprimert synsmodell som kjører på en Android-telefon i mellomklassen uten tilkobling, for arbeidet som skjer der det ikke er dekning.

    Sperre

Kilder

Bakgrunnslesing om multimodale modeller, fra primærdokumentasjon og artiklene feltet bygger på. Eksterne lenker, uten tilknytning til ThaiGPT+.

Program for førversjonen

Velg hvordan du vil bli med.

Tre grupper er åpne. Velger du én, settes skjemaet nedenfor opp — du kan endre det der.