Multimodal · køreplan Køreplan — endnu ikke leveret

En thailandsk model, man kan vise ting.

Det meste af den thai, der betyder noget, bliver ikke skrevet på tastatur. Den bliver stemplet, fotograferet, håndskrevet, printet og scannet igen, talt på en dialekt eller læst højt for en, der ikke kan læse den. En model, der kun håndterer tekst, når intet af det. Her er, hvad der ændrer sig, hvorfor netop thai har brug for det, og omtrent hvornår.

Hvad en multimodal model er

En tekstmodel læser tokens. En multimodal model tager mere end én slags input — billeder, lyd, video, dokumenter — og ræsonnerer over dem i samme kontekst som teksten. Den gængse konstruktion kobler en encoder pr. modalitet til en sprogmodel og træner koblingen, så et billede bliver noget, sprogmodellen kan være opmærksom på ved siden af ordene i prompten.

Det begreb, der betyder noget i praksis, er vision-language-modellen: en sprogmodel med en billed-encoder, hvilket er, hvad næsten enhver evne af typen »kan den læse mit skærmbillede« reelt er. IBM's definition er den korte — en model, der kan behandle og ræsonnere på tværs af flere modaliteter som tekst, billeder og lyd — og NVIDIA's ordliste er den korte for den visuelle halvdel.

Idéen er ældre end den nuværende bølge. CLIP viste i 2021, at billede og tekst kunne trænes ind i et fælles rum med naturligt sprog som supervision; Flamingo viste, at en frosset sprogmodel kunne læres at være opmærksom på billeder med få eksempler; visuel instruktionstuning gjorde resultatet til noget, man kan tale med. Alt, der er i drift i dag, nedstammer fra de tre.

Læs primærkilderne

Hvorfor thai har mere brug for det end engelsk

Det er ikke den samme funktion på et andet sprog. Fire ting gør dokumentsyn for thai til et særskilt teknisk problem, og alle fire er grunde til, at en generel model klarer det dårligere.

1

Thailandsk OCR er ikke løst

Ingen mellemrum mellem ordene, så en genkender kan ikke bruge blanktegn til at finde grænser. Vokaler og tonetegn stables op til fire niveauer omkring en konsonant, og en scanning, der taber den øverste linje, ændrer i stilhed ordet i stedet for synligt at ødelægge det.

2

Papirerne bliver fotograferet, ikke scannet

Det reelle input er et mobilfoto af en stemplet side på et skrivebord, skævt, på et kontor med ét lysstofrør. Benchmarks med rene scanninger siger intet om det.

3

Håndskrift er stadig grænsefladen

Landsbyregistre, notater fra sundhedscentre, følgesedler, karakterlister fra skoler. Thailandsk håndskrift binder sammen og forkorter på måder, som træning på trykt tekst ikke dækker.

4

Tallene er ikke tallene

Thailandske cifre ๐–๙ ved siden af arabiske, år i buddhistisk tidsregning, der ligger 543 år foran den gregorianske, og beløb i baht skrevet i et thailandsk talregister. Læs året forkert, og hver dato i dokumentet er forkert.


Fire sanser, tre modeller

Leveres som separate modeller i stedet for én stor, for så kan routeren sende et foto til den model, der læser, og en optagelse til den model, der hører — og ingen af dem betaler for den andens vægte.

billede · videoframe

ThaiLLM-Vision

Fotos, skærmbilleder, diagrammer, hylder, scener, formularer. Svarer på thai om det, der er i billedet, med den region, det blev leveret fra.

dokument · håndskrift

ThaiLLM-Scribe

Dokumentspecialisten: stemplede, scannede, skæve, flerspaltede, delvist håndskrevne thailandske papirer omsat til strukturerede felter, du kan lægge i en database.

lyd ind · lyd ud

ThaiLLM-Voice

Thailandsk talegenkendelse og talesyntese i de fire regionale varianter, inklusive det almindelige tilfælde med et spørgsmål stillet på isan, der skal besvares på centralthai — eller omvendt.

alt ovenstående, samlet

Tværmodal

Den, der betyder noget: et foto og et talt spørgsmål i samme forespørgsel, besvaret ud fra dine egne dokumenter. Det er den evne, de separate modeller findes for at gøre billig.


Atten ting, der ikke var mulige før

Hver er et job, som nogen i Thailand i dag udfører ved at skrive det af, der ligger foran dem. Illustrative — de beskriver den tilsigtede evne, ikke leverede funktioner.

Regering og offentlig forvaltning

Fotografér en side fra husstandsregistret

Ret kameraet mod et ทะเบียนบ้าน, og få hvert felt tilbage som strukturerede data — navne, ID-numre, adresser, det hele — uden at en sagsbehandler skriver et eneste af dem af klokken fire om eftermiddagen.

Læs en bekendtgørelse i Royal Gazette fra et foto

En scannet ราชกิจจานุเบกษา-side bliver til et resumé, hvor hver pligt kan spores til den artikel, den stammer fra, og ikrafttrædelsen læses som et år i buddhistisk tidsregning i stedet for at blive gættet.

Gør et håndskrevet landsbyreferat til et dokument

Fotografér den side, en udvalgssekretær faktisk skrev, og få et maskinskrevet referat på thai i officielt register, med navnene stavet ens og beslutningerne nummereret.

Tjek en formular, før du stiller dig i kø

Fotografér en halvt udfyldt formular fra et ministerium, og få at vide, hvilke felter der mangler, hvilket stempel der mangler, og hvilket bilag kontoret vil sende dig hjem efter.

Sundhed

Forklar en medicinetiket højt

Et foto af en thailandsk apoteksetiket bliver til en talt forklaring på enkelt thai af dosis og tidspunkter — til en patient, der læser langsomt eller ikke behersker det register, etiketten er skrevet i.

Gør et udskrivningsbrev brugbart

Fotografér hospitalets udskrivningsresumé, og få »hvad du skal gøre i denne uge« på den dialekt, der tales derhjemme, med datoen for kontrolbesøget omregnet fra พ.ศ. og lagt ind i en påmindelse.

Landbrug

Diagnosticér et risblad ud fra et foto

Vis skaden, og få at vide, hvad den ligner, hvad den ofte forveksles med, og hvilket provinsielt rådgivningskontor du skal ringe til — med et udtrykkeligt nej til at ordinere et middel, den ikke kan være sikker på.

Læs en gødningssæk, og regn dosis ud

Fotografér sækken, sig markens størrelse i rai højt, og få blandingsforholdet tilbage som et talt svar, offline, stående ude på marken.

Handel og finans

Gør en bunke kvitteringer til en momstabel

Fotografér bunken. Få en tabel med leverandør, skattenummer, dato, moms og total, markeret dér, hvor en kvittering ikke er en fuld skattefaktura og ikke vil holde til en revision.

Afstem en PromptPay-kvittering mod en faktura

Et skærmbillede af en overførselskvittering, matchet med den faktura, den betaler, med beløb og reference tjekket og afvigelsen navngivet i stedet for i stilhed at blive ignoreret.

Tæl en hylde

Fotografér hylden, og få en thailandsk produktliste med facings og huller — det job, der i dag er en person med et clipboard, som går gangen igennem to gange.

Uddannelse

Byg en lektion ud fra en side i lærebogen

Fotografér siden, og få en lektionsplan knyttet til målene i den nationale læseplan, med de to mål, siden ikke dækker, udtrykkeligt navngivet.

Ret håndskrevne lektier på thai

Fotografér en elevs side, og få stavefejl, fejl i tonetegn og fejl i mellemrum markeret med den regel, hver af dem bryder — så rettelsen lærer fra sig i stedet for bare at give point.

Turisme og service

Oversæt et menukort uden at miste retten

Fotografér menukortet. Gæsten får sit eget sprog og allergenerne; retten beholder sit thailandske navn, for ผัดกะเพรา er ikke »wokket basilikum«, og en restaurant skal ikke være nødt til at lade som om.

Læs en inskription

Fotografér en tempelinskription, og få en translitteration, en læsning på enkelt thai og en ærlig bemærkning om, hvilke tegn der er for slidte til at kunne læses.

Industri og logistik

Få en følgeseddel ind i systemet

Fotografér følgesedlen ved læsserampen, og lad de strukturerede felter lande i WMS — inklusive den håndskrevne mængderettelse, som nogen har lavet med kuglepen.

Skriv hændelsesrapporten ud fra billedet

Et stillbillede fra et overvågningskamera bliver til et beskrevet, tidsstemplet hændelsesnotat på thai, i det register, rapporten skal indgives i, til et menneske at underskrive.

Tilgængelighed

Beskriv rummet

Ret kameraet, og hør på thai, hvad der er foran dig, i gåtempo — den version af teknologien, der slet ikke er en produktivitetsfunktion.


Sådan ser det ud i API'et

Samme endpoint. Et billede i content-arrayet, og routeren klarer resten — hvilket er hele grunden til, at routingen blev leveret først.

POST /v1/messages
{
  "model": "auto",                     // the router picks
  "messages": [{
    "role": "user",
    "content": [
      { "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
      { "type": "text",  "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
    ]
  }],
  "thai": { "register": "official", "dialect": "auto" }
}

// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
//   "region": "th-bkk-1", "usage": { "baht": 0.42 } }

Køreplan

Fire faser. Ingen af dem er en dato: hver fase åbner, når dens evalueringssuite er bestået, og suiten bedømmes af thaitalende, ikke af en rangliste.

  1. 1
    Fase 1 · Dokumentsyn

    Trykte og scannede thailandske dokumenter omsat til strukturerede felter. Buddhistisk tidsregning og thailandske tal håndteres ved aflæsningen, ikke lappet bagefter.

    Spærring
  2. 2
    Fase 2 · Foto og håndskrift

    Skæve mobilfotos, stempler, segl og thailandsk håndskrift. Det er fasen, der afgør, om produktet kan bruges uden for et kontor.

    Spærring
  3. 3
    Fase 3 · Tale, alle fire varianter

    Tale ind og tale ud, bedømt separat for centralthai, isan, kam mueang og pak tai — for et gennemsnit på tværs af dem skjuler præcis den fejl, der betyder noget.

    Spærring
  4. 4
    Fase 4 · Tværmodalt på enheden

    En komprimeret synsmodel, der kører på en Android-telefon i mellemklassen uden forbindelse, til det arbejde, der foregår dér, hvor der ingen dækning er.

    Spærring

Kilder

Baggrundslæsning om multimodale modeller, fra primær dokumentation og de artikler, feltet bygger på. Eksterne links, uden tilknytning til ThaiGPT+.

Førudgivelsesprogram

Vælg, hvordan du vil med.

Tre grupper er åbne. Vælger du én, sættes formularen nedenfor op — du kan ændre det der.