Fotografér en side fra husstandsregistret
Ret kameraet mod et ทะเบียนบ้าน, og få hvert felt tilbage som strukturerede data — navne, ID-numre, adresser, det hele — uden at en sagsbehandler skriver et eneste af dem af klokken fire om eftermiddagen.
Multimodal · køreplan Køreplan — endnu ikke leveret
Det meste af den thai, der betyder noget, bliver ikke skrevet på tastatur. Den bliver stemplet, fotograferet, håndskrevet, printet og scannet igen, talt på en dialekt eller læst højt for en, der ikke kan læse den. En model, der kun håndterer tekst, når intet af det. Her er, hvad der ændrer sig, hvorfor netop thai har brug for det, og omtrent hvornår.
Hvad en multimodal model er
En tekstmodel læser tokens. En multimodal model tager mere end én slags input — billeder, lyd, video, dokumenter — og ræsonnerer over dem i samme kontekst som teksten. Den gængse konstruktion kobler en encoder pr. modalitet til en sprogmodel og træner koblingen, så et billede bliver noget, sprogmodellen kan være opmærksom på ved siden af ordene i prompten.
Det begreb, der betyder noget i praksis, er vision-language-modellen: en sprogmodel med en billed-encoder, hvilket er, hvad næsten enhver evne af typen »kan den læse mit skærmbillede« reelt er. IBM's definition er den korte — en model, der kan behandle og ræsonnere på tværs af flere modaliteter som tekst, billeder og lyd — og NVIDIA's ordliste er den korte for den visuelle halvdel.
Idéen er ældre end den nuværende bølge. CLIP viste i 2021, at billede og tekst kunne trænes ind i et fælles rum med naturligt sprog som supervision; Flamingo viste, at en frosset sprogmodel kunne læres at være opmærksom på billeder med få eksempler; visuel instruktionstuning gjorde resultatet til noget, man kan tale med. Alt, der er i drift i dag, nedstammer fra de tre.
Læs primærkilderneHvorfor thai har mere brug for det end engelsk
Det er ikke den samme funktion på et andet sprog. Fire ting gør dokumentsyn for thai til et særskilt teknisk problem, og alle fire er grunde til, at en generel model klarer det dårligere.
Ingen mellemrum mellem ordene, så en genkender kan ikke bruge blanktegn til at finde grænser. Vokaler og tonetegn stables op til fire niveauer omkring en konsonant, og en scanning, der taber den øverste linje, ændrer i stilhed ordet i stedet for synligt at ødelægge det.
Det reelle input er et mobilfoto af en stemplet side på et skrivebord, skævt, på et kontor med ét lysstofrør. Benchmarks med rene scanninger siger intet om det.
Landsbyregistre, notater fra sundhedscentre, følgesedler, karakterlister fra skoler. Thailandsk håndskrift binder sammen og forkorter på måder, som træning på trykt tekst ikke dækker.
Thailandske cifre ๐–๙ ved siden af arabiske, år i buddhistisk tidsregning, der ligger 543 år foran den gregorianske, og beløb i baht skrevet i et thailandsk talregister. Læs året forkert, og hver dato i dokumentet er forkert.
Fire sanser, tre modeller
Leveres som separate modeller i stedet for én stor, for så kan routeren sende et foto til den model, der læser, og en optagelse til den model, der hører — og ingen af dem betaler for den andens vægte.
Fotos, skærmbilleder, diagrammer, hylder, scener, formularer. Svarer på thai om det, der er i billedet, med den region, det blev leveret fra.
Dokumentspecialisten: stemplede, scannede, skæve, flerspaltede, delvist håndskrevne thailandske papirer omsat til strukturerede felter, du kan lægge i en database.
Thailandsk talegenkendelse og talesyntese i de fire regionale varianter, inklusive det almindelige tilfælde med et spørgsmål stillet på isan, der skal besvares på centralthai — eller omvendt.
Den, der betyder noget: et foto og et talt spørgsmål i samme forespørgsel, besvaret ud fra dine egne dokumenter. Det er den evne, de separate modeller findes for at gøre billig.
Atten ting, der ikke var mulige før
Hver er et job, som nogen i Thailand i dag udfører ved at skrive det af, der ligger foran dem. Illustrative — de beskriver den tilsigtede evne, ikke leverede funktioner.
Ret kameraet mod et ทะเบียนบ้าน, og få hvert felt tilbage som strukturerede data — navne, ID-numre, adresser, det hele — uden at en sagsbehandler skriver et eneste af dem af klokken fire om eftermiddagen.
En scannet ราชกิจจานุเบกษา-side bliver til et resumé, hvor hver pligt kan spores til den artikel, den stammer fra, og ikrafttrædelsen læses som et år i buddhistisk tidsregning i stedet for at blive gættet.
Fotografér den side, en udvalgssekretær faktisk skrev, og få et maskinskrevet referat på thai i officielt register, med navnene stavet ens og beslutningerne nummereret.
Fotografér en halvt udfyldt formular fra et ministerium, og få at vide, hvilke felter der mangler, hvilket stempel der mangler, og hvilket bilag kontoret vil sende dig hjem efter.
Et foto af en thailandsk apoteksetiket bliver til en talt forklaring på enkelt thai af dosis og tidspunkter — til en patient, der læser langsomt eller ikke behersker det register, etiketten er skrevet i.
Fotografér hospitalets udskrivningsresumé, og få »hvad du skal gøre i denne uge« på den dialekt, der tales derhjemme, med datoen for kontrolbesøget omregnet fra พ.ศ. og lagt ind i en påmindelse.
Vis skaden, og få at vide, hvad den ligner, hvad den ofte forveksles med, og hvilket provinsielt rådgivningskontor du skal ringe til — med et udtrykkeligt nej til at ordinere et middel, den ikke kan være sikker på.
Fotografér sækken, sig markens størrelse i rai højt, og få blandingsforholdet tilbage som et talt svar, offline, stående ude på marken.
Fotografér bunken. Få en tabel med leverandør, skattenummer, dato, moms og total, markeret dér, hvor en kvittering ikke er en fuld skattefaktura og ikke vil holde til en revision.
Et skærmbillede af en overførselskvittering, matchet med den faktura, den betaler, med beløb og reference tjekket og afvigelsen navngivet i stedet for i stilhed at blive ignoreret.
Fotografér hylden, og få en thailandsk produktliste med facings og huller — det job, der i dag er en person med et clipboard, som går gangen igennem to gange.
Fotografér siden, og få en lektionsplan knyttet til målene i den nationale læseplan, med de to mål, siden ikke dækker, udtrykkeligt navngivet.
Fotografér en elevs side, og få stavefejl, fejl i tonetegn og fejl i mellemrum markeret med den regel, hver af dem bryder — så rettelsen lærer fra sig i stedet for bare at give point.
Fotografér menukortet. Gæsten får sit eget sprog og allergenerne; retten beholder sit thailandske navn, for ผัดกะเพรา er ikke »wokket basilikum«, og en restaurant skal ikke være nødt til at lade som om.
Fotografér en tempelinskription, og få en translitteration, en læsning på enkelt thai og en ærlig bemærkning om, hvilke tegn der er for slidte til at kunne læses.
Fotografér følgesedlen ved læsserampen, og lad de strukturerede felter lande i WMS — inklusive den håndskrevne mængderettelse, som nogen har lavet med kuglepen.
Et stillbillede fra et overvågningskamera bliver til et beskrevet, tidsstemplet hændelsesnotat på thai, i det register, rapporten skal indgives i, til et menneske at underskrive.
Ret kameraet, og hør på thai, hvad der er foran dig, i gåtempo — den version af teknologien, der slet ikke er en produktivitetsfunktion.
Sådan ser det ud i API'et
Samme endpoint. Et billede i content-arrayet, og routeren klarer resten — hvilket er hele grunden til, at routingen blev leveret først.
POST /v1/messages
{
"model": "auto", // the router picks
"messages": [{
"role": "user",
"content": [
{ "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
{ "type": "text", "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
]
}],
"thai": { "register": "official", "dialect": "auto" }
}
// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
// "region": "th-bkk-1", "usage": { "baht": 0.42 } }Køreplan
Fire faser. Ingen af dem er en dato: hver fase åbner, når dens evalueringssuite er bestået, og suiten bedømmes af thaitalende, ikke af en rangliste.
Trykte og scannede thailandske dokumenter omsat til strukturerede felter. Buddhistisk tidsregning og thailandske tal håndteres ved aflæsningen, ikke lappet bagefter.
SpærringSkæve mobilfotos, stempler, segl og thailandsk håndskrift. Det er fasen, der afgør, om produktet kan bruges uden for et kontor.
SpærringTale ind og tale ud, bedømt separat for centralthai, isan, kam mueang og pak tai — for et gennemsnit på tværs af dem skjuler præcis den fejl, der betyder noget.
SpærringEn komprimeret synsmodel, der kører på en Android-telefon i mellemklassen uden forbindelse, til det arbejde, der foregår dér, hvor der ingen dækning er.
SpærringKilder
Baggrundslæsning om multimodale modeller, fra primær dokumentation og de artikler, feltet bygger på. Eksterne links, uden tilknytning til ThaiGPT+.
Den klareste korte definition af en multimodal stor sprogmodel, og hvad den er til.
NVIDIAWhat are vision-language models? — NVIDIA glossaryHvordan en billed-encoder kobles til en sprogmodel for at give den syn.
WikipediaVision-language model — WikipediaEt neutralt overblik med en bred bibliografi, hvis du vil se feltets form før detaljerne.
AnthropicVision — Claude API documentationArbejdsdokumentation for at sende billeder til en model og de praktiske grænser for at gøre det.
GoogleImage understanding — Gemini API documentationEt API, der er multimodalt fra bunden, inklusive dokumenter og video som input.
OpenAIImages and vision — OpenAI platform documentationDet andet meget brugte API til billeder, til sammenligning af, hvordan forespørgslerne ser ud.
Hugging FaceImage-text-to-text — Hugging FaceDen åbne modelside: opgavedefinition og modeller, du selv kan køre.
arXiv 2103.00020Learning Transferable Visual Models From Natural Language SupervisionCLIP, 2021 — billede og tekst trænet ind i en fælles repræsentation. Artiklen, det moderne felt tager udgangspunkt i.
arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning2022 — hvordan en frosset sprogmodel læres at være opmærksom på billeder.
arXiv 2304.08485Visual Instruction Tuning2023 — LLaVA, og det skridt, der gjorde vision-language-modeller samtalebaserede.
Førudgivelsesprogram
Tre grupper er åbne. Vælger du én, sættes formularen nedenfor op — du kan ændre det der.
Førudgivelse · tilmelding åben nu
Tre felter. Fortæl os, hvem du er, og hvor vi skriver til, så sender vi en mail, når din invitation er klar.
Virker på 3G · ภาษาไทย / English