Fotografera en sida ur hushållsregistret
Rikta kameran mot ett ทะเบียนบ้าน och få tillbaka varje fält som strukturerad data — namn, id-nummer, adresser, allt — utan att en handläggare skriver av ett enda av dem klockan fyra på eftermiddagen.
Multimodal · färdplan Färdplan — ännu inte levererad
Det mesta av den thailändska som spelar roll skrivs inte på tangentbord. Den stämplas, fotograferas, handskrivs, skrivs ut och skannas igen, talas på en dialekt eller läses upp för någon som inte kan läsa den. En modell som bara hanterar text når inget av det. Här är vad som förändras, varför just thailändska behöver det och ungefär när.
Vad en multimodal modell är
En textmodell läser tokens. En multimodal modell tar emot mer än en sorts indata — bilder, ljud, video, dokument — och resonerar om dem i samma kontext som texten. Den vanliga konstruktionen kopplar en kodare per modalitet till en språkmodell och tränar kopplingen, så att en bild blir något som språkmodellen kan uppmärksamma bredvid orden i prompten.
Termen som spelar roll i praktiken är vision-language-modellen: en språkmodell med en bildkodare, vilket är vad nästan varje förmåga av typen ”kan den läsa min skärmdump” egentligen är. IBM:s definition är den korta — en modell som kan bearbeta och resonera över flera modaliteter som text, bilder och ljud — och NVIDIA:s ordlista är den korta för den visuella halvan.
Idén är äldre än den nuvarande vågen. CLIP visade 2021 att bild och text kunde tränas in i ett gemensamt rum med hjälp av naturligt språk som övervakning; Flamingo visade att en fryst språkmodell kunde läras att uppmärksamma bilder med några få exempel; visuell instruktionsjustering gjorde resultatet till något man kan prata med. Allt som är i drift i dag härstammar från de tre.
Läs primärkällornaVarför thailändska behöver det här mer än engelska
Det är inte samma funktion på ett annat språk. Fyra saker gör dokumentseende för thailändska till ett eget tekniskt problem, och alla fyra är skäl till att en allmän modell presterar sämre på det.
Inga mellanslag mellan orden, så en igenkännare kan inte använda blanksteg för att hitta gränser. Vokaler och tontecken staplas upp till fyra nivåer kring en konsonant, och en skanning som tappar den översta raden ändrar ordet i tysthet i stället för att förstöra det synligt.
Den verkliga indatan är ett mobilfoto av en stämplad sida på ett skrivbord, snett, på ett kontor med ett enda lysrör. Benchmarks med rena skanningar säger ingenting om det.
Byregister, anteckningar från vårdcentraler, följesedlar, betygslistor från skolor. Thailändsk handskrift binder ihop och förkortar på sätt som träning på tryckt text inte täcker.
Thailändska siffror ๐–๙ bredvid arabiska, år i buddhistisk tideräkning som ligger 543 år före den gregorianska, och belopp i baht skrivna i ett thailändskt sifferregister. Läs året fel så blir varje datum i dokumentet fel.
Fyra sinnen, tre modeller
Levereras som separata modeller i stället för en stor, eftersom routern då kan skicka ett foto till modellen som läser och en inspelning till modellen som hör — och ingen av dem betalar för den andras vikter.
Foton, skärmdumpar, diagram, hyllor, scener, formulär. Svarar på thailändska om det som finns i bilden, med den region det levererades från.
Dokumentspecialisten: stämplade, skannade, sneda, flerspaltiga, delvis handskrivna thailändska papper omvandlade till strukturerade fält som du kan lägga i en databas.
Thailändsk taligenkänning och talsyntes i de fyra regionala varianterna, inklusive det vanliga fallet med en fråga ställd på isan som måste besvaras på centralthai — eller tvärtom.
Den som spelar roll: ett foto och en talad fråga i samma förfrågan, besvarade utifrån dina egna dokument. Det är den förmåga som de separata modellerna finns till för att göra billig.
Arton saker som inte gick förut
Var och en är ett jobb som någon i Thailand gör i dag genom att skriva av det som ligger framför dem. Illustrativa — de beskriver avsedd förmåga, inte levererade funktioner.
Rikta kameran mot ett ทะเบียนบ้าน och få tillbaka varje fält som strukturerad data — namn, id-nummer, adresser, allt — utan att en handläggare skriver av ett enda av dem klockan fyra på eftermiddagen.
En skannad ราชกิจจานุเบกษา-sida blir en sammanfattning där varje skyldighet kan spåras till den artikel den kommer från, och ikraftträdandet läses som ett år i buddhistisk tideräkning i stället för att gissas.
Fotografera sidan som en kommittésekreterare faktiskt skrev och få ett maskinskrivet protokoll på thailändska i officiellt register, med namnen konsekvent stavade och besluten numrerade.
Fotografera ett halvifyllt formulär från ett ministerium och få veta vilka rutor som saknas, vilken stämpel som fattas och vilken bilaga kontoret kommer att skicka hem dig för.
Ett foto av en thailändsk apoteksetikett blir en talad förklaring på enkel thailändska av dosen och tiderna — för en patient som läser långsamt eller inte behärskar registret som etiketten är skriven i.
Fotografera sjukhusets utskrivningssammanfattning och få ”vad du ska göra den här veckan” på den dialekt som talas hemma, med återbesöksdatumet omräknat från พ.ศ. och inlagt i en påminnelse.
Visa skadan och få veta vad den liknar, vad den ofta förväxlas med och vilket provinsiellt rådgivningskontor du ska ringa — med ett uttryckligt nej till att ordinera ett medel den inte kan vara säker på.
Fotografera säcken, säg tomtens storlek i rai högt och få blandningsförhållandet tillbaka som ett talat svar, offline, stående ute på fältet.
Fotografera högen. Få en tabell med leverantör, skattenummer, datum, moms och summa, flaggad där ett kvitto inte är en fullständig skattefaktura och inte klarar en revision.
En skärmdump av ett överföringskvitto, matchad mot fakturan den betalar, med belopp och referens kontrollerade och avvikelsen namngiven i stället för att ignoreras i tysthet.
Fotografera hyllan och få en thailändsk produktlista med fronter och luckor — jobbet som i dag är en person med skrivplatta som går längs en hyllgång två gånger.
Fotografera sidan och få en lektionsplanering kopplad till målen i den nationella läroplanen, med de två mål som sidan inte täcker uttryckligen namngivna.
Fotografera en elevs sida och få stavfel, fel på tontecken och fel i mellanrum flaggade med den regel var och en bryter mot — så att rättningen lär ut i stället för att bara sätta poäng.
Fotografera menyn. Gästen får sitt eget språk och allergenerna; rätten behåller sitt thailändska namn, för ผัดกะเพรา är inte ”wokad basilika” och en restaurang ska inte behöva låtsas att den är det.
Fotografera en tempelinskription och få en translitterering, en läsning på enkel thailändska och en ärlig anteckning om vilka tecken som är för slitna för att kunna läsas.
Fotografera följesedeln vid lastkajen och låt de strukturerade fälten hamna i WMS — inklusive den handskrivna mängdrättelse som någon gjort med penna.
En stillbild från en övervakningskamera blir en beskriven, tidsstämplad incidentanteckning på thailändska, i det register rapporten ska lämnas in i, för en människa att skriva under.
Rikta kameran och hör på thailändska vad som finns framför dig, i gånghastighet — den version av tekniken som inte alls är en produktivitetsfunktion.
Så ser det ut i API:et
Samma endpoint. En bild i innehållsarrayen, och routern sköter resten — vilket är hela anledningen till att routningen levererades först.
POST /v1/messages
{
"model": "auto", // the router picks
"messages": [{
"role": "user",
"content": [
{ "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
{ "type": "text", "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
]
}],
"thai": { "register": "official", "dialect": "auto" }
}
// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
// "region": "th-bkk-1", "usage": { "baht": 0.42 } }Färdplan
Fyra faser. Ingen av dem är ett datum: varje fas öppnar när dess utvärderingssvit är godkänd, och sviten bedöms av thailändsktalande, inte av en topplista.
Tryckta och skannade thailändska dokument omvandlade till strukturerade fält. Buddhistisk tideräkning och thailändska siffror hanteras vid läsningen, inte lappas i efterhand.
SpärrSneda mobilfoton, stämplar, sigill och thailändsk handskrift. Det här är fasen som avgör om produkten är användbar utanför ett kontor.
SpärrTal in och tal ut, bedömt separat för centralthai, isan, kam mueang och pak tai — eftersom ett genomsnitt över alla döljer exakt det misslyckande som spelar roll.
SpärrEn komprimerad seendemodell som körs på en Android-telefon i mellanklassen utan uppkoppling, för det arbete som sker där det saknas täckning.
SpärrKällor
Bakgrundsläsning om multimodala modeller, från primär dokumentation och de artiklar som området bygger på. Externa länkar, utan koppling till ThaiGPT+.
Den tydligaste korta definitionen av en multimodal stor språkmodell och vad den är till för.
NVIDIAWhat are vision-language models? — NVIDIA glossaryHur en bildkodare kopplas till en språkmodell för att ge den syn.
WikipediaVision-language model — WikipediaEn neutral översikt med en bred bibliografi, om du vill se områdets form innan detaljerna.
AnthropicVision — Claude API documentationArbetsdokumentation för att skicka bilder till en modell, och de praktiska gränserna för att göra det.
GoogleImage understanding — Gemini API documentationEtt API som är multimodalt från grunden, inklusive dokument och video som indata.
OpenAIImages and vision — OpenAI platform documentationDet andra flitigt använda API:et för bilder, för att jämföra hur förfrågningarna ser ut.
Hugging FaceImage-text-to-text — Hugging FaceDen öppna modellsidan: uppgiftsdefinition och modeller som du kan köra själv.
arXiv 2103.00020Learning Transferable Visual Models From Natural Language SupervisionCLIP, 2021 — bild och text tränade in i en gemensam representation. Artikeln som det moderna området utgår från.
arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning2022 — hur en fryst språkmodell lärs att uppmärksamma bilder.
arXiv 2304.08485Visual Instruction Tuning2023 — LLaVA, och steget som gjorde vision-language-modeller konverserande.
Program för förhandsversionen
Tre grupper är öppna. Väljer du en ställs formuläret nedan in — du kan ändra det där.
Förhandsversion · anmälan öppen
Tre fält. Berätta vem du är och vart vi skriver, så mejlar vi när din inbjudan är klar.
Fungerar på 3G · ภาษาไทย / English