Multimodal · färdplan Färdplan — ännu inte levererad

En thailändsk modell som man kan visa saker.

Det mesta av den thailändska som spelar roll skrivs inte på tangentbord. Den stämplas, fotograferas, handskrivs, skrivs ut och skannas igen, talas på en dialekt eller läses upp för någon som inte kan läsa den. En modell som bara hanterar text når inget av det. Här är vad som förändras, varför just thailändska behöver det och ungefär när.

Vad en multimodal modell är

En textmodell läser tokens. En multimodal modell tar emot mer än en sorts indata — bilder, ljud, video, dokument — och resonerar om dem i samma kontext som texten. Den vanliga konstruktionen kopplar en kodare per modalitet till en språkmodell och tränar kopplingen, så att en bild blir något som språkmodellen kan uppmärksamma bredvid orden i prompten.

Termen som spelar roll i praktiken är vision-language-modellen: en språkmodell med en bildkodare, vilket är vad nästan varje förmåga av typen ”kan den läsa min skärmdump” egentligen är. IBM:s definition är den korta — en modell som kan bearbeta och resonera över flera modaliteter som text, bilder och ljud — och NVIDIA:s ordlista är den korta för den visuella halvan.

Idén är äldre än den nuvarande vågen. CLIP visade 2021 att bild och text kunde tränas in i ett gemensamt rum med hjälp av naturligt språk som övervakning; Flamingo visade att en fryst språkmodell kunde läras att uppmärksamma bilder med några få exempel; visuell instruktionsjustering gjorde resultatet till något man kan prata med. Allt som är i drift i dag härstammar från de tre.

Läs primärkällorna

Varför thailändska behöver det här mer än engelska

Det är inte samma funktion på ett annat språk. Fyra saker gör dokumentseende för thailändska till ett eget tekniskt problem, och alla fyra är skäl till att en allmän modell presterar sämre på det.

1

Thailändsk OCR är inte löst

Inga mellanslag mellan orden, så en igenkännare kan inte använda blanksteg för att hitta gränser. Vokaler och tontecken staplas upp till fyra nivåer kring en konsonant, och en skanning som tappar den översta raden ändrar ordet i tysthet i stället för att förstöra det synligt.

2

Papperen fotograferas, de skannas inte

Den verkliga indatan är ett mobilfoto av en stämplad sida på ett skrivbord, snett, på ett kontor med ett enda lysrör. Benchmarks med rena skanningar säger ingenting om det.

3

Handskrift är fortfarande gränssnittet

Byregister, anteckningar från vårdcentraler, följesedlar, betygslistor från skolor. Thailändsk handskrift binder ihop och förkortar på sätt som träning på tryckt text inte täcker.

4

Siffrorna är inte siffrorna

Thailändska siffror ๐–๙ bredvid arabiska, år i buddhistisk tideräkning som ligger 543 år före den gregorianska, och belopp i baht skrivna i ett thailändskt sifferregister. Läs året fel så blir varje datum i dokumentet fel.


Fyra sinnen, tre modeller

Levereras som separata modeller i stället för en stor, eftersom routern då kan skicka ett foto till modellen som läser och en inspelning till modellen som hör — och ingen av dem betalar för den andras vikter.

bild · videobildruta

ThaiLLM-Vision

Foton, skärmdumpar, diagram, hyllor, scener, formulär. Svarar på thailändska om det som finns i bilden, med den region det levererades från.

dokument · handskrift

ThaiLLM-Scribe

Dokumentspecialisten: stämplade, skannade, sneda, flerspaltiga, delvis handskrivna thailändska papper omvandlade till strukturerade fält som du kan lägga i en databas.

ljud in · ljud ut

ThaiLLM-Voice

Thailändsk taligenkänning och talsyntes i de fyra regionala varianterna, inklusive det vanliga fallet med en fråga ställd på isan som måste besvaras på centralthai — eller tvärtom.

allt ovanstående, tillsammans

Tvärmodal

Den som spelar roll: ett foto och en talad fråga i samma förfrågan, besvarade utifrån dina egna dokument. Det är den förmåga som de separata modellerna finns till för att göra billig.


Arton saker som inte gick förut

Var och en är ett jobb som någon i Thailand gör i dag genom att skriva av det som ligger framför dem. Illustrativa — de beskriver avsedd förmåga, inte levererade funktioner.

Regering och offentlig förvaltning

Fotografera en sida ur hushållsregistret

Rikta kameran mot ett ทะเบียนบ้าน och få tillbaka varje fält som strukturerad data — namn, id-nummer, adresser, allt — utan att en handläggare skriver av ett enda av dem klockan fyra på eftermiddagen.

Läsa en kungörelse i Royal Gazette från ett foto

En skannad ราชกิจจานุเบกษา-sida blir en sammanfattning där varje skyldighet kan spåras till den artikel den kommer från, och ikraftträdandet läses som ett år i buddhistisk tideräkning i stället för att gissas.

Göra ett handskrivet byprotokoll till ett dokument

Fotografera sidan som en kommittésekreterare faktiskt skrev och få ett maskinskrivet protokoll på thailändska i officiellt register, med namnen konsekvent stavade och besluten numrerade.

Kontrollera ett formulär innan du ställer dig i kö

Fotografera ett halvifyllt formulär från ett ministerium och få veta vilka rutor som saknas, vilken stämpel som fattas och vilken bilaga kontoret kommer att skicka hem dig för.

Hälsa

Förklara en läkemedelsetikett högt

Ett foto av en thailändsk apoteksetikett blir en talad förklaring på enkel thailändska av dosen och tiderna — för en patient som läser långsamt eller inte behärskar registret som etiketten är skriven i.

Göra ett utskrivningsbesked användbart

Fotografera sjukhusets utskrivningssammanfattning och få ”vad du ska göra den här veckan” på den dialekt som talas hemma, med återbesöksdatumet omräknat från พ.ศ. och inlagt i en påminnelse.

Jordbruk

Diagnostisera ett risblad från ett foto

Visa skadan och få veta vad den liknar, vad den ofta förväxlas med och vilket provinsiellt rådgivningskontor du ska ringa — med ett uttryckligt nej till att ordinera ett medel den inte kan vara säker på.

Läsa en gödselsäck och räkna ut dosen

Fotografera säcken, säg tomtens storlek i rai högt och få blandningsförhållandet tillbaka som ett talat svar, offline, stående ute på fältet.

Handel och finans

Göra en hög kvitton till en momstabell

Fotografera högen. Få en tabell med leverantör, skattenummer, datum, moms och summa, flaggad där ett kvitto inte är en fullständig skattefaktura och inte klarar en revision.

Stämma av ett PromptPay-kvitto mot en faktura

En skärmdump av ett överföringskvitto, matchad mot fakturan den betalar, med belopp och referens kontrollerade och avvikelsen namngiven i stället för att ignoreras i tysthet.

Räkna en hylla

Fotografera hyllan och få en thailändsk produktlista med fronter och luckor — jobbet som i dag är en person med skrivplatta som går längs en hyllgång två gånger.

Utbildning

Bygga en lektion från en sida i läroboken

Fotografera sidan och få en lektionsplanering kopplad till målen i den nationella läroplanen, med de två mål som sidan inte täcker uttryckligen namngivna.

Rätta handskrivna läxor på thailändska

Fotografera en elevs sida och få stavfel, fel på tontecken och fel i mellanrum flaggade med den regel var och en bryter mot — så att rättningen lär ut i stället för att bara sätta poäng.

Turism och tjänster

Översätta en meny utan att förlora rätten

Fotografera menyn. Gästen får sitt eget språk och allergenerna; rätten behåller sitt thailändska namn, för ผัดกะเพรา är inte ”wokad basilika” och en restaurang ska inte behöva låtsas att den är det.

Läsa en inskription

Fotografera en tempelinskription och få en translitterering, en läsning på enkel thailändska och en ärlig anteckning om vilka tecken som är för slitna för att kunna läsas.

Industri och logistik

Få in en följesedel i systemet

Fotografera följesedeln vid lastkajen och låt de strukturerade fälten hamna i WMS — inklusive den handskrivna mängdrättelse som någon gjort med penna.

Skriva incidentrapporten utifrån bildrutan

En stillbild från en övervakningskamera blir en beskriven, tidsstämplad incidentanteckning på thailändska, i det register rapporten ska lämnas in i, för en människa att skriva under.

Tillgänglighet

Beskriva rummet

Rikta kameran och hör på thailändska vad som finns framför dig, i gånghastighet — den version av tekniken som inte alls är en produktivitetsfunktion.


Så ser det ut i API:et

Samma endpoint. En bild i innehållsarrayen, och routern sköter resten — vilket är hela anledningen till att routningen levererades först.

POST /v1/messages
{
  "model": "auto",                     // the router picks
  "messages": [{
    "role": "user",
    "content": [
      { "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
      { "type": "text",  "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
    ]
  }],
  "thai": { "register": "official", "dialect": "auto" }
}

// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
//   "region": "th-bkk-1", "usage": { "baht": 0.42 } }

Färdplan

Fyra faser. Ingen av dem är ett datum: varje fas öppnar när dess utvärderingssvit är godkänd, och sviten bedöms av thailändsktalande, inte av en topplista.

  1. 1
    Fas 1 · Dokumentseende

    Tryckta och skannade thailändska dokument omvandlade till strukturerade fält. Buddhistisk tideräkning och thailändska siffror hanteras vid läsningen, inte lappas i efterhand.

    Spärr
  2. 2
    Fas 2 · Foto och handskrift

    Sneda mobilfoton, stämplar, sigill och thailändsk handskrift. Det här är fasen som avgör om produkten är användbar utanför ett kontor.

    Spärr
  3. 3
    Fas 3 · Tal, alla fyra varianter

    Tal in och tal ut, bedömt separat för centralthai, isan, kam mueang och pak tai — eftersom ett genomsnitt över alla döljer exakt det misslyckande som spelar roll.

    Spärr
  4. 4
    Fas 4 · Tvärmodalt på enheten

    En komprimerad seendemodell som körs på en Android-telefon i mellanklassen utan uppkoppling, för det arbete som sker där det saknas täckning.

    Spärr

Källor

Bakgrundsläsning om multimodala modeller, från primär dokumentation och de artiklar som området bygger på. Externa länkar, utan koppling till ThaiGPT+.

Program för förhandsversionen

Välj hur du vill vara med.

Tre grupper är öppna. Väljer du en ställs formuläret nedan in — du kan ändra det där.