Multimodalita · plán vývoje Plán vývoje — zatím nedodáno

Thajský model, kterému můžete věci ukázat.

Většina thajštiny, na které záleží, se nepíše na klávesnici. Je orazítkovaná, vyfocená, psaná rukou, vytištěná a znovu naskenovaná, vyslovená v dialektu nebo předčítaná někomu, kdo ji neumí přečíst. Model, který zvládá jen text, nedosáhne na nic z toho. Tady je, co se mění, proč to potřebuje právě thajština a zhruba kdy.

Co je multimodální model

Textový model čte tokeny. Multimodální model přijímá víc než jeden druh vstupu — obrázky, zvuk, video, dokumenty — a uvažuje nad nimi ve stejném kontextu jako nad textem. Běžná konstrukce připojí k jazykovému modelu enkodér pro každou modalitu a natrénuje toto spojení, takže se obrázek stane něčím, čemu může jazykový model věnovat pozornost vedle slov v promptu.

Pojem, na kterém v praxi záleží, je vizuálně-jazykový model: jazykový model s obrazovým enkodérem, což je ve skutečnosti téměř každá schopnost typu „přečte můj snímek obrazovky?“. Definice IBM je ta krátká — model, který dokáže zpracovávat více modalit, jako je text, obrázky a zvuk, a uvažovat napříč nimi — a glosář NVIDIA je ta krátká pro vizuální polovinu.

Myšlenka je starší než současná vlna. CLIP v roce 2021 ukázal, že obraz a text lze natrénovat do společného prostoru s přirozeným jazykem jako supervizí; Flamingo ukázal, že zmrazený jazykový model lze naučit věnovat pozornost obrázkům z několika příkladů; vizuální ladění instrukcí z výsledku udělalo něco, s čím se dá mluvit. Vše, co je dnes v provozu, pochází z těchto tří.

Přečtěte si primární zdroje

Proč to thajština potřebuje víc než angličtina

Není to stejná funkce v jiném jazyce. Čtyři věci dělají z vidění dokumentů v thajštině samostatný technický problém a všechny čtyři jsou důvodem, proč v něm obecný model dopadá hůř.

1

Thajské OCR není vyřešené

Žádné mezery mezi slovy, takže rozpoznávač nemůže hledat hranice podle prázdného místa. Samohlásky a tónová znaménka se vrství až do čtyř úrovní kolem souhlásky a sken, který ztratí horní řádek, slovo potichu změní, místo aby ho viditelně rozbil.

2

Papíry se fotí, ne skenují

Skutečný vstup je fotka orazítkované stránky z telefonu na stole, nakřivo, v kanceláři s jedinou zářivkou. Srovnávací testy s čistými skeny o tom neříkají nic.

3

Rukopis je pořád rozhraní

Vesnické rejstříky, poznámky ze zdravotních středisek, dodací listy, školní klasifikační archy. Thajský rukopis spojuje a zkracuje způsoby, které trénink na tištěném textu nepokryje.

4

Čísla nejsou čísla

Thajské číslice ๐–๙ vedle arabských, roky buddhistické éry, které předbíhají gregoriánský kalendář o 543 let, a částky v bahtech psané thajským číselným registrem. Přečtěte špatně rok a každé datum v dokumentu je špatně.


Čtyři smysly, tři modely

Dodávány jako samostatné modely místo jednoho velkého, protože router pak může poslat fotku modelu, který čte, a nahrávku modelu, který slyší — a žádný z nich neplatí za váhy toho druhého.

obrázek · snímek videa

ThaiLLM-Vision

Fotky, snímky obrazovky, grafy, regály, scény, formuláře. Odpovídá thajsky o tom, co je na obrázku, i s regionem, ze kterého byla odpověď obsloužena.

dokument · rukopis

ThaiLLM-Scribe

Specialista na dokumenty: orazítkované, naskenované, zkosené, vícesloupcové, částečně ručně psané thajské papíry převedené na strukturovaná pole, která můžete uložit do databáze.

zvuk dovnitř · zvuk ven

ThaiLLM-Voice

Thajské rozpoznávání a syntéza řeči ve čtyřech regionálních varietách, včetně běžného případu otázky položené v isan, na kterou je třeba odpovědět centrální thajštinou — nebo naopak.

vše výše uvedené dohromady

Crossmodální

Ten, na kterém záleží: fotka a vyslovená otázka v jednom požadavku, zodpovězené na základě vašich vlastních dokumentů. To je schopnost, kterou mají samostatné modely zlevnit.


Osmnáct věcí, které dřív nešly

Každá je práce, kterou dnes někdo v Thajsku dělá tak, že přepisuje, co má před sebou. Ilustrativní — popisují zamýšlené schopnosti, ne dodané funkce.

Státní správa a veřejný sektor

Vyfoťte stránku domovní knihy

Namiřte fotoaparát na ทะเบียนบ้าน a dostanete každé pole zpět jako strukturovaná data — jména, čísla průkazů, adresy, všechno — aniž by úředník ve čtyři odpoledne kterékoli z nich přepisoval.

Přečtěte oznámení z Královského věstníku z fotky

Naskenovaná stránka ราชกิจจานุเบกษา se změní ve shrnutí, kde lze každou povinnost dohledat k článku, ze kterého pochází, a datum účinnosti se čte jako rok buddhistické éry, místo aby se hádalo.

Udělejte z ručně psaného vesnického zápisu dokument

Vyfoťte stránku, kterou skutečně napsal tajemník výboru, a získejte strojopisný zápis v thajštině v úředním registru, se jmény psanými jednotně a očíslovanými usneseními.

Zkontrolujte formulář dřív, než se postavíte do fronty

Vyfoťte napůl vyplněný formulář ministerstva a zjistěte, která pole chybějí, které razítko chybí a kvůli které příloze vás úřad pošle domů.

Zdravotnictví

Vysvětlete nahlas etiketu léku

Fotka thajské lékárenské etikety se změní v mluvené vysvětlení dávky a časů jednoduchou thajštinou — pro pacienta, který čte pomalu nebo neovládá registr, jímž je etiketa napsaná.

Udělejte propouštěcí zprávu použitelnou

Vyfoťte nemocniční propouštěcí zprávu a získejte „co dělat tento týden“ v dialektu, kterým se mluví doma, s datem kontroly převedeným z พ.ศ. a vloženým do připomínky.

Zemědělství

Diagnostikujte list rýže z fotky

Ukažte poškození a zjistěte, čemu se podobá, s čím se často plete a kterému provinčnímu poradenskému úřadu zavolat — s výslovným odmítnutím předepsat přípravek, kterým si nemůže být jistý.

Přečtěte pytel hnojiva a spočítejte dávku

Vyfoťte pytel, řekněte nahlas velikost pozemku v rai a dostanete poměr míchání jako mluvenou odpověď, offline, přímo na poli.

Obchod a finance

Udělejte z hromádky účtenek tabulku DPH

Vyfoťte hromádku. Dostanete tabulku s dodavatelem, daňovým číslem, datem, DPH a součtem, s označením tam, kde účtenka není úplný daňový doklad a kontrolou neprojde.

Spárujte potvrzení PromptPay s fakturou

Snímek obrazovky potvrzení o převodu spárovaný s fakturou, kterou platí, s ověřenou částkou a referencí a s pojmenovaným rozdílem, místo aby byl potichu ignorován.

Spočítejte regál

Vyfoťte regál a získejte thajský seznam produktů s čely a mezerami — práci, kterou dnes dělá člověk s podložkou, který projde uličku dvakrát.

Vzdělávání

Postavte hodinu ze stránky učebnice

Vyfoťte stránku a získejte přípravu na hodinu navázanou na cíle národního kurikula, se dvěma cíli, které stránka nepokrývá, výslovně uvedenými.

Opravte ručně psaný domácí úkol z thajštiny

Vyfoťte žákovu stránku a dostanete pravopisné chyby, chyby v tónových znaménkách a chyby v mezerách označené pravidlem, které každá porušuje — aby oprava učila, a ne jen známkovala.

Cestovní ruch a služby

Přeložte jídelní lístek, aniž byste ztratili jídlo

Vyfoťte jídelní lístek. Host dostane svůj jazyk i alergeny; jídlo si ponechá thajský název, protože ผัดกะเพรา není „bazalka z woku“ a restaurace by neměla muset předstírat, že je.

Přečtěte nápis

Vyfoťte chrámový nápis a získejte transliteraci, čtení jednoduchou thajštinou a poctivou poznámku o tom, které znaky jsou příliš ošoupané na to, aby se daly přečíst.

Průmysl a logistika

Dostaňte dodací list do systému

Vyfoťte dodací list u rampy a nechte strukturovaná pole dopadnout do WMS — včetně ručně psané opravy množství, kterou někdo udělal propiskou.

Napište hlášení o incidentu ze snímku

Záběr z bezpečnostní kamery se změní v popsaný, časově označený záznam o incidentu v thajštině, v registru, v jakém se hlášení podává, k podpisu člověkem.

Přístupnost

Popište místnost

Namiřte fotoaparát a slyšte thajsky, co je před vámi, v tempu chůze — ta verze technologie, která vůbec není funkcí pro produktivitu.


Jak to vypadá v API

Stejný endpoint. Obrázek v poli content a router se postará o zbytek — což je celý důvod, proč bylo směrování dodáno jako první.

POST /v1/messages
{
  "model": "auto",                     // the router picks
  "messages": [{
    "role": "user",
    "content": [
      { "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
      { "type": "text",  "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
    ]
  }],
  "thai": { "register": "official", "dialect": "auto" }
}

// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
//   "region": "th-bkk-1", "usage": { "baht": 0.42 } }

Plán vývoje

Čtyři fáze. Žádná z nich není datum: každá fáze se otevře, až projde její testovací sada, a sadu hodnotí mluvčí thajštiny, ne žebříček.

  1. 1
    Fáze 1 · Vidění dokumentů

    Tištěné a naskenované thajské dokumenty převedené na strukturovaná pole. Buddhistická éra a thajské číslice se řeší při čtení, ne se záplatují dodatečně.

    Brána
  2. 2
    Fáze 2 · Fotografie a rukopis

    Zkosené fotky z telefonu, razítka, pečeti a thajský rukopis. Tohle je fáze, která rozhodne, zda je produkt použitelný mimo kancelář.

    Brána
  3. 3
    Fáze 3 · Řeč, všechny čtyři variety

    Řeč dovnitř i ven, hodnocená zvlášť pro centrální thajštinu, isan, kam mueang a pak tai — protože průměr napříč nimi skrývá přesně to selhání, na kterém záleží.

    Brána
  4. 4
    Fáze 4 · Crossmodálně v zařízení

    Komprimovaný vizuální model, který běží bez připojení na telefonu s Androidem ze střední třídy, pro práci, která se odehrává tam, kde není signál.

    Brána

Zdroje

Doplňkové čtení o multimodálních modelech, z primární dokumentace a článků, na kterých obor stojí. Externí odkazy, bez vazby na ThaiGPT+.

Program předverze

Vyberte si, jak se přidáte.

Otevřené jsou tři skupiny. Výběr jedné nastaví formulář níže — tam jej můžete změnit.