मल्टीमॉडल · रोडमैप रोडमैप — अभी उपलब्ध नहीं

एक थाई मॉडल जिसे आप चीज़ें दिखा सकते हैं।

जो थाई मायने रखती है, उसका ज़्यादातर हिस्सा टाइप नहीं होता। उस पर मुहर लगती है, उसकी फ़ोटो खींची जाती है, वह हाथ से लिखी जाती है, छपती है और फिर स्कैन होती है, किसी बोली में बोली जाती है, या किसी ऐसे व्यक्ति को पढ़कर सुनाई जाती है जो उसे पढ़ नहीं सकता। सिर्फ़ पाठ वाला मॉडल इनमें से किसी तक नहीं पहुँचता। यहाँ बताया गया है कि क्या बदलता है, थाई को ख़ास तौर पर इसकी ज़रूरत क्यों है, और लगभग कब।

मल्टीमॉडल मॉडल क्या है

पाठ मॉडल टोकन पढ़ता है। मल्टीमॉडल मॉडल एक से ज़्यादा तरह का इनपुट लेता है — तस्वीरें, ऑडियो, वीडियो, दस्तावेज़ — और उन पर उसी संदर्भ में तर्क करता है जिसमें पाठ पर। आम तौर पर हर मोडैलिटी के लिए एक एनकोडर को भाषा मॉडल से जोड़ा जाता है और उस जोड़ को प्रशिक्षित किया जाता है, ताकि तस्वीर ऐसी चीज़ बन जाए जिस पर भाषा मॉडल प्रॉम्प्ट के शब्दों के साथ ध्यान दे सके।

व्यवहार में जो शब्द मायने रखता है, वह है विज़न-लैंग्वेज मॉडल: इमेज एनकोडर वाला भाषा मॉडल, और लगभग हर “क्या यह मेरा स्क्रीनशॉट पढ़ सकता है” वाली क्षमता असल में यही होती है। IBM की परिभाषा छोटी वाली है — ऐसा मॉडल जो पाठ, तस्वीरों और ऑडियो जैसी कई मोडैलिटी को संसाधित कर सके और उनके पार तर्क कर सके — और दृश्य वाले हिस्से के लिए NVIDIA की शब्दावली छोटी वाली है।

यह विचार मौजूदा लहर से पुराना है। CLIP ने 2021 में दिखाया कि प्राकृतिक भाषा को पर्यवेक्षण बनाकर तस्वीर और पाठ को एक साझा स्थान में प्रशिक्षित किया जा सकता है; Flamingo ने दिखाया कि एक स्थिर (फ़्रोज़न) भाषा मॉडल को कुछ ही उदाहरणों से तस्वीरों पर ध्यान देना सिखाया जा सकता है; दृश्य निर्देश-ट्यूनिंग ने नतीजे को ऐसी चीज़ बना दिया जिससे बात की जा सके। आज जो कुछ इस्तेमाल में है, वह इन्हीं तीन से निकला है।

मूल स्रोत पढ़िए

थाई को इसकी ज़रूरत अंग्रेज़ी से ज़्यादा क्यों है

यह किसी दूसरी भाषा में वही सुविधा नहीं है। चार बातें थाई के लिए दस्तावेज़-दृष्टि को एक अलग तकनीकी समस्या बनाती हैं, और चारों ही वजह हैं कि कोई सामान्य मॉडल यहाँ कमज़ोर पड़ता है।

1

थाई OCR हल नहीं हुआ है

शब्दों के बीच खाली जगह नहीं होती, इसलिए पहचानने वाला तंत्र सीमाएँ ढूँढने के लिए ख़ाली जगह का सहारा नहीं ले सकता। स्वर और टोन चिह्न किसी व्यंजन के चारों ओर चार परतों तक चढ़ते हैं, और जो स्कैन सबसे ऊपर की पंक्ति खो देता है, वह शब्द को साफ़ तौर पर तोड़ने के बजाय चुपचाप बदल देता है।

2

काग़ज़ों की फ़ोटो खींची जाती है, स्कैन नहीं

असली इनपुट मेज़ पर रखे मुहर लगे पन्ने की फ़ोन से खींची फ़ोटो है, तिरछी, एक ट्यूबलाइट वाले दफ़्तर में। साफ़ स्कैन वाले बेंचमार्क इसके बारे में कुछ नहीं बताते।

3

हस्तलेख अब भी मुख्य इंटरफ़ेस है

गाँव के रजिस्टर, स्वास्थ्य केंद्र के नोट, डिलीवरी पर्चियाँ, स्कूलों की अंक-सूचियाँ। थाई हस्तलेख ऐसे ढंग से अक्षर जोड़ता और छोटा करता है जिसे छपे पाठ पर प्रशिक्षण नहीं पकड़ पाता।

4

अंक सिर्फ़ अंक नहीं हैं

अरबी अंकों के साथ थाई अंक ๐–๙, बौद्ध संवत् के वर्ष जो ग्रेगोरियन से 543 वर्ष आगे हैं, और थाई संख्या-शैली में लिखी बाट की रक़में। वर्ष ग़लत पढ़ा तो दस्तावेज़ की हर तारीख़ ग़लत।


चार इंद्रियाँ, तीन मॉडल

एक बड़े मॉडल के बजाय अलग-अलग मॉडल के रूप में दिए जाते हैं, क्योंकि तब राउटर फ़ोटो को पढ़ने वाले मॉडल को और रिकॉर्डिंग को सुनने वाले मॉडल को भेज सकता है — और किसी को भी दूसरे के वेट्स का दाम नहीं चुकाना पड़ता।

तस्वीर · वीडियो फ़्रेम

ThaiLLM-Vision

फ़ोटो, स्क्रीनशॉट, चार्ट, शेल्फ़, दृश्य, फ़ॉर्म। तस्वीर में जो है उसके बारे में थाई में जवाब देता है, और साथ में बताता है कि जवाब किस क्षेत्र से दिया गया।

दस्तावेज़ · हस्तलेख

ThaiLLM-Scribe

दस्तावेज़ों का विशेषज्ञ: मुहर लगे, स्कैन किए, तिरछे, कई कॉलम वाले, कुछ हिस्से में हाथ से लिखे थाई काग़ज़ों को ऐसे संरचित फ़ील्ड में बदलना जिन्हें आप डेटाबेस में डाल सकें।

ऑडियो अंदर · ऑडियो बाहर

ThaiLLM-Voice

चारों क्षेत्रीय रूपों में थाई वाक्-पहचान और वाक्-संश्लेषण, उस आम स्थिति समेत जिसमें ईसान में पूछे गए सवाल का जवाब मध्य थाई में देना होता है — या इसका उल्टा।

ऊपर का सब कुछ, एक साथ

क्रॉस-मॉडल

जो असल में मायने रखता है: एक ही अनुरोध में एक फ़ोटो और बोलकर पूछा गया सवाल, जिसका जवाब आपके अपने दस्तावेज़ों के आधार पर मिले। अलग-अलग मॉडल इसी क्षमता को सस्ता बनाने के लिए हैं।


अठारह काम जो पहले नहीं हो पाते थे

हर एक ऐसा काम है जिसे आज थाईलैंड में कोई अपने सामने रखी चीज़ को दोबारा टाइप करके करता है। उदाहरण के तौर पर — ये इच्छित क्षमता बताते हैं, उपलब्ध सुविधाएँ नहीं।

सरकार और सार्वजनिक क्षेत्र

घरेलू पंजीकरण पुस्तिका के पन्ने की फ़ोटो लीजिए

कैमरा ทะเบียนบ้าน की ओर कीजिए और हर फ़ील्ड संरचित डेटा के रूप में वापस पाइए — नाम, पहचान संख्याएँ, पते, सब कुछ — बिना किसी कर्मचारी के शाम चार बजे उनमें से एक भी दोबारा टाइप किए।

फ़ोटो से शाही राजपत्र की अधिसूचना पढ़िए

स्कैन किया गया ราชกิจจานุเบกษา पन्ना ऐसा सारांश बन जाता है जिसमें हर दायित्व उस अनुच्छेद तक पहुँचाया जा सके जहाँ से वह आया, और लागू होने की तारीख़ अंदाज़े के बजाय बौद्ध संवत् के वर्ष के रूप में पढ़ी जाती है।

हाथ से लिखे ग्राम कार्यवृत्त को दस्तावेज़ बनाइए

समिति सचिव ने जो पन्ना सचमुच लिखा था उसकी फ़ोटो लीजिए और सरकारी शैली में टाइप किया थाई कार्यवृत्त पाइए, जिसमें नाम एक जैसे लिखे हों और निर्णय क्रमांकित हों।

क़तार में लगने से पहले फ़ॉर्म जाँचिए

मंत्रालय के आधे भरे फ़ॉर्म की फ़ोटो लीजिए और जानिए कि कौन-से खाने ख़ाली हैं, कौन-सी मुहर छूटी है, और कौन-से संलग्नक की वजह से दफ़्तर आपको घर लौटा देगा।

स्वास्थ्य

दवा का लेबल बोलकर समझाइए

थाई दवा दुकान के लेबल की फ़ोटो सरल थाई में ख़ुराक और समय की बोली गई व्याख्या बन जाती है — उस मरीज़ के लिए जो धीरे पढ़ता है या लेबल की शैली से परिचित नहीं है।

अस्पताल से छुट्टी के काग़ज़ को काम का बनाइए

अस्पताल के डिस्चार्ज सारांश की फ़ोटो लीजिए और घर में बोली जाने वाली बोली में “इस हफ़्ते क्या करना है” पाइए, जिसमें अगली जाँच की तारीख़ พ.ศ. से बदलकर रिमाइंडर में डाल दी गई हो।

कृषि

फ़ोटो से धान के पत्ते की बीमारी पहचानिए

नुक़सान दिखाइए और जानिए कि वह किस जैसा दिखता है, अक्सर किससे भ्रमित होता है, और किस प्रांतीय कृषि परामर्श कार्यालय को फ़ोन करना है — साथ में ऐसा उपचार बताने से साफ़ इनकार, जिसके बारे में वह पक्का न हो।

खाद की बोरी पढ़िए और मात्रा निकालिए

बोरी की फ़ोटो लीजिए, खेत का आकार राई में बोलिए, और मिश्रण का अनुपात बोले गए जवाब के रूप में पाइए — ऑफ़लाइन, खेत में खड़े-खड़े।

व्यापार और वित्त

रसीदों के ढेर को VAT तालिका बनाइए

ढेर की फ़ोटो लीजिए। विक्रेता, कर पहचान संख्या, तारीख़, VAT और कुल राशि वाली तालिका पाइए, जिसमें वे रसीदें चिह्नित हों जो पूरा कर-बीजक नहीं हैं और ऑडिट में नहीं टिकेंगी।

PromptPay रसीद का बीजक से मिलान कीजिए

ट्रांसफ़र रसीद का स्क्रीनशॉट उस बीजक से मिलाया जाता है जिसका भुगतान वह करती है, राशि और संदर्भ जाँचे जाते हैं, और अंतर को चुपचाप नज़रअंदाज़ करने के बजाय साफ़ बताया जाता है।

शेल्फ़ की गिनती कीजिए

शेल्फ़ की फ़ोटो लीजिए और फ़ेसिंग व ख़ाली जगहों सहित थाई उत्पाद-सूची पाइए — वह काम जो आज क्लिपबोर्ड लिए एक व्यक्ति गलियारे के दो चक्कर लगाकर करता है।

शिक्षा

पाठ्यपुस्तक के पन्ने से पाठ तैयार कीजिए

पन्ने की फ़ोटो लीजिए और राष्ट्रीय पाठ्यक्रम के लक्ष्यों से जुड़ी पाठ-योजना पाइए, जिसमें वे दो लक्ष्य साफ़ बताए गए हों जिन्हें वह पन्ना नहीं छूता।

हाथ से लिखे थाई गृहकार्य की जाँच कीजिए

छात्र के पन्ने की फ़ोटो लीजिए और वर्तनी, टोन चिह्न और शब्दों के बीच की दूरी की ग़लतियाँ पाइए, हर एक के साथ वह नियम जो उसने तोड़ा — ताकि सुधार सिखाए, सिर्फ़ अंक न दे।

पर्यटन और सेवाएँ

व्यंजन खोए बिना मेन्यू का अनुवाद कीजिए

मेन्यू की फ़ोटो लीजिए। मेहमान को अपनी भाषा और एलर्जी की जानकारी मिलती है; व्यंजन अपना थाई नाम बनाए रखता है, क्योंकि ผัดกะเพรา “कड़ाही में भुनी तुलसी” नहीं है, और किसी रेस्तराँ को ऐसा दिखावा करने पर मजबूर नहीं होना चाहिए।

शिलालेख पढ़िए

मंदिर के शिलालेख की फ़ोटो लीजिए और लिप्यंतरण, सरल थाई में पाठ, और एक ईमानदार टिप्पणी पाइए कि कौन-से अक्षर इतने घिस चुके हैं कि पढ़े नहीं जा सकते।

उद्योग और लॉजिस्टिक्स

डिलीवरी पर्ची को सिस्टम में डालिए

लोडिंग डॉक पर डिलीवरी पर्ची की फ़ोटो लीजिए और संरचित फ़ील्ड सीधे WMS में जाने दीजिए — उस मात्रा-सुधार समेत जो किसी ने पेन से हाथ से किया था।

फ़्रेम से घटना-रिपोर्ट लिखिए

सुरक्षा कैमरे का एक स्थिर फ़्रेम थाई में वर्णित, समय-अंकित घटना-टिप्पणी बन जाता है, उस शैली में जिसमें रिपोर्ट दाख़िल होनी है, ताकि कोई इंसान उस पर हस्ताक्षर करे।

सुलभता

कमरे का वर्णन कीजिए

कैमरा उठाइए और थाई में सुनिए कि आपके सामने क्या है, चलने की रफ़्तार से — इस तकनीक का वह रूप जो उत्पादकता की सुविधा बिल्कुल नहीं है।


API में यह कैसा दिखता है

वही एंडपॉइंट। content ऐरे में एक तस्वीर, और बाकी राउटर सँभाल लेता है — यही पूरी वजह है कि रूटिंग सबसे पहले उपलब्ध कराई गई।

POST /v1/messages
{
  "model": "auto",                     // the router picks
  "messages": [{
    "role": "user",
    "content": [
      { "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
      { "type": "text",  "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
    ]
  }],
  "thai": { "register": "official", "dialect": "auto" }
}

// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
//   "region": "th-bkk-1", "usage": { "baht": 0.42 } }

रोडमैप

चार चरण। इनमें से कोई भी तारीख़ नहीं है: हर चरण तब खुलता है जब उसका परीक्षण-समूह पास हो जाए, और उसके अंक थाई भाषी देते हैं, कोई लीडरबोर्ड नहीं।

  1. 1
    चरण 1 · दस्तावेज़-दृष्टि

    छपे और स्कैन किए थाई दस्तावेज़ों को संरचित फ़ील्ड में बदलना। बौद्ध संवत् और थाई अंक पढ़ते समय ही सँभाले जाते हैं, बाद में जोड़-तोड़ से नहीं।

    द्वार
  2. 2
    चरण 2 · फ़ोटो और हस्तलेख

    तिरछी फ़ोन फ़ोटो, मुहरें, सील और थाई हस्तलेख। यही चरण तय करता है कि उत्पाद दफ़्तर के बाहर काम का है या नहीं।

    द्वार
  3. 3
    चरण 3 · आवाज़, चारों रूप

    आवाज़ अंदर और आवाज़ बाहर, मध्य थाई, ईसान, कम मुआंग और पाक ताई के लिए अलग-अलग अंकित — क्योंकि सबका मिला-जुला औसत ठीक वही विफलता छिपा लेता है जो मायने रखती है।

    द्वार
  4. 4
    चरण 4 · उपकरण पर क्रॉस-मॉडल

    एक संकुचित दृष्टि मॉडल जो मध्यम श्रेणी के Android फ़ोन पर बिना कनेक्शन के चलता है, उस काम के लिए जो वहाँ होता है जहाँ सिग्नल नहीं है।

    द्वार

संदर्भ

मल्टीमॉडल मॉडलों पर पृष्ठभूमि-पठन, मूल दस्तावेज़ों और उन शोधपत्रों से जिन पर यह क्षेत्र खड़ा है। बाहरी लिंक, ThaiGPT+ से असंबद्ध।

IBMWhat is a multimodal LLM? — IBM

मल्टीमॉडल बड़े भाषा मॉडल और उसके उपयोग की सबसे साफ़ छोटी परिभाषा।

NVIDIAWhat are vision-language models? — NVIDIA glossary

इमेज एनकोडर को भाषा मॉडल से कैसे जोड़ा जाता है ताकि उसे दृष्टि मिले।

WikipediaVision-language model — Wikipedia

विस्तृत ग्रंथसूची वाला एक तटस्थ अवलोकन, अगर आप विवरण से पहले क्षेत्र का पूरा आकार देखना चाहें।

AnthropicVision — Claude API documentation

किसी मॉडल को तस्वीरें भेजने का व्यावहारिक दस्तावेज़, और ऐसा करने की व्यावहारिक सीमाएँ।

GoogleImage understanding — Gemini API documentation

जड़ से मल्टीमॉडल एक API, जिसमें दस्तावेज़ और वीडियो भी इनपुट के रूप में शामिल हैं।

OpenAIImages and vision — OpenAI platform documentation

तस्वीरों के लिए व्यापक रूप से इस्तेमाल होने वाला दूसरा API, अनुरोधों के रूप की तुलना के लिए।

Hugging FaceImage-text-to-text — Hugging Face

खुले मॉडलों वाला पक्ष: काम की परिभाषा और ऐसे मॉडल जिन्हें आप ख़ुद चला सकते हैं।

arXiv 2103.00020Learning Transferable Visual Models From Natural Language Supervision

CLIP, 2021 — तस्वीर और पाठ को एक साझा निरूपण में प्रशिक्षित किया गया। वह शोधपत्र जहाँ से आधुनिक क्षेत्र शुरू होता है।

arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning

2022 — एक स्थिर भाषा मॉडल को तस्वीरों पर ध्यान देना कैसे सिखाया जाता है।

arXiv 2304.08485Visual Instruction Tuning

2023 — LLaVA, और वह क़दम जिसने विज़न-लैंग्वेज मॉडलों को संवादी बनाया।

प्री-रिलीज़ कार्यक्रम

चुनिए कि आप कैसे जुड़ना चाहते हैं।

तीन समूह खुले हैं। एक चुनने पर नीचे का फ़ॉर्म तैयार हो जाएगा — वहाँ बदल भी सकते हैं।