متعدد الوسائط · خريطة الطريق خريطة الطريق — لم يُسلَّم بعد

نموذج تايلاندي يمكنك أن تُريه الأشياء.

معظم التايلاندية المهمة لا تُكتب على لوحة مفاتيح. إنها تُختم، وتُصوَّر، وتُكتب باليد، وتُطبع ثم تُمسح ضوئيًا من جديد، وتُنطق بلهجة، أو تُقرأ بصوت عالٍ لمن لا يستطيع قراءتها. والنموذج الذي لا يعالج إلا النص لا يصل إلى شيء من ذلك. إليك ما الذي يتغير، ولماذا تحتاج التايلاندية إليه تحديدًا، ومتى تقريبًا.

ما النموذج متعدد الوسائط

النموذج النصي يقرأ رموزًا. أما النموذج متعدد الوسائط فيستقبل أكثر من نوع واحد من المدخلات — صور، وصوت، وفيديو، ومستندات — ويستدلّ عليها في السياق نفسه الذي يستدلّ فيه على النص. والبناء الشائع يربط مُرمِّزًا لكل وسيط بنموذج لغوي ويدرّب هذا الربط، فتصبح الصورة شيئًا يستطيع النموذج اللغوي الانتباه إليه إلى جانب كلمات الموجّه النصي.

المصطلح المهم عمليًا هو النموذج البصري اللغوي: نموذج لغوي مزوّد بمُرمِّز للصور، وهو في الحقيقة ما تكونه كل قدرة تقريبًا من نوع «هل يستطيع قراءة لقطة شاشتي». تعريف IBM هو التعريف الموجز — نموذج قادر على معالجة وسائط متعددة كالنص والصور والصوت والاستدلال عبرها — ومسرد NVIDIA هو الموجز للنصف البصري.

الفكرة أقدم من الموجة الحالية. أظهر CLIP عام 2021 أن الصورة والنص يمكن تدريبهما في فضاء مشترك باستخدام اللغة الطبيعية إشرافًا؛ وأظهر Flamingo أن نموذجًا لغويًا مجمّدًا يمكن تعليمه الانتباه إلى الصور من أمثلة قليلة؛ ثم جعل الضبط البصري بالتعليمات النتيجةَ شيئًا يمكن التحاور معه. وكل ما هو قيد الاستخدام اليوم ينحدر من هذه الثلاثة.

اقرأ المصادر الأولية

لماذا تحتاج التايلاندية إلى هذا أكثر من الإنجليزية

ليست هذه الميزة نفسها بلغة أخرى. أربعة أمور تجعل الرؤية الحاسوبية للمستندات التايلاندية مشكلة تقنية قائمة بذاتها، والأربعة كلها أسباب لأداء النموذج العام الأضعف فيها.

1

التعرّف الضوئي على التايلاندية لم يُحَلّ بعد

لا مسافات بين الكلمات، فلا يستطيع المعرِّف أن يستعين بالفراغ لإيجاد الحدود. تتراكب الحركات وعلامات النغمات حتى أربعة مستويات حول الحرف الساكن، والمسح الذي يفقد السطر الأعلى يغيّر الكلمة بصمت بدل أن يفسدها بشكل ظاهر.

2

الأوراق تُصوَّر ولا تُمسح

المدخل الحقيقي صورة بالهاتف لصفحة مختومة على مكتب، مائلة، في مكتب فيه مصباح فلوري واحد. والاختبارات المرجعية على مسوحات نظيفة لا تقول شيئًا عن ذلك.

3

الكتابة اليدوية ما زالت هي الواجهة

سجلات القرى، وملاحظات المراكز الصحية، وإيصالات التسليم، وكشوف درجات المدارس. والخط اليدوي التايلاندي يصل الحروف ويختصرها بطرق لا يغطيها التدريب على النص المطبوع.

4

الأرقام ليست مجرد أرقام

أرقام تايلاندية ๐–๙ إلى جانب الأرقام العربية، وسنوات التقويم البوذي المتقدمة 543 سنة على الميلادي، ومبالغ بالباهت مكتوبة بصيغة الأعداد التايلاندية. أخطِئ في قراءة السنة فيصبح كل تاريخ في المستند خاطئًا.


أربع حواس، ثلاثة نماذج

تُسلَّم نماذج منفصلة بدل نموذج واحد كبير، لأن الموجِّه يستطيع حينئذ أن يرسل الصورة إلى النموذج الذي يقرأ والتسجيل إلى النموذج الذي يسمع — ولا يدفع أيٌّ منهما ثمن أوزان الآخر.

صورة · إطار فيديو

ThaiLLM-Vision

صور، ولقطات شاشة، ورسوم بيانية، ورفوف، ومشاهد، واستمارات. يجيب بالتايلاندية عمّا في الصورة، ومع كل إجابة المنطقة التي قُدِّمت منها.

مستند · كتابة يدوية

ThaiLLM-Scribe

اختصاصي المستندات: أوراق تايلاندية مختومة وممسوحة ومائلة ومتعددة الأعمدة ومكتوب بعضها باليد، تتحول إلى حقول منظّمة يمكنك وضعها في قاعدة بيانات.

صوت داخل · صوت خارج

ThaiLLM-Voice

التعرّف على الكلام التايلاندي وتوليده في المتغيرات الإقليمية الأربعة، بما في ذلك الحالة الشائعة لسؤال طُرح بالإيسان وتجب الإجابة عنه بالتايلاندية الوسطى — أو العكس.

كل ما سبق، معًا

عابر للوسائط

الأهم بينها: صورة وسؤال منطوق في الطلب نفسه، والإجابة من مستنداتك أنت. وهذه هي القدرة التي وُجدت النماذج المنفصلة لجعلها رخيصة.


ثمانية عشر أمرًا لم تكن ممكنة من قبل

كلٌّ منها عمل يقوم به أحدهم في تايلاند اليوم بإعادة كتابة ما أمامه. أمثلة توضيحية — تصف القدرة المنشودة، لا ميزات مُسلَّمة.

الحكومة والقطاع العام

صوّر صفحة من سجل الأسرة

وجِّه الكاميرا إلى ทะเบียนบ้าน واحصل على كل حقل بيانات منظمة — الأسماء وأرقام الهوية والعناوين وكل شيء — دون أن يعيد موظف كتابة أيٍّ منها في الرابعة عصرًا.

اقرأ إعلانًا في الجريدة الرسمية الملكية من صورة

تتحول صفحة ممسوحة من ราชกิจจานุเบกษา إلى ملخص يمكن فيه تتبع كل التزام إلى المادة التي جاء منها، ويُقرأ تاريخ النفاذ سنةً في التقويم البوذي بدل أن يُخمَّن.

حوّل محضر قرية مكتوبًا باليد إلى مستند

صوّر الصفحة التي كتبها أمين سر اللجنة فعلًا، واحصل على محضر مطبوع بالتايلاندية بالمستوى اللغوي الرسمي، بأسماء مكتوبة بتهجئة موحّدة وقرارات مرقّمة.

افحص الاستمارة قبل أن تقف في الطابور

صوّر استمارة وزارية نصف مملوءة واعرف أي الخانات ناقصة، وأي ختم غائب، وأي مرفق سيعيدك المكتب إلى البيت بسببه.

الصحة

اشرح ملصق دواء بصوت عالٍ

صورة ملصق صيدلية تايلاندية تصبح شرحًا منطوقًا بتايلاندية بسيطة للجرعة والمواعيد — لمريض يقرأ ببطء أو لا يُتقن المستوى اللغوي الذي كُتب به الملصق.

اجعل ورقة الخروج من المستشفى مفيدة

صوّر ملخص الخروج من المستشفى واحصل على «ما عليك فعله هذا الأسبوع» باللهجة المستخدمة في البيت، مع تحويل موعد المراجعة من พ.ศ. وإضافته إلى تذكير.

الزراعة

شخّص ورقة أرز من صورة

أرِه الضرر واعرف بمَ يشبه، وبمَ يُخلط كثيرًا، وأي مكتب إرشاد زراعي في المقاطعة ينبغي الاتصال به — مع رفض صريح لوصف علاج لا يمكنه التيقّن منه.

اقرأ كيس سماد واحسب الجرعة

صوّر الكيس، وانطق مساحة الأرض بالراي، واحصل على نسبة الخلط إجابةً منطوقة، دون اتصال، وأنت واقف في الحقل.

التجارة والمال

حوّل كومة إيصالات إلى جدول ضريبة قيمة مضافة

صوّر الكومة. واحصل على جدول بالمورّد والرقم الضريبي والتاريخ وضريبة القيمة المضافة والإجمالي، مع تنبيه حيث لا يكون الإيصال فاتورة ضريبية كاملة ولن يصمد أمام التدقيق.

طابِق إيصال PromptPay مع فاتورة

لقطة شاشة لإيصال تحويل تُطابَق مع الفاتورة التي يسددها، مع التحقق من المبلغ والمرجع وتسمية الفرق بدل تجاهله بصمت.

عُدّ رفًّا

صوّر الرف واحصل على قائمة منتجات بالتايلاندية مع الواجهات والفراغات — العمل الذي يؤديه اليوم شخص يحمل لوحًا ويمرّ على الممر مرتين.

التعليم

ابنِ درسًا من صفحة كتاب مدرسي

صوّر الصفحة واحصل على خطة درس مرتبطة بأهداف المنهج الوطني، مع تسمية الهدفين اللذين لا تغطيهما الصفحة صراحةً.

صحّح واجبًا تايلانديًا مكتوبًا باليد

صوّر صفحة الطالب واحصل على أخطاء الإملاء وأخطاء علامات النغمات وأخطاء المسافات مُعلَّمة مع القاعدة التي يخالفها كلٌّ منها — لكي يُعلِّم التصحيح لا أن يمنح درجة فحسب.

السياحة والخدمات

ترجم قائمة الطعام دون أن تفقد الطبق

صوّر القائمة. يحصل الضيف على لغته وعلى مسبّبات الحساسية؛ ويحتفظ الطبق باسمه التايلاندي، لأن ผัดกะเพรา ليس «ريحانًا مقليًا في المقلاة»، ولا ينبغي أن يُضطر مطعم إلى التظاهر بذلك.

اقرأ نقشًا

صوّر نقشًا في معبد واحصل على نقل حرفي، وقراءة بتايلاندية بسيطة، وملاحظة صادقة عن الأحرف التي بليت فلم تعد مقروءة.

الصناعة والخدمات اللوجستية

أدخل إيصال التسليم إلى النظام

صوّر إيصال التسليم عند رصيف التحميل ودَع الحقول المنظمة تصل إلى WMS — بما في ذلك تصحيح الكمية الذي كتبه أحدهم بقلم حبر.

اكتب تقرير الحادث من الإطار

لقطة ثابتة من كاميرا مراقبة تصبح مذكرة حادث موصوفة ومؤرَّخة بالتايلاندية، بالمستوى اللغوي الذي يجب أن يُقدَّم به التقرير، ليوقّعها إنسان.

إتاحة الوصول

صِف الغرفة

وجِّه الكاميرا واسمع بالتايلاندية ما أمامك، بإيقاع المشي — النسخة من هذه التقنية التي ليست ميزة إنتاجية على الإطلاق.


كيف يبدو ذلك في الواجهة البرمجية

نقطة النهاية نفسها. صورة في مصفوفة content، والموجِّه يتولى الباقي — وهذا هو السبب كله في أن التوجيه سُلِّم أولًا.

POST /v1/messages
{
  "model": "auto",                     // the router picks
  "messages": [{
    "role": "user",
    "content": [
      { "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
      { "type": "text",  "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
    ]
  }],
  "thai": { "register": "official", "dialect": "auto" }
}

// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
//   "region": "th-bkk-1", "usage": { "baht": 0.42 } }

خريطة الطريق

أربع مراحل. لا شيء منها تاريخ: كل مرحلة تُفتح حين تجتاز مجموعة الاختبار الخاصة بها، ويمنح الدرجاتِ ناطقون بالتايلاندية، لا لوحة ترتيب.

  1. 1
    المرحلة 1 · رؤية المستندات

    مستندات تايلاندية مطبوعة وممسوحة تتحول إلى حقول منظمة. يُعالَج التقويم البوذي والأرقام التايلاندية عند القراءة، ولا يُرقَّع لاحقًا.

    بوابة
  2. 2
    المرحلة 2 · الصور والكتابة اليدوية

    صور هاتف مائلة، وأختام، وطوابع، وكتابة يدوية تايلاندية. هذه هي المرحلة التي تحدد إن كان المنتج مفيدًا خارج المكتب.

    بوابة
  3. 3
    المرحلة 3 · الكلام، بمتغيراته الأربعة

    كلام داخل وكلام خارج، تُمنح درجاته منفصلة للتايلاندية الوسطى والإيسان وكام موانغ وباك تاي — لأن المتوسط العام يخفي بالضبط الإخفاق الذي يهمّ.

    بوابة
  4. 4
    المرحلة 4 · عابر للوسائط على الجهاز

    نموذج رؤية مضغوط يعمل دون اتصال على هاتف Android من الفئة المتوسطة، للعمل الذي يجري حيث لا تغطية.

    بوابة

مراجع

قراءات خلفية عن النماذج متعددة الوسائط، من التوثيق الأصلي والأوراق البحثية التي يقوم عليها هذا المجال. روابط خارجية، لا علاقة لها بـ ThaiGPT+.

IBMWhat is a multimodal LLM? — IBM

أوضح تعريف موجز للنموذج اللغوي الكبير متعدد الوسائط والغرض منه.

NVIDIAWhat are vision-language models? — NVIDIA glossary

كيف يُربط مُرمِّز الصور بنموذج لغوي ليمنحه البصر.

WikipediaVision-language model — Wikipedia

نظرة عامة محايدة مع قائمة مراجع واسعة، إن أردت أن ترى شكل المجال قبل التفاصيل.

AnthropicVision — Claude API documentation

توثيق عملي لإرسال الصور إلى نموذج، وحدود ذلك العملية.

GoogleImage understanding — Gemini API documentation

واجهة برمجية متعددة الوسائط من أساسها، تقبل المستندات والفيديو مدخلاتٍ.

OpenAIImages and vision — OpenAI platform documentation

الواجهة البرمجية الأخرى الشائعة الاستخدام للصور، لمقارنة شكل الطلبات.

Hugging FaceImage-text-to-text — Hugging Face

جانب النماذج المفتوحة: تعريف المهمة، ونماذج يمكنك تشغيلها بنفسك.

arXiv 2103.00020Learning Transferable Visual Models From Natural Language Supervision

CLIP، 2021 — صورة ونص مدرَّبان في تمثيل مشترك. الورقة التي ينطلق منها المجال الحديث.

arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning

2022 — كيف يُعلَّم نموذج لغوي مجمّد الانتباه إلى الصور.

arXiv 2304.08485Visual Instruction Tuning

2023 — LLaVA، والخطوة التي جعلت النماذج البصرية اللغوية حوارية.

برنامج الإصدار التمهيدي

اختر طريقة انضمامك.

ثلاث مجموعات مفتوحة. اختيار واحدة يهيّئ النموذج أدناه — ويمكنك تغييره هناك.