صوّر صفحة من سجل الأسرة
وجِّه الكاميرا إلى ทะเบียนบ้าน واحصل على كل حقل بيانات منظمة — الأسماء وأرقام الهوية والعناوين وكل شيء — دون أن يعيد موظف كتابة أيٍّ منها في الرابعة عصرًا.
متعدد الوسائط · خريطة الطريق خريطة الطريق — لم يُسلَّم بعد
معظم التايلاندية المهمة لا تُكتب على لوحة مفاتيح. إنها تُختم، وتُصوَّر، وتُكتب باليد، وتُطبع ثم تُمسح ضوئيًا من جديد، وتُنطق بلهجة، أو تُقرأ بصوت عالٍ لمن لا يستطيع قراءتها. والنموذج الذي لا يعالج إلا النص لا يصل إلى شيء من ذلك. إليك ما الذي يتغير، ولماذا تحتاج التايلاندية إليه تحديدًا، ومتى تقريبًا.
ما النموذج متعدد الوسائط
النموذج النصي يقرأ رموزًا. أما النموذج متعدد الوسائط فيستقبل أكثر من نوع واحد من المدخلات — صور، وصوت، وفيديو، ومستندات — ويستدلّ عليها في السياق نفسه الذي يستدلّ فيه على النص. والبناء الشائع يربط مُرمِّزًا لكل وسيط بنموذج لغوي ويدرّب هذا الربط، فتصبح الصورة شيئًا يستطيع النموذج اللغوي الانتباه إليه إلى جانب كلمات الموجّه النصي.
المصطلح المهم عمليًا هو النموذج البصري اللغوي: نموذج لغوي مزوّد بمُرمِّز للصور، وهو في الحقيقة ما تكونه كل قدرة تقريبًا من نوع «هل يستطيع قراءة لقطة شاشتي». تعريف IBM هو التعريف الموجز — نموذج قادر على معالجة وسائط متعددة كالنص والصور والصوت والاستدلال عبرها — ومسرد NVIDIA هو الموجز للنصف البصري.
الفكرة أقدم من الموجة الحالية. أظهر CLIP عام 2021 أن الصورة والنص يمكن تدريبهما في فضاء مشترك باستخدام اللغة الطبيعية إشرافًا؛ وأظهر Flamingo أن نموذجًا لغويًا مجمّدًا يمكن تعليمه الانتباه إلى الصور من أمثلة قليلة؛ ثم جعل الضبط البصري بالتعليمات النتيجةَ شيئًا يمكن التحاور معه. وكل ما هو قيد الاستخدام اليوم ينحدر من هذه الثلاثة.
اقرأ المصادر الأوليةلماذا تحتاج التايلاندية إلى هذا أكثر من الإنجليزية
ليست هذه الميزة نفسها بلغة أخرى. أربعة أمور تجعل الرؤية الحاسوبية للمستندات التايلاندية مشكلة تقنية قائمة بذاتها، والأربعة كلها أسباب لأداء النموذج العام الأضعف فيها.
لا مسافات بين الكلمات، فلا يستطيع المعرِّف أن يستعين بالفراغ لإيجاد الحدود. تتراكب الحركات وعلامات النغمات حتى أربعة مستويات حول الحرف الساكن، والمسح الذي يفقد السطر الأعلى يغيّر الكلمة بصمت بدل أن يفسدها بشكل ظاهر.
المدخل الحقيقي صورة بالهاتف لصفحة مختومة على مكتب، مائلة، في مكتب فيه مصباح فلوري واحد. والاختبارات المرجعية على مسوحات نظيفة لا تقول شيئًا عن ذلك.
سجلات القرى، وملاحظات المراكز الصحية، وإيصالات التسليم، وكشوف درجات المدارس. والخط اليدوي التايلاندي يصل الحروف ويختصرها بطرق لا يغطيها التدريب على النص المطبوع.
أرقام تايلاندية ๐–๙ إلى جانب الأرقام العربية، وسنوات التقويم البوذي المتقدمة 543 سنة على الميلادي، ومبالغ بالباهت مكتوبة بصيغة الأعداد التايلاندية. أخطِئ في قراءة السنة فيصبح كل تاريخ في المستند خاطئًا.
أربع حواس، ثلاثة نماذج
تُسلَّم نماذج منفصلة بدل نموذج واحد كبير، لأن الموجِّه يستطيع حينئذ أن يرسل الصورة إلى النموذج الذي يقرأ والتسجيل إلى النموذج الذي يسمع — ولا يدفع أيٌّ منهما ثمن أوزان الآخر.
صور، ولقطات شاشة، ورسوم بيانية، ورفوف، ومشاهد، واستمارات. يجيب بالتايلاندية عمّا في الصورة، ومع كل إجابة المنطقة التي قُدِّمت منها.
اختصاصي المستندات: أوراق تايلاندية مختومة وممسوحة ومائلة ومتعددة الأعمدة ومكتوب بعضها باليد، تتحول إلى حقول منظّمة يمكنك وضعها في قاعدة بيانات.
التعرّف على الكلام التايلاندي وتوليده في المتغيرات الإقليمية الأربعة، بما في ذلك الحالة الشائعة لسؤال طُرح بالإيسان وتجب الإجابة عنه بالتايلاندية الوسطى — أو العكس.
الأهم بينها: صورة وسؤال منطوق في الطلب نفسه، والإجابة من مستنداتك أنت. وهذه هي القدرة التي وُجدت النماذج المنفصلة لجعلها رخيصة.
ثمانية عشر أمرًا لم تكن ممكنة من قبل
كلٌّ منها عمل يقوم به أحدهم في تايلاند اليوم بإعادة كتابة ما أمامه. أمثلة توضيحية — تصف القدرة المنشودة، لا ميزات مُسلَّمة.
وجِّه الكاميرا إلى ทะเบียนบ้าน واحصل على كل حقل بيانات منظمة — الأسماء وأرقام الهوية والعناوين وكل شيء — دون أن يعيد موظف كتابة أيٍّ منها في الرابعة عصرًا.
تتحول صفحة ممسوحة من ราชกิจจานุเบกษา إلى ملخص يمكن فيه تتبع كل التزام إلى المادة التي جاء منها، ويُقرأ تاريخ النفاذ سنةً في التقويم البوذي بدل أن يُخمَّن.
صوّر الصفحة التي كتبها أمين سر اللجنة فعلًا، واحصل على محضر مطبوع بالتايلاندية بالمستوى اللغوي الرسمي، بأسماء مكتوبة بتهجئة موحّدة وقرارات مرقّمة.
صوّر استمارة وزارية نصف مملوءة واعرف أي الخانات ناقصة، وأي ختم غائب، وأي مرفق سيعيدك المكتب إلى البيت بسببه.
صورة ملصق صيدلية تايلاندية تصبح شرحًا منطوقًا بتايلاندية بسيطة للجرعة والمواعيد — لمريض يقرأ ببطء أو لا يُتقن المستوى اللغوي الذي كُتب به الملصق.
صوّر ملخص الخروج من المستشفى واحصل على «ما عليك فعله هذا الأسبوع» باللهجة المستخدمة في البيت، مع تحويل موعد المراجعة من พ.ศ. وإضافته إلى تذكير.
أرِه الضرر واعرف بمَ يشبه، وبمَ يُخلط كثيرًا، وأي مكتب إرشاد زراعي في المقاطعة ينبغي الاتصال به — مع رفض صريح لوصف علاج لا يمكنه التيقّن منه.
صوّر الكيس، وانطق مساحة الأرض بالراي، واحصل على نسبة الخلط إجابةً منطوقة، دون اتصال، وأنت واقف في الحقل.
صوّر الكومة. واحصل على جدول بالمورّد والرقم الضريبي والتاريخ وضريبة القيمة المضافة والإجمالي، مع تنبيه حيث لا يكون الإيصال فاتورة ضريبية كاملة ولن يصمد أمام التدقيق.
لقطة شاشة لإيصال تحويل تُطابَق مع الفاتورة التي يسددها، مع التحقق من المبلغ والمرجع وتسمية الفرق بدل تجاهله بصمت.
صوّر الرف واحصل على قائمة منتجات بالتايلاندية مع الواجهات والفراغات — العمل الذي يؤديه اليوم شخص يحمل لوحًا ويمرّ على الممر مرتين.
صوّر الصفحة واحصل على خطة درس مرتبطة بأهداف المنهج الوطني، مع تسمية الهدفين اللذين لا تغطيهما الصفحة صراحةً.
صوّر صفحة الطالب واحصل على أخطاء الإملاء وأخطاء علامات النغمات وأخطاء المسافات مُعلَّمة مع القاعدة التي يخالفها كلٌّ منها — لكي يُعلِّم التصحيح لا أن يمنح درجة فحسب.
صوّر القائمة. يحصل الضيف على لغته وعلى مسبّبات الحساسية؛ ويحتفظ الطبق باسمه التايلاندي، لأن ผัดกะเพรา ليس «ريحانًا مقليًا في المقلاة»، ولا ينبغي أن يُضطر مطعم إلى التظاهر بذلك.
صوّر نقشًا في معبد واحصل على نقل حرفي، وقراءة بتايلاندية بسيطة، وملاحظة صادقة عن الأحرف التي بليت فلم تعد مقروءة.
صوّر إيصال التسليم عند رصيف التحميل ودَع الحقول المنظمة تصل إلى WMS — بما في ذلك تصحيح الكمية الذي كتبه أحدهم بقلم حبر.
لقطة ثابتة من كاميرا مراقبة تصبح مذكرة حادث موصوفة ومؤرَّخة بالتايلاندية، بالمستوى اللغوي الذي يجب أن يُقدَّم به التقرير، ليوقّعها إنسان.
وجِّه الكاميرا واسمع بالتايلاندية ما أمامك، بإيقاع المشي — النسخة من هذه التقنية التي ليست ميزة إنتاجية على الإطلاق.
كيف يبدو ذلك في الواجهة البرمجية
نقطة النهاية نفسها. صورة في مصفوفة content، والموجِّه يتولى الباقي — وهذا هو السبب كله في أن التوجيه سُلِّم أولًا.
POST /v1/messages
{
"model": "auto", // the router picks
"messages": [{
"role": "user",
"content": [
{ "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
{ "type": "text", "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
]
}],
"thai": { "register": "official", "dialect": "auto" }
}
// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
// "region": "th-bkk-1", "usage": { "baht": 0.42 } }خريطة الطريق
أربع مراحل. لا شيء منها تاريخ: كل مرحلة تُفتح حين تجتاز مجموعة الاختبار الخاصة بها، ويمنح الدرجاتِ ناطقون بالتايلاندية، لا لوحة ترتيب.
مستندات تايلاندية مطبوعة وممسوحة تتحول إلى حقول منظمة. يُعالَج التقويم البوذي والأرقام التايلاندية عند القراءة، ولا يُرقَّع لاحقًا.
بوابةصور هاتف مائلة، وأختام، وطوابع، وكتابة يدوية تايلاندية. هذه هي المرحلة التي تحدد إن كان المنتج مفيدًا خارج المكتب.
بوابةكلام داخل وكلام خارج، تُمنح درجاته منفصلة للتايلاندية الوسطى والإيسان وكام موانغ وباك تاي — لأن المتوسط العام يخفي بالضبط الإخفاق الذي يهمّ.
بوابةنموذج رؤية مضغوط يعمل دون اتصال على هاتف Android من الفئة المتوسطة، للعمل الذي يجري حيث لا تغطية.
بوابةمراجع
قراءات خلفية عن النماذج متعددة الوسائط، من التوثيق الأصلي والأوراق البحثية التي يقوم عليها هذا المجال. روابط خارجية، لا علاقة لها بـ ThaiGPT+.
أوضح تعريف موجز للنموذج اللغوي الكبير متعدد الوسائط والغرض منه.
NVIDIAWhat are vision-language models? — NVIDIA glossaryكيف يُربط مُرمِّز الصور بنموذج لغوي ليمنحه البصر.
WikipediaVision-language model — Wikipediaنظرة عامة محايدة مع قائمة مراجع واسعة، إن أردت أن ترى شكل المجال قبل التفاصيل.
AnthropicVision — Claude API documentationتوثيق عملي لإرسال الصور إلى نموذج، وحدود ذلك العملية.
GoogleImage understanding — Gemini API documentationواجهة برمجية متعددة الوسائط من أساسها، تقبل المستندات والفيديو مدخلاتٍ.
OpenAIImages and vision — OpenAI platform documentationالواجهة البرمجية الأخرى الشائعة الاستخدام للصور، لمقارنة شكل الطلبات.
Hugging FaceImage-text-to-text — Hugging Faceجانب النماذج المفتوحة: تعريف المهمة، ونماذج يمكنك تشغيلها بنفسك.
arXiv 2103.00020Learning Transferable Visual Models From Natural Language SupervisionCLIP، 2021 — صورة ونص مدرَّبان في تمثيل مشترك. الورقة التي ينطلق منها المجال الحديث.
arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning2022 — كيف يُعلَّم نموذج لغوي مجمّد الانتباه إلى الصور.
arXiv 2304.08485Visual Instruction Tuning2023 — LLaVA، والخطوة التي جعلت النماذج البصرية اللغوية حوارية.
برنامج الإصدار التمهيدي
ثلاث مجموعات مفتوحة. اختيار واحدة يهيّئ النموذج أدناه — ويمكنك تغييره هناك.
إصدار تمهيدي · التسجيل مفتوح
ثلاثة حقول. أخبرنا من أنت وأين نراسلك، وسنرسل بريداً إلكترونياً فور جهوز دعوتك.
يعمل على 3G · ภาษาไทย / English