가구 등록부 한 쪽을 찍기
ทะเบียนบ้าน에 카메라를 대면 이름, 신분증 번호, 주소 등 모든 항목이 구조화된 데이터로 돌아옵니다. 오후 4시에 직원이 하나하나 다시 입력할 필요가 없습니다.
멀티모달 · 로드맵 로드맵 — 아직 제공 전
중요한 태국어의 대부분은 키보드로 입력되지 않습니다. 도장이 찍히고, 사진으로 찍히고, 손으로 쓰이고, 인쇄된 뒤 다시 스캔되고, 방언으로 말해지고, 읽지 못하는 사람을 위해 소리 내어 읽힙니다. 텍스트만 다루는 모델은 그 어느 것에도 닿지 못합니다. 무엇이 달라지는지, 왜 태국어에 특히 필요한지, 그리고 대략 언제인지 소개합니다.
멀티모달 모델이란
텍스트 모델은 토큰을 읽습니다. 멀티모달 모델은 이미지, 음성, 동영상, 문서처럼 두 가지 이상의 입력을 받아, 텍스트와 같은 맥락 안에서 그것들에 대해 추론합니다. 흔한 구조는 모달리티별 인코더를 언어 모델에 연결하고 그 연결부를 학습시키는 것입니다. 그러면 이미지는 언어 모델이 프롬프트의 단어와 나란히 주의를 기울일 수 있는 대상이 됩니다.
실무에서 중요한 개념은 비전-언어 모델입니다. 이미지 인코더를 갖춘 언어 모델로, “내 스크린숏을 읽을 수 있나?” 같은 기능은 사실상 거의 모두 이것입니다. 짧은 정의로는 IBM의 것(텍스트, 이미지, 음성 등 여러 모달리티를 처리하고 이를 가로질러 추론할 수 있는 모델)이 있고, 시각 쪽은 NVIDIA 용어집이 간결합니다.
이 발상은 지금의 물결보다 오래되었습니다. CLIP은 2021년에 자연어를 지도 신호로 삼아 이미지와 텍스트를 하나의 공간에 학습시킬 수 있음을 보였습니다. Flamingo는 고정된 언어 모델이 몇 개의 예시만으로 이미지에 주의를 기울이도록 학습할 수 있음을 보였습니다. 시각 지시 튜닝은 그 결과를 대화할 수 있는 것으로 바꾸었습니다. 오늘 쓰이는 모든 것이 이 셋에서 이어져 왔습니다.
1차 자료 읽기왜 태국어에는 영어보다 이것이 더 필요한가
같은 기능을 다른 언어로 내놓는 것이 아닙니다. 네 가지 점이 태국어 문서 인식을 별개의 기술 과제로 만들며, 네 가지 모두 범용 모델이 여기서 더 못하는 이유이기도 합니다.
단어 사이에 띄어쓰기가 없어서 인식기가 공백으로 경계를 찾을 수 없습니다. 모음 기호와 성조 기호가 자음 주위에 최대 네 층까지 쌓이고, 스캔에서 맨 윗줄을 잃으면 눈에 띄게 깨지는 대신 조용히 다른 단어로 바뀝니다.
실제 입력은 형광등 하나뿐인 사무실 책상 위에서 비스듬히 찍은, 도장 찍힌 페이지의 휴대전화 사진입니다. 깨끗한 스캔본으로 한 벤치마크는 이에 대해 아무것도 알려 주지 않습니다.
마을 대장, 보건소 메모, 납품서, 학교 성적표. 태국어 손글씨는 인쇄된 글자로 학습해서는 다룰 수 없는 방식으로 글자를 잇고 줄여 씁니다.
아라비아 숫자 옆의 태국 숫자 ๐–๙, 서기보다 543년 앞선 불기 연도, 태국어 숫자 표기로 쓴 바트 금액. 연도를 잘못 읽으면 문서의 모든 날짜가 틀립니다.
네 가지 감각, 세 가지 모델
하나의 큰 모델이 아니라 별도의 모델로 제공합니다. 그래야 라우터가 사진은 읽는 모델로, 녹음은 듣는 모델로 보낼 수 있고, 어느 쪽도 다른 모델의 가중치 비용을 내지 않습니다.
사진, 스크린숏, 도표, 진열대, 장면, 양식. 이미지에 무엇이 있는지 태국어로 답하고, 처리한 리전을 함께 표시합니다.
문서 전문가. 도장이 찍히고, 스캔되고, 비뚤어지고, 여러 단으로 되어 있고, 일부는 손으로 쓴 태국어 서류를 데이터베이스에 넣을 수 있는 구조화된 항목으로 바꿉니다.
네 가지 지역 변종의 태국어 음성 인식과 음성 합성. 이산어로 한 질문에 중부 태국어로 답해야 하는, 또는 그 반대인 흔한 경우도 포함합니다.
정말 중요한 것은 이것입니다. 사진 한 장과 말로 한 질문을 같은 요청에 담아, 자체 문서를 근거로 답합니다. 별도의 모델들은 바로 이 능력을 싸게 만들기 위해 존재합니다.
예전에는 할 수 없던 열여덟 가지
모두 오늘 태국에서 누군가가 눈앞의 내용을 다시 입력하며 하고 있는 일입니다. 설명용 예시로, 목표로 하는 능력을 보여 줄 뿐 제공 중인 기능은 아닙니다.
ทะเบียนบ้าน에 카메라를 대면 이름, 신분증 번호, 주소 등 모든 항목이 구조화된 데이터로 돌아옵니다. 오후 4시에 직원이 하나하나 다시 입력할 필요가 없습니다.
스캔한 ราชกิจจานุเบกษา 페이지가 요약이 되며, 각 의무는 근거 조항까지 추적됩니다. 시행일은 짐작하지 않고 불기 연도로 읽습니다.
위원회 서기가 실제로 쓴 페이지를 찍으면, 공문 문체로 정서한 태국어 회의록이 나옵니다. 이름 표기는 통일되고 결정 사항에는 번호가 붙습니다.
반쯤 작성한 부처 양식을 찍으면, 빠진 칸, 빠진 도장, 그리고 창구에서 돌려보내질 원인이 될 첨부 서류를 알려 줍니다.
태국 약국 라벨 사진이 용량과 복용 시간을 쉬운 태국어로 설명하는 음성이 됩니다. 읽는 속도가 느리거나 라벨의 문체가 익숙하지 않은 환자를 위해서입니다.
병원의 퇴원 요약을 찍으면 집에서 쓰는 방언으로 ‘이번 주에 할 일’을 알려 줍니다. 재진 날짜는 พ.ศ.에서 환산되어 알림으로 등록됩니다.
상한 부분을 보여 주면 무엇과 비슷한지, 무엇과 자주 혼동되는지, 어느 도(道) 농업기술센터에 전화해야 하는지 알려 줍니다. 확신할 수 없는 처방은 분명하게 거절합니다.
포대를 찍고 밭의 넓이를 라이 단위로 말하면, 배합 비율을 음성으로 돌려받습니다. 오프라인으로, 밭에 선 채로.
더미를 찍으세요. 공급자, 납세자 번호, 날짜, 부가세, 합계가 담긴 표가 나오고, 완전한 세금계산서가 아니어서 감사를 통과하지 못할 영수증에는 표시가 붙습니다.
이체 영수증 스크린숏을 그것이 지불한 청구서와 맞대어 금액과 참조 번호를 확인합니다. 차이는 조용히 넘기지 않고 분명히 짚어 줍니다.
진열대를 찍으면 페이스 수와 빈자리를 포함한 태국어 상품 목록이 나옵니다. 지금은 클립보드를 든 사람이 통로를 두 번 오가며 하는 일입니다.
그 쪽을 찍으면 국가 교육과정 목표에 연결된 수업 계획이 나오고, 그 쪽에서 다루지 않는 목표 두 가지도 분명히 적어 줍니다.
학생의 쪽을 찍으면 맞춤법 오류, 성조 기호 오류, 띄어쓰기 오류가 각각 어긴 규칙과 함께 표시됩니다. 점수만 매기는 것이 아니라 가르치는 첨삭이 됩니다.
메뉴를 찍으세요. 손님은 자기 언어와 알레르기 정보를 받고, 요리는 태국어 이름을 그대로 지킵니다. ผัดกะเพรา는 ‘바질 볶음’이 아니며, 식당이 그런 척할 필요도 없습니다.
사원의 비문을 찍으면 음역, 쉬운 태국어로 옮긴 풀이, 그리고 어느 글자가 너무 닳아 읽을 수 없는지에 대한 솔직한 메모를 받습니다.
하역장에서 납품서를 찍고, 구조화된 항목이 WMS로 바로 들어가게 하세요. 누군가 볼펜으로 고쳐 쓴 수량까지 포함해서.
보안 카메라의 정지 화면이 설명과 시각이 기록된 태국어 사고 기록이 됩니다. 보고서를 제출해야 하는 문체로 작성되고, 서명은 사람이 합니다.
카메라를 대면 눈앞에 무엇이 있는지 걷는 속도에 맞춰 태국어로 들려줍니다. 이 기술 가운데 생산성과는 전혀 상관없는 쓰임새입니다.
API에서는 이렇게 보입니다
같은 엔드포인트입니다. content 배열에 이미지 하나를 넣으면 나머지는 라우터가 처리합니다. 라우팅을 가장 먼저 내놓은 이유가 바로 이것입니다.
POST /v1/messages
{
"model": "auto", // the router picks
"messages": [{
"role": "user",
"content": [
{ "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
{ "type": "text", "text": "แบบฟอร์มนี้ยังขาดช่องไหนบ้าง" }
]
}],
"thai": { "register": "official", "dialect": "auto" }
}
// 200 OK
// { "routed_to": "ThaiLLM-Vision", "then": "ThaiLLM-Base",
// "region": "th-bkk-1", "usage": { "baht": 0.42 } }로드맵
네 단계이며, 어느 것도 날짜가 아닙니다. 각 단계는 평가 모음을 통과해야 열리고, 채점은 순위표가 아니라 태국어 화자가 합니다.
인쇄되거나 스캔된 태국어 문서를 구조화된 항목으로 변환. 불기와 태국 숫자는 읽는 시점에 처리하며, 나중에 덧대지 않습니다.
관문비뚤어진 휴대전화 사진, 도장, 관인, 태국어 손글씨. 제품이 사무실 밖에서도 쓸모 있는지를 가르는 단계입니다.
관문음성 입력과 출력을 중부 태국어, 이산어, 북부 태국어, 남부 태국어별로 따로 채점합니다. 전체 평균은 정작 중요한 실패를 가려 버리기 때문입니다.
관문중급 안드로이드 휴대전화에서 오프라인으로 작동하는 압축된 비전 모델. 신호가 닿지 않는 곳에서 이루어지는 일을 위해.
관문참고 자료
멀티모달 모델에 대한 배경 자료로, 1차 문서와 이 분야의 토대가 된 논문에서 골랐습니다. 외부 링크이며 ThaiGPT+와는 관련이 없습니다.
멀티모달 대규모 언어 모델이 무엇이고 어디에 쓰는지에 대한 가장 명료한 짧은 정의.
NVIDIAWhat are vision-language models? — NVIDIA glossary이미지 인코더를 언어 모델에 연결해 시각을 부여하는 방식.
WikipediaVision-language model — Wikipedia폭넓은 참고 문헌을 갖춘 중립적 개관. 세부로 들어가기 전에 분야의 전체 모습을 보고 싶다면.
AnthropicVision — Claude API documentation모델에 이미지를 보내는 실무 문서와 그 실제 제약.
GoogleImage understanding — Gemini API documentation문서와 동영상 입력을 포함해 처음부터 멀티모달로 설계된 API.
OpenAIImages and vision — OpenAI platform documentation널리 쓰이는 또 하나의 이미지 API. 요청 형태를 비교하는 데 유용합니다.
Hugging FaceImage-text-to-text — Hugging Face오픈 모델 쪽. 작업 정의와 직접 실행할 수 있는 모델들.
arXiv 2103.00020Learning Transferable Visual Models From Natural Language SupervisionCLIP, 2021 — 이미지와 텍스트를 공동 표현으로 학습시킨, 현대 이 분야의 출발점이 된 논문.
arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning2022 — 고정된 언어 모델이 이미지에 주의를 기울이도록 가르치는 방법.
arXiv 2304.08485Visual Instruction Tuning2023 — LLaVA, 그리고 비전-언어 모델을 대화형으로 만든 한 걸음.
프리릴리스 프로그램
세 개의 그룹이 열려 있습니다. 하나를 고르면 아래 양식이 설정됩니다 — 거기서 바꿀 수도 있습니다.
프리릴리스 · 신청 접수 중
항목은 세 개. 누구신지와 연락처만 알려주시면, 초대가 준비되는 대로 이메일로 알려드립니다.
3G에서도 작동 · ภาษาไทย / English