ทดลอง Vision/OCR 5 โมเดล: ทำไม Gemini 3.1 Flash-Lite ยังเป็นตัวหลักของ OptAdmin

เวลาทดลองให้ AI อ่านภาพ เราไม่ได้ดูแค่ว่าอ่านตัวหนังสือออกหรือไม่ แต่ต้องถามต่อว่า AI จำแนกภาพถูกประเภทไหม ดึงยอด วันที่ และเวลาได้ตรงหรือเปล่า ใช้เวลานานแค่ไหน และต้องจ่ายเท่าไรต่อเอกสารที่ทำงานสำเร็จ

OptAdmin จึงนำโมเดลจาก Google, OpenAI และ Anthropic มาทดสอบกับชุดภาพเดียวกัน ได้แก่ Gemini 3.1 Flash-Lite, GPT-5.4 nano, GPT-5.4 mini, Claude Haiku 4.5 และ Claude Sonnet 5 เป้าหมายไม่ใช่ประกาศว่าโมเดลใดเก่งที่สุดในทุกงาน แต่เพื่อเลือกโมเดลที่สมดุลกับงาน Vision/OCR ที่เราต้องการใช้จริง

ผลรอบนี้: Claude Sonnet 5 ได้คะแนนรวมสูงสุดในชุดทดสอบ แต่ใช้ต้นทุนและเวลามากกว่า ส่วน Gemini 3.1 Flash-Lite ให้ผลครบในงานอ่านสลิปที่วัดไว้ ต้นทุนต่อเอกสารต่ำสุดในกลุ่มที่จำแนกสลิปถูกครบ และมีค่า p95 สั้นกว่า จึงยังเป็นตัวหลักของเราในตอนนี้

เราทดลองเพราะอะไร

โมเดลที่ราคาต่อ token ต่ำที่สุดอาจไม่ได้มีต้นทุนต่อเอกสารที่ทำงานสำเร็จต่ำที่สุด ส่วนโมเดลที่ได้คะแนนสูงที่สุดอาจช้าหรือแพงเกินไปสำหรับงานที่เกิดซ้ำจำนวนมาก

เราจึงทดสอบเพื่อหาคำตอบสามข้อ:

โมเดลอ่านและจำแนกภาพไทยที่เกี่ยวกับงานร้านค้าได้ถูกต้องแค่ไหน
แต่ละโมเดลใช้เวลาและมีความสม่ำเสมออย่างไรในการทดสอบชุดเดียวกัน
เมื่อนับต้นทุนจาก token usage ที่ API รายงาน งานหนึ่งชิ้นมีค่าใช้จ่ายเท่าไร

เราไม่ได้เลือก Gemini เพราะต้องการผูกกับผู้ให้บริการรายเดียว หากโมเดลอื่นมีต้นทุนต่อผลลัพธ์ที่ถูกต้องต่ำกว่า และแสดงคุณภาพกับความเสถียรได้ดีในชุดทดสอบที่ครอบคลุมกว่า เรายินดีนำมาประเมินและพิจารณาใช้ในระบบ

วิธีทดสอบ

รอบหลักทดสอบเมื่อวันที่ 25 กันยายน 2026 ด้วย API ของแต่ละผู้ให้บริการและชุดงานเดียวกัน ประกอบด้วย:

สลิปภาษาไทย 7 ใบ ตรวจคำตอบอ้างอิงด้วยสายตา ทั้งประเภทเอกสาร ยอดเงิน วันที่ และเวลา
ภาพโบรชัวร์สินค้า 1 ภาพ เพื่อดูการแยกภาพที่ไม่ใช่สลิป
PDF สแกนภาษาไทย 1 หน้า และภาษาอังกฤษ 1 หน้า สำหรับดูการอ่านข้อความ
รวม 17 กรณีทดสอบต่อโมเดล ทำซ้ำ 2 รอบ เท่ากับ 170 คำขอในรอบหลัก; ทุกคำขอในรอบหลักสำเร็จ

นอกจากนี้ยังมี pilot 3 คำขอ และงานตรวจ OCR วลี 8 จุดเพิ่มอีก 10 คำขอ โดย GPT-5.4 mini มี ReadError ระหว่างการตรวจ OCR เพิ่มหนึ่งครั้ง การลองซ้ำสำเร็จ แต่ไม่ทราบต้นทุนของคำขอที่ไม่คืน usage

คะแนนเต็ม 100 เป็นเกณฑ์ที่เรากำหนดสำหรับงานชุดนี้ ไม่ใช่มาตรฐานกลางของอุตสาหกรรม: จำแนกประเภท 30 คะแนน, อ่านยอด 25, วันที่ 15, เวลา 10, OCR วลีภาษาไทย 10 และ API ทำงานสำเร็จ 10 คะแนน เราแสดงค่าใช้จ่ายและเวลาแยกจากคะแนนเพื่อให้เห็น trade-off ชัดเจน

ผลทดสอบคุณภาพ

โมเดล	คะแนนในชุดนี้	จำแนกสลิปถูก	ยอด / วันที่ / เวลา	OCR วลีไทย
Gemini 3.1 Flash-Lite	97.50/100	14/14	14/14 · 14/14 · 14/14	6/8
GPT-5.4 nano	80.89/100	9/14	14/14 · 12/14 · 14/14	3/8
GPT-5.4 mini	95.98/100	14/14	14/14 · 14/14 · 14/14	5/8
Claude Haiku 4.5	63.75/100	0/14	14/14 · 14/14 · 14/14	3/8
Claude Sonnet 5	100.00/100	14/14	14/14 · 14/14 · 14/14	8/8

จำนวน 14/14 ในช่องจำแนกสลิปหมายถึง 7 ภาพที่ทดสอบซ้ำ 2 รอบ ไม่ใช่สลิปคนละ 14 ใบ

จุดที่น่าสนใจคือ GPT-5.4 nano จัดประเภทสลิปผิด 5 จาก 14 ครั้ง ทั้งที่ให้ความมั่นใจระหว่าง 0.74–0.96 ส่วน Claude Haiku 4.5 จัดผิดทั้ง 14 ครั้งด้วยความมั่นใจ 0.95 ในรอบแรก ผลนี้เตือนว่า คะแนนความมั่นใจที่โมเดลรายงานไม่เท่ากับความถูกต้อง และระบบปลายทางไม่ควรตัดสินใจจาก threshold อย่างเดียว

อีกกรณีหนึ่งคือภาพโบรชัวร์ Bostik ซึ่งเราตั้งคำตอบอ้างอิงเป็น document_other แต่ทุกโมเดลจัดเป็น product เพราะมีภาพสินค้าหลายชิ้นเด่นอยู่บนหน้า กรณีนี้ทำให้เราเห็นว่าต้องกำหนดนิยามและขอบเขตของประเภทภาพให้ชัด ไม่ใช่โยนความผิดให้โมเดลเพียงอย่างเดียว

เทียบเวลากับต้นทุนต่อเอกสาร

โมเดล	เวลา p50 / p95 ต่อคำขอ	ต้นทุนเฉลี่ยต่อสลิปหนึ่งใบ*
Gemini 3.1 Flash-Lite	2.08 / 3.02 วินาที	$0.000768
GPT-5.4 nano	1.90 / 7.33 วินาที	$0.000938
GPT-5.4 mini	1.66 / 8.32 วินาที	$0.002995
Claude Haiku 4.5	2.56 / 16.81 วินาที	$0.004721
Claude Sonnet 5	3.12 / 27.00 วินาที	$0.014452

* ต้นทุนต่อสลิปคำนวณจากคู่คำขอจำแนกประเภทและอ่านข้อมูลสำคัญในชุดเต็ม 2 รอบ โดยใช้ token usage ที่ API ส่งกลับคูณกับราคามาตรฐานที่อ้างอิง ณ วันที่ทดสอบ รวมส่วนลด cached input ที่ API รายงาน ตัวเลขนี้เป็น ค่าต้นทุนที่คำนวณจาก usage ไม่ใช่ยอดใบแจ้งหนี้ และอาจต่างจากยอดเรียกเก็บจริงเพราะส่วนลดระดับบัญชี ภาษี อัตราแลกเปลี่ยน หรือคำขอที่ไม่ส่ง usage กลับ

เวลา p50 คือค่ากลางของเวลาตอบ ส่วน p95 คือเวลาที่ 95% ของคำขอในชุดนี้ตอบได้ภายในค่านั้น ทั้งสองค่าเป็นเพียงภาพของการเรียก API ใน benchmark จำนวน 34 คำขอต่อโมเดล ไม่ใช่ตัวชี้วัด uptime หรือคำรับประกันความเร็วระยะยาว

GPT-5.4 nano มีราคา input/output token มาตรฐานต่ำกว่า Gemini 3.1 Flash-Lite ตาม rate card ที่ตรวจเมื่อเขียนบทความ แต่ในงานชุดนี้ต้นทุนต่อสลิปกลับสูงกว่า Gemini ราว 22% และจำแนกสลิปถูกน้อยกว่า การส่งภาพแต่ละครั้งใช้ image tokens ตามขนาดภาพและวิธีประมวลผลของ provider ด้วย เราจึงเทียบจาก usage ของคำขอจริงในชุดทดสอบ ไม่ดูราคาต่อ token อย่างเดียว ตัวอย่างนี้แสดงว่า ราคาต่อ token ต่ำกว่า ไม่ได้แปลว่าต้นทุนต่อผลลัพธ์ที่ถูกต้องต่ำกว่าเสมอไป

ส่วน Claude Sonnet 5 ได้คะแนนสูงสุดในชุดนี้และอ่านวลีได้ครบ แต่ p95 อยู่ที่ 27 วินาที และต้นทุนต่อสลิปที่วัดได้ราว 18.8 เท่าของ Gemini ขณะที่ GPT-5.4 mini ได้คะแนน 95.98 แต่ต้นทุนต่อสลิปประมาณ 3.9 เท่าของ Gemini ในงานทดลองนี้

ทำไมเรายังใช้ Gemini 3.1 Flash-Lite เป็นตัวหลัก

เหตุผลคือสมดุลของผลที่เราวัดในงานชุดนี้ ไม่ใช่เพราะ Gemini ชนะทุกตัวชี้วัด:

จำแนกสลิปและอ่านยอด วันที่ เวลาได้ถูกทุกครั้งใน 14 รอบทดสอบของแต่ละช่อง
คะแนนรวม 97.50/100 อยู่ใกล้กับคะแนนสูงสุด 100/100 ที่ Claude Sonnet 5 ได้ในชุดนี้
ค่า p95 3.02 วินาที ต่ำสุดในกลุ่มที่จำแนกสลิปถูกครบ
ต้นทุนต่อคู่คำขออ่านสลิปต่ำที่สุดในกลุ่มที่จำแนกสลิปถูกครบ

เรายังไม่สรุปว่าโมเดลนี้เสถียรที่สุดในระยะยาว เพราะการทดสอบมีข้อมูลจำนวนน้อยและทำซ้ำเพียงสองรอบ ค่า p50/p95 ในบทความนี้สะท้อนเฉพาะ benchmark รอบดังกล่าว ไม่ใช่การรับประกัน latency หรือ uptime ของผู้ให้บริการ

วันนี้ในระบบ OptAdmin เป็นอย่างไร

ปัจจุบันงาน Vision/OCR ใน OptAdmin ยังใช้ Gemini เป็นหลัก การทดลองนี้เรียก API ของแต่ละค่ายแยกกันเพื่อเปรียบเทียบ ไม่ได้เปิดตัวเลือกให้ลูกค้าสลับ provider สำหรับ Vision/OCR ในหน้าระบบ การที่ OptAdmin รองรับ OpenAI หรือ Claude สำหรับงานแชทแบบ BYOK ไม่ได้หมายความว่างาน Vision/OCR เปลี่ยนไปใช้สอง provider นี้ได้แล้ว

การทดลองยังรวม PDF สแกนเพื่อเปรียบเทียบ API โดยตรง แต่นั่น ไม่ได้หมายความว่า OptAdmin รองรับ OCR จาก PDF ที่เป็นภาพสแกนในฟีเจอร์นำเข้า Knowledge Base วันนี้ยังต้องแยกขีดความสามารถของ provider ออกจากขีดความสามารถที่เปิดใช้จริงในผลิตภัณฑ์

และการอ่านหรือจำแนกภาพสลิปไม่ใช่การยืนยันว่าเงินโอนเข้าบัญชีจริง การตรวจรายการชำระเงินต้องใช้ขั้นตอนตรวจสอบแยกต่างหาก เช่น ผู้ให้บริการตรวจสลิปหรือการตรวจของพนักงานตาม workflow ของร้าน

เกณฑ์ที่เราจะใช้ก่อนพิจารณาเปลี่ยนโมเดล

โมเดลใหม่จะไม่ผ่านเพียงเพราะมีราคาต่อ token ต่ำกว่า เราต้องทดสอบกับชุดงานที่ใกล้เคียงการใช้งานจริงมากขึ้น และดูอย่างน้อยเรื่องเหล่านี้:

ความถูกต้องของประเภทภาพและแต่ละ field สำคัญ โดยเฉพาะ false positive ที่อาจทำให้ระบบส่งงานไปผิดขั้นตอน
ต้นทุนต่อเอกสารที่อ่านได้ถูกต้อง ไม่ใช่ต้นทุนต่อ token อย่างเดียว
ค่า p95, อัตราคำขอผิดพลาด และผลการลองซ้ำจากหลายรอบและหลายช่วงเวลา
ภาพหลากหลายขึ้น เช่น มืด เบลอ เอียง ถูกบัง มีหลายหน้า หลายภาษา และประเภทเอกสารอื่น
การส่งต่อให้คนตรวจ วิธีจัดการข้อมูลสำคัญ การบันทึก usage และความเข้ากันได้กับ production

หากโมเดลอื่นถูกกว่าและผ่านเกณฑ์คุณภาพกับความเสถียรที่สูงพอ เราพร้อมนำผลประเมินมาปรับระบบ การใช้ Gemini วันนี้คือการเลือกตามหลักฐานที่เรามีตอนนี้ ไม่ใช่การปิดประตูต่อโมเดลอื่น

สรุป

ในการทดสอบชุดเล็กครั้งนี้ Claude Sonnet 5 ได้คะแนนรวมสูงสุด แต่ Gemini 3.1 Flash-Lite ให้สมดุลด้านความถูกต้องของสลิป ต้นทุนต่อเอกสาร และเวลาช่วง p95 ได้เหมาะกับบทบาทตัวหลักของ OptAdmin มากกว่า ส่วนโมเดลอื่นมีจุดเด่นและจุดเสี่ยงต่างกัน

ข้อสรุปนี้มีขอบเขตอยู่ที่ชุดทดสอบของเรา ไม่ใช่คำตัดสินคุณภาพของโมเดลในทุกภาษาและทุกชนิดเอกสาร เราจะประเมินใหม่เมื่อมีข้อมูลที่หลากหลายขึ้น หรือเมื่อราคาและความสามารถของ provider เปลี่ยนไป

คำถามที่พบบ่อย

ผลทดลองนี้หมายความว่าเปลี่ยนไปใช้ OpenAI หรือ Claude ใน OptAdmin ได้แล้วไหม?

ยังไม่ได้ การทดลองนี้เปรียบเทียบ API แยกกัน ส่วน Vision/OCR ในผลิตภัณฑ์ยังใช้ Gemini เป็นหลัก และยังไม่มีตัวเลือก provider ให้ลูกค้าสลับเอง

คะแนน 100/100 หมายความว่าโมเดลไม่มีวันอ่านผิดไหม?

ไม่ใช่ คะแนน 100/100 หมายถึงทำได้ครบตามเกณฑ์ที่เราตั้งไว้กับชุดทดสอบนี้ ซึ่งมีจำนวนภาพและเอกสารจำกัด ไม่สามารถใช้รับประกันผลในข้อมูลจริงทุกชนิดได้

AI อ่านสลิปได้แปลว่าตรวจสอบการโอนเงินแล้วหรือไม่?

ไม่ใช่ การอ่านข้อความและจำแนกภาพเป็นคนละขั้นกับการยืนยันธุรกรรม ต้องมีการตรวจสอบแยกต่างหาก

OptAdmin รองรับ OCR จาก PDF สแกนแล้วหรือยัง?

การทดสอบ provider โดยตรงกับ PDF สแกนไม่ได้แปลว่าฟีเจอร์นำเข้าเอกสารของ OptAdmin รองรับแล้ว ปัจจุบันยังไม่ควรโฆษณาว่าระบบ OCR PDF ที่เป็นภาพสแกนได้

แหล่งข้อมูลราคาและความสามารถของโมเดล

ราคา API เปลี่ยนได้ ควรตรวจสอบอีกครั้งก่อนเผยแพร่หรือคำนวณต้นทุนรอบใหม่: