ลองจินตนาการถึงคนที่สอบผ่านข้อสอบแพทย์และกฎหมายได้คะแนนอันดับหนึ่งของประเทศ แต่พอให้ช่วยนับจำนวนตัวอักษรในคำสั้นๆ หรือถามคำถามเชาวน์ระดับประถม เขากลับตอบผิดแบบไม่น่าเชื่อ

นี่ไม่ใช่เรื่องตลก แต่เป็นปรากฏการณ์จริงที่เกิดขึ้นกับ Large Language Models (LLM) ระดับท็อปในปัจจุบัน แม้ผลทดสอบ Benchmark จะแสดงคะแนนทะลุ 90% ในข้อสอบวิชาการขั้นสูง แต่งานวิจัยร่วมล่าสุดจาก Caltech และ Stanford กลับชี้ให้เห็นว่า โมเดลภาษาชั้นนำยังคงมีข้อผิดพลาดร้ายแรงในการคิดเชิงเหตุผล (Reasoning) ระดับพื้นฐานอย่างต่อเนื่อง

---

ภาพลวงตาของคะแนน Benchmark

ช่องว่างระหว่างคะแนนสอบมาตรฐานกับความสามารถในการประยุกต์ใช้งานจริงกว้างกว่าที่หลายคนคิด ตัวอย่างเช่น Claude 3 Opus สามารถทำคะแนนข้อสอบวิชาการมาตรฐานได้เกือบ 87% แต่เมื่อเผชิญกับชุดคำถามสามัญสำนึกทั่วไปที่มนุษย์ 86% ตอบถูกได้ทันที ตัวโมเดลกลับตอบถูกต้องเพียง 35% เท่านั้น

พฤติกรรมนี้สะท้อนว่า LLM ในปัจจุบันไม่ได้คิดหรือเข้าใจโลกเหมือนมนุษย์ แต่เป็นระบบจับคู่รูปแบบทางสถิติ (Statistical Pattern Matching) ที่เชี่ยวชาญการคาดเดาคำถัดไปจากชุดข้อมูลมหาศาลที่เคยพบเห็นในการฝึกสอน

---

ปัญหาเชิงโครงสร้าง: เมื่อการคาดเดาคำไม่ใช่ความเข้าใจจริง

รายงานวิจัยที่เผยแพร่ใน Transactions on Machine Learning Research โดยทีมวิจัยจาก Caltech และ Stanford สรุปชัดเจนว่า ความผิดพลาดเหล่านี้ไม่ได้เกิดจากการขาดแคลนข้อมูล แต่เกิดจากข้อจำกัดโดยกำเนิดของสถาปัตยกรรม Transformer

เมื่อเป้าหมายการฝึกสอนหลักคือการทำนายคำถัดไปให้สอดคล้องตามสถิติ โมเดลจึงประมวลผลข้อความเชิงทฤษฎีและคำศัพท์เฉพาะทางได้แม่นยำ แต่กลับไร้ความสามารถในการสร้างแบบจำลองโลกความเป็นจริง (World Model) และการคิดคำนวณเชิงกายภาพ

5 จุดบอดสำคัญที่พบใน LLM ยุคปัจจุบัน

1. การยึดติดแพทเทิร์นเดิม (Task Shift Failure): โมเดลมีปัญหาในการปรับตัวเมื่อบริบทเปลี่ยนเพียงเล็กน้อย งานวิจัยจาก MIT พบว่าโมเดลมักจดจำโครงสร้างประโยคมากกว่าความหมายแท้จริง หากตั้งคำถามที่ไม่มีตรรกะแต่ใช้ไวยากรณ์คล้ายคำถามวิชาการ โมเดลจะแต่งคำตอบขึ้นมาอย่างมั่นใจ
2. การให้เหตุผลแบบย้อนกลับไม่ได้ (The Reversal Curse): หากเทรนข้อมูลว่า 'A คือ B' โมเดลจะไม่สามารถอนุมานตรรกะกลับด้านได้โดยอัตโนมัติว่า 'B คือ A' เนื่องจากข้อมูลถูกประมวลผลไปข้างหน้าทางเดียว
3. การคำนวณเชิงตัวเลขพื้นฐาน (Arithmetic Fragility): การนับตัวอักษรหรือการคำนวณตัวเลขไม่ได้ใช้กระบวนการทางคณิตศาสตร์แท้จริง แต่เป็นการเดาโทเคน ยิ่งตัวเลขมีจำนวนหลักมากขึ้น โอกาสที่คำตอบจะผิดเพี้ยนยิ่งสูงขึ้น
4. ความอ่อนไหวต่อโครงสร้างคำถาม (Perturbation Sensitivity): การสลับลำดับเงื่อนไข เปลี่ยนคำไวพจน์ หรือปรับการจัดวางข้อความเพียงเล็กน้อย สามารถทำให้ผลลัพธ์เปลี่ยนจากถูกเป็นผิดได้อย่างสิ้นเชิง
5. การขาดความเข้าใจโลกกายภาพ (Physical Commonsense Gap): โมเดลไม่เข้าใจคุณสมบัติทางกายภาพ เช่น มวล ปริมาตร หรือแรงโน้มถ่วง เนื่องจากเรียนรู้ผ่านตัวอักษรล้วนๆ โดยไม่เคยมีปฏิสัมพันธ์กับโลกกายภาพจริง

ข้อสอบยากได้คะแนนท็อป แต่ตกม้าตายคำถามตรรกะพื้นฐาน

ในแบบทดสอบ MMLU (Massive Multitask Language Understanding) โมเดลเรือธงในปัจจุบันสามารถทำคะแนนได้สูงถึง 88 ถึง 93% แต่เมื่อทีมวิจัยนำชุดคำถามตรรกะง่ายๆ 30 ข้อไปทดสอบ เช่น การนับจำนวนตัวอักษร 'L' ในคำว่า 'LOLLAPALOOZA' หรือการเปรียบเทียบน้ำหนักระหว่างน้ำ 1 ปอนด์ กับอากาศ 3 ปอนด์

ผลการทดลองพบว่า GPT-4 Turbo ทำคะแนนได้เพียง 38% ขณะที่ Gemini 1.0 Pro ทำได้เพียง 16% สวนทางกับมนุษย์ทั่วไปที่ทำคะแนนเฉลี่ยได้ถึง 86% ข้อผิดพลาดมักเกิดจากการที่โมเดลพยายามนำแพทเทิร์นภาษาที่ซับซ้อนมาแก้โจทย์ตรรกะตรงไปตรงมา

Gary Marcus นักวิจัยด้าน AI แสดงความเห็นว่า แม้อุตสาหกรรมเทคโนโลยีจะลงทุนงบประมาณมหาศาลเพื่อเพิ่มขนาดโมเดลและพารามิเตอร์ แต่การขยายขนาด (Scaling) เพียงอย่างเดียวไม่สามารถแก้ปัญหาเรื่องความเข้าใจเชิงเหตุผลได้ หากสถาปัตยกรรมพื้นฐานยังคงเดิม

---

Humanity's Last Exam: บททดสอบวัดขีดจำกัดที่แท้จริง

เพื่อก้าวข้ามข้อจำกัดของ Benchmark เดิมที่มีข้อสอบรั่วไหลเข้าไปในชุดข้อมูลฝึกสอน นักวิจัยจึงพัฒนาข้อสอบ Humanity's Last Exam (HLE) ซึ่งรวบรวมคำถามระดับผู้เชี่ยวชาญเฉพาะทาง 2,500 ข้อ จาก 100 สาขาวิชา

ผลการทดสอบล่าสุดพบว่า Gemini 3.1 Pro ทำคะแนนนำอยู่ที่ประมาณ 44% เทียบกับมนุษย์ผู้เชี่ยวชาญที่ทำได้ราว 90% สิ่งที่น่ากังวลคือ โมเดลมักแสดงระดับความมั่นใจ (Confidence Score) สูงเกือบ 100% แม้ในจังหวะที่ให้คำตอบผิดพลาดอย่างสิ้นเชิง

นอกจากนี้ งานวิจัยจาก Stanford ยังพบว่าข้อสอบ Benchmark ทั่วไปมีอัตราข้อผิดพลาดในตัวข้อสอบหรือเฉลยประมาณ 5% ซึ่งเมื่อมีการตรวจสอบและแก้ไขโจทย์ให้ถูกต้อง อันดับประสิทธิภาพของโมเดลหลายตัวก็เกิดการเปลี่ยนแปลง

แนวทางปฏิบัติสำหรับนักพัฒนาและผู้ใช้งาน

ในการประยุกต์ใช้ AI กับงานจริง การทำความเข้าใจขีดจำกัดเหล่านี้ช่วยลดความเสี่ยงจากข้อผิดพลาดได้อย่างมีนัยสำคัญ:

• ตรวจสอบผลลัพธ์เสมอ (Verification Layer): ไม่ควรนำผลลัพธ์จากการคำนวณทางคณิตศาสตร์หรือตรรกะเงื่อนไขไปใช้งานโดยตรงโดยไม่มีระบบ Unit Test หรือการตรวจสอบซ้ำ
• เทคนิคกระตุ้นการถามทบทวน (Clarification Prompting): การกำหนดคำสั่งใน System Prompt ให้โมเดลตั้งคำถามเพื่อยืนยันความเข้าใจก่อนเริ่มปฏิบัติงาน ช่วยลดข้อผิดพลาดลงได้ถึง 40%
• แยกหน้าที่การทำงาน (Tool Use / Code Execution): หากงานเกี่ยวข้องกับตัวเลขหรือตรรกะตายตัว ควรกำหนดให้โมเดลเรียกใช้ Python Script หรือเครื่องมือเฉพาะทางแทนการคำนวณผ่านข้อความดิบ

แหล่งอ้างอิง

• Large Language Model Reasoning Failures (Caltech/Stanford Survey, arXiv 2602.06176)
• Easy Problems That LLMs Get Wrong (arXiv 2405.19616v2)
• BREAKING: LLM 'reasoning' continues to be deeply flawed
• Researchers discover a shortcoming that makes LLMs less reliable
• State of LLM Benchmarks 2026: Rankings, Trends, and What Actually Changed
• Humanity's Last Exam: The AI Benchmark for LLM Reasoning