โจทย์สำหรับเทรนเพียงข้อเดียว ก็ให้ผลลัพธ์ส่วนใหญ่ของการเทรนด้วยข้อมูลทั้งชุดได้แล้ว นี่คือผลการทดลอง One-Shot-OPD ที่วัดผลข้ามทั้งประเภทงานและตระกูลโมเดล

ข้อค้นพบนี้มาจากเปเปอร์ที่กลุ่มวิจัย Thinking Space เผยแพร่บน arXiv เมื่อวันที่ 3 กันยายน 2026

หัวข้อหลักคือการกลั่นความรู้ เป็นการให้โมเดลตัวหนึ่งทำหน้าที่ครู แล้วสอนโมเดลอีกตัวที่เป็นนักเรียนให้ทำงานที่ต้องการได้ แทนที่จะปั้นนักเรียนขึ้นมาจากศูนย์เอง

ทีมวิจัยทดลองลดข้อมูลที่ใช้เทรนให้เหลือน้อยที่สุด โดยเทรนด้วยโจทย์เพียงข้อเดียว แล้ววัดผลดูว่าจะยังรักษาความสามารถเดิมไว้ได้มากน้อยแค่ไหน

สำหรับใครที่กำลังวางแผนจะกลั่นโมเดลสักตัวไว้ใช้ในโปรเจกต์ของตัวเอง ผลการทดลองนี้กระทบกับงบประมาณก้อนแรกที่คุณต้องจ่ายโดยตรง เพราะช่วยตอบคำถามสำคัญว่า จริงๆ แล้วเราต้องเตรียมชุดข้อมูลขนาดใหญ่แค่ไหนถึงจะเพียงพอ

On-Policy Distillation ไม่ใช่แค่การให้ท่องเฉลย

On-Policy Distillation หรือ OPD เป็นวิธีกลั่นความรู้ที่ปล่อยให้โมเดลนักเรียนลงมือตอบโจทย์เองก่อน

ในกระบวนการนี้มีโมเดล 2 ตัวทำงานร่วมกัน ตัวแรกคือโมเดลครูที่เก่งอยู่แล้ว ส่วนอีกตัวคือโมเดลนักเรียนที่เรากำลังฝึก โมเดลนักเรียนจะสร้างคำตอบขึ้นมาเองก่อน จากนั้นโมเดลครูจึงเข้ามาให้คำแนะนำและตรวจแก้คำตอบนั้นอย่างละเอียดถึงระดับคำต่อคำว่าในแต่ละจุดควรเลือกใช้คำไหนมากกว่า

จุดที่ต่างจากการเทรนทั่วไปอยู่ตรงที่ การเทรนส่วนใหญ่มักจะนำคำตอบที่ดีที่เตรียมไว้ล่วงหน้ามาให้นักเรียนเลียนแบบ แต่ OPD ไม่มีเฉลยสำเร็จรูป โมเดลนักเรียนจะคิดและตอบตามแนวทางของตัวเอง แล้วโมเดลครูจะคอยตรวจและบอกไปทีละขั้นตอน ความแตกต่างตรงนี้สำคัญมาก เพราะสิ่งที่โมเดลนักเรียนได้เรียนรู้จะไม่ผูกติดอยู่กับตัวโจทย์เพียงอย่างเดียว แต่จะผูกกับบริบทและเส้นทางการคิดที่นักเรียนสร้างขึ้นมาจริง

State Coverage: ตัวชี้วัดที่ทำให้เข้าใจผลลัพธ์นี้

เครื่องมือใหม่ที่ทีมวิจัยคิดค้นขึ้นมาใช้วัดผลในงานนี้ คือตัวชี้วัดความครอบคลุมของสถานการณ์ที่เรียกว่า State Coverage ตัวชี้วัดนี้ดูว่า สถานการณ์ที่เกิดขึ้นระหว่างเทรนด้วยโจทย์ชุดเล็ก ครอบคลุมสถานการณ์ทั้งหมดที่การเทรนด้วยข้อมูลชุดเต็มเคยพาไปเจอได้มากน้อยแค่ไหน

คำว่า "สถานการณ์" ในที่นี้ไม่ได้หมายถึงตัวโจทย์ แต่หมายถึงสภาวะหรือบริบทต่างๆ ที่โมเดลสร้างขึ้นระหว่างการตอบคำถาม ถ้าชุดโจทย์ขนาดเล็กสามารถกระตุ้นให้โมเดลนักเรียนสร้างบริบทการคิดขึ้นมาได้เหมือนกับตอนที่ใช้ข้อมูลชุดเต็ม โมเดลครูก็จะได้สอนและปรับแก้ในเรื่องเดียวกัน ตัวชี้วัดนี้จึงเปลี่ยนมุมมองจากเดิมที่ถามว่า "มีข้อมูลกี่ข้อ" มาเป็น "ครอบคลุมสถานการณ์ที่โมเดลต้องเจอได้ครบถ้วนแค่ไหน"

เมื่อวัดด้วยเกณฑ์นี้ ผลการทดลองพบว่า โจทย์เพียงข้อเดียว สามารถสร้างความครอบคลุมได้ถึง 71.5% และความครอบคลุมส่วนใหญ่เกิดขึ้นภายใน 100 ขั้นตอนแรกของการเทรนเท่านั้น

การเทรน 1 ขั้นตอน คือการอัปเดตค่าน้ำหนักในโมเดลนักเรียน 1 ครั้ง ซึ่งการทดลองในเปเปอร์นี้เทรนต่อเนื่องหลายร้อยขั้นตอน ตัวเลขข้างต้นจึงสะท้อนว่า สถานการณ์ส่วนใหญ่ที่ข้อมูลมหาศาลจะพาโมเดลไปเจอ ปรากฏออกมาให้เรียนรู้ตั้งแต่ช่วงเริ่มต้นของการเทรนแล้ว ทั้งที่มีโจทย์ตั้งต้นอยู่ในมือเพียงข้อเดียว

16 โจทย์ที่ต่างกันจริง ไม่ใช่แค่ 16 โจทย์ที่คล้ายกัน

เมื่อทีมวิจัยทยอยเพิ่มโจทย์ที่ต่างกันเชิงความหมายเข้าไปทีละข้อ ทั้งค่าความครอบคลุมและความแม่นยำบนชุดตรวจสอบก็ขยับขึ้นพร้อมกัน จนเมื่อใช้โจทย์ถึง 16 ข้อ ค่าความครอบคลุมก็สูงถึง 98.9% และให้ผลลัพธ์เทียบเท่ากับการเทรนด้วยชุดข้อมูลเต็มทั้งหมด

ตัวเลข 16 ข้อนี้ ถือเป็นตัวเลขที่นำไปใช้อ้างอิงและตั้งต้นในการทำงานจริงได้มากที่สุด และผลลัพธ์นี้ไม่ได้เกิดขึ้นกับงานประเภทเดียว เพราะทีมวิจัยได้ทดสอบครอบคลุมหลายประเภทงาน ทั้งโจทย์คณิตศาสตร์ การเขียนโค้ด การทำตามคำสั่ง และการเรียกใช้เครื่องมือ รวมถึงทดสอบข้ามตระกูลโมเดล โดยไม่ได้ผูกติดอยู่กับโมเดลรุ่นใดรุ่นหนึ่ง

สิ่งสำคัญที่ต้องเน้นคือคำว่า "ต่างกันเชิงความหมาย" ไม่ใช่แค่จำนวนข้อ เพราะสิ่งที่ขยับขึ้นพร้อมกับความแม่นยำคือความครอบคลุมของสถานการณ์ที่โจทย์พานักเรียนไปเจอ ซึ่งจุดนี้มักเป็นเรื่องที่พลาดกันง่าย เพราะการนับจำนวนโจทย์ให้ครบตามเป้านั้นทำได้ง่ายกว่าการคัดกรองว่าโจทย์แต่ละข้อแตกต่างกันจริงหรือไม่

ข้อมูลล้นแล้ว แต่อัลกอริทึมยังตามไม่ทัน

ข้อค้นพบที่สวนทางกับความรู้สึกทั่วไปคือ ถ้าโจทย์เพียงข้อเดียวสร้างความครอบคลุมส่วนใหญ่ได้ตั้งแต่ 100 ขั้นตอนแรก แล้วทำไมในทางปฏิบัติเราถึงยังต้องเทรนกันยาวหลายร้อยขั้นตอน

คำตอบคือ การซึมซับความรู้ของโมเดลนักเรียนเป็นไปอย่างค่อยเป็นค่อยไป ไม่ว่าจะเทรนด้วยโจทย์เพียงข้อเดียวหรือใช้ข้อมูลทั้งชุด และแม้ว่าเราจะล็อกชุดสถานการณ์ให้คงที่แล้วก็ตาม โมเดลนักเรียนก็ยังคงต้องใช้เวลาอีกหลายร้อยขั้นตอนกว่าจะปรับค่าน้ำหนักเพื่อซึมซับสิ่งที่ครูสอนได้อย่างแท้จริง เปรียบเสมือนครูกางเนื้อหาและชี้จุดผิดให้เห็นครบตั้งแต่ต้นชั่วโมง แต่นักเรียนยังต้องใช้เวลาฝึกฝนและทำความเข้าใจไปทีละขั้นตอน

วิธีนี้สร้างข้อมูลได้มากเกินความต้องการ แต่เรายังขาดอัลกอริทึมที่เรียนรู้จากข้อมูลเหล่านั้นได้ทัน

ข้อสรุปนี้ชี้ว่า คอขวดของการกลั่นโมเดลไม่ได้อยู่ที่ "ปริมาณข้อมูล" แต่อยู่ที่ "จำนวนรอบในการเทรน" การเพิ่มโจทย์ที่ต่างกันเชิงความหมายยังช่วยให้ผลลัพธ์ดีขึ้นได้จนถึง 16 ข้อก็จริง แต่หลังจากนั้นยังต้องเทรนให้มากพอที่โมเดลนักเรียนจะซึมซับสิ่งที่เรียนรู้ได้

อีกจุดหนึ่งที่ต้องทำความเข้าใจให้ถูกต้องคือ ผลลัพธ์นี้ไม่ได้แปลว่าจะช่วยให้เราเทรนโมเดลเสร็จเร็วขึ้น เปเปอร์ชี้ให้เห็นชัดเจนว่าการซึมซับยังต้องใช้เวลาหลายร้อยขั้นตอน และช้าลงในอัตราใกล้เคียงกับการเทรนด้วยข้อมูลเต็มชุด สิ่งที่ลดลงได้จึงเป็นจำนวนโจทย์ที่ต้องตามไปเก็บ ไม่ใช่จำนวนรอบที่ต้องเทรน

งานวิจัยที่ย้อนกลับไปตรวจสอบสมมติฐานพื้นฐานแบบนี้ เคยให้ภาพที่ต่างจากความเชื่อเดิมมาแล้ว เหมือนกับในบทความเรื่อง ทำไม AI ถึงหลอน ที่งานวิจัยชี้ว่าระบบวัดผลส่วนใหญ่ให้แต้มกับการเดา

เนื้อหาของโจทย์แยกออกจากสถานการณ์ที่โจทย์พาโมเดลไปเจอได้

นอกจากนี้ ยังมีผลการทดลองอีก 2 ส่วนที่ช่วยยืนยันข้อสรุปเดียวกัน:

ส่วนแรกคือ ผลลัพธ์นี้ไม่ได้จำกัดอยู่แค่การใช้โมเดลครูเพียงตัวเดียว เมื่อใช้โมเดลครูหลายตัวช่วยกันสอน โจทย์ที่หลากหลายเพียง 16 ข้อต่อหนึ่งกลุ่มงานก็ยังให้ผลเทียบเท่ากับการเทรนด้วยข้อมูลเต็มชุดเช่นกัน

ส่วนที่สองยิ่งชัดเจนขึ้นไปอีก ทีมวิจัยทดสอบในสภาวะสุดขั้วด้วยข้อมูล 2 แบบที่ไม่น่าจะใช้งานได้ แบบแรกเป็นเทมเพลตที่แทบไม่มีเนื้อหาสาระ ส่วนแบบที่สองเป็นโจทย์ข้ามสายงานจากชุดบทสนทนาจริงของผู้ใช้ทั่วไปใน WildChat แต่ผลลัพธ์กลับใกล้เคียงกับการใช้โจทย์จริงของสายงานนั้น

ผลการทดลองทั้งสองส่วนนี้ชี้ให้เห็นตรงกันว่า คุณค่าที่แท้จริงของโจทย์ไม่ได้ผูกติดอยู่กับเนื้อหาเพียงอย่างเดียว แต่อยู่ที่การกระตุ้นให้โมเดลนักเรียนเข้าสู่สถานการณ์การตอบที่หลากหลาย ซึ่งในการทดลองชุดนี้ สองสิ่งนั้นแยกออกจากกันได้ แม้เนื้อหาของโจทย์จะเปลี่ยนไปคนละเรื่อง แต่สถานการณ์ที่พาโมเดลไปเจอยังคงใกล้เคียงกับของเดิม

ถ้ากำลังจะกลั่นโมเดลไว้ใช้เอง ควรเริ่มตรงไหน

• อย่าเพิ่งทุ่มงบประมาณก้อนแรกไปกับการขยายขนาดชุดข้อมูล: สำหรับคนที่กำลังวางแผนงบประมาณ ปริมาณข้อมูลมหาศาลไม่ใช่ปัจจัยหลักที่กำหนดความสำเร็จของงานกลั่นโมเดลด้วยวิธีนี้
• เริ่มต้นจากโจทย์จำนวนน้อยที่ต่างกันจริงในเชิงความหมาย: สำหรับคนที่ต้องคัดเลือกข้อมูล ให้เน้นที่ความหลากหลายของแนวคิดและรูปแบบโจทย์ ไม่ใช่การนับจำนวนข้อ
• กันทรัพยากรไว้สำหรับเทรนให้ครบจำนวนรอบ และอย่าเปลี่ยนไปใช้โมเดลครูที่เก่งน้อยลง: สำหรับคนที่ดูแลทรัพยากรคอมพิวเตอร์ คอขวดที่เปเปอร์ชี้คือความเร็วที่โมเดลนักเรียนซึมซับความรู้ ซึ่งยังต้องใช้เวลาหลายร้อยขั้นตอน โมเดลครูที่เก่งเป็นเงื่อนไขตั้งต้นของผลทั้งหมดในงานนี้ แต่งานนี้ไม่ได้เปรียบเทียบว่าโมเดลครูแบบไหนดีกว่ากัน
• ตั้งคำถามก่อนตัดสินใจซื้อชุดข้อมูล: สำหรับคนที่กำลังจะซื้อชุดข้อมูลขนาดใหญ่เพื่องานกลั่นโมเดลโดยเฉพาะ คำถามสำคัญที่ควรถามก่อนจ่ายเงินคือ เราได้ลองวัดผลเทียบกับชุดข้อมูลขนาดเล็กที่มีความหลากหลายแล้วหรือยัง

ต้นทุนของข้อมูลสำหรับเทรน AI ถือเป็นงบประมาณก้อนใหญ่ เราเคยเล่าเรื่องระยะทางที่ต้องเดินเพื่อให้ได้ข้อมูลมาไว้ในบทความ หนังสือเก่า 1,000 เล่มกับ AirTag หนึ่งตัว ที่พาไปเจอคลัง Amazon ซึ่งเลาะสันหนังสือสแกนเป็นข้อมูลฝึก AI เมื่อเทียบกับต้นทุนเหล่านั้น การตั้งคำถามว่าชุดข้อมูลขนาดเล็กที่คัดสรรมาอย่างดีเพียงพอแล้วหรือไม่ จึงเป็นเรื่องที่คุ้มค่าแก่การตรวจสอบก่อนเสมอ

สิ่งที่งานวิจัยนี้ยังไม่ได้บอก

งานวิจัยนี้เผยแพร่เป็นเอกสารฉบับร่างบน arXiv และหน้ารวมเปเปอร์ของ Hugging Face โดยทั้งสองหน้าไม่ได้ระบุวารสารหรืองานประชุมวิชาการที่ตีพิมพ์ จึงยังไม่มีอะไรยืนยันสถานะการตรวจทานโดยผู้ทรงคุณวุฒิของงานชิ้นนี้ สิ่งที่มีให้ตรวจสอบตามคือโค้ดที่ทีมวิจัยเปิดไว้ที่ One-Shot-OPD บน GitHub ภายใต้สัญญาอนุญาตแบบ Apache 2.0

นอกจากนี้ ยังมีข้อสรุปอีก 2 ข้อที่เปเปอร์นี้ไม่ได้สรุปว่าเป็นเช่นนั้น:

1. ไม่ได้บอกว่าข้อมูลไม่มีความสำคัญอีกต่อไป: ทีมวิจัยระบุชัดเจนว่า การเพิ่มโจทย์ที่ต่างกันเชิงความหมายทำให้ผลลัพธ์ดีขึ้นได้จริง จน 16 ข้อให้ผลเทียบเท่าการเทรนด้วยข้อมูลเต็มชุด
2. ไม่ได้บอกว่าการเทรน AI ด้วยตัวอย่างเดียวจะทำให้โมเดลเก่งขึ้นมาได้เอง: ผลลัพธ์ทั้งหมดนี้เกิดขึ้นโดยมีโมเดลครูที่เก่งมากคอยประกบและให้คำแนะนำกับคำตอบทุกครั้ง ถ้าไม่มีโมเดลครูคอยกำกับ กระบวนการเรียนรู้นี้ก็จะไม่เกิดขึ้น

ทีมวิจัยชวนให้หันมามองประสิทธิภาพการเรียนรู้ต่อขั้นตอนของการกลั่นโมเดลด้วยวิธี OPD และทบทวนกันใหม่ว่า ความสำเร็จในการฝึกโมเดลระดับแนวหน้าช่วงที่ผ่านมา เป็นผลมาจากปริมาณข้อมูลมหาศาลจริงๆ หรือมาจากปัจจัยอื่นกันแน่

ประเด็นสำคัญจึงไม่ใช่การวิ่งหาข้อมูลมาเพิ่มอย่างไม่รู้จบ แต่คือการกลับมาทบทวนว่า ที่ผ่านมาเรากำลังจ่ายต้นทุนมหาศาลไปเพื่ออะไรกันแน่

---

ที่มา:

• เปเปอร์ Rethinking On-Policy Distillation of Large Language Models II: One Training Example บน arXiv จาก Thinking Space
• หน้าเปเปอร์ Paper page — Rethinking On-Policy Distillation of Large Language Models II: One Training Example จาก Hugging Face Papers
• โค้ด One-Shot-OPD บน GitHub