การทดสอบครั้งนี้ใช้โจทย์บั๊กจริงในโปรเจกต์ 113 ข้อชุดเดียวกัน กับทั้ง DeepSeek V4 Pro 0813 โมเดลราคาถูก และ GPT-5.6 Sol โมเดลเรือธง โดยผู้รันการทดสอบคือ Together AI ผู้ให้บริการคลาวด์ที่ขายบริการโฮสต์ DeepSeek V4 Pro 0813 อยู่ด้วย จึงควรอ่านตัวเลขทั้งชุดโดยรู้ที่มานี้ไว้ก่อน ชุดทดสอบที่ใช้วัดผลคือ DeepSWE ซึ่งตัดสินด้วยเทสต์ที่ซ่อนไว้ว่าโค้ดที่แก้แล้วผ่านหรือไม่ผ่าน โดยรันซ้ำโมเดลละ 4 รอบ รวมเป็น 452 ครั้งต่อโมเดล

เมื่อลองเทียบด้วยงบ $100 เท่ากัน ตัวถูกจะแก้งานสำเร็จได้ 261 งาน ส่วนตัวแพงได้ 9 งาน ราคาต่อการรันหนึ่งครั้งต่างกัน 35 เท่า ($0.24 กับ $8.37) ขณะที่อัตราแก้สำเร็จตั้งแต่ครั้งแรกหรือ pass@1 อยู่ที่ 62.8% กับ 72.7% ต่างกันไม่ถึง 10 แต้ม ทางเลือกที่สามที่รายงานเรียกว่า cascade คือให้ลองตัวถูกก่อนทุกงาน แล้วส่งต่อเฉพาะงานที่ตกเทสต์ให้ตัวแพงลองใหม่ วิธีนี้ได้ 83.0% ที่ $3.35 ต่องาน ทั้งแม่นกว่าการใช้ตัวแพงล้วนราวสิบแต้ม และจ่ายไม่ถึงครึ่ง คำถามจึงไม่ใช่ว่าโมเดลไหนเก่งกว่า แต่อยู่ที่ลำดับการเรียกใช้ ซึ่งกำหนดทั้งบิลและความแม่นไปพร้อมกัน

ราคาแพงกว่า 35 เท่าของ GPT-5.6 Sol ซื้อความแม่นได้ไม่ถึง 10 แต้ม

ราคาที่นำมาเทียบคือค่ารันจนจบหนึ่งงาน โดย DeepSeek V4 Pro 0813 อยู่ที่ $0.24 ส่วน GPT-5.6 Sol โมเดลที่ชนะ Claude Fable 5 เกือบทุกช่องในตารางที่ OpenAI โชว์เอง อยู่ที่ $8.37 งบก้อนกลมๆ $100 จึงแลกงานที่แก้สำเร็จได้ 261 งานจากตัวถูก และ 9 งานจากตัวแพง

ตัวแพงก็มีสิ่งที่เงินซื้อได้จริง Sol แม่นกว่าตั้งแต่ครั้งแรกอยู่ 9.9 แต้ม และสม่ำเสมอกว่ามาก งานที่ทำผ่านครบทั้ง 4 รอบ Sol ได้ 61 งาน ขณะที่ Pro ได้ 35 งาน แปลว่าถ้าส่งงานเดียวกันเข้าไปสี่ครั้ง ตัวถูกจะให้ผลเหวี่ยงกว่า บางรอบผ่าน บางรอบไม่ผ่าน

แต่ตัวเลขอีกชุดทำให้มองความเหวี่ยงนี้ต่างออกไป การวัดครั้งนี้ใช้เกณฑ์ pass@k ซึ่งนับว่างานสำเร็จหากลองซ้ำ k ครั้งแล้วมีอย่างน้อยหนึ่งครั้งที่ผ่านเทสต์

• ลองซ้ำ 2 ครั้ง Pro ขึ้นจาก 62.8% เป็น 78.5% ส่วน Sol ขึ้นเป็น 81.0%
• ลองซ้ำ 4 ครั้ง Pro ขึ้นเป็น 88.5% แซง Sol ที่ 85.8%

ตัวเลขคู่ล่างทำให้มองเรื่องนี้ต่างออกไป เพราะให้ลองตัวถูกครบสี่รอบยังจ่ายไม่ถึงหนึ่งดอลลาร์ ขณะที่ตัวแพงรอบเดียวคือ $8.37 เงินส่วนที่จ่ายเพิ่มจึงแลกกับโอกาสทำถูกตั้งแต่ครั้งแรกเป็นหลัก มากกว่าความสามารถที่ตัวถูกไปไม่ถึง และยังมีวิธีอื่นเพิ่มโอกาสแบบนี้ได้โดยจ่ายน้อยกว่า

cascade คือให้ลองตัวถูกก่อน แล้วส่งต่อเฉพาะงานที่ตกเทสต์

cascade ในการทดสอบชุดนี้ไม่ใช่การเลือกโมเดลล่วงหน้า แต่เป็นการต่อคิวสามขั้นตอน

1. ส่งโจทย์ทุกงานให้ DeepSeek V4 Pro 0813 ทำก่อนเสมอ
2. รันชุดเทสต์อัตโนมัติเพื่อตรวจว่าโค้ดผ่านหรือไม่ผ่าน โดยไม่ต้องมีคนมานั่งอ่าน
3. เฉพาะงานที่ตกเทสต์เท่านั้นที่จะส่งต่อให้ GPT-5.6 Sol ลองทำใหม่ตั้งแต่ต้น ไม่ใช่เอาคำตอบเดิมไปแก้ต่อ

ผลที่ได้คือแก้สำเร็จ 83.0% ที่ค่าใช้จ่ายเฉลี่ย $3.35 ต่องาน เมื่อเทียบกับการใช้ Sol ตัวเดียวที่ได้ 72.7% ที่ $8.37 ต่องาน เท่ากับว่าแม่นขึ้นสิบแต้มโดยจ่ายน้อยลงเกินครึ่ง

จุดที่ชวนสับสนคือลำดับ ถ้าสลับเอาตัวแพงขึ้นก่อนแล้วให้ตัวถูกตามหลัง แม้ความแม่นจะเท่าเดิม แต่ราคาจะขยับจาก $3.35 เป็น $8.44 ต่องาน เพราะเมื่อให้ลองตัวถูกก่อน งานที่ผ่านตั้งแต่รอบแรกจะไม่ไปแตะตัวแพงเลย ทุกงานที่ผ่านคือเงินที่ไม่ต้องจ่าย ลำดับจึงไม่ใช่รายละเอียดปลีกย่อย แต่คือส่วนต่างของบิลที่ต่างกันเกินสองเท่า

ไอเดียนี้ใกล้กับ router ระบบสลับโมเดลอัตโนมัติที่ช่วยลดบิลค่าโมเดลโดยไม่ต้องคอยเลือกเอง ต่างกันตรงที่ router ต้องเดาล่วงหน้าว่างานตรงหน้ายากแค่ไหน ส่วน cascade ไม่เดา แต่รอให้เทสต์ตอบมาก่อนแล้วค่อยตัดสินใจ

cascade ยังชนะวิธีที่เลือกโมเดลได้ถูกทุกครั้ง

ทีมที่รันการทดสอบตั้งคู่เทียบในอุดมคติอย่าง oracle router ขึ้นมาอีกตัว ซึ่งสมมติว่ามีคนรู้ล่วงหน้าทุกงานว่าโมเดลไหนจะทำสำเร็จ แล้วเลือกได้ถูกทุกครั้งโดยส่งครั้งเดียวจบ ในงานจริงไม่มีใครทำแบบนั้นได้ แต่เอาไว้เป็นเพดานของการเลือกที่แม่นยำสมบูรณ์แบบ ผลที่ได้คือ 80.8% ซึ่งยังต่ำกว่า cascade ที่ 83.0% อยู่ 2.2 แต้ม

การลองสองครั้งแบบแยกกันให้ผลดีกว่าการเลือกถูกเพียงครั้งเดียว

เหตุผลเห็นได้ชัดจากตัวเลขก่อนหน้านี้ การให้ Pro ลองรอบที่สองด้วยตัวมันเองก็ดันความแม่นยำจาก 62.8% ขึ้นไปเป็น 78.5% แล้ว การลองซ้ำจึงมีประโยชน์ในตัวเอง ไม่ว่าจะลองด้วยโมเดลตัวไหน

เหตุผลอีกส่วนคือโมเดลทั้งสองตัวไม่ได้พลาดที่เดียวกัน จาก 113 งาน ทั้งคู่แก้ได้ร่วมกัน 90 งาน มีเฉพาะ Pro ที่แก้ได้ 10 งาน มีเฉพาะ Sol ที่แก้ได้ 7 งาน และไม่มีตัวไหนแก้ได้ 6 งาน รวมแล้วสองตัวช่วยกันทำสำเร็จถึง 107 จาก 113 งาน หรือ 94.7% ซึ่งเป็นเพดานที่การเลือกโมเดลเดียวต่อหนึ่งงานไปไม่ถึง

Claude Fable 5 แพงกว่า 90 เท่า และพลาดคนละจุดกับตัวถูก

รายงานอีกฉบับเปลี่ยนคู่เทียบเป็น Claude Fable 5 บนโจทย์ชุดเดิม โดยมีค่ารันอยู่ที่ $21.63 ต่องาน เทียบกับ $0.24 ของ Pro ซึ่งต่างกันถึง 90 เท่า งบ $100 ก้อนเดิมจึงแลกงานที่แก้สำเร็จได้ 3 งาน ส่วนความแม่นยำในรอบแรกของ Fable อยู่ที่ 69.7% ซึ่งต่ำกว่า Sol ด้วยซ้ำ

เมื่อใช้การต่อคิวแบบเดียวกัน โดยให้ Pro ลองก่อนแล้วส่งเฉพาะงานที่ตกไปให้ Fable ผลคือ 82.7% ที่ $8.28 ต่องาน สูงกว่าการใช้ Fable ตัวเดียว 13 แต้ม และยังจ่ายน้อยกว่าการใช้ Fable ตัวเดียวเกินครึ่ง ส่วน oracle router ของคู่นี้ทำได้ 78.8% ก็ยังแพ้การต่อคิวเหมือนเดิม

สิ่งที่ทำให้คู่นี้ได้ส่วนต่างมากกว่า คือความต่างของลักษณะการทำงาน รายงานได้วัดค่าความสัมพันธ์ระดับงานไว้ โดยยิ่งตัวเลขใกล้ 1 แปลว่าสองโมเดลมักผ่านและตกในโจทย์เดียวกัน ซึ่งคู่ Pro กับ Sol อยู่ที่ 0.54 ส่วนคู่ Pro กับ Fable อยู่ที่ 0.39 ต่ำที่สุดในบรรดาคู่ที่รายงานชุดนี้เคยวัดมา โมเดลสองตัวที่คิดไม่เหมือนกัน จึงช่วยเติมเต็มช่องโหว่ของกันและกันได้มากกว่า

ความต่างนี้สะท้อนออกมาถึงระดับงานจริง Fable นำขาดในงานออกแบบโครงสร้างข้อมูลที่ 88% ห่างจาก Pro 24 แต้ม และนำในภาษา Rust ที่ 85% ต่อ 65% ส่วน Pro นำในงานด้าน Concurrency ที่ต้องประมวลผลพร้อมกันหลายจุดที่ 58% ต่อ 45% ซึ่งเป็นจุดที่อ่อนที่สุดของ Fable ทีมที่งานหลักเป็นภาษา Rust จึงมีเหตุผลจ่ายแพงตั้งแต่รอบแรก ส่วนทีมที่ต้องเจอกับงานคิวและงานประมวลผลพร้อมกันบ่อยๆ การจ่ายแพงตั้งแต่แรกอาจไม่ได้ความคุ้มค่ากลับมา

ข้อแม้ที่มองข้ามไม่ได้ คือต้องมีตัวตัดสินว่าคำตอบผิดจริง

ทั้งหมดที่เล่ามาขึ้นอยู่กับสิ่งเดียว คือเทสต์ที่ซ่อนไว้ของ DeepSWE ซึ่งบอกได้ทันทีว่างานนี้ตกหรือผ่าน ระบบจึงรู้ว่าจะส่งงานไหนต่อให้ตัวแพง ถ้าไม่มีเกณฑ์ตัดสินนี้ การต่อคิวจะกลายเป็นการจ่ายสองรอบทุกงาน หรือแย่กว่านั้นคือปล่อยคำตอบที่ผิดผ่านออกไปโดยไม่มีใครจับได้

เกณฑ์ที่ใช้ได้ต้องตรวจอัตโนมัติว่างานผ่านหรือไม่ โดยไม่ต้องรอให้คนอ่านแล้วให้ความเห็น ตัวอย่างเช่น โค้ดคอมไพล์ผ่านไหม เทสต์ที่เขียนไว้ผ่านครบไหม ไฟล์ที่ได้ตรงตามรูปแบบข้อมูลที่กำหนดไหม หรือยอดรวมที่โมเดลคำนวณตรงกับตัวเลขที่รู้คำตอบอยู่แล้วไหม

สิ่งที่ใช้ไม่ได้คือ "อ่านแล้วรู้สึกว่าน่าจะใช้ได้" เพราะเกณฑ์แบบนั้นตรวจอัตโนมัติไม่ได้ และให้คำตอบไม่เหมือนกันในแต่ละครั้ง งานสายเขียนบทความหรือทำสไลด์จึงยังต่อคิวแบบนี้ตรงๆ ไม่ได้ ต้องแปลงความคาดหวังให้เป็นเกณฑ์ที่ตรวจได้จริงก่อน เช่น ความยาวตามที่กำหนด ตัวเลขทุกตัวมีแหล่งอ้างอิงกำกับ หรือหัวข้อที่สั่งไว้อยู่ครบทุกข้อ

สิ่งที่เจ้าของงานต้องตัดสินใจ จึงไม่ใช่การเลือกว่าจะใช้โมเดลถูกหรือแพง แต่คือจะยอมลงแรงเขียนเกณฑ์ตรวจก่อนหรือเปล่า งานที่ยังไม่มีเกณฑ์แบบนี้ ขั้นแรกจึงไม่ใช่การหาโมเดลถูกมาต่อคิว แต่คือการทำให้คำว่าผิดหรือถูกในงานของตัวเองวัดผลได้เสียก่อน

ของถูกไม่ได้แถมความเร็ว และของแพงไม่ได้แถมความปลอดภัย

ราคาที่ลดลงมีสิ่งที่ต้องแลก Pro ใช้เวลาเฉลี่ย 35 นาทีและ 146 ขั้นตอนต่อการรันหนึ่งครั้ง ซึ่งนับรวมตั้งแต่เปิดไฟล์ แก้โค้ด จนถึงรันเทสต์ ส่วน Sol จบงานใน 17 นาทีด้วย 53 ขั้นตอน ขณะที่ Fable อยู่ที่ 31 นาทีและ 79 ขั้นตอน แต่เขียนยาวกว่าอีกสองตัว คือเฉลี่ย 115k โทเคน เทียบกับ Pro ที่ 101k และ Sol ที่ 59k

ตรงนี้คือจุดที่ตรรกะกลับด้าน ถ้ามีคนนั่งรอผลอยู่หน้าจอ งานที่ตกเทสต์ในรอบแรกต้องรอรอบที่สองต่อท้ายอีกชุด เวลารวมจึงยาวกว่าการยิงตัวแพงไปตั้งแต่แรก การต่อคิวจึงเหมาะกับงานที่ปล่อยให้รันอยู่เบื้องหลังได้มากกว่า เช่น คิวแก้บั๊กที่ค้างอยู่ หรืองานที่ตั้งไว้ให้รันข้ามคืน

คุณภาพของคำตอบที่ผิดก็ไม่เท่ากัน ในกรณีที่ตอบผิด Sol ทำให้เทสต์ที่เคยผ่านอยู่แล้วพังไปด้วย 20% ขณะที่ Pro กับ Fable อยู่ที่ 11% เท่ากัน ของแพงกว่าจึงไม่ได้แปลว่าทำพังน้อยกว่าเสมอไป

อีกตัวเลขที่กระทบคนวางระบบโดยตรงคือความล้มเหลวที่ไม่ได้มาจากโมเดลคิดผิด แต่มาจากระบบสะดุดเอง ในการทดสอบชุดนี้ Fable เจอไป 16 ครั้ง Sol เจอ 2 ครั้ง ส่วน Pro ไม่เจอเลย ใครที่วางระบบยิงงานอัตโนมัติ ตัวเลขนี้แปลว่าต้องเขียนระบบยิงซ้ำเผื่อไว้ตั้งแต่แรก

เทสต์ชุดเดิมที่เขียนไว้กันโค้ดพัง วันนี้มีหน้าที่เพิ่มขึ้นมาอีกอย่าง คือเป็นสวิตช์ที่ตัดสินว่าจะต้องควักเงินก้อนต่อไปหรือไม่

---

ที่มา:

• บทความ DeepSeek V4 Pro 0813 vs GPT-5.6 Sol on DeepSWE: Cost, Coding, and Routing จาก Together AI
• บทความ DeepSeek V4 Pro 0813 vs Claude Fable 5 on DeepSWE: Cost, Coding, and Routing จาก Together AI