AVO ระบบ agent ของ NVIDIA ที่ออกแบบมาให้ทำงานเองต่อเนื่องยาวๆ เพิ่งเก็บเกมทดสอบ ARC-AGI-3 ชุดสาธารณะได้ครบทั้ง 183 ด่าน ด้วยคะแนนเต็ม 100.00 โดย ARC-AGI-3 เป็นชุดเกมเล็กๆ 25 เกมที่สร้างมาวัด AI โดยเฉพาะ ความโหดของมันอยู่ตรงที่ไม่บอกกติกาหรือเป้าหมายเลยสักคำ โดยตัว agent จะเห็นแค่รายการปุ่มที่กดได้ แล้วต้องลองกดเองไปเรื่อยๆ จนกว่าจะเดาออกว่าเกมนี้ต้องการอะไร

โมเดลที่อยู่ข้างในไม่ใช่ของใหม่ ทีม NVIDIA ใช้ Claude Opus 5 ตัวเดียวกับที่ใครก็เรียกใช้ได้ ของใหม่คือชั้นที่ทีมประกอบขึ้นมาครอบโมเดลเอาไว้ ทั้งระบบความจำระยะยาวและตัวคอยดูว่า agent กำลังวนอยู่กับที่หรือเปล่า ข้อสรุปที่ทีมย้ำเองก็ชัดเจนว่า การวัดโมเดลกับการวัด agent เป็นคนละเรื่องกัน

เกม 25 เกมที่ไม่บอกกติกาสักข้อ

ชุดสาธารณะของ ARC-AGI-3 มี 25 เกม รวมกันเป็น 183 ด่าน แต่ละเกมเป็นตารางสีที่เปลี่ยนไปตามปุ่มที่กด และไม่มีข้อความอธิบายอะไรเลย

ในการทดลองของ NVIDIA โมเดลไม่ได้เห็นภาพพวกนี้เป็นภาพด้วยซ้ำ ทุกจังหวะที่หน้าจอเกมเปลี่ยน ระบบจะแปลงหน้าจอนั้นเป็นตารางตัวอักษรขนาด 64 คูณ 64 พอดี แล้วส่งเป็นข้อความล้วนให้โมเดลอ่าน โดยไม่ได้ส่งรูปเข้าไปให้เลยสักครั้ง สิ่งที่โมเดลได้เพิ่มมามีแค่รายการคำสั่งกดปุ่มหรือ action ในเกมนั้น โดยไม่มีคำอธิบายว่าปุ่มไหนทำอะไร

RHAE ซึ่งเป็นเกณฑ์วัดคะแนนของการทดสอบนี้ มีจุดที่เข้าใจผิดได้ง่าย เพราะการได้คะแนนเต็มไม่ได้แปลว่าแค่ผ่านครบทุกด่าน วิธีคิดคะแนนของ ARC Prize จะนำจำนวน action ที่ใช้ในแต่ละด่านมาเทียบกับเกณฑ์ของคนที่เพิ่งเล่นเกมนั้นครั้งแรกด้วย ถ้าเก็บครบแต่กดมั่วไปเป็นพันครั้งก็ไม่ได้คะแนนเต็มนะ ตัวเลข 100.00 จึงกินความทั้งการผ่านครบและความประหยัดในการใช้ action

สององค์ประกอบที่ AVO ใช้ครอบโมเดล

งานที่กินเวลายาวๆ มักมีกำแพงเดิมรออยู่เสมอ นั่นคือ context หรือพื้นที่รับข้อความในแต่ละรอบซึ่งมีขนาดจำกัด พอเต็มก็ต้องขึ้นรอบใหม่ และรอบใหม่นั้นก็ไม่รู้เลยว่าเพิ่งทำอะไรไปบ้าง ชั้นที่ประกอบขึ้นมาแก้ปัญหานี้เรียกกันว่า agent harness และของ AVO มีสองชิ้นที่ทำหน้าที่หลัก

ชิ้นแรกคือ persistent memory หรือ ความจำที่อยู่ข้ามรอบ ซึ่งเก็บสิ่งที่ agent ทำไปแล้วเอาไว้ทั้งหมด ทั้งโค้ดเวอร์ชันเก่า ผลการประเมินแต่ละครั้ง ผลจากเครื่องมือตรวจสอบโค้ดอย่าง compiler กับ profiler ที่คอยบอกว่าโค้ดผ่านไหมและทำงานช้าตรงไหน รวมถึงประวัติการให้เหตุผลที่สะสมมา พอขึ้นรอบใหม่ agent จึงอ่านข้อมูลชุดนี้แล้วทำงานต่อจากจุดเดิม แทนที่จะต้องเริ่มสำรวจใหม่ทั้งหมด

ถ้าข้ามชิ้นนี้ไป ปัญหาจะโผล่ขึ้นมาตอนเจองานยาว เพราะ agent จะวนกลับไปลองทางที่ตัวเองเพิ่งตัดทิ้งไปเมื่อรอบก่อน แล้วเสียทั้งงบประมาณและเวลาไปกับการลองเรื่องเดิมซ้ำๆ

ชิ้นที่สองคือ supervisor ซึ่งไม่ลงมือทำงานเอง แต่คอยมองภาพรวมของแนวทางที่ agent ลองทำมาทั้งหมด หน้าที่ของมันคือจับสัญญาณว่างานเริ่มนิ่ง หรือเริ่มวนซ้ำแบบไม่มีความคืบหน้า แล้วชี้ทางเลือกใหม่ให้ agent หลักเมื่อจำเป็น

30% กับ 100.00 อยู่คนละสนามกัน

ARC Prize เคยรายงานแยกไว้ว่า Claude Opus 5 ตัวเดี่ยวๆ ที่เปิดโหมดคิดละเอียดอย่าง reasoning ระดับ High ทำได้ราว 30% บนสนามนี้ พอนำมาวางคู่กับ 100.00 ของ AVO ก็ชวนให้สรุปทันทีว่าส่วนต่างทั้งหมดมาจากสิ่งที่ harness เสริมเข้ามา

ทีม NVIDIA เตือนเรื่องนี้ไว้เองในบทความว่า สองตัวเลขนั้นมาจากการตั้งค่า reasoning คนละแบบ ระบบ agent คนละตัว และวิธีประเมินผลคนละชุดกันทั้งหมด จึงไม่ใช่การวัดว่า AVO ช่วยเพิ่มประสิทธิภาพขึ้นมาเท่าไร สิ่งที่ตัวเลขนี้บอกได้จริงคือ การวัดผลระดับโมเดลเดี่ยวไม่ได้สะท้อนว่าระบบทั้งชุดจะทำงานได้ดีแค่ไหน ซึ่งเป็นเรื่องเดียวกับที่บทความอีกชิ้นเคยอธิบายไว้ว่า ทำไม agent ที่ใช้โมเดลเดียวกันถึงเก่งไม่เท่ากัน

การเปรียบเทียบอีกคู่หนึ่งก็ต้องดูแบบเดียวกัน โดย AVO เก็บครบ 183 ด่านด้วย 6,624 action ขณะที่อีกระบบอย่าง VISTA ซึ่งเล่นชุดเดียวกันด้วย Claude Opus 5 รายงานไว้ที่ 7,542 action เท่ากับว่า AVO ใช้ action น้อยกว่าราว 12% แต่สองระบบนี้ต่างกันตั้งแต่ตัว agent เบื้องหลัง วิธีแปลงข้อมูลที่มันเห็น วิธีเก็บความจำ ไปจนถึงวิธีจัดการ context จึงเป็นการเทียบข้ามระบบ ไม่ใช่การทดลองที่คุมตัวแปรให้เหลือตัวเดียว

จาก GPU kernel สู่เกม โดยยังใช้ agent ตัวเดิมทั้งตัว

ก่อนจะมาลงสนามเกม ทีมเอา AVO ไปใช้กับงานคนละขั้วกันมาก่อน นั่นคือการปรับแต่งโค้ดคำนวณเฉพาะจุดอย่าง GPU kernel เพื่อสั่งให้ GPU ประมวลผลงานเฉพาะอย่างให้เร็วที่สุด งานนั้นรันต่อเนื่องเจ็ดวัน สำรวจแนวทางปรับจูนไปกว่า 500 แบบ และได้โค้ด kernel ที่บันทึกเก็บไว้จริง 40 เวอร์ชัน ตลอดเจ็ดวันนั้น ตัว agent หลักยังทำหน้าที่ตัดสินใจเองว่าจะแก้อะไรและทดสอบอะไร ส่วน supervisor จะเข้ามาช่วยเฉพาะตอนที่แนวทางการค้นหาเริ่มตัน

ผลที่ได้บนเครื่องประมวลผล NVIDIA DGX B200 คือ kernel สำหรับโครงสร้างคำนวณอย่าง multihead attention ที่ทำงานได้ดีกว่าไลบรารีมาตรฐานอย่าง cuDNN สูงสุด 3.5% และดีกว่า FlashAttention-4 สูงสุด 10.5% ในกลุ่มการตั้งค่าที่ทดสอบ หลังจากนั้น agent ยังนำ kernel ที่ปรับจนเข้าที่แล้วไปต่อยอดกับโครงสร้างใกล้เคียงกันอย่าง grouped-query attention ได้โดยใช้เวลาทำงานอัตโนมัติเพิ่มอีกเพียงราว 30 นาที

พอย้ายมา ARC-AGI-3 ทีมเปลี่ยนแค่เครื่องมือที่ agent เรียกใช้กับวิธีวัดผลให้เข้ากับสภาพแวดล้อมใหม่ แต่ตัว agent กับลูปการทำงานยังเป็นชุดเดิม โดยลูปการทำงานมีขั้นตอนคือ ตั้งสมมติฐานจากหลักฐานที่ยังไม่ครบ ลงมือทำผ่านเครื่องมือภายนอก ดูว่าเกิดอะไรขึ้น เก็บสิ่งที่ยังใช้ได้เอาไว้ แล้วปรับความเข้าใจของตัวเองใหม่เมื่อพบว่าเดาผิด

โจทย์งานเปลี่ยน ช่องทางรับผลตอบกลับเปลี่ยน แต่ลูปการทำงานหลักไม่เปลี่ยน สิ่งที่ย้ายข้ามงานได้จึงไม่ใช่ความรู้เรื่อง GPU และไม่ใช่ความรู้เรื่องเกม แต่เป็นกลไกที่ทำให้การให้เหตุผลและผลตอบกลับสะสมต่อยอดกันไปได้เรื่อยๆ

ถ้าจะเอาแนวคิดนี้ไปใช้กับงานของเราเอง

เวลาที่ agent ทำงานยาวแล้วผลออกมาไม่ดี ทางเลือกที่อยู่ตรงหน้ามักมีสองทาง ทางแรกคือเปลี่ยนไปใช้โมเดลที่แรงกว่า ทางที่สองคือแก้ระบบรอบๆ โมเดลที่มีอยู่ ทางแรกต้องแลกด้วยค่าเรียกใช้งานต่อครั้งที่สูงขึ้น และไม่ได้แก้อาการที่ agent ลืมสิ่งที่เพิ่งลองไป ส่วนทางที่สองต้องลงแรงประกอบระบบตั้งแต่ต้น แต่ผลลัพธ์ที่ได้จะอยู่กับระบบ ไม่ได้ผูกติดไปกับโมเดล

เท่าที่ผลชุดนี้ชี้ให้เห็น คำถามสำคัญที่ควรถามก่อนมีอยู่สองข้อ ข้อแรก พอ context รอบเดิมเต็มแล้ว ในรอบถัดไป agent ยังรู้ไหมว่าอะไรที่ลองไปแล้วและอะไรที่ตัดทิ้งไปแล้ว ข้อสอง มีอะไรคอยดูภาพรวมไหมว่ามันกำลังวนอยู่ที่เดิมมาหลายรอบ ถ้าคำตอบของทั้งสองข้อคือไม่มี การเปลี่ยนโมเดลก็แค่ทำให้มันเดินหลงทางได้เร็วขึ้นเท่านั้น

คะแนนของ agent ตัวหนึ่งจึงสะท้อนถึงวิธีประกอบระบบขึ้นมาทั้งชุด และในวันที่เราถอดโมเดลข้างในไปใส่ในระบบอื่น คะแนนนั้นก็ไม่ได้ตามไปด้วย

---

ที่มา: เอกสารทางการของ NVIDIA AVO