Legora แพลตฟอร์มสำหรับงานกฎหมายและงานวิชาชีพ นำ GPT-6 Astra โมเดล AI ของ OpenAI มาใช้ตรวจกระทบยอดงบการเงินโดยเทียบเอกสาร 41 ฉบับ ระบบทำงานเสร็จภายในเวลาไม่กี่นาทีด้วยคำสั่งตรวจเพียงครั้งเดียว เรื่องนี้มาจากกรณีศึกษาที่ผู้พัฒนาโมเดลเผยแพร่เอง

Percevale Perks วิศวกรกฎหมายของ Legora ระบุว่า งานนี้ถ้าให้คนทำ อาจกินเวลาไปตลอดช่วงเย็น หรือบางครั้งนานหลายวัน

แม้เอกสาร 41 ฉบับจะฟังดูเป็นงานเฉพาะทาง แต่รูปแบบงานนี้พบได้ในออฟฟิศทั่วไป เช่น การปิดงบประจำเดือน การตรวจยอดในรายงานกับเอกสารต้นทาง การเทียบใบแจ้งหนี้กับใบสั่งซื้อ หรือการตรวจยอดสินค้าคงเหลือกับบิล งานเหล่านี้ต้องตรวจข้อมูลแบบเดิมซ้ำๆ หากทำต่อเนื่องเป็นเวลานาน คนทำงานก็อาจตาลายและพลาดบางจุดได้ง่าย

งานตรวจตัวเลขที่ยากตรงความอึด ไม่ใช่ความซับซ้อนของเลข

งานที่ Legora นำ Astra มาช่วยทำคือการตรวจเทียบตัวเลขหรือ tie-out เพื่อยืนยันว่าตัวเลขทุกบรรทัดในร่างงบการเงินตรงกับเอกสารต้นทางทั้งหมด

ในเคสนี้ เอกสารต้นทางมีทั้งหมด 3 ชุด ได้แก่ งบทดลองที่รวมยอดทุกบัญชี ตารางงบการเงินรวมของทั้งกลุ่มบริษัท และงบการเงินของปีก่อนหน้า ดังนั้น ตัวเลขทุกยอดที่ปรากฏในร่างงบการเงินจะต้องมีเอกสารต้นทางรองรับเสมอ

ลักษณะสำคัญของงานนี้ไม่ใช่การคำนวณเลขที่ซับซ้อน แต่เป็นการจับคู่ข้อมูลว่า ตัวเลขในบรรทัดนี้มาจากเอกสารชุดไหน หน้าใด และตัวเลขตรงกันจริงหรือไม่ ความยากของงานจึงอยู่ที่การต้องนั่งตรวจเทียบข้อมูลแบบเดิมซ้ำๆ ทุกรายการ โดยไม่ให้มีข้อผิดพลาดหลุดรอดไปได้

Legora แอบใส่ข้อผิดพลาด 4 จุด เพื่อทดสอบว่า Astra จะหาเจอครบไหม

ในการประเมินผล Legora ไม่ได้ดูแค่ว่าผลลัพธ์ออกมาเรียบร้อยหรือไม่ แต่ใช้วิธีแอบแก้ไขตัวเลขให้ผิดไว้ล่วงหน้า 4 จุดในเอกสาร เพื่อทดสอบว่า AI จะตรวจพบได้กี่จุด

ผลการทดสอบปรากฏว่า Astra ตรวจพบข้อผิดพลาดได้ครบทั้ง 4 จุด รวมถึงข้อผิดพลาดสำคัญอย่างส่วนต่าง 500,000 ปอนด์ ที่ซ่อนอยู่ในหมายเหตุประกอบงบการเงินหมวดรายได้

วิธีนี้เป็นแนวทางการทดสอบที่ธุรกิจทั่วไปนำไปปรับใช้ได้ทันทีโดยไม่ต้องพึ่งพาเครื่องมือเฉพาะทาง ก่อนจะมอบหมายงานตรวจเอกสารให้ AI ทำจริง ให้ลองนำไฟล์ที่เรามีคำตอบที่ถูกต้องอยู่แล้ว มาแกล้งแก้ตัวเลขให้ผิดสัก 3–4 จุด แล้วส่งให้ AI ตรวจสอบ

ถ้าไม่ทดสอบด้วยวิธีนี้ก่อน เมื่อ AI แจ้งกลับมาว่าไม่พบข้อผิดพลาด เราก็ไม่มีทางมั่นใจได้เลยว่าเอกสารนั้นถูกต้องจริงๆ หรือ AI มองไม่เห็นจุดผิดกันแน่ และถ้ามีข้อผิดพลาดหลุดไป สุดท้ายผู้ตรวจสอบบัญชีก็จะเป็นคนตรวจพบอยู่ดี

ประโยชน์ที่แท้จริงคือบันทึกการตรวจ ไม่ใช่แค่คำตอบว่าผ่าน

เมื่อ Agent ของ Legora หรือระบบ AI ทำงานตามขั้นตอนที่กำหนดไว้โดยอัตโนมัติ สิ่งที่ระบบส่งกลับมาให้ผู้ใช้งานจึงไม่ใช่แค่ข้อความสรุป แต่เป็นบันทึกรายละเอียดของทุกจุดที่เข้าไปตรวจสอบ

ระบบจะนำตัวเลขแต่ละยอดไปเทียบกับเอกสารอ้างอิง ชี้จุดที่ข้อมูลไม่ตรงกัน และบันทึกไว้ชัดเจนว่าได้ตรวจรายการใดไปแล้วบ้าง ผลลัพธ์ที่ได้จึงเป็นรายการตรวจสอบแบบละเอียดที่คนไล่อ่านต่อได้ทีละบรรทัดว่า จุดไหนถูกต้อง และจุดไหนที่ต้องเข้าไปตรวจสอบเพิ่มเติม

ความแตกต่างระหว่างข้อความสรุปสั้นๆ กับบันทึกการตรวจแต่ละรายการนั้นสำคัญมาก ข้อความสรุปทำให้เราต้องเลือกว่าจะเชื่อหรือไม่เชื่อเท่านั้น แต่บันทึกการตรวจอย่างละเอียดช่วยให้เราตรวจสอบความถูกต้องของ AI ได้อย่างรวดเร็ว โดยไม่ต้องนั่งไล่เอกสารใหม่ตั้งแต่ต้น แนวทางนี้เหมือนกับ Comp AI ที่กำหนดให้ Agent ค้นหาข้อมูลลูกค้าภายใต้กฎห้ามคาดเดา นั่นคือหากต้องการนำผลลัพธ์ไปใช้งานจริง ระบบจะต้องแสดงที่มาของข้อมูลทุกครั้ง

เมื่อเทียบกับโมเดลรุ่นก่อนหน้า Astra ยังคงตรวจจุดที่รุ่นก่อนตรวจได้ถูกต้องครบถ้วน และยังตรวจรายการได้ถูกต้องเพิ่มอีกประมาณ 50 รายการ สิ่งที่เพิ่มขึ้นมาจึงเป็นความครอบคลุมและความแม่นยำในการตรวจ ไม่ใช่การเปลี่ยนผลลัพธ์เดิมที่ถูกต้องอยู่แล้วให้ผิดเพี้ยนไป

ที่สำคัญคือ คนยังคงเป็นผู้ตัดสินใจในขั้นตอนสุดท้ายเสมอ โดย AI ทำหน้าที่ตรวจเทียบข้อมูลทั้งหมดให้ครบถ้วน ส่วนผู้เชี่ยวชาญจะเป็นคนพิจารณาว่าจุดที่ AI ทักท้วงนั้นเป็นปัญหาจริงหรือไม่ ทาง Legora ระบุว่าการวางระบบการทำงานในลักษณะนี้ เป็นรากฐานสำคัญที่ช่วยให้บริษัทขยายบริการจากงานเอกสารทางกฎหมาย ไปสู่งานตรวจสอบบัญชี งานภาษี งานกำกับดูแลกฎเกณฑ์ และงานบริหารความเสี่ยงได้

ผลการทดสอบที่ดีขึ้น 40% ต้องดูควบคู่กับภาพรวม

Legora ออกแบบชุดทดสอบ BAR หรือ Benchmark for Agentic Reasoning ขึ้นเองจากโจทย์งานจริง เพื่อประเมินการทำงานของ Astra ในงานด้านกฎหมายตลอดทั้งกระบวนการ

ผลการประเมินพบว่า Astra ทำงานได้ดีขึ้นเกือบ 40% เมื่อเทียบกับโมเดลรุ่นก่อนหน้า แต่ตัวเลขนี้เป็นผลเฉพาะงานตรวจกระทบยอดงบการเงินเท่านั้น ส่วนค่าเฉลี่ยของทุกงานในชุดทดสอบ BAR เดียวกัน พบว่ามีประสิทธิภาพดีขึ้นประมาณ 3%

ตัวเลขทั้งสองชุดนี้ต้องพิจารณาควบคู่กันเสมอ เพราะตัวเลข 40% ไม่ได้หมายความว่า AI จะทำงานเก่งขึ้น 40% ในทุกเรื่อง แต่แสดงว่าโมเดลนี้ทำงานได้ดีขึ้นอย่างเห็นได้ชัดในงานที่ต้องตรวจเทียบเอกสารปริมาณมาก

หลักคิดนี้ใช้ได้กับการอ่านข่าวความสามารถของ AI ทั่วไป ตัวเลขที่หยิบมาพาดหัวข่าวมักเป็นผลลัพธ์จากงานที่ทำได้ดีที่สุด ไม่ใช่ค่าเฉลี่ยของงานทั้งหมด คำถามสำคัญที่เราควรถามก่อนตัดสินใจนำไปใช้ คือลักษณะงานที่ได้ผลดีนั้น เหมือนหรือใกล้เคียงกับงานที่เราทำอยู่จริงมากน้อยเพียงใด

นอกจากนี้ ตัวเลขทั้งหมดในบทความนี้เป็นผลการทดสอบที่บริษัทผู้ใช้งานเก็บข้อมูลและรายงานเอง ไม่ใช่ผลการทดสอบจากหน่วยงานกลาง จึงควรนำข้อมูลนี้มาประกอบการพิจารณาด้วย

Playco ลดงานที่ต้องแก้ด้วยมือลง 50% เมื่อให้ AI ลองเล่นเกมที่ตัวเองสร้าง

อีกหนึ่งกรณีศึกษามาจากวงการเกม โดย Playco สตูดิโอพัฒนาเกม ได้นำ Astra มาช่วยสร้างเกมต้นแบบที่เปิดเล่นได้จริง และรายงานว่า งานที่ทีมต้องลงมือแก้เองลดลงถึง 50% เมื่อเทียบกับโมเดลรุ่นก่อน

ทีมงานเริ่มจากการขึ้นโครงสร้างเกมเปล่าๆ อย่าง grey box ที่มีเฉพาะรูปทรงเรขาคณิตพื้นฐาน ยังไม่ได้ใส่ภาพกราฟิกหรือธีมของเกม หลังจากปรับระบบการเล่นอีกไม่กี่รอบ ทีมงานก็นำโครงสร้างเดียวกันนี้มาให้ Astra ต่อยอดเป็นเกมต้นแบบ 3 รูปแบบที่มีธีมต่างกัน ทาง Playco ระบุว่า Astra สร้างเกมต้นแบบทั้งสามออกมาได้ในรอบเดียว และส่วนใหญ่ใช้งานได้ทันที มีเพียงเกมเวอร์ชันธีมไซเบอร์พังก์เกมเดียวที่ต้องปรับแก้เรื่องความลื่นไหลเพิ่มเติม

เบื้องหลังของผลลัพธ์นี้ คือสภาพแวดล้อมที่ Playco ออกแบบมาเพื่อให้ AI ทำงาน โดยสร้างเครื่องมือชื่อ Playbot ขึ้นมาเพื่อให้นักพัฒนาทำงานร่วมกับ AI เครื่องมือนี้เชื่อมต่อโดยตรงกับเอนจินเกมอย่าง Unity และ Godot ทำให้โมเดล AI แก้ไขฉากในเกม กดเริ่มเล่นเกมได้เอง ตรวจสอบได้ทันทีว่าโค้ดที่เพิ่งแก้ไปใช้งานได้จริงหรือไม่ และค้นหาจุดบกพร่องเพื่อแก้ต่อได้ด้วยตัวเอง

การออกแบบระบบลักษณะนี้ทำให้ AI ไม่ต้องคาดเดาเอาเองว่าโค้ดจะทำงานถูกต้องหรือไม่ แต่ได้เห็นผลลัพธ์จากการรันเกมจริงแล้วลงมือแก้ไขต่อ ซึ่งเป็นหลักการเดียวกับที่ Legora กำหนดให้ AI บันทึกผลการตรวจทุกจุด ทั้งสองกรณีนี้จึงไม่ได้ประสบความสำเร็จเพียงเพราะโมเดลตอบคำถามได้ฉลาดขึ้น แต่เป็นเพราะออกแบบกระบวนการทำงานมาให้ตรวจสอบผลของ AI ได้ โดยฝั่ง Playco ให้โมเดลกดเล่นแล้วตรวจสิ่งที่ตัวเองแก้ไข ส่วนฝั่ง Legora ให้เทียบกับเอกสารต้นทางแล้วทิ้งบันทึกไว้ให้ผู้เชี่ยวชาญตัดสินต่อ

งานแบบไหนที่คุณนำแนวทางนี้ไปปรับใช้ได้

เกณฑ์แบ่งงานที่ชัดเจนที่สุด คืองานนั้นมีคำตอบหรือข้อมูลที่ถูกต้องระบุไว้ในเอกสารอยู่แล้วหรือไม่

งานอย่างการตรวจตัวเลขงบการเงิน การเทียบใบแจ้งหนี้กับใบสั่งซื้อ หรือการตรวจยอดในสัญญากับข้อมูลในระบบ งานเหล่านี้ล้วนมีข้อมูลที่ถูกต้องอยู่ในเอกสารต้นทางอยู่แล้ว หน้าที่ของ AI คือการจับคู่ข้อมูลให้ครบถ้วนและระบุจุดที่ไม่ตรงกัน ทำให้เราตรวจสอบความถูกต้องของผลลัพธ์ได้ทันที

ในทางกลับกัน งานที่ต้องใช้การวินิจฉัย เช่น การประเมินว่าระดับความเสี่ยงนี้ยอมรับได้หรือไม่ หรือควรตั้งสำรองเท่าไร ยังคงต้องให้คนเป็นผู้ตัดสินใจ แม้ว่า AI จะช่วยรวบรวมข้อมูลทั้งหมดมาให้แล้วก็ตาม เพราะไม่มีเอกสารชุดไหนที่ระบุคำตอบสำเร็จรูปไว้ล่วงหน้า

ถ้าต้องการเริ่มต้น ให้เริ่มจากงานกลุ่มแรกที่มีเอกสารอ้างอิงชัดเจนก่อน แล้วคอยนับว่าในแต่ละรอบ เรายังต้องเข้าไปแก้ไขผลลัพธ์ของ AI อีกกี่จุด ตัวเลขนี้จะช่วยบอกเราได้เองว่า งานไหนที่ปล่อยให้ AI ทำงานได้มากขึ้น และงานไหนที่ทีมงานยังต้องคอยตรวจทานอย่างใกล้ชิด ซึ่งตัวเลขจากการทำงานจริงนี้ช่วยให้ตัดสินใจได้แม่นยำกว่าตัวเลขในข่าว

ยิ่ง AI ตรวจสอบเอกสารได้เร็วขึ้นมากเท่าไร สิ่งที่เราควรมองหาจาก AI ก็ไม่ใช่แค่คำตอบสรุป แต่เป็นบันทึกที่แสดงให้เห็นชัดเจนว่า AI เข้าไปตรวจข้อมูลจากจุดใดมาบ้าง

---

ที่มา:

• บทความ Legora reviewed 41 documents in minutes with GPT-6 Astra จาก OpenAI
• บทความ Playco cut manual fixes 50% prototyping games with GPT-6 Astra จาก OpenAI