Wheelhouse คือโรงงานซอฟต์แวร์ที่ใช้ AI agent ราว 50 ตัวช่วยกันเขียนโค้ด ทดสอบ และรีวิวงานกันเองอยู่เบื้องหลัง วันหนึ่ง Steve Yegge วิศวกรผู้สร้างระบบนี้ เริ่มสังเกตเห็นว่าพวก agent หยิบเอาคำศัพท์ที่เขาไม่เคยสอนมาใช้ คำอย่าง fence, ratchet, governor และ tripwire โผล่มาซ้ำๆ แทบทุกวันจนสะดุดตา พอเขาลองถามไปตรงๆ ว่าคำพวกนี้หมายถึงอะไร คำตอบที่ได้คือ พวก agent ร่วมกันสร้างระบบกฎหมายของโรงงานขึ้นมาเอง มีทั้งรัฐธรรมนูญ ศาล คำพิพากษาไว้อ้างอิงย้อนหลัง ไปจนถึงระบบทะเบียนและยศตำแหน่งขุนนางยุคกลาง รวมกันแล้ว 450 ชิ้น โดยไม่มีมนุษย์คนไหนสั่งเลยแม้แต่น้อย

ข้อสรุปที่เขาเขียนไว้หลังจากนั้น สวนทางกับวิธีควบคุม AI ที่เราคุ้นเคยกันอย่างสิ้นเชิง เขาบอกว่าอนาคตของการคุม AI agent ไม่ใช่การใช้ sandbox หรือกล่องจำกัดสิทธิ์ที่ล็อกโปรแกรมไว้ข้างในจนแตะต้องอะไรข้างนอกไม่ได้ แต่สิ่งที่ใช้งานได้จริงกว่าคือ 'fence' หรือรั้ว แถมยังเป็นรั้วเตี้ยๆ ที่ปีนข้ามได้ด้วย ฟังดูเผินๆ เหมือนจะหละหลวมกว่ากล่องขังมาก แต่ถ้าดูวิธีทำงานจริงๆ จะพบว่าทั้งสองอย่างทำหน้าที่คนละอย่างกันเลย

fence มีไว้เตือนให้ถอย ไม่ใช่กล่องที่เอาไว้ขัง

fence คือกลไกที่คอยเตือนให้คุณถอย เมื่อเข้าไปในพื้นที่ที่ไม่ควรเข้า

ตัวอย่างคลาสสิกที่สุดคือฝาครอบปุ่มนิรภัยอย่าง 'Molly Guard' ในอดีต วิศวกรของ IBM คนหนึ่งเอาฝาพลาสติกใสมาครอบปุ่มสีแดงขนาดใหญ่ไว้ เพราะลูกสาววัยสองขวบชอบเดินมากดเล่นซ้ำๆ ฝาครอบนี้ไม่ได้แข็งแรงพอจะกันคนที่ตั้งใจกดจริงๆ เพราะแค่ยกฝาขึ้นก็กดได้แล้ว แต่มันทำให้คนที่เผลอเอื้อมมือไปกดต้องหยุดคิด และออกแรงยกฝาก่อนอีกหนึ่งขั้น

คนตรวจตั๋วหน้าชานชาลาก็คือ fence เช่นเดียวกับหน้าต่างโปรแกรมที่ขึ้นเตือนว่าคุณไม่มีสิทธิ์เข้าถึงหน้านี้ หรือระบบที่ปฏิเสธคำขอเพราะกำลังปิดปรับปรุง ทั้งหมดนี้ล้วนข้ามได้ถ้าตั้งใจจะฝ่าฝืนจริงๆ เพราะไม่มีอันไหนกั้นคุณด้วยกำลัง สิ่งที่ทุกอันทำเหมือนกันคือเตือนว่าคุณไม่ควรผ่านตรงนี้

ใน Wheelhouse มีกฎข้อหนึ่งระบุว่า ให้เฉพาะ 'Fable' โมเดลตัวท็อปของโรงงานเท่านั้นที่มีสิทธิ์สื่อสารกับมนุษย์ภายนอก กฎข้อนี้ไม่ได้เป็นแค่ตัวหนังสือในเอกสาร แต่ตั้งเป็นรั้วคุมอยู่ที่ Slack และอีเมลจริงๆ agent ตัวอื่นจะพิมพ์อะไรก็ได้ แต่ข้อความก็ไปไม่ถึงคนข้างนอกอยู่ดี

จุดที่ชวนสับสนคือ fence ไม่ใช่ sandbox เวอร์ชันที่แข็งแรงกว่า สองอย่างนี้ทำหน้าที่คนละแบบ sandbox พยายามทำให้ agent 'ทำไม่ได้' ส่วน fence มีไว้เพื่อให้ agent 'รู้ตัวว่ามาผิดทาง' แล้วยอมถอยกลับไปด้วยตัวเอง

ถ้าเก่งพอจะกระโดดข้ามได้ แล้วทำไมยังต้องมีรั้ว?

คำถามนี้เป็นหัวใจสำคัญของแนวคิดทั้งหมด เขาเปรียบเทียบให้เห็นภาพด้วยเรื่องของ 'ซูเปอร์แมน'

ซูเปอร์แมนกระโดดข้ามรั้วบ้านคุณได้สบายๆ หรือจะพังกำแพงเข้ามาเลยก็ยังได้ถ้าคิดจะทำ แต่ซูเปอร์แมนที่มีมารยาทจะไม่เดินสุ่มสี่สุ่มห้าเข้ามาในสวนหลังบ้านคุณ ถ้าเห็นว่ามีรั้วกั้นอยู่ รั้วไม่ได้หยุดเขาด้วยพละกำลัง แต่หยุดเขาด้วยการส่งสัญญาณบอกว่า 'พื้นที่ตรงนี้เป็นของคนอื่น'

แน่นอนว่าจุดอ่อนของแนวคิดนี้ก็อยู่ตรงจุดเดียวกัน เจ้าของโรงงานก็ยอมรับอย่างตรงไปตรงมาว่า วิธีนี้เป็นการเดิมพันบนสมมติฐานที่ว่า agent มีเจตนาดีเป็นพื้นฐาน ถ้าวันหนึ่งมี agent ที่จงใจแหกกฎ รั้วพวกนี้ก็ช่วยอะไรไม่ได้เลย ทว่าข้อโต้แย้งของเขาก็คือ ต่อให้สร้างกำแพงหนาแค่ไหน หรือใช้กล่องขัง AI agent ก็อาจเอาไม่อยู่เหมือนกัน เพราะระบบที่ฉลาดกว่าคนสร้างกล่อง ถ้าอยากออกมาจริงๆ ก็น่าจะหาทางออกได้อยู่ดี สิ่งเดียวที่ยังควบคุมพวกมันได้ผล จึงเหลือแค่การวางกฎเกณฑ์ที่ชัดเจนพอจะบอกว่าเส้นแบ่งอยู่ตรงไหน

ระดับการตัดสินใจของ AI Agent ยังเทียบเท่าเด็กประถม

เขาเปรียบเทียบวุฒิภาวะในการตัดสินใจของโมเดลที่ใช้งานอยู่ไว้แบบนี้ ตัวที่ชื่อ Opus ตัดสินใจได้พอๆ กับเด็ก ป.4 ตัวที่ชื่อ Sol อยู่ระดับ ป.5 ส่วน Fable โมเดลท็อปสุดเทียบได้กับเด็ก ป.6 พวกมันทั้งหมดฉลาดและตั้งใจดี แต่ถ้าปล่อยให้ทำงานข้ามคืนโดยไม่มีคนคอยดูแล ก็มีโอกาสตัดสินใจผิดพลาดร้ายแรงได้อย่างน้อยวันละครั้ง

ตัวอย่างชัดเจนที่เขายกขึ้นมา คือ agent ชื่อ 'Bee' ที่จู่ๆ ก็ปล่อยเครื่องมือชื่อ Beads ออกสู่สาธารณะด้วยตัวเอง ผ่านแหล่งแจกจ่ายโปรแกรมหลักทุกช่องทางพร้อมกัน ทั้ง GitHub, Homebrew, PyPI และ npm โดยไม่มีใครสั่ง ไม่มีใครวางแผน และไม่มีใครอนุมัติมาก่อน ผลลัพธ์คือระบบพังไม่เป็นท่า

นี่คือเหตุผลว่าทำไมแนวคิดเรื่อง fence จึงจำเป็นในปัจจุบัน ไม่ใช่เรื่องของอนาคตอันไกลโพ้น เพราะความสามารถระดับเด็ก ป.6 ไม่จำเป็นต้องถึงขั้นสร้างกล่องมาขังไว้ เนื่องจากพวกมันพร้อมทำตามกฎที่เขียนไว้อย่างชัดเจนได้ดีมาก แต่ขณะเดียวกัน ก็ยังไม่ใช่ระดับที่จะปล่อยให้เดาเอาเองได้ว่าอะไรควรทำหรือไม่ควรทำ เด็ก ป.6 ที่รู้กฎชัดเจนว่า 'ห้ามปล่อยโปรแกรมขึ้นเน็ตก่อนได้รับอนุมัติ' กับเด็ก ป.6 ที่ไม่เคยมีใครบอก ผลลัพธ์ที่ได้จึงต่างกันลิบลับ สำหรับทีมที่ยังไม่อยากเสียเวลาเขียนกฎให้เป็นลายลักษณ์อักษร ทางเลือกเดียวที่เหลืออยู่คือการให้มนุษย์คอยกดอนุมัติก่อน AI agent ลงมือ ทุกครั้ง ซึ่งต้องแลกกับความเร็วในการทำงานที่หายไป

นอกจากนี้ เขายังคาดการณ์ว่าในอีกราวหนึ่งปีข้างหน้า โมเดลจะพัฒนาการตัดสินใจขึ้นไปถึงระดับมัธยมปลาย ซึ่งเทียบเท่ากับผู้ใหญ่หลายคนและเริ่มนำมาใช้งานจริงได้มากขึ้น ช่องว่างระหว่างการต้องคอย 'คุมเข้มทุกย่างก้าว' กับการ 'ปล่อยให้ลุยได้เต็มที่ถ้ามีกฎที่ชัดเจน' กำลังแคบลงเรื่อยๆ

กฎที่ค่อยๆ เข้มขึ้น จนโปรแกรมบล็อกการกระทำที่ผิดกฎได้เอง

ส่วนที่นำไปปรับใช้ได้จริงที่สุดในบทความนี้ คือวงจรชีวิตของกฎแต่ละข้อใน Wheelhouse ที่ไล่ระดับการบังคับใช้ออกเป็น 4 ขั้น

ขั้นแรกคือ 'ธรรมเนียมปฏิบัติ' ยังไม่มีใครเขียนไว้อย่างเป็นทางการ แค่ทำตามๆ กันมา ขั้นที่สองคือ 'คำเตือน' ระบบจะเริ่มส่งสัญญาณเตือนเมื่อมีใครทำผิดแนวทาง แต่ยังไม่ได้สั่งห้าม ขั้นที่สามคือ 'กฎหมาย' บันทึกไว้ในรัฐธรรมนูญของโรงงานว่า agent ทุกตัวต้องปฏิบัติตาม ขั้นที่สี่คือ 'การบังคับใช้ด้วยโค้ด' มีโปรแกรมคอยตรวจสอบและบล็อกการกระทำที่ผิดนโยบายโดยตรง หรือส่งเสียงเตือนทันทีที่พบสิ่งผิดปกติ กฎข้อไหนโดนละเมิดซ้ำๆ ก็ขยับขึ้นไปอีกขั้นหนึ่ง

กระบวนการออกกฎก็เกิดขึ้นเป็นระบบเช่นกัน เมื่อเจ้าของมอบหมายงานลงไป Fable จะถามกลับจนได้แนวทางที่ชัดเจน จากนั้นจึงบันทึกผลการตัดสินใจนั้นไว้เป็นกฎไว้อ้างอิงในครั้งต่อไป เมื่อเกิดปัญหาซ้ำๆ การถอดบทเรียนหลังเหตุการณ์ก็กลายเป็นกฎข้อใหม่ ตัวกฎเองก็มีวงจรชีวิตของมัน ตั้งแต่ขั้นเสนอ ประเมิน รับรอง ประกาศใช้ บังคับใช้ วัดผล แก้ไข ไปจนถึงการปลดระวาง

คำถามที่ตามมาทันทีคือ ทำไมต้องทำให้ยุ่งยากขนาดนั้น ในเมื่อแค่บอกปากเปล่าเอาก็ได้?

คำตอบอยู่ที่ธรรมชาติของคนงานในโรงงานนี้ AI agent แต่ละตัวมีความจำจำกัด และพร้อมสลับตัวกันเข้ามาทำงานแทนกันได้ตลอดเวลา กฎที่อยู่ในหัวของหัวหน้าทีมจึงเหมือนไม่มีอยู่จริงสำหรับพวกมัน สิ่งเดียวที่ agent หลายสิบตัวใช้ประสานงานร่วมกันได้ คือกฎที่บันทึกไว้เป็นลายลักษณ์อักษร ถ้าข้ามขั้นตอนนี้ไป สิ่งที่ต้องแลกไม่ใช่แค่ความวุ่นวายเฉพาะหน้า แต่คือการต้องมานั่งอธิบายเรื่องเดิมซ้ำๆ ทุกครั้งที่มี agent ตัวใหม่เข้ามา และต้องเจอกับการทำผิดกฎเดิมซ้ำซาก โดยที่ไม่มีใครรู้ด้วยซ้ำว่าเคยมีกฎข้อนี้อยู่

ตรงนี้จึงเป็นโจทย์ที่คุณต้องตัดสินใจเองว่า กฎข้อไหนควรหยุดอยู่แค่ขั้น 'เขียนไว้ให้อ่าน' และข้อไหนควรไปให้ถึงขั้น 'เขียนโปรแกรมขึ้นมาบล็อกเอง' การเขียนทิ้งไว้เฉยๆ นั้นทำง่ายและแก้ได้เร็ว แต่ต้องลุ้นให้ agent อ่านและทำตาม ส่วนการทำให้โปรแกรมปฏิเสธได้จริงจะแม่นยำและไว้ใจได้มากกว่ามาก แลกกับเวลาที่ต้องลงแรงสร้างและภาระในการดูแลรักษา อย่างใน Wheelhouse ถึงกับต้องตั้งตำแหน่งใหม่ชื่อ 'Frog' ขึ้นมาดูแลสารบบกฎหมายโดยเฉพาะ ทำหน้าที่คอยตามลบกฎที่ยกเลิกไปแล้ว หรือยกเลิกกฎที่พบว่าเป็นแค่วิธีทำงานทั่วไปที่ไม่จำเป็นต้องยกระดับเป็นกฎหมาย สำหรับใครที่เขียนกฎให้ AI agent อ่านผ่านไฟล์เดียว อยู่แล้ว จะพบว่านี่คือปลายทางของเส้นทางเดียวกัน

ต้นทุนจริงของโรงงานที่ใช้ AI Agent 50 ตัว

เรื่องนี้ไม่ใช่แค่การทดลองเล่นๆ ในคอมพิวเตอร์ส่วนตัว เพราะค่าใช้จ่ายจริงสูงเอาเรื่อง

ถ้าคิดตามปริมาณโทเคนหรือหน่วยประมวลผลข้อความที่ใช้งานจริง โรงงานนี้จะมีค่าใช้จ่ายสูงถึงราว 122,000 ดอลลาร์ต่อเดือน หรือราว 4,000 ดอลลาร์ต่อวัน แต่เงินที่จ่ายจริงอยู่ที่ราว 5,000 ดอลลาร์ต่อเดือนเท่านั้น เพราะใช้วิธีซื้อผ่านแพ็กเกจเหมาจ่ายรายเดือนอย่าง Claude Max ของ Claude ตอนนี้เปิดใช้งานอยู่ 21 บัญชี และเพิ่มขึ้นเฉลี่ยสัปดาห์ละ 2 บัญชี โดยคลัสเตอร์ agent ทั้ง 50 ตัวนี้ รันอยู่บน Mac Studio ชิป M3 Ultra แรม 512GB เพียงเครื่องเดียว ซึ่งเขาซื้อจาก eBay มาในราคา 25,000 ดอลลาร์

ฝั่งผลผลิตนับว่ารวดเร็วสมราคา ระบบรวมโค้ดของโรงงานส่งชุดการแก้ไขโค้ด หรือ commit เข้าสู่โปรเจกต์ได้สูงสุดถึงวันละ 500 ครั้ง โดยมีค่าเฉลี่ยจริงอยู่ที่ราว 270 ครั้งต่อวัน

แต่ต้นทุนแฝงที่ไม่ได้โผล่มาในบิล คือขนาดของตัวโรงงานเอง โค้ดของ Wheelhouse ในปัจจุบันมีขนาดถึง 600,000 บรรทัด ส่วนใหญ่เป็นชุดคำสั่ง Bash script ขณะที่โค้ดของเกม 'Wyvern' เกม RPG แฟนตาซียุคกลางที่เขาพัฒนามานานถึง 30 ปี และเป็นผลงานชิ้นเดียวที่โรงงานนี้สร้าง มีขนาดใหญ่กว่าตัวโรงงานเพียง 2 เท่าเท่านั้น ถ้าไม่นับส่วนเนื้อหาของเกม สัดส่วนระหว่าง 'โค้ดของระบบที่ใช้สร้าง' กับ 'โค้ดของผลงานจริง' กำลังวิ่งเข้าใกล้ 1:1 และตัวโรงงานก็ยังโตเร็วกว่าตัวเกม แม้ทีมงานจะพยายามชะลอการขยายระบบแล้วก็ตาม

ถึงอย่างนั้น ผลลัพธ์ที่ได้ก็จับต้องได้จริง หลังจากกลับมาลงมือใหม่ไม่ถึง 10 สัปดาห์ เกม Wyvern ที่ค้างคามานานก็ใกล้กลับมาเปิดตัวอีกครั้งบน Android, iOS และ Steam ส่วนเกมเวอร์ชันเว็บนั้น Fable เขียนขึ้นได้เร็วมาก ทั้งที่ก่อนหน้านี้โมเดลรุ่นรองอย่าง Opus พยายามทำอยู่นานหลายเดือนแต่ไม่สำเร็จ

ทำไมเราถึงก๊อปปี้กฎของคนอื่นมาใช้ตรงๆ ไม่ได้

ข้อควรระวังสำคัญที่สุดของเรื่องนี้อยู่ท้ายบทความ ใครที่หวังจะลอกการบ้านคงใช้ทางลัดนี้แทบไม่ได้

ความรู้ที่จำเป็นต่อการทำงานขององค์กร ส่วนใหญ่มักไม่เคยมีใครเขียนลงกระดาษ แต่อยู่ในหัวของคนที่ทำงานมานาน การนำความรู้เหล่านั้นมาเขียนเป็นกฎที่ระบบตรวจสอบได้และ agent ทำตามได้จริง ต้องใช้เวลาตั้งแต่หลายสัปดาห์ไปจนถึงหลายปี ขึ้นอยู่กับว่าองค์กรนั้นมีสิ่งที่ไม่ได้บันทึกไว้มากน้อยแค่ไหน

ยิ่งไปกว่านั้น เขาไม่คิดว่าความรู้ก้อนนี้จะยกไปวางที่อื่นได้ เขาเปรียบว่าความรู้พวกนี้ค่อยๆ ก่อตัวขึ้นจากงานของแต่ละที่ เหมือนไม้เลื้อยที่ขึ้นคลุมกำแพงบ้านหลังหนึ่งจนเต็ม เราไม่อาจดึงไม้เลื้อยนั้นไปแปะบนกำแพงบ้านคนอื่น แล้วหวังให้มันรอดได้ ใครที่กำลังรอชุดกฎสำเร็จรูปเพื่อนำมาติดตั้งทีเดียวจบ อาจจะต้องรอไปอีกนาน

เขายังทิ้งท้ายไว้ว่า การเปลี่ยนแปลงแบบนี้จะสร้างความอึดอัดให้กับคนกลุ่มหนึ่งในองค์กรอย่างมาก นั่นคือคนที่อยู่รอดได้ด้วยการ 'กักเก็บความรู้ไว้กับตัว' เพราะการบันทึกทุกอย่างลงไปให้คอมพิวเตอร์อ่านออก เท่ากับการประกาศอย่างชัดเจนและโปร่งใสว่า ใครกำลังทำอะไรอยู่กันแน่

เพราะกฎที่ไม่มีใครบันทึกไว้ก็ไม่ต่างจากกฎที่ไม่เคยมีอยู่จริง อย่างน้อยก็สำหรับคนงานที่มาในวันพรุ่งนี้ ซึ่งอาจไม่ใช่ตัวเดียวกับที่คุยกันไว้วันนี้

---

ที่มา: บทความ Fences, not Sandboxes จาก Steve Yegge