โปรเจกต์วิจัยอิสระชื่อ lucidml กำลังได้รับความสนใจอย่างมากในชุมชน r/LocalLLaMA สิ่งที่ระบบนี้ทำได้คือการรับภาพนิ่งเพียง 1 ภาพ แล้วแปลงภาพนั้นให้กลายเป็นโลกจำลองที่สามารถกดแป้นพิมพ์เดินสำรวจได้แบบเรียลไทม์ เช่น เมื่อส่งภาพถ่ายวิวทิวทัศน์เข้าไป ผู้ใช้สามารถกดปุ่ม W เพื่อเดินตรงเข้าไปในภาพ ฉากหลังจะขยับเปลี่ยนมุมมองตามการเคลื่อนไหวเสมือนกำลังเล่นเกม ทั้งที่จุดเริ่มต้นเป็นเพียงภาพถ่ายธรรมดาใบเดียว

สิ่งที่ทำให้งานวิจัยนี้น่าสนใจ ไม่ใช่แค่เรื่องการสร้างโลกเสมือนด้วย AI เพราะเทคโนโลยีลักษณะนี้เคยมีให้เห็นมาบ้างแล้ว แต่ระบบก่อนหน้านี้มักมีขนาดใหญ่จนต้องพึ่งพาพลังประมวลผลระดับดาต้าเซ็นเตอร์ ในขณะที่ lucidml ได้รับการออกแบบให้รันบนการ์ดจอสำหรับผู้ใช้ทั่วไปอย่าง RTX 5090 และที่สำคัญคือผู้พัฒนาไม่ใช่บริษัทยักษ์ใหญ่ แต่เป็นนักศึกษาปีสุดท้ายที่เทรนโมเดลขึ้นมาด้วยตนเองตั้งแต่ต้น

ภาพนิ่งใบเดียว เดินเข้าไปสำรวจได้จริง

กลไกหลักของ lucidml เริ่มต้นจากการใช้ภาพนิ่ง 1 ภาพเป็นภาพตั้งต้น (seed frame) จากนั้นโมเดลจะทำหน้าที่สร้างภาพเฟรมถัดไปขึ้นมาทีละเฟรมอย่างต่อเนื่อง โดยอิงจากลำดับภาพก่อนหน้าและปุ่มควบคุมที่ผู้เล่นกด

กระบวนการนี้มีหลักการทำงานคล้ายกับโมเดลภาษาขนาดใหญ่ (LLM) อย่าง ChatGPT โดย LLM จะคาดเดาคำถัดไปจากบริบทของประโยคก่อนหน้า ส่วน lucidml จะคาดเดาภาพเฟรมถัดไปจากเฟรมในอดีต ระบบจะเก็บสถานะความจำของฉากต่างๆ ไว้ใน KV Cache เหมือนที่ LLM เก็บบริบทการสนทนา และสร้างภาพต่อเนื่องในลักษณะ Autoregressive ทีละส่วน

สำหรับการควบคุมด้วยปุ่ม WASD ระบบไม่ได้ส่งเข้าไปเป็นข้อมูลชุดคำสั่งแยกต่างหาก แต่ใช้วิธีนำสัญญาณการกดปุ่มไปปรับแต่งพารามิเตอร์การคำนวณของเฟรมภาพผ่านเทคนิค AdaLN ซึ่งช่วยลดภาระการประมวลผล ทำให้ข้อมูลไม่ยาวขึ้นและโมเดลยังคงทำงานได้อย่างรวดเร็ว

ออกแบบให้มีขนาดกะทัดรัดตั้งแต่ต้น

จุดเด่นสำคัญของงานนี้คือความเร็วในการประมวลผล แม้โมเดลกลุ่ม Diffusion จะขึ้นชื่อเรื่องความช้า แต่ lucidml รุ่นขนาด 500M สามารถสร้างภาพได้ที่ความเร็ว 50 ถึง 60 fps บนการ์ดจอ RTX 5090 ซึ่งลื่นไหลเพียงพอต่อการควบคุมแบบอินเทอร์แอคทีฟ

ประสิทธิภาพระดับนี้เกิดจากการออกแบบเพื่อประหยัดทรัพยากร เช่น การบีบอัดภาพให้อยู่ในรูปแบบที่ประมวลผลได้เร็ว และการจัดการหน่วยความจำแบบ Sliding Window โดยระบบจะลบข้อมูลฉากเก่าทิ้งเมื่อมีฉากใหม่เข้ามา เพื่อไม่ให้กินหน่วยความจำ VRAM จนเกินขีดจำกัดของการ์ดจอทั่วไป

โมเดลสร้างโลกเสมือนในอดีตมีขนาดใหญ่จนต้องพึ่งพาดาต้าเซ็นเตอร์ แต่งานนี้ทดลองลดสเกลลงมาให้รันได้บนการ์ดจอคอมพิวเตอร์ส่วนบุคคล

แตกต่างจากงานวิจัยก่อนหน้าที่มุ่งเน้นความละเอียดสมจริงโดยไม่จำกัดสเปกฮาร์ดแวร์ lucidml เลือกตั้งต้นจากข้อจำกัดของเครื่องคอมพิวเตอร์ทั่วไป แล้วหาจุดลงตัวที่ดีที่สุดภายใต้ทรัพยากรนั้น

เรียนรู้การเคลื่อนไหวจากเกมจริง

การฝึกโมเดลประเภทนี้ต้องใช้ชุดข้อมูลที่ระบุความสัมพันธ์ระหว่างการกดปุ่มและการเปลี่ยนมุมมองของภาพ ผู้พัฒนาจึงเก็บข้อมูลการเล่นจากเกม GTA 5 โดยปล่อยให้บอทเดินสำรวจในเกมและบันทึกภาพควบคู่กับสัญญาณปุ่มกด เพื่อให้โมเดลเข้าใจว่าแต่ละปุ่มส่งผลต่อการเปลี่ยนมุมมองอย่างไร

เพื่อป้องกันไม่ให้โมเดลจดจำเฉพาะสภาพแวดล้อมในเกม GTA 5 ผู้พัฒนาได้เพิ่มชุดข้อมูลวิดีโอธรรมชาติที่มีความหลากหลาย เช่น ภูมิประเทศทะเลทราย ทุ่งหญ้า และหิมะ ช่วยให้โมเดลสามารถสร้างภาพการเคลื่อนที่ในสภาพแวดล้อมธรรมชาติได้เป็นธรรมชาติมากขึ้น แม้ว่าการจำลองโครงสร้างที่ซับซ้อนอย่างอาคารหรือยานพาหนะจะยังทำได้จำกัด

ข้อจำกัดที่ยังต้องพัฒนาต่อ

หากพิจารณาอย่างละเอียด ระบบนี้ยังห่างไกลจากคำว่าเกมในรูปแบบดั้งเดิม ภาพที่สร้างขึ้นยังมีความกระตุกและมีอาการกะพริบเป็นระยะ เมื่อผู้เล่นเดินสำรวจไปไกลขึ้น ฉากจะเริ่มบิดเบือนไปจากภาพต้นฉบับเนื่องจากข้อจำกัดของหน่วยความจำ นอกจากนี้ระบบยังไม่มีการคำนวณกฎฟิสิกส์จริง และไม่สามารถรักษาตำแหน่งเดิมของวัตถุได้อย่างสมบูรณ์เมื่อหันมุมมองกลับมา

ในเชิงเทคนิค ระบบนี้คือ "การสร้างวิดีโอที่ตอบสนองต่อผู้ใช้แบบเรียลไทม์" มากกว่าการเป็น Game Engine เพราะเบื้องหลังไม่มีการคำนวณตรรกะของเกม มีเพียงโมเดล AI ที่คาดเดาความน่าจะเป็นของภาพถัดไป

ผู้พัฒนาคาดหวังว่าหากสามารถขยายหน้าต่างบริบทให้โมเดลจดจำฉากได้ยาวนานขึ้น โมเดลอาจเรียนรู้และสร้างความเข้าใจเกี่ยวกับสภาพแวดล้อมทางกายภาพขึ้นมาได้เองโดยไม่ต้องเขียนกฎฟิสิกส์กำกับ ซึ่งยังเป็นความท้าทายสำคัญที่ต้องศึกษากันต่อไป

เทคนิคเบื้องหลังของงานนี้พัฒนาต่อยอดมาจาก Diffusion Forcing ซึ่งเปิดให้อ่านรายละเอียดได้ที่ diffusion-forcing-transformer โดยทีมวิจัยเน้นนำแนวคิดดังกล่าวมาปรับสเกลให้สามารถรันบนฮาร์ดแวร์ทั่วไปได้จริง

ก้าวต่อไปของโมเดล Interactive World

สิ่งที่น่าสนใจจากงานวิจัยชิ้นนี้ไม่ใช่เพียงตัวเลขเฟรมเรต แต่คือทิศทางการพัฒนาโมเดล AI การสร้างโลกเสมือนแบบเรียลไทม์ที่เคยถูกจำกัดอยู่เฉพาะในห้องแล็บขนาดใหญ่ เริ่มเปิดโอกาสให้นักพัฒนาเดี่ยวที่มีฮาร์ดแวร์ระดับผู้ใช้ทั่วไปสามารถทดลองสร้างขึ้นมาได้

เมื่อโมเดลสร้างโลกเสมือนถูกย่อขนาดจนรันบนเครื่องคอมพิวเตอร์ส่วนบุคคลได้ เทคโนโลยีที่เคยต้องพึ่งพาเซิร์ฟเวอร์ราคาแพงก็เริ่มเข้าถึงผู้คนได้กว้างขวางขึ้น และนี่คือทิศทางสำคัญที่จะเปิดประตูสู่การสร้างประสบการณ์อินเทอร์แอคทีฟรูปแบบใหม่ในอนาคต

---

ที่มา: โพสต์ Deep Neural Network that can turn any Image into a Playable Game! BUT LOCALLY, NOT ON DATACENTER ในชุมชน r/LocalLLaMA