ภาพนกกระทุงปั่นจักรยานด้านล่างนี้ ไม่ได้สร้างจาก AI วาดรูปทั่วไป แต่เรนเดอร์มาจาก Blender โปรแกรม 3D ตัวเต็มในเครื่อง Mac ผู้ใช้พิมพ์คำสั่งภาษาอังกฤษสั้นๆ เพียง 3 บรรทัด แล้วให้ coding agent ที่เป็น AI ช่วยเขียนโค้ด เข้าไปเขียนสคริปต์ภาษา Python ควบคุมโปรแกรมให้ประกอบฉากและเรนเดอร์ออกมาเองทั้งหมด

เรื่องนี้มาจากบันทึกของ Simon Willison นักพัฒนาเจ้าของบล็อก simonwillison.net ที่ทดลองบนเครื่องตัวเอง ผลลัพธ์จึงไม่ได้มีแค่ไฟล์รูปภาพที่แก้ไขต่อไม่ได้ แต่เป็นไฟล์โปรเจกต์ .blend และสคริปต์ Python ที่เรานำไปเปิดใน Blender เพื่อปรับมุมกล้อง แก้ไขฉาก หรือทำต่อเองได้ทันที แม้แต่คนที่ไม่เคยใช้โปรแกรม 3D มาก่อนก็เริ่มต้นได้ง่ายๆ

ติดตั้ง Blender ตัวเต็มบนเครื่อง แล้วบอก agent ว่าโปรแกรมอยู่ที่ไหน

ขั้นตอนแรกคือดาวน์โหลดและติดตั้งโปรแกรม Blender ตัวเต็มจาก blender.org ลงบนเครื่อง Mac ให้เรียบร้อย โดยต้องติดตั้งเป็นแอปเดสก์ท็อปที่พร้อมใช้งาน เพราะ agent จะเข้าไปเรียกใช้โปรแกรมที่อยู่ในเครื่องเราโดยตรง ถ้ายังไม่ได้ติดตั้ง agent ก็ไม่มีโปรแกรมให้เรียกขึ้นมาเรนเดอร์

จากนั้นเปิด coding agent ขึ้นมาสั่งงานตรงๆ โดยบทความนี้ใช้ ChatGPT Codex และคำสั่งแรกมีเพียงเท่านี้:

Use the already install /Applications/Blender to render a scene of a pelican riding a bicycle

หัวใจสำคัญของประโยคนี้คือ /Applications/Blender เป็นการระบุ path หรือตำแหน่งของโปรแกรมในเครื่องอย่างชัดเจน ส่วนคำว่า already install ที่สะกดตกไปนั้นเป็นไปตามต้นฉบับจริง ชี้ให้เห็นว่าประโยคคำสั่งไม่จำเป็นต้องสละสลวย แค่บอกให้ agent รู้ว่าจะเรียกโปรแกรมจากที่ไหน และต้องการให้สร้างฉากอะไรก็เพียงพอแล้ว

ถ้าต้องการนำไปใช้กับฉากอื่นๆ ให้เปลี่ยนเฉพาะข้อความหลังคำว่า a scene of เป็นสิ่งที่เราต้องการ ส่วนข้อความข้างหน้าให้คงไว้เหมือนเดิม เพราะเป็นส่วนที่ระบุตำแหน่งของ Blender และสั่งให้โปรแกรมเรนเดอร์ภาพ

สั่งปรับแก้ทีละบรรทัด แล้วให้ agent เรนเดอร์ใหม่

หลังจากได้ภาพแรกออกมาแล้ว คำสั่งรอบถัดไปก็ไม่จำเป็นต้องพิมพ์คำอธิบายยาวๆ แค่สั่งเพิ่มสั้นๆ ทีละบรรทัด คำสั่งในรอบที่สองคือ:

OK add a background and a lot of flair

และตามด้วยคำสั่งในรอบที่สาม:

OK make it a whole lot better

สรุปแล้วทั้งกระบวนการใช้คำสั่งเริ่มต้น 1 บรรทัด และคำสั่งแก้อีกเพียง 2 บรรทัด จนได้ภาพสุดท้ายที่เห็นด้านบน

จุดที่น่าสังเกตคือคำสั่งสุดท้ายอย่าง OK make it a whole lot better ไม่ได้ระบุเจาะจงเลยว่า "ทำให้ดีขึ้น" หมายถึงอะไร แต่ปล่อยให้ agent ตัดสินใจเองทั้งหมด

ตรงนี้ขึ้นอยู่กับวิธีทำงานที่เราเลือก จะพิมพ์รายละเอียดทั้งหมดลงไปในคำสั่งแรกทีเดียว หรือจะเริ่มจากคำสั่งกว้างๆ เพื่อดูภาพแรกก่อนแล้วค่อยสั่งแก้ไปทีละจุด การเริ่มจากคำสั่งกว้างๆ ช่วยให้เราเห็นภาพจริงก่อน แล้วค่อยกำหนดทิศทางต่อ ส่วนต้นทุนของการสั่งงาน AI แบบวนหลายรอบ เราเคยอธิบายไว้แล้วในบทความ ทดลองสั่ง coding agent ให้ทำ TDD ในลูปตัวเอง

สิ่งที่ได้ในเครื่องคือไฟล์โปรเจกต์ .blend และสคริปต์ Python

สิ่งที่ทำให้วิธีนี้แตกต่างจากการใช้ AI วาดรูปทั่วไป คือตัว agent ไม่ได้สร้างภาพขึ้นมาเอง แต่เขียนโค้ด Python ไปเรียกใช้ API ของ Blender เพื่อควบคุมโปรแกรม แล้วปล่อยให้ Blender เรนเดอร์ภาพออกมา

ผลลัพธ์จึงมี 2 ส่วน:

1. ไฟล์โปรเจกต์ .blend: สามารถเปิดใน Blender แล้วขยับมุมกล้อง เปลี่ยนสี หรือย้ายตำแหน่งวัตถุต่างๆ ในฉากได้เอง
2. สคริปต์ Python: โค้ดที่ agent เขียนขึ้นมาทั้งหมด โดยฉากนกกระทุงนี้มีโค้ดจริงเผยแพร่อยู่ในชื่อ pelican_final.py บน GitHub ให้เราเปิดดูได้ว่าทั้งฉากประกอบขึ้นมาจากคำสั่งอะไรบ้าง

ความแตกต่างตรงนี้มีประโยชน์มากเมื่อต้องแก้ไขงาน เพราะถ้าเป็นภาพนิ่งจาก AI วาดรูปทั่วไป แค่ต้องการขยับมุมกล้องเล็กน้อยก็ต้องสั่งสร้างรูปใหม่ทั้งหมด และอาจไม่ได้ภาพเดิม แต่พอได้เป็นโค้ดและไฟล์โปรเจกต์ เราจะเลือกเปิดโปรแกรมเข้าไปปรับเอง หรือจะสั่งให้ agent แก้โค้ดเฉพาะจุดให้ก็ได้

ถ้าอยากได้วิดีโอ ให้เรนเดอร์ภาพทีละเฟรมแล้วรวมด้วย ffmpeg

นอกจากภาพนิ่งแล้ว วิธีนี้ยังนำไปสร้างวิดีโอได้ด้วย ด้วยวิธีตรงไปตรงมา คือสั่งให้ Blender เรนเดอร์ภาพต่อเนื่องทีละเฟรม แล้วใช้เครื่องมือจัดการวิดีโอยอดนิยมอย่าง ffmpeg นำภาพชุดนั้นมาต่อรวมเป็นคลิปเดียว

แน่นอนว่ากระบวนการนี้จะใช้เวลานานกว่าการทำภาพนิ่ง เพราะต้องเรนเดอร์ภาพจำนวนมาก สำหรับผู้เริ่มต้น แนะนำให้ปรับแต่งภาพนิ่งจนได้ฉากที่พอใจก่อน แล้วค่อยขยับไปทำวิดีโอ เพราะถ้าฉากยังไม่ลงตัวตั้งแต่ภาพแรก ก็จะเสียเวลาเรนเดอร์ทั้งชุดไปเปล่าๆ

สิ่งที่บันทึกนี้ยังไม่ได้ตอบ

บทความนี้เป็นเพียงบันทึกสั้นๆ จากการทดสอบของนักพัฒนาคนเดียว บนเครื่อง Mac เครื่องเดียว กับโจทย์ฉากนกกระทุงปั่นจักรยาน ที่เป็นโจทย์ประจำที่เจ้าตัวมักหยิบมาลองกับโมเดล AI ใหม่ๆ อยู่แล้ว จึงยังมีอีกหลายเรื่องที่ยังไม่มีคำตอบ เช่น ถ้าเป็นฉากที่ซับซ้อนกว่านี้จะทำได้ดีแค่ไหน ต้องใช้เวลาเรนเดอร์นานเท่าไร หรือต้องใช้สเปกเครื่องระดับไหนถึงจะรองรับไหว

แต่บันทึกนี้แสดงขั้นตอนการทำงานไว้อย่างชัดเจน เพราะกระบวนการทั้งหมดเริ่มด้วย Blender ที่ติดตั้งไว้ในเครื่องและคำสั่งภาษาอังกฤษสั้นๆ อีก 3 บรรทัด

สิ่งที่เปลี่ยนไปจริงๆ ในตอนนี้จึงไม่ใช่แค่ AI วาดรูปเก่งขึ้น แต่คือการที่ agent สามารถหยิบโปรแกรมระดับมืออาชีพอย่าง Blender มาใช้งานได้โดยตรง นั่นแปลว่าโปรแกรมใดก็ตามในเครื่องที่เขียนสคริปต์สั่งงานได้ ก็พร้อมจะกลายเป็นเครื่องมือชิ้นต่อไปที่ agent นำมาช่วยทำงานให้เราได้เช่นกัน

ที่มา: บทความ TIL: Using Blender with coding agents on macOS จาก simonwillison.net