video-use ตัดต่อวิดีโอให้ได้ทั้งคลิป โดยที่โมเดลไม่เคยเปิดดูวิดีโอนั้นเลยสักเฟรม

วิธีใช้คือวางไฟล์ดิบทั้งกองไว้ในโฟลเดอร์เดียว แล้วเปิด coding agent หรือโปรแกรม AI ที่รับคำสั่งเป็นข้อความและรันคำสั่งบนเครื่องเราได้จากโฟลเดอร์นั้น จากนั้นพิมพ์บอกเป็นภาษาคนว่าอยากได้คลิปแบบไหน ผลลัพธ์คือไฟล์ edit/final.mp4 ที่ตัดคำติดปากกับช่วงเงียบระหว่างเทคออก ปรับสีทุกช่วงให้ใกล้เคียงกัน และเบิร์นซับไตเติลให้เสร็จ

ตัวโปรเจกต์มาจากทีม browser-use เจ้าของเครื่องมือที่ให้ AI คุมเบราว์เซอร์แทนคน โค้ดเปิดไว้บน GitHub ใต้สัญญาอนุญาต MIT จึงนำไปใช้และแก้ต่อได้ฟรี ตอนกลางเดือนสิงหาคม 2026 หน้า repo แสดงดาวราว 20.8k และ fork ราว 2.6k สิ่งที่น่าสนใจกว่าคำโปรยว่า "ตัดต่อวิดีโอด้วย AI" คือกลไกข้างใน ซึ่งแก้ข้อจำกัดที่ทำให้ AI ทำงานกับวิดีโอยาวไม่ไหวมาตลอด

agent อ่านเนื้อหาในวิดีโอผ่านไฟล์ข้อความ 12KB

ข้อจำกัดอยู่ที่จำนวนเฟรม เพราะวิดีโอสิบกว่านาทีประกอบด้วยภาพนิ่งหลายหมื่นภาพ ถ้าส่งทุกภาพให้โมเดลดู ตัวเลขที่หน้าโปรเจกต์ยกมาคือ 30,000 เฟรม เฟรมละราว 1,500 token ซึ่งเป็นหน่วยที่โมเดลใช้นับปริมาณข้อมูลและคิดค่าใช้จ่าย รวมเป็น 45 ล้าน token ทีมผู้พัฒนาเรียกข้อมูลก้อนนั้นตรงๆ ว่า noise หรือข้อมูลส่วนเกินที่ไม่ได้ช่วยตัดสินใจอะไรเลย

video-use เลยเปลี่ยนของที่โมเดลอ่าน จากภาพเป็นข้อความ งานทุกชิ้นเริ่มจากส่งไฟล์ต้นทางแต่ละไฟล์ไปถอดเสียงหนึ่งครั้งด้วย ElevenLabs Scribe บริการถอดเสียงพูดเป็นข้อความ สิ่งที่ได้กลับมาไม่ใช่แค่ตัวอักษร แต่มีเวลากำกับระดับคำว่าคำไหนอยู่ที่วินาทีที่เท่าไร มีการแยกว่าใครเป็นคนพูด และมีเหตุการณ์เสียงอย่าง (laughter) หรือ (sigh) ติดมาด้วย จากนั้นทุกไฟล์จะอัดรวมเป็นไฟล์เดียวชื่อ takes_packed.md ขนาดราว 12KB ซึ่งเป็นไฟล์หลักที่โมเดลใช้อ่านแทนตัววิดีโอ

หน้าตาของไฟล์นั้นเป็นแบบนี้

## C0103 (duration: 43.0s, 8 phrases)
[002.52-005.36] S0 Ninety percent of what a web agent does is completely wasted.
[006.08-006.74] S0 We fixed this.

ตัวเลขในวงเล็บเหลี่ยมคือวินาทีเริ่มและวินาทีจบของประโยคนั้น ส่วน S0 คือรหัสของคนพูด เท่านี้โมเดลก็รู้แล้วว่าประโยคไหนอยู่ตรงไหนของไฟล์ และจะตัดตรงไหนได้โดยไม่บาดกลางคำ หลักคิดนี้เป็นอันเดียวกับที่ browser-use ป้อนโครงสร้างข้อความของหน้าเว็บให้โมเดลแทนภาพหน้าจอ และเป็นทางเดียวกับที่ book-to-skill แปลงหนังสือทั้งเล่มให้ agent เปิดอ่านทีละบท ใช้ลดปริมาณ token ลง

ขอดูภาพเฉพาะตอนที่ตัดสินใจไม่ได้

ข้อความอย่างเดียวไม่พอทุกกรณี บางจังหวะต้องเห็นภาพจริงถึงจะตัดได้ เช่น ช่วงเงียบยาวๆ ที่ไม่รู้ว่าคนพูดหยุดคิดหรือพูดจบไปแล้ว หรือตอนเทียบเทคสองอันที่พูดประโยคเดียวกัน

video-use จึงมีฟังก์ชันชื่อ timeline_view สำหรับสร้างภาพ PNG ของช่วงเวลาที่ขอ ภาพนี้มีแถบภาพนิ่งเรียงกันแบบฟิล์ม กราฟคลื่นเสียง และคำพูดกำกับบนเส้นเวลา agent จะเรียกดูภาพแบบนี้เฉพาะจุดที่ตัดสินใจไม่ได้ ไม่ได้เรียกดูทุกวินาที งานหนึ่งชิ้นจึงใช้ข้อความ 12KB กับภาพอีกไม่กี่ภาพ แทนที่จะใช้เฟรมสามหมื่นภาพ

เรื่องนี้ไม่ได้แปลว่าโมเดลดูภาพไม่เป็น แต่มันเลือกดูเฉพาะตอนที่ภาพช่วยให้ตัดสินใจได้จริงๆ

ไปป์ไลน์ที่ตรวจงานตัวเองก่อนให้เราดู

งานทั้งหมดทำต่อกันเป็นลำดับ เริ่มจากถอดเสียงและรวมเป็นไฟล์เดียว จากนั้นให้โมเดลคิดกลยุทธ์การตัด แล้วเขียน EDL หรือรายการจุดตัดที่ระบุว่าจะหยิบช่วงเวลาไหนของไฟล์ไหนมาต่อกัน ก่อนจะเรนเดอร์และปิดท้ายด้วยการตรวจงานตัวเอง

ขั้นตรวจงานตัวเองทำให้ไปป์ไลน์นี้ต่างออกไป agent จะใช้ timeline_view ตรวจไฟล์ที่เรนเดอร์เสร็จแล้วทีละรอยตัด เพื่อหาภาพที่กระโดด เสียงป๊อปตรงรอยต่อ หรือซับไตเติลที่ซ้อนกันจนอ่านไม่ออก ถ้าเจอปัญหาก็แก้แล้วเรนเดอร์ใหม่ โดยวนได้สูงสุดสามรอบ เราจะได้เห็นตัวอย่างงานก็ต่อเมื่อรอบตรวจนี้ผ่านแล้วเท่านั้น

หลักการออกแบบข้อหนึ่งระบุว่าห้ามแตะจุดตัดจนกว่าเจ้าของงานจะอนุมัติกลยุทธ์ก่อน กติกาแบบนี้มีทั้งหมด 12 ข้อ ครอบคลุมข้อกำหนดที่ต่อรองไม่ได้เพื่อให้งาน production ถูกต้อง ส่วนเรื่องรสนิยมและความสวยงามปรับได้ตามใจ ข้อกำหนดยังลงไปถึงรายละเอียดเล็กๆ เช่น ทุกรอยตัดจะใส่ audio fade 30 มิลลิวินาทีไว้กันเสียงป๊อป ส่วนงานภาพเคลื่อนไหวประกอบจะแบ่งให้ agent ย่อยหลายตัวทำพร้อมกัน โดยแต่ละตัวรับผิดชอบคนละชิ้นผ่านเครื่องมืออย่าง Remotion หรือ Manim

เครื่องมือตัดต่อที่มี AI อยู่ข้างในกำลังแยกเป็นสองทาง ทางหนึ่งคือ Palmier Pro โปรแกรมตัดต่อบน Mac ที่เปิดให้ agent เข้ามาสั่งงานบนไทม์ไลน์ อีกทางคือ video-use ที่ไม่มีไทม์ไลน์ให้ดูเลย มีแค่ไฟล์ข้อความกับหน้าต่างคำสั่ง

เริ่มด้วยคำสั่งเดียวให้ agent

การติดตั้งไม่ต้องไล่ทำเองทีละขั้น หน้าโปรเจกต์ให้วางข้อความสั่งงานก้อนหนึ่งลงไปในหน้าต่าง agent โดยประโยคเปิดคือ Set up https://github.com/browser-use/video-use for me. แล้วตามด้วยคำสั่งให้อ่านคู่มือติดตั้งก่อนลงมือ จากนั้น agent จะโคลนโค้ด ติดตั้งส่วนประกอบที่ต้องใช้ ลงทะเบียนสกิลกับตัวมันเอง แล้วขอ ElevenLabs API key จากเราหนึ่งครั้ง

พอติดตั้งเสร็จ การเริ่มงานจริงคือสองบรรทัดนี้

cd /path/to/your/videos
claude   # หรือ codex, hermes

แล้วพิมพ์สั่งในเซสชันว่า edit these into a launch video ใช้ได้กับ agent ตัวไหนก็ได้ที่มีสิทธิ์รันคำสั่งบนเครื่อง ทั้ง Claude Code · Codex · Hermes · Openclaw ส่วนตัวอย่างในหน้าโปรเจกต์สาธิตด้วย Claude Code

ซับไทยขึ้นเป็นกล่องว่าง

ถึงตรงนี้ทุกอย่างฟังดูเข้าที แต่มีปัญหาที่หน้าโปรเจกต์ไม่ได้เขียนไว้เลยและกระทบคนไทยเต็มๆ หน้า GitHub ของโปรเจกต์มีรายงานปัญหาหมายเลข 118 ระบุบั๊กสองตัวในโค้ดชุดเดียวกัน ซึ่งทำหน้าที่เบิร์นซับไตเติลลงบนภาพ รายงานนี้เปิดไว้ตั้งแต่ราวต้นเดือนสิงหาคม 2026 และยังเปิดค้างอยู่

บั๊กตัวแรกอยู่ในไฟล์ render.py บรรทัดที่ 51 ตรงนั้นมีค่าคงที่ชื่อ SUB_FORCE_STYLE ที่ล็อกฟอนต์ไว้ตายตัวเป็น Helvetica และใช้ค่านี้ทับค่าที่ไฟล์ซับกำหนดมา ภาษาที่ไม่ได้ใช้อักษรละติน ทั้งไทย จีน อาหรับ ฮีบรู และเทวนาครี จึงเรนเดอร์ออกมาเป็นกล่องสี่เหลี่ยมว่างเปล่าที่วงการฟอนต์เรียกว่า tofu สาเหตุคือ Helvetica ไม่มีตัวอักษรเหล่านั้น และระบบวาดซับก็ไม่มีฟอนต์สำรองให้ใช้แทน ผู้รายงานทดสอบกับอักษรจีนแล้วยืนยันว่าเกิดขึ้นจริง ส่วนภาษาไทยยังไม่มีการทดสอบยืนยันในรายงานฉบับนี้

บั๊กอีกตัวอยู่ที่โค้ดแบ่งซับเป็นก้อน โค้ดส่วนนี้สมมติไว้ล่วงหน้าว่าข้อความเป็นภาษาที่แยกคำด้วยช่องว่างเสมอ จึงแบ่งครั้งละ 2 คำแล้วเปลี่ยนเป็นตัวพิมพ์ใหญ่ เมื่อเจอภาษาที่เขียนติดกันโดยไม่มีช่องว่าง คำสั่งเปลี่ยนเป็นตัวพิมพ์ใหญ่จะไม่มีผล และการแบ่งทีละสองคำทำให้ซับคร่อมขอบเขตประโยค คลิปทดสอบยาว 31 วินาทีที่มี 47 คำ ได้ซับ 24 ก้อน โดยบางก้อนนำสองประโยคคนละเรื่องมาต่อกัน แต่เมื่อแบ่งตามช่องว่างจริงและจำกัดจำนวนตัวอักษรต่อก้อน จะได้ 14 ก้อนตรงกับที่พูดจริง

รายงานนี้มีข้อเสนอแก้โค้ด หรือที่เรียกว่า pull request หมายเลข 120 รอให้เจ้าของโปรเจกต์กดรวมเข้าสายหลัก แต่ตัวรายงานยังมีสถานะเปิดค้างอยู่

เช็ก ffmpeg ก่อนเสียเวลาทั้งเซสชัน

บั๊กอีกตัวเกิดก่อนจะถึงเรื่องฟอนต์ด้วยซ้ำ เพราะทำให้คำสั่งเบิร์นซับพังตั้งแต่ยังไม่ทันได้เห็นซับสักตัว คู่มือติดตั้งบอกให้ลง ffmpeg โปรแกรมประมวลผลไฟล์เสียงและวิดีโอที่สั่งงานผ่านบรรทัดคำสั่ง โดยใช้คำสั่ง brew install ffmpeg ปัญหาคือชุดติดตั้งสำเร็จรูปของ Homebrew รุ่นปัจจุบันสำหรับ Mac ชิป arm ไม่ได้รวม libass ซึ่งทำหน้าที่วาดซับไตเติลลงบนภาพมาให้ เครื่องจึงไม่มีฟิลเตอร์ subtitles, ass และ drawtext อยู่เลย

พอสั่งงานที่มี --build-subtitles ระบบจะพังกลางคัน ข้อความ error ที่ขึ้นมาจะดูเหมือนใส่เครื่องหมายคำพูดผิด ทั้งที่ต้นเหตุจริงคือไม่มีฟิลเตอร์ดังกล่าวอยู่เลย สองบรรทัดนี้ใช้เวลาตรวจเพียงไม่กี่วินาทีว่าเครื่องเราเข้าข่ายหรือเปล่า

ffmpeg -hide_banner -version | grep -o enable-libass
ffmpeg -hide_banner -filters | grep -E ' (subtitles|ass|drawtext) '

ถ้าทั้งสองบรรทัดไม่คืนอะไรออกมาเลย แปลว่า ffmpeg ในเครื่องยังเบิร์นซับไม่ได้ ทางออกบน macOS คือ brew install ffmpeg-full ที่มี libass มาให้ แต่ Homebrew ไม่ลิงก์ชุดนี้ให้อัตโนมัติ ต้องเอา path /opt/homebrew/opt/ffmpeg-full/bin ไปวางไว้หน้าสุดใน PATH เอง หรือจะประกอบ ffmpeg เองจากซอร์สโดยผูกกับ libass ก็ได้เหมือนกัน

ผลเสียของการข้ามขั้นตรวจนี้ไม่ใช่แค่เสียเวลา เพราะระบบสร้างไฟล์ซับได้ถูกต้องตั้งแต่ต้น งานจึงผ่านการถอดเสียง การคิดกลยุทธ์ และการเรนเดอร์มาจนครบ ก่อนจะพังในขั้นสุดท้าย ตอนนั้นค่าถอดเสียงกับค่า token ของทั้งเซสชันจ่ายไปเรียบร้อยแล้วก่อนจะรู้ว่าไม่ได้งาน

คำว่าฟรีของโปรเจกต์นี้ครอบคลุมแค่โค้ด

โค้ดของ video-use เป็น MIT จริง จึงโหลดไปใช้ แก้ ต่อยอด หรือใช้กับงานเชิงพาณิชย์ได้โดยไม่เสียค่าลิขสิทธิ์ แต่ขั้นแรกสุดของไปป์ไลน์คือการเรียก ElevenLabs Scribe หนึ่งครั้งต่อไฟล์ต้นทาง ซึ่งต้องใช้ API key ของบริการภายนอกที่เราไปสมัครเอง หน้าโปรเจกต์บอกแค่ว่าต้องมีคีย์ ไม่ได้ระบุค่าใช้จ่ายส่วนนี้ไว้เลย นอกจากนี้ coding agent ยังต้องทำงานตลอดทั้งเซสชัน โดยราคาขึ้นอยู่กับว่าใช้ agent ตัวไหนและสมัครแพ็กเกจแบบไหนอยู่

นิ่งมาสองเดือน และมีข้อเสนอแก้โค้ดค้างอยู่ 56 ตัว

ตัวเลขอีกชุดบนหน้า repo ให้ภาพอีกด้านจากจำนวนดาว ตอนนี้มี pull request เปิดค้างอยู่ 56 ตัว และมีรายงานปัญหาเปิดอยู่ 17 เรื่อง ส่วนการรวมโค้ดเข้าสายหลักครั้งล่าสุดที่หน้า repo แสดงไว้ผ่านมาราวสองเดือนแล้ว ช่อง release ก็ยังว่าง ไม่มีเวอร์ชันทางการให้ดาวน์โหลดสักตัว แปลว่าคนที่ติดตั้งวันนี้กำลังใช้โค้ดสายหลักโดยตรง ขณะที่โค้ดแก้บั๊กบางตัวยังรอรวมเข้ามา

สิ่งที่ต้องตัดสินใจจึงไม่ใช่ว่าจะลองหรือไม่ แต่เป็นว่าจะลองกับงานแบบไหน คลิปภาษาอังกฤษสั้นๆ ที่ยังไม่ต้องเบิร์นซับใช้ทดสอบกลไกอ่าน transcript ได้เต็มที่ ส่วนงานที่ต้องมีซับไทยติดบนภาพ ถ้ารอให้โค้ดแก้เรื่องฟอนต์รวมเข้ามาก่อนจะประหยัดกว่ามาก

โปรเจกต์อาจนิ่งอยู่แบบนี้ไปอีกพักใหญ่ แต่คำถามจากโปรเจกต์นี้ยังใช้กับงาน AI อื่นได้ ก่อนจะโยนไฟล์กองใหญ่ให้โมเดลดู ลองไล่ดูก่อนว่าข้อมูลที่ใช้ตัดสินใจอยู่ในภาพจริงๆ หรืออยู่ในข้อความที่อธิบายภาพนั้นได้ครบกว่า

ที่มา: โปรเจกต์ video-use บน GitHub