เทสวงจรปิด: ข้อความ → เสียง → กลับมาเป็นข้อความ พร้อมซับไตเติลที่วิ่งตามคำ

ตอนนี้เราได้มา 2 script แล้วครับ ตัวหนึ่งแปลงข้อความเป็นเสียง อีกตัวแปลงเสียงกลับมาเป็น transcription

บทนี้เรามาลองกันว่ามันทำงานได้จริงไหม ทั้งสองตัว ต่อกันเป็นวงจรปิด

prompt เดียว สั่งทั้งวงจร

ผมอยากเทสทั้ง 2 script คือ text to speech แล้วก็ speech to text

ให้คุณเขียน script พูดอะไรก็ได้ แล้ว run text-to-speech script
จากนั้นเอา output มา run speech-to-text ต่อ

พอเสร็จทั้งหมดนี้ รีวิวผลให้ผมดูบน html
โดยมีไฟล์เสียงที่กดเล่นได้ และมี transcription ให้ผมดูด้วย

สังเกตว่าเราไม่ได้เขียนบทให้มันด้วยซ้ำ — บอกแค่ "พูดอะไรก็ได้" แล้วปล่อยให้มันคิดเอง เพราะสิ่งที่เราจะเทสคือท่อ ไม่ใช่เนื้อหา

เทคนิคที่จะเห็นบ่อยในคอร์สนี้: สั่งให้พรีวิวเป็น HTML

เวลาผมสั่งให้มันพรีวิวอะไร ผมจะให้มันทำเป็น HTML เสมอครับ

เพราะมันอ่านง่าย ลองเล่นได้ง่าย ไม่ต้องมานั่งอ่านไฟล์ .md หรือไฟล์ text แล้วไล่หาว่าไฟล์เสียงอยู่ไหนเพื่อจะกดเล่น

มันเป็นวิธีที่ไวที่สุดและเห็นภาพง่ายที่สุด เทคนิคนี้เอาไปใช้ได้เลยครับ ไม่ใช่แค่กับงานเสียง

ผลที่ได้

copy path ของไฟล์ HTML ไปใส่ในเบราว์เซอร์ (ผมชอบดูในเบราว์เซอร์เพราะจอมันเต็ม ดูง่ายกว่า) แล้วจะเจอหน้าที่มี

• ปุ่ม Play ฟังเสียงที่เจนมา
• บทต้นฉบับ ที่มันแต่งเอง
• ตัวเลขสรุป ความยาวเสียง จำนวนคำที่ถอดได้ confidence เฉลี่ย
• ซับไตเติลที่วิ่งตามคำ ตอนกดเล่น
• ตารางเทียบต้นฉบับกับที่ถอดได้ พร้อมชี้จุดที่เพี้ยน

จุดที่ต้องเห็นกับตา

ตรงที่มันทำซับไตเติลวิ่งมาให้ด้วย นี่แหละครับคือของจริง

มันทำแบบนั้นได้เพราะเรามี transcription ที่ละเอียดระดับคำ — ถ้าไม่มีข้อมูลส่วนนี้ มันทำซับไตเติลที่วิ่งเป็นคำ ๆ ไม่ได้เลย

นี่คือเหตุผลทั้งหมดที่เราลงแรงกับ stt.sh และเหตุผลที่ต้องดักไว้ใน prompt ว่าห้ามหั่นไฟล์ ตอนนี้เห็นกับตาแล้วว่าถ้า timing เพี้ยนไปครึ่งวินาที ซับไตเติลจะไม่ตรงคำ

ผลการเทสจริง

บทที่มันแต่งเองเป็นรีวิวก๋วยเตี๋ยวเรือ ยาว 32 วินาที ถอดกลับมาได้ confidence เฉลี่ย และไม่มีคำไหนต่ำกว่า 0.6 เลย