Tencent Hunyuan ทีมพัฒนาโมเดล AI ของ Tencent เปิดตัว AuK โมเดลเสียงแบบโอเพนซอร์สที่ออกแบบมาเพื่อแก้ปัญหาคลาสสิกของคนอัดเสียง คืออัดเสียงจนเสร็จแล้วเพิ่งพบว่าพูดผิดไปคำเดียว

ลงเสียงสปอตโฆษณาหรือพากย์คลิปยาวๆ แล้วพอฟังทวนกลับเจอจุดผิด เช่น อ่านตัวเลขราคาผิด มีเสียงหายใจแทรกตรงท่อนสำคัญ หรือมีเสียงพัดลมก้องอยู่ในห้อง

ถ้าที่ผ่านมาคุณแก้ด้วยการเปิดไมค์อัดใหม่ทั้งประโยคแล้วตัดต่อแทรกให้เนียน งานเสียงรบกวนแต่ละแบบก็ต้องสลับไปใช้คนละแอป ทั้งแอปลดเสียงรบกวน แอปตัดเสียงหายใจ และแอปแยกเสียงร้อง แต่ AuK รวมงานพวกนั้นไว้ในช่องพิมพ์คำสั่งเดียว

เราแค่พิมพ์บอกเป็นประโยคธรรมดาว่าต้องการเปลี่ยนคำไหนเป็นคำไหน โมเดลจะเข้าไปแก้ไขให้ในไฟล์เสียงเดิม นอกจากนี้ ช่องคำสั่งเดียวกันยังใช้ลดเสียงรบกวน ลบเสียงหายใจ ปรับอารมณ์เสียง หรือแยกเสียงร้องออกจากดนตรีได้อีกด้วย ทีมงานเปิดให้ดาวน์โหลดทั้งซอร์สโค้ดและ Model Weights ที่เป็นไฟล์ตัวโมเดล ภายใต้สัญญาอนุญาตแบบโอเพนซอร์สอย่าง MIT License เมื่อวันที่ 9 กันยายน 2026 พร้อมทั้งเปิดหน้าเดโมให้ทดลองใช้งานได้ฟรีบนเบราว์เซอร์

สั่งงานทุกอย่างได้ในช่องคำสั่งเดียว

AuK เป็นโมเดลพื้นฐานขนาด 1.5 พันล้านพารามิเตอร์ สำหรับสร้างและแก้ไขเสียงพูดโดยเฉพาะ ข้อมูลบน Hugging Face แพลตฟอร์มรวมโมเดล AI ระบุว่าโมเดลนี้เทรนด้วยข้อมูลเสียงรวมหลายล้านชั่วโมง สามารถทำงานได้ครบทั้งการสร้างเสียงใหม่ แก้ไขคำ ปรับปรุงคุณภาพ และแยกเสียง โดยควบคุมทั้งหมดผ่านคำสั่งภาษาธรรมชาติ

AuK ไม่มีเมนูฟังก์ชันหรือปุ่มแยกตามประเภทงาน แต่ทุกงานเริ่มต้นด้วยประโยคคำสั่ง 1 ประโยคที่ระบุผลลัพธ์ที่ต้องการ

งานที่ต้องมีเสียงตั้งต้นให้ใส่ไฟล์เสียงต้นฉบับมาด้วย ส่วนงานสร้างเสียงจากคำบรรยายล้วนๆ ใช้แค่ประโยคคำสั่งอย่างเดียว

โมเดลเปิดให้ใช้งาน 2 รุ่นตามความเหมาะสมของงาน:

• AuK รุ่นตัวเต็ม เน้นคุณภาพเสียงสูงสุด สามารถปรับจำนวนรอบการประมวลผลหรือ Step และค่าควบคุมความตรงตามคำสั่งอย่าง CFG ได้อย่างอิสระ เหมาะสำหรับงานจริงที่ต้องการผลลัพธ์ที่ประณีตที่สุด
• AuK-Flash รุ่นที่ย่อส่วนมาจากตัวเต็มเพื่อความรวดเร็ว ล็อกการประมวลผลไว้ที่ 4 Step ต่อครั้งและปรับค่าเพิ่มไม่ได้ เหมาะสำหรับงานที่ต้องการความเร็วเป็นหลัก

ถ้าเพิ่งเริ่มต้น แนะนำให้ใช้รุ่นตัวเต็มก่อนเพื่อดูขีดความสามารถสูงสุด ส่วน AuK-Flash จะเหมาะกับช่วงทดลองเขียนคำสั่งเพื่อหาข้อความที่ได้ผลดีที่สุด เพราะแต่ละรอบประมวลผลเร็วกว่า

แก้คำผิดในเสียงที่อัดไปแล้ว ฟีเจอร์ที่คนทำคอนเทนต์ใช้บ่อยที่สุด

ในมุมของคนทำคอนเทนต์ หมวดนี้คือความสามารถหลักของ AuK เพราะแทนที่จะสร้างเสียงใหม่ตั้งแต่ต้น โมเดลจะแก้ไขเนื้อหาในไฟล์เสียงเดิมที่มีอยู่แล้ว

งานในหมวดนี้แบ่งออกเป็น 2 ส่วน:

1. Speech Content Editing: แก้ไขคำในเสียงพูด ทั้งการแทนที่คำ แทรกคำใหม่ หรือลบคำเดิมออก โดยไม่ต้องอัดประโยคนั้นซ้ำ
2. Lyric Editing: แก้ไขเนื้อร้องในไฟล์เพลง โดยยังคงรักษาทำนองและน้ำเสียงของนักร้องเดิมไว้

ตัวอย่างคำสั่งจริงจาก README เอกสารคู่มือของโปรเจกต์:

auk-infer \
  --audio content.wav \
  --instruction "Replace 'but accepting what we cannot have' with 'and living well with dreams unmet'." \
  --output out_content_edit.wav \
  --gen_seconds 7.0

ความหมายของพารามิเตอร์ในคำสั่ง:

• --audio คือไฟล์เสียงต้นฉบับ
• --instruction คือข้อความคำสั่งที่เขียนเป็นภาษาอังกฤษทั่วไป ระบุชัดเจนว่าจะแทนที่ประโยคไหนด้วยประโยคใหม่
• --output คือชื่อไฟล์เสียงผลลัพธ์
• --gen_seconds คือความยาวของไฟล์เสียงผลลัพธ์ (หน่วยเป็นวินาที)

จุดเด่นคือคำสั่งนี้ไม่ใช่โค้ดหรือรูปแบบคำสั่งที่ต้องท่องจำ เราพิมพ์เป็นประโยคธรรมดาเหมือนสั่งงานทั่วไปได้ ไม่ต้องคอยเลื่อนหาบนคลื่นเสียงว่าคำที่พูดผิดอยู่ตรงวินาทีไหน เพียงระบุคำเดิมและคำใหม่ที่ต้องการ

ลดเสียงรบกวน ลดเสียงก้อง และแยกเสียงด้วยคำสั่งข้อความ

หมวดที่สองคือการปรับปรุงและแยกเสียง ที่เป็นงานประจำของคนทำพอดแคสต์และงานวิดีโอ ประกอบด้วย:

• Speech Enhancement: ลดเสียงรบกวน และลดเสียงสะท้อนหรือเสียงก้องในห้อง
• Speech Separation: แยกเสียงของคนที่พูดคุยกันหลายคนออกจากกัน
• Music Separation: แยกเสียงร้องออกจากเสียงดนตรีประกอบ
• Target Speaker Extraction: ดึงเฉพาะเสียงของบุคคลเป้าหมายออกมา โดยตัดเสียงของคนอื่นรอบข้างทิ้ง

วิธีสั่งงานเขียนไว้กระชับมากใน README คือระบุว่าต้องการเก็บเสียงอะไรไว้ และต้องการตัดเสียงอะไรออก เช่น ตัวอย่างในเอกสารใช้คำสั่งภาษาจีนระบุว่า ให้เก็บเสียงพูดของทุกคนไว้ ตัดเสียงรบกวนและเสียงก้องออก แล้วส่งไฟล์เสียงที่ไม่มีเสียงรบกวนกลับมาโดยคงความยาวเดิมไว้ การตั้งค่าคำสั่งก็ใช้รูปแบบเดียวกับตอนแก้คำพูดทุกประการ เพียงเปลี่ยนข้อความในคำสั่งเท่านั้น

ปรับอารมณ์ น้ำเสียง และ Pitch พร้อมจัดการเสียงหายใจในช่องคำสั่งเดียว

ทีมพัฒนาแบ่งความสามารถที่เหลือเป็น 3 หมวดดังนี้:

แม้ AuK จะสร้างเสียงขึ้นมาใหม่ได้ แต่สำหรับคนที่ทำงานเสียงเป็นประจำ ฟีเจอร์แก้ไขเสียงเดิมมักมีประโยชน์ในชีวิตจริงมากกว่า เพราะโดยทั่วไปเรามีไฟล์เสียงหลักอยู่แล้ว แค่ต้องการเครื่องมือมาช่วยแก้จุดที่ผิดพลาดให้เรียบร้อย

ทดลองใช้ฟรีบนเบราว์เซอร์ก่อน โดยไม่ต้องติดตั้งหรือใช้การ์ดจอ

ช่องทางที่สะดวกและรวดเร็วที่สุดคือการทดลองบนเว็บเดโมผ่าน Space บน Hugging Face โดยระบบจะประมวลผลบนคลาวด์ของ Hugging Face ทำให้ใช้งานผ่านเบราว์เซอร์ได้โดยไม่ต้องติดตั้งอะไรบนเครื่อง หรือจะใช้ หน้าเดโมบน ModelScope เป็นตัวเลือกสำรอง

ส่วนหลักของหน้าเดโมมีแค่ช่องอัปโหลดไฟล์เสียง ช่องพิมพ์คำสั่ง สวิตช์เลือกรุ่นโมเดล และปุ่ม Generate ส่วนช่องตั้งค่าที่เหลือเป็นค่าปรับละเอียด ไม่ว่าจะแก้คำ ลดเสียงรบกวน หรือโคลนเสียง ก็ทำจบในหน้านี้ได้ทั้งหมด

สำหรับคนที่ต้องการดาวน์โหลดมารันบนเครื่องตัวเอง ทีมงานเตรียมไว้ให้ 4 แบบ:

• CLI: สั่งงานผ่านบรรทัดคำสั่งด้วย auk-infer บน Terminal ตามตัวอย่างข้างต้น
• Gradio: รันหน้าเว็บอินเทอร์เฟซในเครื่องตัวเองด้วยคำสั่ง auk-gradio
• ComfyUI: มี Node สำหรับ ComfyUI พร้อมไฟล์ Workflow auk.json ให้โหลดไปใช้งานได้เลย
• Python API: เรียกใช้งานผ่านคลาส AukInfer สำหรับนักพัฒนาที่ต้องการเขียนโค้ดเชื่อมต่อในโปรเจกต์ของตัวเอง

สำหรับคนที่ใช้ ComfyUI เป็นประจำ เช่น เคยต่อ Node งานวิดีโอจาก ตอนที่ MiniMax H3 มาอยู่บน ComfyUI ก็นำไปปรับใช้ได้สะดวก แต่มีข้อจำกัดที่ทีมงานระบุไว้ คือใน ComfyUI ผลรวมความยาวของไฟล์เสียงต้นฉบับกับเสียงผลลัพธ์ต้องไม่เกิน 30 วินาที

ขั้นตอนการติดตั้งบนเครื่อง เริ่มจาก Clone โปรเจกต์และติดตั้งแพ็กเกจที่เกี่ยวข้อง:

git clone https://github.com/Tencent-Hunyuan/AuK
cd AuK
pip install -e ".[gradio]"
pip install -U "huggingface_hub[cli]"
hf download tencent/AuK --local-dir ./ckpts/AuK
hf download Qwen/Qwen2.5-Omni-3B --local-dir ./ckpts/Qwen2.5-Omni-3B

คำอธิบายขั้นตอนคำสั่ง:

• บรรทัดที่ 3: ติดตั้งแพ็กเกจ AuK พร้อมหน้าเว็บ Gradio
• บรรทัดที่ 5: ดาวน์โหลด Weights ของ AuK รุ่นเต็มมาไว้ที่โฟลเดอร์ ckpts/AuK
• บรรทัดที่ 6: ดาวน์โหลดโมเดล Qwen2.5-Omni-3B มาไว้ที่โฟลเดอร์ ckpts/Qwen2.5-Omni-3B เป็นขั้นตอนจำเป็นที่ข้ามไม่ได้ เพราะ AuK ต้องใช้โมเดลนี้ทำหน้าที่เป็น Encoder ช่วยประมวลผลข้อมูลนำเข้า ไม่ว่าจะรันรุ่น AuK หรือ AuK-Flash

ข้อสังเกตในการเปิดรันครั้งแรก: ระบบอาจขึ้นข้อความแจ้งว่าไม่พบ Key ชื่อ text_encoder.* แต่ทีมงานระบุว่าเป็นเรื่องปกติ ไม่ใช่ข้อผิดพลาด เพราะตัว Encoder และ VAE ที่เป็นโมเดลแปลงสัญญาณเสียง จะโหลดแยกต่างหากขณะทำงาน ไม่ได้รวมอยู่ในไฟล์ Weights หลัก

นอกจากนี้ยังมีเครื่องมือเสริมชื่อ Prompt Enhancer ที่ช่วยเกลาคำสั่ง โดยแปลงความต้องการทั่วไปให้กลายเป็นคำสั่ง auk-infer พร้อมประเมินความยาวเสียงผลลัพธ์ให้อัตโนมัติ ตัวนี้เป็นตัวเลือก ไม่จำเป็นต้องมี เพราะต้องต่อกับบริการโมเดลภาษาอย่าง LLM API ที่รองรับรูปแบบ OpenAI ถึงจะทำงาน หากไม่มี API ก็พิมพ์คำสั่งเองได้ตามปกติ

เรื่องฮาร์ดแวร์ ใน README แนะนำให้ติดตั้ง PyTorch ชุดไลบรารี AI ให้ตรงกับเครื่องของเราก่อน ไม่ว่าจะประมวลผลด้วย CPU หรือใช้การ์ดจอผ่านระบบ CUDA ส่วนตัวอย่างคำสั่งเปิดหน้า Gradio ที่ระบุอุปกรณ์ไว้ ใช้การ์ดจอแบบ CUDA ทั้งหมด มีทั้งแบบการ์ดใบเดียว และแบบแยกสองรุ่นไปรันคนละใบ ถ้าเครื่องไม่มีการ์ดจอแยก แนะนำให้ใช้งานผ่าน Space บนเบราว์เซอร์จะสะดวกกว่า

ข้อจำกัดที่ต้องรู้ก่อนเอาไปใช้กับเสียงไทย

ก่อนนำ AuK ไปวางแผนใช้งานจริง มีข้อจำกัดสำคัญ 3 ข้อที่ควรพิจารณา:

1. ภาษา: คลิปสาธิตของโปรเจกต์มี 2 ภาษาคือจีนกับอังกฤษ และตัวอย่างคำสั่งใน README ก็เป็น 2 ภาษานี้ทั้งหมด ถ้าต้องการนำมาใช้กับเสียงพากย์ไทย ให้อัปโหลดไฟล์เสียงตัวเองไปทดสอบใน Space ก่อน และอย่าเพิ่งนำไปใช้กับงานลูกค้าจนกว่าจะได้ยินผลลัพธ์จากเสียงไทยจริงๆ
2. คุณภาพเสียงในสภาพแวดล้อมจริง: ทีมพัฒนาเทียบ AuK กับโมเดลอื่นในหลายงาน ทั้งการสร้าง แก้ไข และแยกเสียง แต่ผลที่นำมาแสดงมาจาก benchmark ส่วนคุณภาพเสียงอัดจริง ทั้งเนื้อเสียงและสภาพแวดล้อม ต้องลองฟังด้วยตัวเอง
3. สัญญาอนุญาตการใช้งาน: หน้าโมเดลระบุว่าใช้สัญญาอนุญาตแบบ MIT License อย่างไรก็ตาม ถ้าจะนำไปใช้ในเชิงพาณิชย์ ควรตรวจสอบข้อกำหนดและเงื่อนไขล่าสุดบนหน้าโมเดลให้รอบคอบอีกครั้ง

ก้าวแรกกับ AuK ไม่ต้องติดตั้งอะไรเลย

เริ่มทดสอบ AuK ได้โดยไม่ต้องติดตั้งอะไร เพียงเข้าไปที่หน้า Hugging Face Space แล้วอัดเสียงตัวเองสั้นๆ 1 ประโยคเพื่ออัปโหลด จากนั้นลองพิมพ์คำสั่งเป็นภาษาอังกฤษตามตัวอย่าง เช่น สั่งให้เปลี่ยนคำที่พูดผิดหรือตัดเสียงหายใจออก แล้วกด Generate เพื่อฟังว่ารอยต่อของเสียงที่แก้ไขเนียนแค่ไหน

ผลลัพธ์จากเสียงตัวเองจะตอบได้ชัดกว่าตารางคะแนนไหนๆ ว่าโมเดลนี้พร้อมสำหรับงานของเราแล้วหรือยัง

ส่วนใครที่ใช้ ComfyUI อยู่แล้ว สามารถติดตั้ง Node ผ่านลิงก์ด้านบนเพื่อนำไปต่อเข้ากับ Workflow ของตัวเองได้เลย

หลังจากนี้ เมื่ออัดเสียงเสร็จแล้วพบจุดผิด คำถามอาจไม่ใช่ "ต้องอัดใหม่ทั้งท่อนไหม" อีกต่อไป แต่อาจกลายเป็น "จะพิมพ์บอกโมเดลให้แก้อย่างไรให้เนียนที่สุด"

ที่มา:

• บทความ tencent/AuK-Flash · Hugging Face จาก Tencent Hunyuan (Hugging Face)
• บทความ AuK: An Open-Source Foundational Model for Speech Generation and Editing จาก Tencent-Hunyuan (GitHub)