ทำให้ ปากขยับ ด้วย ai

14/09/2023

hitech

การทำให้ปากขยับด้วยปัญญาประดิษฐ์ (AI) ต้องใช้เทคโนโลยีที่เรียกว่า Deepfake หรือการสร้างวิดีโอแบบเทียมตามภาพเดิม ซึ่งใช้การเรียนรู้ของเครื่องจากข้อมูลแบบสร้างโมเดล (Generative Models) เพื่อสร้างวิดีโอที่ดูเหมือนคนจริงโดยการสร้างปากขยับให้ตรงกับเสียงที่กำลังพูดอยู่ในวิดีโอนั้น วิธีนี้มีการใช้ AI ในการสร้างวิดีโอและปากขยับอย่างมีเทคนิคและซับซ้อนมาก และมักนำมาใช้ในบริบทต่างๆ เช่นในบันทึกภาพยนตร์หรือการแปลภาษาอย่างเรียลไทม์ที่ต้องการให้ภาพและเสียงเข้ากันได้.

ขั้นตอนพื้นฐานในการสร้างวิดีโอที่ปากขยับด้วย AI มีดังนี้:

1. **เก็บข้อมูล**: คุณจำเป็นต้องมีข้อมูลวิดีโอของคนที่ต้องการให้ปากขยับ โดยใช้กล้องที่บันทึกหน้าหลังและปากของคนนั้นในสถานการณ์ต่างๆ เพื่อใช้เป็นข้อมูลอ้างอิงในการสร้างปากขยับ.

2. **การเรียนรู้ของเครื่อง (Machine Learning)**: ใช้วิธี Deep Learning ในการสร้างโมเดลที่สามารถเรียนรู้รูปแบบการขยับปากจากข้อมูลที่เก็บไว้. โมเดลนี้จะต้องเรียนรู้เรื่องรูปร่างของปากของคนนั้น และวิธีการขยับของปากเมื่อพูด.

3. **การสร้างวิดีโอ**: ใช้โมเดลที่สร้างขึ้นมาเพื่อสร้างวิดีโอที่ปากขยับตามเสียงที่ต้องการให้พูด. โมเดลจะสร้างกราฟิกของปากและลำโพงออกมา.

4. **การรวมเสียง**: นำเสียงที่ต้องการให้พูด และวิดีโอที่สร้างขึ้นมาจาก AI มารวมกันในวิดีโอสุดท้าย.

5. **การปรับปรุง**: การปรับปรุงวิดีโอเพื่อให้ดูเชื่อถือได้มากขึ้น อาจต้องทำการปรับแก้รายละเอียดเล็กๆ ในปากหรือลำโพงในวิดีโอ.

ควรระวังว่าการใช้ AI ในการสร้างวิดีโอแบบนี้ต้องปฏิบัติตามกฎหมายและนิติบัญญัติที่เกี่ยวข้อง เนื่องจากมีความเกี่ยวข้องกับความเป็นส่วนตัวและการปลอมแปลงข้อมูลบุคคลอาจก่อให้เกิดปัญหาทางกฎหมายได้.

มีหลายวิธีที่ AI สามารถทำให้ปากขยับได้ ดังนี้:

Avatarify: แอปพลิเคชั่นนี้สามารถเปลี่ยนภาพนิ่งให้เป็นวีดีโอสั้น ๆ และขยับปากให้พูดได้ตามที่เราต้องการ¹. คุณสามารถเลือกใช้แบบฟรีหรือจ่ายเงินเพื่อปลดล็อคฟีเจอร์ทั้งหมด¹.
Flawless: บริษัทสตาร์ตอัปนี้ได้พัฒนาเทคโนโลยี Deepfake ที่สามารถปรับภาพปากของนักแสดงในภาพยนตร์ฮอลลีวูดต้นฉบับ สามารถขยับตามปากตามเสียงที่ถูกพากย์ทับในภาษาอื่น ๆ ได้อย่างเป็นธรรมชาติ².
Adobe Sensei AI: เทคโนโลยีนี้ใช้ใน Character Animator เพื่อกำหนดรูปร่างปากหรือการเคลื่อนไหวริมฝีปากไปจนถึงเสียงจากปากหรือหน่วยเสียง³.
Deep Nostalgia: เว็บไซต์ Myheritage ร่วมมือกับ D-ID เปิดตัว ‘Animated Photo’ หรือ Deep Nostalgia, ระบบ AI Face ที่สามารถวิเคราะห์ภาพนิ่งบุคคลให้สามารถขยับตาขยับปากและใบหน้าได้⁴.