ความสม่ำเสมอของตัวละครจากสตอรีบอร์ดสู่การเป็นวิดีโอ
วิธีที่ VideoGen ใช้ตารางตัวละครและการสร้างตามลำดับ เพื่อให้คนเดิมยังคงดูเหมือนเดิมในทุกฉาก

วิดีโอ AI แบบหลายฉากมักจะล้มเหลวในรูปแบบที่คาดเดาได้ นั่นคือตัวเอกจะมีหน้าตาที่เปลี่ยนไปในทุกๆ ฉาก
Storyboard to video คือเวิร์กโฟลว์ของ VideoGen สำหรับการเปลี่ยนรายการฉากที่มีโครงสร้างให้เป็นวิดีโอที่เสร็จสมบูรณ์ ส่วนที่ยากไม่ใช่การสร้างเฟรมที่ดีเพียงเฟรมเดียว แต่ส่วนที่ยากคือการรักษาตัวละคร เครื่องแต่งกาย และสไตล์เดิมให้คงที่ตลอดทั้งเรื่อง
ตารางตัวละคร (Character grids)
ก่อนที่เราจะสร้างสื่อสำหรับฉาก เราจะสร้างตารางตัวละครขึ้นมาก่อน ซึ่งเป็นแผ่นอ้างอิงที่จับภาพใบหน้า ร่างกาย และชุดของตัวละครแต่ละตัวจากหลายๆ มุม ฉากในภายหลังจะใช้ตารางนั้นเป็นจุดยึดทางภาพแทนที่จะอาศัยเพียงคำบรรยายที่เป็นข้อความเพียงอย่างเดียว
ข้อความคำสั่ง (Text prompts) มักเกิดการเบี่ยงเบน "ผู้หญิงในชุดแจ็กเก็ตสีแดง" อาจกลายเป็นผู้หญิงคนละคนกันใน 5 ฉากที่แตกต่างกัน การใช้ตารางจะช่วยให้โมเดลมีสิ่งที่จับต้องได้เพื่อให้ตรงกับต้นฉบับ
การสร้างตามลำดับ (Sequential generation)
เราสร้างฉากตามลำดับ แต่ละฉากในภายหลังสามารถอ้างอิงถึงเฟรมที่ผ่านการอนุมัติก่อนหน้านี้ได้ ดังนั้นตัวตนของตัวละครจึงมีความต่อเนื่องแทนที่จะถูกรีเซ็ตใหม่
การเรียงลำดับแบบนี้ทำงานช้ากว่าการสร้างทุกฉากพร้อมกัน แต่เป็นความแตกต่างระหว่างภาพยนตร์สั้นที่สอดคล้องกับสไลด์โชว์ของคนที่หน้าตาคล้ายกัน สำหรับ Storyboard to video แล้ว ความสม่ำเสมอสำคัญกว่าปริมาณงานที่ได้
ทำไมสิ่งนี้จึงสำคัญสำหรับทีม API และทีมผลิตภัณฑ์
หากคุณกำลังสร้างวิดีโอที่มีการบรรยายหรือใช้ตัวละครเป็นหลักในระดับสเกลใหญ่ คุณจำเป็นต้องมีเวิร์กโฟลว์ที่ให้ความสำคัญกับการรักษาความสม่ำเสมอเป็นอันดับแรก:
- สินทรัพย์อ้างอิงสำหรับตัวละครที่ปรากฏซ้ำ
- การสร้างตามลำดับพร้อมบริบทที่ส่งต่อจากฉากก่อนหน้า
- การแก้ไขในขั้นตอนสุดท้ายเมื่อฉากยังคงมีความคลาดเคลื่อน
Storyboard to video รวมองค์ประกอบเหล่านี้เข้าด้วยกันเพื่อให้คุณสามารถสร้างวิดีโอหลายฉากได้โดยไม่ต้องแก้ไขตัวตนด้วยมือในทุกๆ การตัดต่อ
ลองใช้ storyboard to video หรืออ่าน เอกสาร API สำหรับเวิร์กโฟลว์ storyboard-to-video



Anton Koenig