Tính nhất quán của nhân vật từ bảng phân cảnh đến video

Video AI đa cảnh thường gặp thất bại theo một cách có thể dự đoán được: nhân vật chính trông khác biệt trong mỗi cảnh quay.

Storyboard to video là quy trình làm việc của VideoGen nhằm biến danh sách các cảnh được cấu trúc thành một video hoàn chỉnh. Phần khó không nằm ở việc tạo ra một khung hình đẹp. Phần khó là giữ cho cùng một nhân vật, trang phục và phong cách nhất quán xuyên suốt toàn bộ câu chuyện.

Lưới nhân vật (Character grids)

Trước khi tạo phương tiện cho cảnh, chúng tôi xây dựng một lưới nhân vật: một bảng tham chiếu ghi lại khuôn mặt, cơ thể và trang phục của từng nhân vật từ nhiều góc độ. Các cảnh sau đó sử dụng lưới này làm mỏ neo trực quan thay vì chỉ dựa vào mô tả bằng văn bản.

Các câu lệnh (prompt) văn bản thường bị lệch. "Một người phụ nữ mặc áo khoác đỏ" có thể trở thành năm người phụ nữ khác nhau qua năm cảnh. Một lưới nhân vật cung cấp cho mô hình một thứ gì đó cụ thể để đối chiếu.

Tạo theo trình tự

Chúng tôi tạo các cảnh theo thứ tự. Mỗi cảnh sau đó có thể tham chiếu đến các khung hình đã được phê duyệt trước đó, vì vậy đặc điểm nhận dạng được tích lũy thay vì bị thiết lập lại.

Việc tạo theo trình tự này chậm hơn so với việc tạo tất cả các cảnh cùng lúc, nhưng đó chính là sự khác biệt giữa một bộ phim ngắn mạch lạc và một trình chiếu các nhân vật trông giống nhau. Đối với storyboard to video, sự nhất quán quan trọng hơn tốc độ xử lý thô.

Tại sao điều này quan trọng đối với các nhóm API và sản phẩm

Nếu bạn đang xây dựng video có lời bình hoặc lấy nhân vật làm trung tâm ở quy mô lớn, bạn cần một quy trình coi tính nhất quán là yếu tố ràng buộc hàng đầu:

• Tài sản tham chiếu cho các nhân vật xuất hiện nhiều lần
• Tạo theo thứ tự với ngữ cảnh được chuyển tiếp
• Một bước chỉnh sửa khi một cảnh vẫn bị lệch

Storyboard to video kết hợp các yếu tố đó để bạn có thể xuất bản các video đa cảnh mà không cần phải chỉnh sửa thủ công nhận dạng của nhân vật trong mỗi lần chuyển cảnh.

Thử nghiệm storyboard to video hoặc đọc tài liệu API cho quy trình làm việc storyboard-to-video.