Alibaba perkenalkan Open-Source terbaru Wan 2.1-VACE

JAKARTA (IndoTelko) - Alibaba meluncurkan Wan 2.1-VACE (Video All-in-one Creation and Editing), model open-source terbaru untuk pembuatan dan penyuntingan video. Pembaruan inovatif ini menggabungkan berbagai fungsi pemrosesan video ke dalam satu model untuk menyederhanakan proses pembuatan video, sehingga meningkatkan efisiensi dan produktivitas.

Seri Wan2.1 VACE merupakan model open-source pertama di industri yang menyediakan solusi terpadu untuk berbagai tugas pembuatan dan penyuntingan video.

Wan2.1-VACE mendukung pembuatan video dengan input multi-modal yang mencakup teks, gambar, dan video. Teknologi ini juga menyediakan kemampuan penyuntingan video yang lengkap bagi para kreator. Fitur penyuntingan ini mencakup penggunaan referensi gambar atau frame, video repainting, modifikasi area tertentu dalam video, dan perluasan spatio-temporal. Semua kemampuan ini memungkinkan kreator untuk menggabungkan output secara fleksibel untuk menghasilkan karya yang lebih kreatif.

Nantinya pengguna dapat menghasilkan video yang menampilkan subjek-subjek tertentu yang saliing berinteraksi, cukup dengan contoh gambar. Gambar diam atau statis juga bisa "dihidupkan" dengan menambahkan efek gerakan alami. Selain itu, tersedia juga fitur lanjutan seperti mengganti pose, mengatur gerakan, kedalaman gambar, serta mengubah warna pada video.

Model ini juga mendukung penambahan, modifikasi, atau penghapusan pada area tertentu dalam video tanpa mempengaruhi bagian sekitarnya. Selain itu, pengguna bisa memperluas batas video, dan sistem akan secara otomatis mengisi konten tambahan dengan cerdas untuk memperkaya pengalaman visual.

Wan2.1-VACE menawarkan fleksibilitas luar biasa yang memungkinkan pengguna menggabungkan berbagai fungsi secara mulus dan membuka ide-ide kreatif baru. Pengguna dapat mengubah gambar diam menjadi video sambil mengatur arah gerak objek secara spesifik. Mereka juga dapat mengganti karakter atau objek dengan referensi tertentu secara mulus, menganimasikan karakter yang direferensikan, mengontrol pose, serta memperluas gambar vertikal menjadi video horizontal sambil menambahkan elemen baru melalui referensi.

Wan2.1-VACE memanfaatkan beberapa teknologi inovatif yang dirancang khusus untuk memenuhi ragam kebutuhan dalam pengeditan vide. Model ini memiliki interface terpadu yang disebut Video Condition Unit (VCU), yang mampu memproses berbagai jenis input secara bersamaan--seperti teks, gambar, video, dan masking,--dalam satu sistem yang terintegrasi.

Model ini menggunakan struktur Context Adapter yang menyisipkan berbagai konsep tugas melalui representasi formal dari dimensi waktu (temporal) dan ruang (spasial). Desain inovatif ini memungkinkan model mengatur berbagai jenis tugas pembuatan vide dengan lebih fleksibel dan efisien.

Wan2.1-VACE dapat diterapkan secara luas dalam produksi cepat video singkat untuk media sosial, pembuatan konten iklanan dan pemasaran, proses pasca-produksi dan special effects dalam film dan televisi, serta untuk pembuatan video untuk keperluan pelatihan dan edukasi.

Alibaba menyediakan model Wan2.1-VACE dalam dua versi open-source: parameter 14 miliar dan parameter 1,3 miliar. Model-model ini tersedia untuk diunduh secara gratis di Hugging Face, GitHub, serta komunitas open-source Alibaba Cloud, ModelScope.

Sebagai salah satu perusahaan teknologi global besar pertama yang melakukan open-source model AI berskala besar, yang dikembangkan sendiri, Alibaba telah merilis empat model Wan2.1 secara open source pada Februari 2025. Bulan lalu, Alibaba juga merilis model pembuatan video berdasarkan frame awal dan akhir. Hingga kini, model-model tersebut telah diunduh lebih dari 3,3 juta di Hugging Face dan ModelScope. (mas)