4月3日,阿里巴巴發(fā)布Wan2.7-Video視頻生成系列模型,涵蓋文生視頻、圖生視頻、參考生視頻和視頻編輯四大模型,擁有全面的創(chuàng)作控制力,將AI的能力從單一素材生成擴至創(chuàng)作全鏈路,從“演”邁向“導(dǎo)”。
近年來,AI生視頻在畫質(zhì)上持續(xù)進步,但在敘事、劇情可控性和后期編輯靈活度上存在短板,距離影視級創(chuàng)作工具仍有距離。由四個專業(yè)模型組成的萬相2.7試圖補齊這些能力,全新發(fā)布的文生視頻(Wan2.7-t2v)、圖生視頻(Wan2.7-i2v)、參考生視頻(Wan2.7-r2v)和視頻編輯(Wan2.7-videoedit)分別對應(yīng)從零創(chuàng)作、畫面控制、演繹復(fù)刻到精細(xì)編輯的完整工作流,實現(xiàn)文本、圖像、視頻、音頻全模態(tài)輸入的統(tǒng)一創(chuàng)作體系,全系列支持720P和1080P分辨率輸出,視頻時長可在2至15秒范圍內(nèi)任意指定。
一句話輕松改視頻
直擊影片后期修改成本高昂這一痛點,Wan2.7-Video的視頻編輯能力引人注目,一句話即可對視頻進行局部或整體修改。比如添加、刪除和替換元素、切換場景環(huán)境(如將晴天改為雨天、夏季改為冬季),以及變換整體視覺風(fēng)格(如寫實轉(zhuǎn)水彩、真人轉(zhuǎn)黏土動畫)。
更進一步,融合了編輯和生成能力,Wan2.7-Video在劇情控制上展現(xiàn)出強大的靈活性。角色的行為、表情和情緒均可調(diào)整,角色臺詞亦可替換并自動匹配口型與音色。拍攝方式也可重新定義,包括機位、視角、景別和焦距等參數(shù),在同一時空下呈現(xiàn)截然不同的觀影體驗。黑白上色、老片修復(fù)等實用功能還可進一步提升視頻質(zhì)量。
在參考生視頻上,模型支持動作、運鏡和特效的快速復(fù)刻。用戶可輸入圖像、視頻和音頻多模態(tài),參考鎖定角色的外觀和音色、精準(zhǔn)遷移人物動作,即便是大幅度的復(fù)雜動作也能穩(wěn)定還原。最多支持5個視頻主體參考,為業(yè)內(nèi)最多。
圖二 Wan2.7-Video的視頻編輯能力大幅提升,一句話即可對視頻進行局部或整體修改。
從素材生成到成片創(chuàng)作
Wan2.7-Video全面的控制能力得益于全能的創(chuàng)作能力。只需一段簡短的文字描述,即可實現(xiàn)智能劇本創(chuàng)作和分鏡調(diào)度,編排劇情節(jié)奏、設(shè)計鏡頭語言并安排場景轉(zhuǎn)換。從試探戲、談判戲到武打戲、戰(zhàn)爭戲,從懸疑追蹤到校園喜劇,均可演繹。在運鏡方面,Wan2.7-Video支持?jǐn)?shù)十種基礎(chǔ)運鏡和復(fù)雜的組合運鏡方案,包括希區(qū)柯克式變焦、360度環(huán)繞、FPV無人機俯沖、一鏡到底等高難度鏡頭語言,并能與劇情內(nèi)容緊密配合,強化敘事張力。
為解決AI視頻在敘事連貫性上的短板,Wan2.7-Video引入了視頻續(xù)寫與尾幀控制的聯(lián)合機制。創(chuàng)作者可以在續(xù)寫視頻的同時指定結(jié)尾畫面,既保證了動態(tài)的延續(xù)性,又實現(xiàn)了對畫面結(jié)構(gòu)的精準(zhǔn)把控,有效消除了傳統(tǒng)首尾幀方案中常見的“剎車感”。
Wan2.7-Video在視覺風(fēng)格和聲音控制上也有所突破,可延展出上千種風(fēng)格組合,覆蓋2D卡通、3D動畫、水墨、黏土、賽璐璐等多種視覺語言。得益于通義實驗室語音團隊在音頻預(yù)訓(xùn)練、音頻數(shù)據(jù)、音頻理解方面的技術(shù)積累,聲音的真實感、自然度、音樂旋律和音畫同步的質(zhì)量進一步提升。
從Wan2.1到最新的Wan2.7,從實現(xiàn)大幅度復(fù)雜動作、音畫同步、15秒時長到精準(zhǔn)的視頻指令編輯,萬相視頻家族的創(chuàng)作能力逐步升級,持續(xù)為影視制作、廣告創(chuàng)意、內(nèi)容創(chuàng)作等行業(yè)提升生產(chǎn)力。
即日起,用戶可在https://tongyi.aliyun.com/wan/、wan.video網(wǎng)站和阿里云百煉體驗Wan2.7,千問App也即將接入。
通訊員 玉蕾 揚子晚報/紫牛新聞記者 徐曉風(fēng)
校對 陶善工