7 月 2 日消息，百度商業(yè)研發(fā)團(tuán)隊(duì)發(fā)布自研視頻生成模型“MuseSteamer”及創(chuàng)作平臺(tái)“繪想”，MuseSteamer 是全球首個(gè)實(shí)現(xiàn)中文音視頻一體化生成的視頻模型。該技術(shù)可實(shí)現(xiàn)畫(huà)面與音效、人聲臺(tái)詞的協(xié)同創(chuàng)作，打破傳統(tǒng) AIGC 視頻“先畫(huà)面后配音”的割裂流程。

據(jù)悉，MuseSteamer 在權(quán)威榜單 VBench I2V 中以 89.38% 總分登頂全球第一，支持一張圖生成 10 秒 1080p 電影級(jí)畫(huà)質(zhì)視頻，人物微表情與運(yùn)鏡效果達(dá)專(zhuān)業(yè)影視水準(zhǔn)。其核心能力源于億級(jí)中文多模態(tài)數(shù)據(jù)清洗、精細(xì)化視頻結(jié)構(gòu)化描述語(yǔ)言，以及多目標(biāo)強(qiáng)化學(xué)習(xí)等技術(shù)優(yōu)化。

據(jù)了解，MuseSteamer 模型家族包含 Turbo、Lite、Pro 及全系列有聲版，覆蓋從普通創(chuàng)作者到專(zhuān)業(yè)影視機(jī)構(gòu)的需求。其中 Turbo 版已上線繪想平臺(tái)開(kāi)啟限時(shí)免費(fèi)公測(cè)，其余版本將于 8 月陸續(xù)開(kāi)放。平臺(tái)同步啟動(dòng)“跨次元捏合”AI 視頻創(chuàng)作大賽，用戶(hù)通過(guò)單圖輸入可生成動(dòng)態(tài)捏捏樂(lè)視頻進(jìn)行參賽。