AI合成主播

AI合成主播

“AI合成主播”是2018年11月7日第五屆世界網際網路大會上,搜狗與新華社聯合發布的全球首個全仿真智慧型AI主持人。 通過語音合成、唇形合成、表情合成以及深度學習等技術,克隆出具備和真人主播一樣播報能力的“AI合成主播”。

基本信息

主播介紹

“AI合成主播”是在搜狗“分身”技術的支持下,通過人臉關鍵點檢測、人臉特徵提取、人臉重構、唇語識別、情感遷移等多項前沿技術,並結合語音、圖像等多模態信息進行聯合建模訓練後,生成與真人無異的AI分身模型。該項技術能夠將所輸入的中英文文本自動生成相應內容的視頻,並確保視頻中音頻和表情、唇動保持自然一致,展現與真人主播無異的信息傳達效果。

“AI合成主播”不僅有中文“AI合成主播”,同時還有以“聯接中外、溝通世界”為使命的英文“AI合成主播”。

技術原理

建立輸入文本與輸出音頻信息的關聯,在圖像生成引擎中,使用業界的搜狗人臉識別、三維人臉重建、表情建模等技術對人臉表情動作進行特徵學習和建模,建立輸入文本、輸出音頻與輸出視覺信息的關聯映射,最終生成輸出分身視頻。

研發作用

“AI合成主播”使用新華社中、英文主播的真人形象,配合搜狗“分身”的語音、合成等技術模擬真人播報畫面。這種播報形式,突破了以往語音圖像合成領域中,只能單純創造虛擬形象,並配合語音輸出唇部效果的約束,提高了觀眾信息獲取的真實度。利用“搜狗分身”技術,“AI虛擬主播”還能實時高效地輸出音視頻合成效果,使用者通過文字鍵入、語音輸入、機器翻譯等多種方式輸入文本後,將獲得實時的播報視頻。這種操作方式將減少新聞媒體在後期製作的各項成本,讓新聞視頻的製作效率有了提高。

“AI合成主播”擁有和真人主播同樣的播報能力,能24小時不間斷播報。

發展動態

2019年2月19日,搜狗公司與新華社新媒體中心聯合發布了首個站立式AI合成主播,新的AI合成主播從過去的“坐著播新聞”升級成結合肢體動作的“站立式播報”,標誌著“搜狗分身”技術再次取得突破。

2019年3月,新華社聯合搜狗公司近日在京發布全新升級的站立式AI合成主播,並推出全球首個AI合成女主播。

升級亮點

新版的AI合成主播採用了wavernn波形建模技術,替換掉傳統聲碼器,實現音頻合成。通過模型最佳化及多風格數據的使用,新版的AI合成主播實現了表情合成、肢體動作與語義的匹配。

隨著圖形生成引擎的最佳化,AI合成主播從過去的“坐著播新聞”升級成結合肢體動作的“站立式播報”,利用“搜狗分身”技術繼續賦予AI合成主播肢體語言的能力,讓AI合成的主播更智慧型。

研發意義

“AI合成主播”不僅在全球AI合成領域實現了技術創新和突破,更是在新聞領域開創了實時音視頻與AI真人形象合成的先河。“AI合成主播”結合新華社“現場新聞”報導,將“AI合成主播”與短視頻一體化生產製作。

最新推出的站立式AI合成主播即將投入到2019年新華社全國兩會的報導籌備中,並將在搜狗搜尋、輸入法等平台上與用戶見面。

隨著“搜狗分身”技術能力的不斷提高,AI合成主播的定製周期也降低,合成效果和穩定性也有提升。僅靠少量用戶真實音視頻數據,即可定製出高逼真度的分身模型,幫助媒體在融媒體轉型、新聞時效性、跨語種傳播能力等領域升級。

媒體評論

 ↑BBC(英國廣播公司)、REUTERS(路透社)的報導頁面  ↑BBC(英國廣播公司)、REUTERS(路透社)的報導頁面

《參考訊息》報導

援引外媒報導稱,中國的新聞主播可能面臨一些新的競爭——人工智慧機器人在播報新聞時可以模仿人的面部表情和舉止。

除此之外,《泰晤士報》、福克斯新聞、今日俄羅斯電視台、法蘭西24電視台、《新聞周刊》、《洛杉磯時報》、美國國家公共電台等媒體也進行了報導。

《路透社》報導

路透社報導稱,這個AI主播是以中國新聞主播邱浩為原型的,它身穿黑西裝打著領帶。這是中國旨在提升其在人工智慧技術方面能力努力的一部分。

《獨立報》報導

英國《獨立報》網站則稱,新華社的AI主播是一位栩栩如生的數位化播報員,可以通過模仿真人主播的形象和聲音朗讀文本內容。

在受到讚許的同時,有些媒體認為“AI合成主播”還需要進一步完善。美國《赫芬頓郵報》網站稱,新華社似乎知道AI主播是需要不斷完善的,正如AI主播在其首次播報中所強調的那樣。它說:“作為一名正在研發中的人工智慧新聞主播,我知道我需要改進的還有很多。謝謝。”

學者的分析

英國謝菲爾德大學人工智慧和機器人學榮譽教授諾埃爾·夏基表示,AI主播是一個不錯的嘗試,今後我們會看到它不斷改進。

相關詞條

熱門詞條

聯絡我們