AI修復(fù) 扮靚影像
《新白娘子傳奇(1992版)》AI修復(fù)前后對(duì)比畫(huà)面。
AI修復(fù)后的《紅樓夢(mèng)(1987版)》。
從1839年達(dá)蓋爾發(fā)明銀版攝影術(shù),到1895年盧米埃爾兄弟放映世界上第一批影片,再到如今智能手機(jī)賦能日常記錄,影像一直是“對(duì)抗”流淌不停的時(shí)光長(zhǎng)河、“留住”歷史瞬間的重要載體。
當(dāng)經(jīng)典影像從黑白變成彩色,從模糊變得清晰,AI影像修復(fù)讓觀眾在更佳的觀看體驗(yàn)中感受到科技的力量。
優(yōu)化觀看體驗(yàn)
去年4月1日,張國(guó)榮《熱·情》演唱會(huì)超清修復(fù)版一經(jīng)上線(xiàn)就“刷屏”了眾多用戶(hù)的朋友圈,吸引了3000多萬(wàn)人在線(xiàn)觀看。
“一次偶然的機(jī)會(huì),我們接觸到寶麗金,他們正在尋找相關(guān)修復(fù)技術(shù),于是大家一拍即合,開(kāi)始了《熱·情》演唱會(huì)的修復(fù)。”騰訊多媒體實(shí)驗(yàn)室視頻處理技術(shù)負(fù)責(zé)人夏珍告訴記者,整個(gè)項(xiàng)目的傳播效果完全超乎預(yù)期,也讓團(tuán)隊(duì)看到老片修復(fù)在“C端”也非常有價(jià)值。
一場(chǎng)23年前的演唱會(huì),攝制水平與當(dāng)下肯定無(wú)法相比,再加上演唱會(huì)場(chǎng)景中燈光復(fù)雜多變、人物運(yùn)動(dòng)等多重因素的影響,AI如何順利完成修復(fù)工作?“整個(gè)修復(fù)過(guò)程基本是自動(dòng)化的,主要包括智能分析、畫(huà)質(zhì)修復(fù)、畫(huà)質(zhì)增強(qiáng)和智能編碼四個(gè)模塊。”夏珍逐一介紹了其中的原理,在智能分析環(huán)節(jié),對(duì)噪聲、劃痕、亮度、飽和度等維度進(jìn)行數(shù)據(jù)分析;得到分析結(jié)果后,進(jìn)行畫(huà)質(zhì)修復(fù)和畫(huà)質(zhì)增強(qiáng),去除噪聲、劃痕、壓縮失真等破壞畫(huà)質(zhì)的因素,并進(jìn)行分辨率提升、色彩增強(qiáng)、倍幀等畫(huà)質(zhì)增強(qiáng)處理;最后則是利用編碼技術(shù)對(duì)視頻進(jìn)行智能壓縮,在保證畫(huà)質(zhì)的前提下盡量壓縮視頻文件尺寸,便于傳播、觀看。
在特定內(nèi)容修復(fù)之外,AI影像修復(fù)技術(shù)也已應(yīng)用于影視劇修復(fù)當(dāng)中。自2017年開(kāi)始啟動(dòng)“高清修復(fù)計(jì)劃”以來(lái),優(yōu)酷已經(jīng)修復(fù)完成6000多部經(jīng)典影視作品,多部早期影視劇修復(fù)后分辨率達(dá)到了4K的水平,其中不乏《唐伯虎點(diǎn)秋香》《紅樓夢(mèng)(1987版)》《新白娘子傳奇(1992版)》等受到觀眾好評(píng)和喜愛(ài)的劇集。
“《新白娘子傳奇》是我參與修復(fù)的第一部影視劇,由于整體畫(huà)質(zhì)比較模糊,我們?cè)贏I模型訓(xùn)練過(guò)程中通過(guò)調(diào)整損失函數(shù)和訓(xùn)練方式,讓模型具備了更強(qiáng)的生成能力。”優(yōu)酷算法工程師李通在人臉修復(fù)方面頗有研究,經(jīng)過(guò)他和同事的努力,睫毛、頭發(fā)、皮膚紋理等高頻細(xì)節(jié)都能夠在畫(huà)面分辨率放大的過(guò)程中,既去模糊,又得到細(xì)節(jié)補(bǔ)足,進(jìn)而提升用戶(hù)的觀看體驗(yàn)。
傳承歷史記憶
“院線(xiàn)電影《追光萬(wàn)里》當(dāng)中的經(jīng)典影像修復(fù),是我們團(tuán)隊(duì)接手的第一個(gè)有代表性的AI影視修復(fù)項(xiàng)目,當(dāng)時(shí)我們用了半年左右的時(shí)間,陸續(xù)修復(fù)了電影中用到的紀(jì)實(shí)片段,其中包括黎民偉、黃柳霜、李小龍等人的珍貴影像史料,最早的可以追溯到上世紀(jì)20年代。”回憶起修復(fù)“粵籍電影藝術(shù)家”真實(shí)影像資料的過(guò)程,夏珍感慨萬(wàn)千,在他看來(lái),這些紀(jì)實(shí)片段的修復(fù),不僅提升了觀感,更讓觀眾得以觸摸歷史。
這種觸摸歷史、傳承記憶的感覺(jué)在重大節(jié)點(diǎn)和歷史事件的影像修復(fù)上體現(xiàn)得尤為明顯。去年國(guó)慶節(jié),由央視軍事與騰訊多媒體實(shí)驗(yàn)室聯(lián)合策劃的“彩色超清重現(xiàn)國(guó)慶閱兵高燃瞬間”用百余秒的時(shí)間帶觀眾回顧了新中國(guó)15次國(guó)慶閱兵的珍貴歷史瞬間,相關(guān)話(huà)題閱讀量?jī)H在微博平臺(tái)就超2257萬(wàn)次。
其中,由于技術(shù)水平有限,1953年到1958年的閱兵式影像素材均為黑白影像。為了更清晰、生動(dòng)地還原當(dāng)年閱兵式的盛況,夏珍和團(tuán)隊(duì)基于騰訊“光影煥新”智能影像修復(fù)平臺(tái),對(duì)這些黑白老片做了針對(duì)性處理。“這項(xiàng)工作并不是簡(jiǎn)單的一鍵上色。首先我們需要將視頻拆分成一個(gè)個(gè)子視頻,給每一個(gè)子視頻中的一個(gè)關(guān)鍵幀上色,再由算法完成相鄰的前后幀的自動(dòng)化上色修復(fù),最終形成完整的修復(fù)視頻。”夏珍說(shuō),為了保證上色的準(zhǔn)確性,團(tuán)隊(duì)還特地拜訪(fǎng)了軍事專(zhuān)家,確定不同制式服裝、武器裝備的顏色,校對(duì)時(shí)甚至細(xì)化到了老兵胸口佩戴的一枚勛章上不同條紋的具體顏色。
“‘科技向善’是騰訊多媒體實(shí)驗(yàn)室的一個(gè)重要課題,我們一直在思考如何讓技術(shù)在商業(yè)價(jià)值之外,發(fā)揮更大的社會(huì)價(jià)值。”夏珍表示,觀眾的點(diǎn)贊、轉(zhuǎn)發(fā)等互動(dòng),正是科技的理性和情感的溫暖實(shí)現(xiàn)交融的最佳體現(xiàn),通過(guò)AI技術(shù)讓觀眾與祖國(guó)產(chǎn)生跨越時(shí)間的情感共鳴,讓他非常有成就感。
在專(zhuān)業(yè)機(jī)構(gòu)之外,不少技術(shù)達(dá)人也在利用AI工具生產(chǎn)相關(guān)修復(fù)視頻。B站UP主@大谷的游戲創(chuàng)作小屋和人民日?qǐng)?bào)先后合作了《AI修復(fù)殲擊機(jī)首飛名場(chǎng)面》《AI畫(huà)出一條大河波浪寬》《AI修復(fù)珍貴畫(huà)面∣中國(guó)民眾歡慶日本投降》等視頻,在八一建軍節(jié)、國(guó)慶節(jié)、日本宣布無(wú)條件投降紀(jì)念日等重要節(jié)點(diǎn)均取得了不錯(cuò)的傳播效果。在人民群眾敲鑼打鼓、舉著火把游行的彩色修復(fù)畫(huà)面上,“最喜歡AI的一集”“真正的萬(wàn)人空巷”等彈幕不時(shí)飄過(guò)。
應(yīng)用前景廣闊
當(dāng)前,隨著短視頻拍攝、創(chuàng)作工具的不斷豐富,短視頻平臺(tái)用戶(hù)在觀看之余,也日漸參與到短視頻生產(chǎn)中。數(shù)據(jù)顯示,截至2023年二季度,快手應(yīng)用的DAU(平均日活躍用戶(hù)數(shù))和MAU(平均月活躍用戶(hù)數(shù))分別是3.76億和6.73億,每日的視頻上傳量在千萬(wàn)級(jí)。
“拍攝設(shè)備的硬件水平高低、二次創(chuàng)作過(guò)程中使用的素材質(zhì)量差異、用戶(hù)編輯和上傳過(guò)程中多次轉(zhuǎn)碼造成的壓縮損傷等因素都會(huì)給視頻畫(huà)質(zhì)帶來(lái)影響。”快手技術(shù)人員介紹,為了能讓用戶(hù)獲得更加清晰的觀看體驗(yàn),音視頻技術(shù)團(tuán)隊(duì)深入研究智能音視頻修復(fù)及增強(qiáng)處理等相關(guān)技術(shù),打造并落地了智能增強(qiáng)修復(fù)方案整合產(chǎn)品“快手質(zhì)臻影音”,將AI技術(shù)應(yīng)用于用戶(hù)的日常使用過(guò)程中。
不管是經(jīng)典影像修復(fù)還是用戶(hù)生產(chǎn)內(nèi)容的智能增強(qiáng),其實(shí)都還只是AI技術(shù)在視頻畫(huà)質(zhì)修復(fù)維度的應(yīng)用。
在采訪(fǎng)最后,記者請(qǐng)幾位技術(shù)大咖聊了聊AI影像修復(fù)技術(shù)在未來(lái)值得期待的應(yīng)用和發(fā)展方向。
在夏珍看來(lái),作為AIGC(AI生成內(nèi)容)的基礎(chǔ)組件,畫(huà)質(zhì)增強(qiáng)技術(shù)在文生圖、文生視頻等方向上能幫助節(jié)省生成時(shí)間,生成更大、更清晰的圖像和視頻;在3D方向(如人臉建模)上使用超分技術(shù)則能大幅度提升建模的效果;隨著手機(jī)等移動(dòng)設(shè)備的處理能力不斷提升,在云游戲、直播等場(chǎng)景下,超分技術(shù)也能幫助移動(dòng)端用戶(hù)獲得更好的畫(huà)質(zhì)體驗(yàn)。
“AI修復(fù)技術(shù)本身是可批量復(fù)制的,這也就意味著我們可以降本增效,大大提升修復(fù)效率和質(zhì)量。但目前AI修復(fù)也存在一定局限,AI可以解決80%的問(wèn)題,剩下20%的定制化、風(fēng)格化的修復(fù)需求,AI的表現(xiàn)尚不如人工。”李通表示,下一步,他們將通過(guò)算法迭代和優(yōu)化,不斷提升修復(fù)模型的通用性、穩(wěn)定性和風(fēng)格化修復(fù)能力,拓展AI影視修復(fù)效能,延長(zhǎng)更多經(jīng)典影視作品的生命力。
(本文配圖由受訪(fǎng)者提供)