10月19日，2023世界VR產(chǎn)業(yè)大會(huì)在江西省南昌市成功開幕，中央廣播電視總臺(tái)編務(wù)會(huì)議成員、世界超高清視頻產(chǎn)業(yè)聯(lián)盟理事長姜文波在開幕演講環(huán)節(jié)做了題為《文化元宇宙》的主旨發(fā)言。
相信“元宇宙”這個(gè)概念已無需再具體闡釋，在姜文波看來，“文化元宇宙”便是利用各種視聽技術(shù)構(gòu)建歷史文化場(chǎng)景和歷史文化人物，同時(shí)又能讓當(dāng)代人照進(jìn)該場(chǎng)景與虛擬人實(shí)現(xiàn)對(duì)話，能以虛實(shí)融合的技術(shù)講述歷史文化故事等。
文化元宇宙的共性技術(shù)共包含四個(gè)方面：
1）超寫實(shí)數(shù)字人制作技術(shù)
可根據(jù)人物的特征通過三維數(shù)字技術(shù)、自然語言大模型等創(chuàng)作出的超寫實(shí)數(shù)字人，不僅形象像真人一般，更能實(shí)現(xiàn)語言交流、唱歌跳舞等交互行為。
2）大場(chǎng)景三維掃描與重建技術(shù)
通過采集真實(shí)世界的文化場(chǎng)景以及三維信號(hào)，通過LED大屏、投影、全息等方式能還原三維空間沉浸式的虛擬場(chǎng)景。
3）三維菁彩聲技術(shù)（Audio Vivid）
可采集真實(shí)世界的三維空間聲音，通過三維菁彩聲的編解碼技術(shù)，再以音響、耳機(jī)等的渲染實(shí)現(xiàn)還原三維的聲像以及特定的人、對(duì)象的聲音等。
4）XR虛實(shí)融合超高清制作技術(shù)
通過LED大屏、投影、全息等方式構(gòu)建一個(gè)虛擬的空間，現(xiàn)實(shí)人可以照進(jìn)這個(gè)空間實(shí)現(xiàn)與數(shù)字人的互動(dòng)。
電視媒體虛擬制作技術(shù)的演進(jìn)中是先從字母、圖像等的包裝開始的，基于UE、Unity等渲染引擎的實(shí)時(shí)渲染，實(shí)現(xiàn)了虛擬場(chǎng)景的元素、場(chǎng)景與真實(shí)環(huán)境進(jìn)行無縫對(duì)接，大幅度提升了藝術(shù)的效果，已經(jīng)廣泛應(yīng)用于電視節(jié)目的制作中，如央視春晚大部分節(jié)目運(yùn)用到了AR的技術(shù)來渲染整體的節(jié)目效果。另外，在今年的杭州亞運(yùn)會(huì)開幕式上，首次使用了虛擬數(shù)字人參與點(diǎn)燃了火炬。
隨著超高清、物聯(lián)網(wǎng)、5G、大數(shù)據(jù)等技術(shù)的快速演進(jìn)，也為視聽媒體虛擬制造提供了強(qiáng)有力的支持，VR、AR、XR、VP等虛擬現(xiàn)實(shí)技術(shù)也應(yīng)用的愈加普遍，不僅提升了視聽媒體的視音頻的質(zhì)量，也增強(qiáng)了其多維性、智能化、交互性，為視聽媒體打造沉浸式的虛擬空間提供了可能。
超寫實(shí)數(shù)字人制作技術(shù)也是文化元宇宙的一項(xiàng)重要技術(shù)，當(dāng)前主要是從數(shù)字主播開始興起，主要有三個(gè)發(fā)展階段，包括2D動(dòng)畫生成的數(shù)字人（1.0階段）、3D動(dòng)捕等生成的數(shù)字人（2.0階段）、AIGC生成的數(shù)字人（3.0階段）。而AIGC超寫實(shí)數(shù)字人的核心技術(shù)主要包括基于4D光場(chǎng)的超寫實(shí)數(shù)字人建模，及基于大模型構(gòu)建的具有自然語言對(duì)話系統(tǒng)的數(shù)字人，還包括有多模態(tài)數(shù)字人實(shí)時(shí)驅(qū)動(dòng)與交互下的呈現(xiàn)系統(tǒng)而成的數(shù)字人。
大場(chǎng)景三維掃描與重建技術(shù)中，一是超大規(guī)模場(chǎng)景下的輕量化、智能掃描方式，主要是通過無人機(jī)快速地形勘測(cè)，VISlam技術(shù)實(shí)時(shí)預(yù)覽，現(xiàn)場(chǎng)CG仿真路徑規(guī)劃以及無人機(jī)自主導(dǎo)航精細(xì)采集等一系列前沿技術(shù)實(shí)現(xiàn)高度智能和輕量化的超大范圍場(chǎng)景采集。二是通過基于百億像素級(jí)實(shí)現(xiàn)的超寫實(shí)建模，采用語義引導(dǎo)金字塔分層多視圖立體重構(gòu)實(shí)現(xiàn)準(zhǔn)確精細(xì)的超大規(guī)模場(chǎng)景重構(gòu)，采用分布式GPU并行處理技術(shù)大幅提升運(yùn)算效率。三是通過AI光影渲染技術(shù)對(duì)三維模型的渲染，實(shí)現(xiàn)不同光照下景色重現(xiàn)，通過AI重光照技術(shù)進(jìn)行百億像素紋理圖像融合處理，利用神經(jīng)輻射場(chǎng)技術(shù)渲染照片級(jí)寫實(shí)圖像及視頻內(nèi)容。
三維菁彩聲技術(shù)，這是我國自主研發(fā)的三維聲技術(shù)，也是全球首個(gè)基于AI技術(shù)的音頻編解碼標(biāo)準(zhǔn)，是面向我國研發(fā)高質(zhì)高效、自主可控的環(huán)繞聲/三維聲編解碼和渲染技術(shù)的需要，聚焦三維聲音頻采集制作、編碼傳輸、渲染呈現(xiàn)關(guān)鍵技術(shù)，在汽車音響、廣播、家庭電視伴音、影音娛樂等領(lǐng)域貫穿創(chuàng)作、分發(fā)、呈現(xiàn)全鏈路環(huán)節(jié)，打破聲道限制。“超高清視頻+三維菁彩聲”已應(yīng)用于總臺(tái)春晚、中秋晚會(huì)、杭州亞運(yùn)會(huì)等重大節(jié)目及賽事制作中，讓聲音在現(xiàn)實(shí)三維空間精準(zhǔn)再現(xiàn)帶給觀眾身臨其境的沉浸式感受。
XR虛實(shí)融合超高清制作技術(shù)，其通過三維渲染引擎在LED屏幕上實(shí)時(shí)呈現(xiàn)動(dòng)態(tài)虛擬場(chǎng)景，打破了傳統(tǒng)摳像技術(shù)的限制，。實(shí)現(xiàn)了虛擬空間與現(xiàn)實(shí)世界的無縫銜接。技術(shù)優(yōu)勢(shì)方面，能實(shí)現(xiàn)分布式集群+超高清的實(shí)時(shí)渲染以構(gòu)建真實(shí)場(chǎng)景，可實(shí)現(xiàn)多機(jī)位的實(shí)時(shí)切換，能滿足AI多模態(tài)運(yùn)動(dòng)捕捉需求等，其已在2021年央視春晚中就實(shí)現(xiàn)了應(yīng)用，以實(shí)時(shí)變換的虛擬空間重構(gòu)舞臺(tái)表現(xiàn)形式，也應(yīng)用于《元宵晚會(huì)》《國家寶藏》《中國詩詞大會(huì)》《315晚會(huì)》等節(jié)目中。
此外，在XR技術(shù)應(yīng)用基礎(chǔ)上，央視總臺(tái)結(jié)合VR實(shí)時(shí)繪制，再現(xiàn)了“神筆馬良”的神來之筆。VR畫師通過佩戴VR眼鏡、手持VR手柄繪制三維立體影像，在現(xiàn)場(chǎng)大屏實(shí)時(shí)呈現(xiàn)精彩、神奇的繪制放果，為觀眾帶來煥然一新的虛擬視覺體驗(yàn)，充分展現(xiàn)了技術(shù)與藝術(shù)的融合魅力。
