一、項目背景
2022年俄烏沖突中除了無人機在雙方作戰中大放異彩,另一個以互聯網為載體的輿論戰場更是撲朔迷離。神奇“澤連斯基”在哪里,成為眾多網民關注的另一個戰場焦點。
俄烏雙方基于互聯網的認知輿論戰激烈程度堪比線下戰場,烏克方通過社交媒體頻頻發布己方領導人澤連斯基親臨前線的視頻和圖片,鼓舞士氣。同時發布打擊俄方的戰場毀損視頻和圖片,用來打擊敵人士氣。俄方同樣運用以上手段在互聯網上打擊烏方,對烏方發布的視頻和圖片發起真偽辨別,網民玩起了“找不同”的游戲。
其實我在這里——元宇宙數字人閃亮登場!
網傳澤連斯基數字人視頻截圖
隨著元宇宙概念的興起及相應技術的發展,通過專業影視化的全流程制作和數字人建模軟件,可以輕松構建出超寫實的數字人的三維模型,迅速生成超寫實虛擬數字人。并通過動捕系統采集真人的肢體動作、面部表情、音色聲紋,根據戰場需求,將制作好的數字人合成視頻,投放到指定環境,達到以假亂真的目的。
二、超寫實數字人一體化制作系統 概述
虛擬數字人是指存在于非物理世界中,由計算機手段創造或使用的、具有多重人類特征的綜合產物。在虛擬數字人形象特征的細分類別中,目前普遍又被劃分為卡通級,寫實級,超寫實級別三大類型。
而在上述三大類型中,對于超寫實數字人的制作則是藝術與科技深度綁定的產物,以此引出的數字孿生概念(真人數字化)更是拓寬了超寫實數字人在數字化時代的應用領域及戰略價值。某司旗下的超寫實數字人一體化流程綜合影視領域及AI算法領域制作技術,提供定制化可選搭的后續交互模式,使得超寫實數字人可搭載于各類型業務平臺,承擔多維度任務。
網絡配圖
超寫實虛擬數字人是通過攝像機及3D掃描儀采集真人三維輪廓,面部表情,真人音頻,關節點運動軌跡等參數,經過AI算法融合和解構這些三維數據,實時生產為數字資產。并可以將這些數字人的音視頻數據,運動數據映射至需要合成的各種環境里,達到以假亂真的目的。相對于,影視節目制作中傳統虛擬演播室綠布摳像合成技術,虛擬數字人是另一種維度的飛躍與提升。
三、超寫實數字人一體化制作系統 特點
本產品基于強大的電影級高質量三維生物角色數字資產團隊的生產經驗儲備和成熟的生產流程,結合自主開發和不斷改進的智能算法,主要用于三維掃描及非掃描建立超寫實數字仿真人、三維場景等的數字仿生、孿生模型。
(一)高效建立超寫實三維數字人,在結合智能算法的優勢下,超寫實三維數字人可在十幾日內完成,AR全息通訊級別三維數字人建立僅需數日。相較于用影視領域傳統方式生產超寫實三維數字人以月級別為單位的工作周期,制作效率上大幅提升。
(二)超寫實三維數字人生產精度更高:超寫實高精度三維數字人與目標真人三維參數誤差為毫米級,超級精細的皮膚材質精準到毛孔層級,皮膚次表面狀態可達到與真人1:1以上的還原級別。
(三)矩陣掃描超寫實三維數字人成本低,可達到同等寫實級高精度矩陣結構三維采集質量,硬件設備成本僅需當下主流硬件成本的一半左右,寫實級高精度三維數字人從采集到資產建立人員數量更加精簡,架構更加優化。
(四)具備寫實級高精度三維數字模型資產和各個環節經驗的積累性和持續發展性,建立國內的高品質的可多元化對接的數字資產庫,不斷提高高品質的數字資產的復用率。
(五)實時交互方面、通過光學感知、深度感知、空間位置感知、慣性物理感知等相關軟硬件對寫實級高精度三維數字人物模型進行實時驅動,多重感知技術的應用使得數字人在動態方面無限貼近于人類真實行為反饋,真正實現寫實級高精度三維數字人的實時交互功能。
(六)產品應用廣泛,同時具備對應的呈現端硬件開發和測試能力。此外,最終呈現方式支持多種的AR、VR、全息膜、全息OLED箱、大屏、電腦、手機端的全息和非全息終端呈現,滿足不同領域提出的需求。
四、超寫實數字人制作流程
三維數字人物采集:
3D/4D光場掃描采集數據信息;
AI算法結合人工修復完善數據;
基于面部掃描紋理數據貼圖重構;
三維數字人物雕刻:
千萬面毛孔級人體部位精雕;
多維度層次皮膚及光照貼圖制作;
皮膚次表面復刻還原;
三維數字人物驅動:
人物毛發及布料動態制作與動力解算;
人物動作捕捉數據采集;
人物面部捕捉數據采集修復與優化;
結合數字環境的實時動態展示;
可定制的模塊化:語音模塊交互模塊,AI交互模塊,實時對話魔模塊等。
五、應用領域
(一)認知戰領域
未來認知輿論戰的戰場上,數字人制作及運用技術,將成為認知戰的一把利器。根據戰場實際需要,把超寫實虛擬數字人便捷合成到指定場景,比如地標性辦公室、一線兵營、前線戰場等真實環境,配合前期采集的肢體動作,面部表情和真實的聲音,制作成鼓舞士兵的視頻。
(二)虛擬指揮官
隨著數字孿生、元宇宙、區塊鏈等技術的不斷發展與成熟,未來數字孿生戰場上虛擬指揮官一定是其標配,將對未來戰場的指揮模式、戰爭形態都會帶來深刻的影響。
(三)軍事教育培訓
超寫實數字人技術應用于教育培訓,如:裝備研發、裝備維護,數字教官給予內容講解。模擬戰場人員指揮調度,模擬人員現場行動方案等等。
(四)全息仿真
航天科研、企事業單位、機關單位、場館博物館等場景,實現全息虛擬演習、全息通訊、全息模擬、全息講解、全息導覽、沉浸式數字體驗等相關展現形式,為數字化經濟奠定扎實的內容基礎。
(五)虛擬主持人、演出、偶像,高端虛擬客服等以數字人為載體的泛娛樂和商業領域。