CN114926581B 二維到三維人臉表情遷移方法、電子裝置及存儲介質 （中國科學院軟件研究所）

號42-53.Character:AHolisticSolutioAutomaticFacialAnimationGenera本發明公開了一種二維到三維人臉表情遷情融合變形系數驅動三維人臉模型生成目標表情表示。本發明能夠有效提取人臉表情相關參保證了該方法的廣泛適用性。本方法可實現準2獲取真實交互場景下的二維人臉圖像，作為源表情表示；獲取采用預先訓練的人臉三維參數提取模型，對所述二維人臉圖像進行人臉三維參數提將所述二維人臉圖像對應的所述表情參數輸入一個預先訓練的融合變形系數估計模將所述融合變形系數輸入三維建模軟件，驅動所述三維人臉形變模采集虛擬樣本訓練集，所述虛擬樣本訓練集包含多組部分隨機生成的融合變形系數，將所述虛擬人臉表情參數輸入待訓練的融合變形系數估計模型，獲根據所述部分隨機生成的融合變形系數、所述預估的虛擬人臉所述融合變形系數估計模型包含兩層全連接層以及一個激活函數獲取三維重建渲染器，所述三維重建渲染器能夠以可微分的方式采用所述真實樣本訓練集和所述三維重建渲染器，訓練得到所述人臉三將所述真實樣本訓練集中的多張真實人臉圖像輸入待訓練的人臉三維參數提取模型，3使用所述形變規則庫，對所述完全隨機生成的多組融合將所述部分隨機生成的融合變形系數輸入三維建模軟件，驅動所述三維人臉形變模將所述虛擬人臉圖像輸入所述預先訓練的人臉三維參數提取模型，數據被設置為運行時執行權利要求1-6中處理器被設置為運行所述計算機程序和數據以執行如權利要求1-6中任一項4[0002]人臉形象在日常生活中起著至關重要的作用，它反映了每個人的基本身份特三維模型的單個網格變形以實現大量預定義形狀和任何數量之間一個任務是基于二維真實人臉圖像的三維游戲[0006]中國專利申請CN201811556498.4(CN109636886A)中提供了一種圖像的處理方法[0007]中國專利申請CN201911014108.5(CN110717977A)中提供了一種游戲角色面部處5[0015]將所述二維人臉圖像對應的所述表情參數輸入一個預先訓練的融合變形系數估[0019]采集真實樣本訓練集，所述真實樣本訓練集包含多張真實交互場景內的人臉圖[0023]將所述真實樣本訓練集中的多張真實人臉圖像輸入待訓練的人臉三維參數提取6述處理器被設置為運行所述計算機程序和數據以執行上7[0053]本發明公開了一種二維到三維人臉表情遷移方法，該方法的結構示意圖如圖1所[0059]在該實施例中，人臉三維參數提取模型的深度殘差神經網絡中的權重為待優化′8[0066]在該實施例中，通過有權重的相加各項損失函數的方式來計算總體的損失函之對應的虛擬交互場景內的虛擬人臉圖像與虛擬[0075]該模型將人臉三維參數中的表情參數變換至虛擬場景下的三維人臉形變模型的9的融合變形系數和數據集中原有的部分隨機生成融合變形系數之間的差異，得到損失量，[0079]由上述實施例可知，該實施例將真實場景下二維人臉圖像首先映射到三維空間0.090.100.090.09Linear->ReLU->Linear0.08Linear->LeakyReLU->Linear0.07