CN114926591B 多分支深度學習的3d人臉重建模型訓練方法、系統及介質 （廣州圖匠數據科技有限公司）

WO2020165557A1,2020.08.20多分支深度學習的3D人臉重建模型訓練方本發明公開了一種多分支深度學習的3D人第一人臉圖像輸入到人臉識別網絡和人臉對齊并將第一身份信息和第一關鍵點位置信息輸入2獲取第一人臉圖像，將所述第一人臉圖像輸入份信息，并將所述第一人臉圖像輸入到預先構建的人臉對齊網絡得到第一關鍵點位置信根據所述第一身份信息確定第一人臉幾何形狀信息，并將將所述第一關鍵點位置信息、所述第一人臉幾何形狀信息以及根據所述第一渲染圖像更新所述人臉識別網絡、所述人其中，所述生成對抗網絡包括生成器和判別器，所述生成器包所述將所述第一關鍵點位置信息、所述第一人臉幾何形狀信息以及所述將所述第一關鍵點位置信息輸入到所述紋理生成模塊得到第對所述第一紋理貼圖進行超分辨率處理得到第二根據所述第二紋理貼圖確定紋理法向量，根據所述第一將所述紋理法向量、人臉幾何形狀法向量以及人臉表情法向量輸2.根據權利要求1所述的一種多分支深度學習的3D人臉重建模型訓練方法，其特征在3.根據權利要求1所述的一種多分支深度學習的3D人臉重建模型訓練方法，其特征在通過主成分分析算法對所述第一人臉圖像進行特征提取4.根據權利要求1所述的一種多分支深度學習的3D人臉重建模型訓練方法，其特征在根據所述損失值通過梯度下降算法和反向傳播算法更新所述人臉識35.根據權利要求4所述的一種多分支深度學習的3D人臉重建模型訓練方法，其特征在L＝mKLK+mPLP+midLid+人臉幾何形狀信息及人臉表情信息確定模塊，用于根據所述第渲染圖像確定模塊，用于將所述第一關鍵點位置信息、所述其中，所述生成對抗網絡包括生成器和判別器，所述生成器包將所述第一關鍵點位置信息輸入到所述紋理生成模塊得到第對所述第一紋理貼圖進行超分辨率處理得到第二根據所述第二紋理貼圖確定紋理法向量，根據所述第一將所述紋理法向量、人臉幾何形狀法向量以及人臉表情法向量輸4器可執行的程序在由處理器執行時用于執行如權利要求1至5中任一項所述的一種多分支5人臉的過程即求解一組線性參數的過程，它由形狀模型和可選的紋理和顏色模型等組成，分別通過主成分分析法(PrincipalComponentAnalysis，PCA)求得平均3D人臉形狀等信6[0009]本發明實施例的另一個目的在于提供一種多分支深度學習的3D人臉重建模型訓[0011]第一方面，本發明實施例提供了一種多分支深度學習的3D人臉重建模型訓練方[0018]通過主成分分析算法對所述第一人臉圖像進行特征提取和降維處理得到降維矩述生成器包括紋理生成模塊和渲染模塊，所述生成器用于根據所述第一關鍵點位置信息、7[0033]第二方面，本發明實施例提供了一種多分支深度學習的3D人臉重建模型訓練系[0038]第三方面，本發明實施例提供了一種多分支深度學習的3D人臉重建模型訓練裝8現上述的一種多分支深度學習的3D人臉重份信息和關鍵點位置信息輸入到表情識別網絡得到人臉表情信息，再將關鍵點位置信息、[0046]圖1為本發明實施例提供的一種多分支深度學習的3D人臉重建模型訓練方法的步[0047]圖2為本發明實施例提供的一種多分支深度學習的3D人臉重建模型的訓練流程示[0048]圖3為本發明實施例提供的一種多分支深度學習的3D人臉重建模型訓練系統的結[0049]圖4為本發明實施例提供的一種多分支深度學習的3D人臉重建模型訓練裝置的結施例中的各步驟的執行順序均可根據本領域技術人員的理解來進行適93DMM模型的人臉外觀模型Smodel和紋理模型Tmodel分t分別表示PCA分析的基子集3DMM與深度學習算法相結合重建出的3D人臉相比僅使用3DMM重建出的人臉可以擁有更多信息的3D人臉重建圖像。本發明實施例的每個分支網絡用于估計一個單一屬性(身份、表[0064]進一步作為可選的實施方式，人臉識別網絡為FaceNet網絡，人臉對齊網絡為[0065]具體地，本發明實施例通過人臉識別網絡FaceNet提取輸入2D圖像的人臉身份信[0066]本發明實施例通過人臉對齊網絡MTCNN進行人臉關鍵點檢測，這是一種實時實現[0067]本發明實施例采用的輕量型RingNet網絡是在RingNet網絡的基礎上增加了SE模圖用于替代3DMM中的紋理模型。通過具有高分辨率的UV紋理貼圖數據集訓練MB-GAN網絡，紋理貼圖組成。此外，MB-GAN網絡從AFLW2000-3D數據集的高斯分布中采樣相機和照明參識別網絡以及生成對抗網絡以及最優參數組合得到3真的3D人臉圖像，在訓練中通過整合各分支網絡輸出的幾何形狀和表情等特征，以及MB-人臉圖像在經過各分支網絡處理后輸入到MB-GAN網絡可以最終渲染出高保真的3D人臉圖算通過FaceNet網絡提取的輸入圖像和渲染后的圖像的特征表示的余弦距離，可以得到感e以及wt分別表示幾何形狀特征、人臉表情特征以及紋理特征的權值，[0101]本發明實施例通過梯度下降算法和反向傳播算法同時優化所有分支網絡的網絡[0102]以上對本發明實施例的方法步驟進行了說明。如圖2所示為本發明實施例提供的利用PCA方法獲取3DMM的人臉幾何形狀信息，同時將身份信息和關鍵點位置信息輸入到表2D人臉圖像直接輸入到該3D人臉重建模型即可渲染出高保真的3D人臉圖像。可以認識到，現上述的一種多分支深度學習的3D人臉重種多分支深度學習的3D人臉重建模型訓練方法，可執行方法實施例的任意組合實施步驟，[0118]在一些可選擇的實施例中，在方框圖中提到的功能/操作可以不按照操作示圖提改變以及其中被描述為較大操作的一部分的子操作被說明，上述的功能和/或特征中的一個或多個可以被集成在單個物理裝置和/或軟件模塊算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(