CN115829876B 一種基于交叉注意力機制的真實退化圖像盲修復方法 （南京郵電大學）

一種基于交叉注意力機制的真實退化圖像是一種基于交叉注意力機制的真實退化圖像盲征圖的空間特征與潛在編碼的語義特征的相關建圖像忠實度不高和紋理細節不夠豐富這個關2步驟3：使用U_Net中的編碼器，對輸入的圖像進行潛在編步驟6：把經過步驟5優化后的潛碼作為輸入送入預訓練Styl中多尺度特征圖嵌入到StyleGAN2生成過程的對應生成層中，實現對預訓練生成器潛在空2.根據權利要求1所述的基于交叉注意力機制的真實退化圖像盲修復方法，其特征在于，所述步驟1中的用于訓練的模糊數據集是使用不同種類的退化方式進行混合組合來生3.根據權利要求1所述的基于交叉注意力機制的真實退化圖像盲修復方法，其特征在4.根據權利要求3所述的基于交叉注意力機制的真實退化圖像盲修復方法，其特征在5.根據權利要求4所述的基于交叉注意力機制的真實退化圖像盲修復方法，其特征在于，所述步驟5中對步驟3和4中生成的初步16*512維潛在編碼和8*8*256_512*512*16多尺6.根據權利要求5所述的基于交叉注意力機制的真實退化圖像盲修復方法，其特征在37.根據權利要求6所述的基于交叉注意力機制的真實退化圖像盲修復方法，其特征在于，所述步驟6中的預訓練StyleGAN2的輸入為步驟5中優化后的16*512維潛在編碼，且在StyleGAN2生成過程中嵌入的8*8*256_512*512*16多尺度特征圖為步驟4中經過尺度和平8.根據權利要求7所述的基于交叉注意力機制的真實退化圖像盲修復方法，其特征在為ReLU激活函數的平滑近似法，用于限制輸出永遠為正，其中Lfft頻率域損失函數定義如Ltotal=λperLper+λmseLmse+λadvLadv+λfftLfft4perpermsemseperpermsemse56送入步驟7訓練好的模型進行盲修復以得到高質量且忠實度高qq[0020]本發明的進一步改進，步驟4中生成的多分辨率尺度特征圖都進行了尺度和平移7wf都[0028]本發明的進一步改進，步驟7中對輸入圖像的GT和重建圖像進行損失函數進行組VGG_19網絡，在實驗中選擇未經過LeakyReLU激活函數的conv1_2、conv2_2、conv3_2至[0034]上述為對抗性損失函數，代表對重建圖像進行編碼映射的公式縮寫，D為8[0037]Ltotal=λpe域的FFT損失函數來增強模型對高頻特征信息的關注，讓重建圖像的紋理和局部細節更加[0044]為了加深對本發明的理解，下面將結合附圖和實施例對本發明做進一步詳細描qq[0053]在上述步驟3和步驟4中U_Net的編、解碼器中每一編、解碼塊層都為殘差連接結9最終生成的潛在編碼維度為16*512；步驟4中生成的多分辨率尺度特征圖都進行了尺度和[0054]步驟5：對步驟3和步驟4中生成的初步16*512維潛在編碼和8*8*256_512*512*16空間的嵌入擴展，然后得到重建的圖像：預訓練StyleGAN2的輸入為步驟5中優化后的16*VGG_19網絡，在實驗中選擇未經過LeakyReLU激活函數的conv1_2、conv2_2、conv3_2至[0067]在上述對抗性損失函數中，代表對重建圖像進行編碼映射的公式縮寫，D為[0070]Ltotal=λpeperpermsemseadvadvperpermsemseadvadv送入步驟7訓練好的模型進行盲修復以得到高質量且忠實度高眼角皺紋與嘴部形狀，本發明的重建圖像比GFPGAN在上述高頻細節區域的生成質量更優[0074]在上述實施例中，圖1中編解碼器內部使用類似的殘差連接操作或者使用3中的多尺度特征圖嵌入中，對通道分割操作加上通道注意力機制或其他操作來達到最佳