CN117274744B 基于圖注意力網絡的小目標檢測方法 （西安電子科技大學）

本發明提出了一種基于圖注意力網絡的小這種像素之間的潛在相關性可以被用來提高模過交叉注意力機制學習從不同網絡層獲取的目標輪廓特征的多尺度相似性并且輸出細化的目標輪廓特征來約束預測，能更好地聚合信息特2獲取包括多個目標類別的N幅紅外小目標圖像，并對每幅紅外小目標圖像中的小目標對象進行標注，再將每個目標類別中半數以上的總共K幅小目標及其對應的標簽組成訓練和以包括M個級聯的門控交叉注意力特征聚合模塊GCFA和與每個GCFA連接的head塊為分支的輸出端相連；M個GCFA分別連接在PGA和解碼器中第一到第M_1上采樣反卷積模塊的輸出t＝O；從訓練樣本集R中隨機有放回的選取P個訓練樣本作為小目標檢測網絡模型O的輸入進通過步驟(4)獲得的P個小目標檢測結果，對小目標檢測網絡模型Ot的權值、偏置參數wt將測試樣本集E作為訓練好的小目標檢測網絡模型O*的輸入進行前向傳播，得到N_K個像素到圖的注意力模塊PGA，包括并行排布且輸出端相連的圖注意力模塊和空間注意活函數的1x1卷積層和一個深度卷積層。3.根據權利要求2中所述方法，其特征在于，步pp3pp行圖譜特征提取、空間特征提取，得到Fp的圖譜特征圖F"、空間特征圖F;,注意力模塊對(4c)解碼器中的M個上采樣反卷積模塊對每個細化語義特征F'p上采樣得到的M個不同深度的局部特征圖分別與編碼器輸出的F的M個不同深度的局部特ppp分支網絡的兩個分支結構中的M個GCFA對其兩路輸入進行預處理和深度卷積得到兩個采用Dice損失函數LDice，并利用通過分支網絡中的head塊獲取的多個GCFA模塊輸出結果的預測值和實際值計算分支結構輸出的輪廓損失值同時采用BCE損失函數LBCE并利用通過分支網絡中的head塊獲取的多個GCFA模塊輸出結果的預測值和實際值以及權重系通過解碼器head塊獲取的全局特征圖的預測值和實際值計算主干網絡Dice損失利用從PGA模塊輸出結果的預測值和實際值得到的BCE損失將主干網絡Dice損失PGA4(5b)通過鏈式法則計算Lt對權值參數wt和偏置參數bt的偏導和并根據tt5[0007]獲取包括多個目標類別的N幅紅外小目標圖像，并對每幅紅外小目標圖像中的小目標對象進行標注，再將每個目標類別中半數以上的總共K幅小目標及其對應的標簽組成訓練樣本R，將剩余N_K幅小目標圖像及其對應的標簽組成測試樣本集E，其中N≥500,6[0009]構建包括以包括順次級聯的編碼器、像素到圖的注意力模塊PGA和解碼器為主干網絡，和以包括M個級聯的門控交叉注意力特征聚合模塊GCFA和與每個GCFA連接的head塊支網絡加載在主干網絡中編碼器的輸入端與head塊的輸入端之間；編碼器中的第一殘差積模塊的輸出端相連；M個GCFA分別連接在PGA和解碼器中第一到第M_1上采樣反卷積模塊t＝O；[0013]從訓練樣本集R中隨機有放回的選取P個訓練樣本作為小目標檢測網絡模型O的輸[0017]將測試樣本集E作為訓練好的小目標檢測網絡模型O*的輸入進行前向傳播，得到[0019]本發明在對小目標檢測網絡模型進行訓練以及獲取小目標檢測結果的過程中，模塊通過交叉注意力機制學習從不同網絡層獲取的目標輪廓特征的多尺度相似性并且輸7[0027]獲取IRSTD_1k數據集包含的多個目標類別的N幅小目標圖像，輸入圖像大小為半數以上的總共K幅小目標及其對應的標簽組成訓練樣本R，將剩余N_K幅小目標圖像及其[0029]構建包括主干網絡和分支網絡的小目標檢測網絡模型O；其中主干網絡包括順次[0031]三個GCFA模塊用于獲取目標輪廓特征的多尺度相似性并且輸出細化的目標輪廓t＝O；[0036]從訓練樣本集R中隨機有放回的選取P個訓練樣本作為圖注意力網絡模型O的輸入8[0038](4b)像素到圖的注意力模塊PGA將深度為3的32幅特征圖輸入圖注意力模塊和空[0039]在空間注意力模塊中32幅特征圖先后通過最大池化層MaxPool和平均池化層AveragePool以及帶有3×3卷積核的卷積層Conv提取出32幅特征信息，32幅細化特征圖輸入解碼器第一層反卷積層之后與深度為2的32幅特征圖結合輸入第二層反卷積層，輸出結果再與最大池化層輸出的深度為1的32幅特征圖結合輸入第三反卷積層，輸出結果再與編碼器第一殘差塊輸出端深度為1的32幅特征圖結合得到最終[0042](4d)分支網絡的兩個分支結構中的3個GCFA對其兩路輸入進行預處理和深度卷積行交叉注意力融合得到3個細化的輪廓特征F",:head塊對M個細化的輪廓特征F",進行融合[0043]第一個GCFA模塊獲取輸入樣本用拉普拉斯核提取的輪廓特征和PGA模塊輸出的細出的三組注意力圖譜，再進入交叉注意力模塊進行交叉注意力融合，得到輸送到下一個注意力融合，得到32個門控特征和當前32個輪廓特征；3個GCFA得到3個細化的輪廓特征；head塊對3個細化的輪廓特征進行融合得到分支結構輸出[0044](4e)32幅全局特征圖與三個GCFA模塊得到的32個輪廓特征相乘再與自身相加得wt塊輸出結果的預測值和實際值計算分支結構輸出的輪廓損失值引r:同時采用BCE損失函數LBCE并利用通過分支網絡中的head塊獲取的多個GCFA模塊輸出結果的預測值和實際值以及權重系數計算分支結構輸出的輪廓損失值再將和相加得到輪廓損失值Lcon；再利用通過解碼器head塊獲取的全局特征圖的預測值和實際值計算主干網絡Dice損失利用從PGA模塊輸出結果的預測值和實際值得到的BCE損失將主干網絡Dice9[0055](5b)通過鏈式法則計算Lt對權值參數wt和偏置參數bt的偏導和并根據