CN118587105B 一種紅外與可見光圖像融合方法、裝置及電子設備 （北京理工大學）

號叉注意塊將提取的淺層和深層特征直接融合為2將所述初步融合特征與所述各層次特征信息中淺層特征進行融合，獲得最終融合特其中，分別表示從紅外圖像和可見光圖像中提取的各層次特將所述各層次特征信息中最深層的特征拼接，利用兩個卷積層生成一個初步融合特利用交叉注意力機制將所述初步融合特征與所述各層次特征信息中淺層特征直接整3初步融合模塊，將所述各層次特征信息中最深層的特最終融合模塊，將所述初步融合特征與所述各所述處理器執行所述存儲器存儲的計算機執行指令，以實現如權利要求1_6中任一項9.一種計算機可讀存儲介質，其特征在于，所述執行指令，所述計算機執行指令被處理器執行時用于實現如權利要求1_6中任一項所述的4[0001]本申請涉及計算攝像科學技術領域，尤其涉及一種紅外與可見光圖像融合方法、[0003]現有基于深度學習的方法獲得融合圖像是簡單的Transformer和卷積塊的堆疊，的基于Transformer的融合方法并沒有充分利用Transformer的潛力，并且在引入[0010]為達上述目的，本申請第一方面實施例提出了一種紅外5[0026]優選地，所述將所述初步融合特征與所述各層次特征信[0027]利用交叉注意力機制將所述初步融合特征與所述各層次特征信息中淺層特征直意力塊采用移動窗口策略計算窗口注意力，采用LeakyReLU為激活函數生成最終的融合圖[0033]為達上述目的，本申請第二方面實施例提出了一種紅外[0037]最終融合模塊，將所述初步融合特征與所述各層次特征信息中淺層特征進行融6[0043]本申請提供的一種紅外與可見光圖像融合方法，利用紅[0045]本申請上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得[0046]圖1為本發明所提供的一種紅外與可見光圖像融合方法的第一種具體實施例的流7[0059]其中，分別表示從紅外圖像[0065]利用交叉注意力機制將所述初步融合特征與所述各層次特征信息中淺層特征直意力塊采用移動窗口策略計算窗口注意力，采用LeakyReLU為激活函數生成最終的融合圖取過程不斷深化所帶來的信息丟失。利用模態引導的Transformer輸出的融合圖像在保持[0074]特征提取模塊通過卷積層和高效遠程注意力塊分別進行淺層局部特征提取和的8[0075]模態引導的特征融合模塊將從特征提取模塊獲得的不同層次的特征整合到融合像和可見光圖像進行深度特征提取。如圖3所示，高效遠程注意力塊首先執行局部特征提需再次計算。三個模態引導的交叉注意力塊中處于中間位置的一個在計算窗口注意力時，征可以將其輸出rf表示為：9所有卷積層都使用LeakyReLU作為激活函數。模態引導的融合模塊整合的融合特征輸入到Transformer的紅外與可見光圖像融合框架進行紅外圖像與可見光圖像融合，利用卷積層特征的同時避免了特征提取過程不斷深化所帶來的[0090]最終融合模塊400，將所述初步融合特征與所述各層次特征信息中淺層特征進行[0092]本實施例的一種紅外與可見光圖像融合裝置用于實現前述的一種紅外與可見光術人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特征進行結連接部(電子裝置)，便攜式計算機盤盒(磁裝置)，隨機存取存儲器(RAM)，只讀存儲器[0104]本技術