CN117392705B 一種基于局部特征優(yōu)化的可見(jiàn)光和紅外行人重識(shí)別方法 （中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院）

一種基于局部特征優(yōu)化的可見(jiàn)光和紅外行本發(fā)明公開(kāi)一種基于局部特征優(yōu)化的可見(jiàn)2表示為：W-cm()i-12s3對(duì)可見(jiàn)光模態(tài)全局特征v+和可見(jiàn)光局部特征進(jìn)行全局平均池化，并經(jīng)過(guò)線性層映計(jì)算響應(yīng)特征并通過(guò)將和進(jìn)行空間融合，得到增強(qiáng)的局部特征表組對(duì)齊損失Lal,表示為：4行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方5復(fù)雜的姿態(tài)估計(jì)模型，而且姿態(tài)估計(jì)和跨模態(tài)行人重識(shí)別的數(shù)據(jù)集之間存在一定的偏差，6[0014]圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于局部特征優(yōu)化的可見(jiàn)光和紅外行人重識(shí)別方7[0022]為了可以挖掘出行人圖像中的局部信息，進(jìn)一步提升跨可見(jiàn)光模態(tài)全局特征(或簡(jiǎn)稱(chēng)可見(jiàn)光全局特征)和紅外模態(tài)全局特征(或簡(jiǎn)稱(chēng)紅外全局特[0027]局部特征提取模塊20分別從可見(jiàn)光模態(tài)全局特征和紅外模態(tài)全局特征中提取出8[0037]為了確保模態(tài)特定的局部特征都能捕獲到不同的細(xì)粒度信息，在一個(gè)實(shí)施例設(shè)計(jì)了特征分割損失函數(shù)來(lái)強(qiáng)制相同模態(tài)中的每個(gè)局部注意力圖聚焦于行人的不同部位。礦=[,甘,…,],計(jì)算表達(dá)式如下：[0046]其中，所有的卷積模塊conv由卷積核大小為1的卷積塊與非線性激活函數(shù)ReLU組9[0058]其中，softmax函數(shù)定義[0063]綜上，特征協(xié)同學(xué)習(xí)模塊首先通過(guò)特征聚合將全局信息反映可見(jiàn)光模態(tài)圖像或紅外模態(tài)圖像與行人身份之樣本特征對(duì){fa,fn}，不斷驅(qū)使正樣本特征對(duì)的距離比負(fù)樣本特征對(duì)的距離小于一個(gè)設(shè)定[0077]應(yīng)理解的是，本發(fā)明涉及的行人識(shí)別模型的訓(xùn)練過(guò)程可在服務(wù)器或云端離線進(jìn)[0082]RegDB：該數(shù)據(jù)集的行人身份總共有412個(gè)，可見(jiàn)光圖像和紅外圖像的數(shù)量都是試集分別包含206個(gè)身份的行人圖像，整個(gè)數(shù)據(jù)集來(lái)自于1個(gè)可見(jiàn)光攝像頭和1個(gè)熱紅外攝征對(duì)齊模塊(標(biāo)記為字母B)和特征協(xié)同學(xué)習(xí)模塊(標(biāo)記為字MM01和RegDB數(shù)據(jù)集上取得的實(shí)驗(yàn)結(jié)mAP63.2493.2859.5865.1094.3660.7166.3495.2662.2967.4095.5863.46mAP83.8694.3375.4585.9995.6577.1887.0496.7079.6987.6796.9680.86[0090]為了證明本發(fā)明可以挖掘行人特征中的細(xì)粒度信息，并特征的可視化結(jié)果，其中圖3(a)和圖3(b)分別表示的是相同行人的可見(jiàn)光圖像和紅外[0094]計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是可以保持和存儲(chǔ)由指令執(zhí)行設(shè)備使用的指令的有形[0095]這里所描述的計(jì)算機(jī)可讀程序指令可以從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)下載到各個(gè)計(jì)算/任意組合編寫(xiě)的源代碼或目標(biāo)代碼，所述編程語(yǔ)言包括面向?qū)ο蟮木幊陶Z(yǔ)言—諸如程序指令的狀態(tài)信息來(lái)個(gè)性化定制電子電路，例如可編程邏輯電路、現(xiàn)場(chǎng)可編程門(mén)陣列處理裝置的處理器執(zhí)行時(shí)，產(chǎn)生了實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功計(jì)算機(jī)可讀介質(zhì)則包括一個(gè)制造品，其包括實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方