CN116343058B 基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方法 （同濟(jì)大學(xué)）

WO2023000159A1,2023.01基于全局協(xié)同融合的多光譜和全色衛(wèi)星影本發(fā)明涉及一種基于全局協(xié)同融合的多光究區(qū)的多光譜衛(wèi)星遙感影像和全色衛(wèi)星遙感影構(gòu)建全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地2S1：獲取研究區(qū)的多光譜衛(wèi)星遙感影像和全色S3：將步驟S1獲取的研究區(qū)的多光譜衛(wèi)星遙感影S4；獲取待分類的研究區(qū)多光譜衛(wèi)星遙感影像和全所述兩個(gè)單源分支包括單源多光譜深淺特征融合分支和單源全色深淺特征融合分支，地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)還包括三個(gè)網(wǎng)絡(luò)分支的自適應(yīng)加權(quán)交所述全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)整體的total為全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)所述三個(gè)網(wǎng)絡(luò)分支的自適應(yīng)加權(quán)交叉熵?fù)p失的計(jì)算式中，C為研究區(qū)所標(biāo)注的地表要素類個(gè)數(shù)，H和W分別為多光譜衛(wèi)星遙感影像的高和2.根據(jù)權(quán)利要求1所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方3.根據(jù)權(quán)利要求1所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方3模塊包括依次連接的解碼卷積層MS1、解碼上采樣層MS1、解碼卷積層MS2、解碼上采樣層所述單源全色深淺特征融合分支包括全色編碼模塊和全色解碼模塊，所4.根據(jù)權(quán)利要求3所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方5.根據(jù)權(quán)利要求3所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方6.根據(jù)權(quán)利要求3所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方所述多光譜分支的淺層特征和全色分支的淺層特征后添加側(cè)邊連接卷積層來調(diào)整淺7.根據(jù)權(quán)利要求3所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方所述相加操作層1包括解碼卷積層MS1+解碼卷積層PAN1，所述相加操積層MS2+解碼卷積層PAN2+上采樣層Fusion1，所述相加操作層3包括解碼卷積層MS3+解碼8.根據(jù)權(quán)利要求1所述的一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表分類方4在所述最終的地表要素概率分類圖的每個(gè)像素位置上，5[0002]隨著遙感平臺和傳感器類型的不斷豐富，融合多模態(tài)遙感影像(如高光譜和[0008]S2：構(gòu)建全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)[0011]S5：通過概率加權(quán)的方式對步驟S4中三個(gè)網(wǎng)絡(luò)分支的概率分類圖進(jìn)行決策級融6W和B分別為多光譜影像的高、寬和波段數(shù)，n為全色影像尺寸相對于多光譜影像尺寸的倍色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)還包括三個(gè)網(wǎng)絡(luò)分支的自適應(yīng)加權(quán)交叉碼模塊包括依次連接的全色輸入層、編碼卷積塊PAN1、編碼下采樣層PAN1、編碼卷積塊[0019]所述多光譜分支的淺層特征和全色分支的淺層特征后添加側(cè)邊連接卷積層來調(diào)碼卷積層MS2+解碼卷積層PAN2+上采樣層Fusion1，所述相加操作層3包括解碼卷積層MS3+解碼卷積層PAN3+上采樣層Fusio7各分支最后一個(gè)卷積輸出層在圖像位置(u,v)上第j個(gè)通道屬于類別C的概率，且[0029]將BS,BW和分別記為單源多光譜深淺特征融合分支、單源全色深淺特征融合分支和多尺度多光譜和全色交叉特征融合分支的地表要素概率分類[0037](1)本發(fā)明不同于現(xiàn)有的僅使用多光譜和全色波段像素級或兩者融合特征進(jìn)行分[0039](3)本發(fā)明在訓(xùn)練過程中同時(shí)使用了樣本區(qū)和非樣本區(qū)數(shù)據(jù)，可以更全面地對影8[0040]圖1為本發(fā)明提供的一種基于全局協(xié)同融合網(wǎng)絡(luò)的多光譜和全色衛(wèi)星遙感影像地[0045]圖6為本發(fā)明實(shí)施例中DMIL(Deepmultipleinstancelearning)方法的地表要[0046]圖7為本發(fā)明實(shí)施例中MultiResoLCC(Multi_Resolutionlandcovervlassification)方法的地表要[0048]圖9為本發(fā)明實(shí)施例中GAFnet(Groupattentionfusionnetwork)方法的地表要[0054]如圖1所示，本實(shí)施例提供一種基于全局協(xié)同融合的多光譜和全色衛(wèi)星影像地表[0056]其中多光譜衛(wèi)星遙感影像的尺寸大小為H×W×B，全色衛(wèi)星遙感影像的尺寸大小[0057]S2、構(gòu)建全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)9[0058]其中兩個(gè)單源分支分別是單源多光譜深淺特征融合分支和單源全色深淺特征融[0059]該全局協(xié)同的多光譜和全色衛(wèi)星遙感影像地表要素分類深度卷積神經(jīng)網(wǎng)絡(luò)示意[0064]多尺度多光譜和全色交叉特征融合分支依次包含相加操作層1(卷積層MS1+卷積各分支最后一個(gè)卷積輸出層在圖像位置(u,v)上第j個(gè)通道屬于類別C的概率，且[0072]網(wǎng)絡(luò)訓(xùn)練采用Adam(AdaptiveMomentumEstimation)優(yōu)化器，學(xué)習(xí)率設(shè)置為[0075]具體的通過概率加權(quán)的方式對所述步驟S4中三個(gè)網(wǎng)絡(luò)分支分類圖進(jìn)行決策級融值代表標(biāo)準(zhǔn)差，可以看出本發(fā)明所提出的方法標(biāo)準(zhǔn)差與最低CRHFF(FEMAP*PAN)方法的標(biāo)準(zhǔn)差