CN118691779B 一種基于Transformer的結(jié)構(gòu)化道路自動(dòng)駕駛商用車全局定位方法 （江蘇大學(xué)）

一種基于Transformer的結(jié)構(gòu)化道路自動(dòng)駕本發(fā)明提供了一種基于Transformer的結(jié)構(gòu)結(jié)構(gòu)化道路細(xì)節(jié)信息。Transformer自注意力機(jī)Transformer最后一階段計(jì)算全局注意力時(shí)，使定位失準(zhǔn)問題，從而預(yù)測(cè)出更加準(zhǔn)確的定位信2第一部分網(wǎng)絡(luò)模型為感知道路結(jié)構(gòu)信息模型，通過DeepLabV3Plus語(yǔ)義分割網(wǎng)絡(luò)對(duì)重第二部分網(wǎng)絡(luò)模型為圖像空間特征提取模型，通過Transformer可變自注意機(jī)制從圖第三部分網(wǎng)絡(luò)模型為全局位姿預(yù)測(cè)模型，將特征編碼器輸出的768維特征向量作為時(shí)使用擴(kuò)展卡爾曼濾波對(duì)IMU與網(wǎng)絡(luò)輸出定位結(jié)果進(jìn)行集成，首先獲取待估計(jì)狀態(tài)與系輛位姿狀態(tài)變量為xi=(xi,x,0),其中xi,yi,分別為車輛在二維平面車輛位置與航向角。2.根據(jù)權(quán)利要求1所述的基于Transformer的結(jié)構(gòu)化道路自動(dòng)駕駛商用車全局定位方所述步驟2中注意力模塊包含通道注意力與空間注意力兩部分，其中通道注意力權(quán)重FSM33.根據(jù)權(quán)利要求2所述的基于Transformer的結(jié)構(gòu)化道路自動(dòng)駕駛商用車全局定位方式中x為原始輸入圖像經(jīng)過卷積生成的特征圖展平得到的特征利用可變形注意力機(jī)制替代自注意力機(jī)制以提高運(yùn)算速率，圖像特征圖由2401個(gè)給定由長(zhǎng)寬通道數(shù)為H,W,C原始圖像產(chǎn)生的輸入特征圖x∈RH×式中φ(；)為雙線性插值函數(shù)，既通過雙線性插值函數(shù)得到對(duì)當(dāng)前點(diǎn)重要的特征點(diǎn),4.根據(jù)權(quán)利要求1所述的基于Transformer的結(jié)構(gòu)化道路自動(dòng)駕駛商用車全局定位方5.根據(jù)權(quán)利要求1所述的基于Transformer的結(jié)構(gòu)化道路自動(dòng)駕駛商用車全局定位方4對(duì)Transformer特征編碼器，使用在ImageNet數(shù)據(jù)集進(jìn)行分類任務(wù)的預(yù)訓(xùn)練模型作為6.根據(jù)權(quán)利要求1所述的基于Transformer的結(jié)構(gòu)化道路自動(dòng)駕駛商用車全局定位方5最終輸出xi=(i,%,q),既車輛位置與航向角。6[0001]本發(fā)明涉及一種基于Transformer的結(jié)構(gòu)化道路自動(dòng)駕駛商用車全局定位方法，7[0009]第一部分網(wǎng)絡(luò)模型為感知道路結(jié)構(gòu)信息模型，結(jié)構(gòu)化道路包含大量不變結(jié)構(gòu)信DeepLabV3Plus語(yǔ)義分割網(wǎng)絡(luò)對(duì)重塑大小后的原始圖像進(jìn)行語(yǔ)義分割，旨獲取道路結(jié)構(gòu)信[0010]第二部分網(wǎng)絡(luò)模型為圖像空間特征提取模型，通過Transformer可變自注意機(jī)制從圖像中提取魯棒的位置特征信息并對(duì)這些特征進(jìn)[0013]第三部分網(wǎng)絡(luò)模型為全局位姿預(yù)測(cè)模型，將特征編碼器輸出的768維特征向量作為時(shí)序網(wǎng)絡(luò)的輸入，LSTM長(zhǎng)短期記憶網(wǎng)絡(luò)在時(shí)序數(shù)據(jù)的有強(qiáng)大學(xué)習(xí)能力，LSTM通過引入[0015]根據(jù)步驟2中的感知道路結(jié)構(gòu)信息模型、圖像空間特征提取模型和全局位姿預(yù)測(cè)[0017]使用擴(kuò)展卡爾曼濾波對(duì)IMU與網(wǎng)絡(luò)輸出定位結(jié)果進(jìn)行集成，首先獲取待估計(jì)狀態(tài)獲得車輛位姿狀態(tài)變量為xi=(xi,",q),其中xi,yi,分別為車輛在二維平面車輛位置與航8[0018]所述步驟2中注意力模塊包含通道注意力與空間注意力兩部分，其中通道注意力[0029]利用可變形注意力機(jī)制替代自注意力機(jī)制以提高運(yùn)算速率，圖像特征圖由至少[0030]給定由長(zhǎng)寬通道數(shù)為H,W,C先通過5×5深度卷積來捕獲局部特征，再采用GELU激活函數(shù)和1×1卷積得到二維偏移量，點(diǎn)i,v為重要的特征點(diǎn)的待查詢向量與實(shí)際9[0040]對(duì)Transformer特征編碼器，使用在ImageNet數(shù)據(jù)集進(jìn)行分類任務(wù)的預(yù)訓(xùn)練模型[0066]當(dāng)網(wǎng)絡(luò)模型輸出定位信息更新時(shí)，將定位結(jié)果與當(dāng)前的航位[0079]Transformer通過強(qiáng)大的自注意力機(jī)制可以更好的提取與定位強(qiáng)相關(guān)的特征，可[0090]如圖1所示，一種基于Transformer的結(jié)構(gòu)化道路自動(dòng)駕[0094]第一部分網(wǎng)絡(luò)模型為感知道路結(jié)構(gòu)信息模型，結(jié)構(gòu)化道路包含大量不變結(jié)構(gòu)信DeepLabV3Plus語(yǔ)義分割網(wǎng)絡(luò)對(duì)重塑大小后的原始圖像進(jìn)行語(yǔ)義分割，旨獲取道路結(jié)構(gòu)信[0095]在原始DeepLabV3Plus語(yǔ)義分割網(wǎng)絡(luò)模型基礎(chǔ)上，引入注意力模塊；在原始[0097]所述步驟2中注意力模塊包含通道注意力與空間注意力兩部分，其中通道注意力[0103]第二部分網(wǎng)絡(luò)模型為圖像空間特征提取模型，通過Transformer可變自注意機(jī)制從圖像中提取魯棒的位置特征信息并對(duì)這些特征進(jìn)[0111]利用可變形注意力機(jī)制替代自注意力機(jī)制以提高運(yùn)算速率，圖像特征圖由至少[0112]給定由長(zhǎng)寬通道數(shù)為H,W,C先通過5×5深度卷積來捕獲局部特征，再采用GELU激活函數(shù)和1×1卷積得到二維偏移量，[0120]第三部分網(wǎng)絡(luò)模型為全局位姿預(yù)測(cè)模型，將特征編碼器輸出的768維特征向量作為時(shí)序網(wǎng)絡(luò)的輸入，LSTM長(zhǎng)短期記憶網(wǎng)絡(luò)在時(shí)序數(shù)據(jù)的有強(qiáng)大學(xué)習(xí)能力，LSTM通過引入[0123]根據(jù)步驟2中的感知道路結(jié)構(gòu)信息模型、圖像空間特征提取模型和全局位姿預(yù)測(cè)[0125]對(duì)Transformer特征編碼器，使用在ImageNet數(shù)據(jù)集進(jìn)行分類任務(wù)的預(yù)訓(xùn)練模型[0130]使用擴(kuò)展卡爾曼濾波對(duì)IMU與網(wǎng)絡(luò)輸出定位結(jié)果進(jìn)行集成，獲得車輛位姿狀態(tài)變量為xi=(xi,x,0),其中xi,yi,分別為車輛在二維平面車輛位置與航向角。[0154]當(dāng)網(wǎng)絡(luò)模型輸出定位信息更新時(shí)，將定位結(jié)果與當(dāng)前的航位[0164]最終輸出x=(xi,?,p),既車輛位置與航向角。且盡可能降低計(jì)算量與訓(xùn)練難度。分割后圖像進(jìn)入Transformer編碼器后，輸出為維度為進(jìn)入網(wǎng)路執(zhí)行一系列卷積操作。將四種不同采樣率得到的特征圖融合特征后在與MobileNetV2得到的淺層特征進(jìn)一步融合。最后通過解碼操作完成語(yǔ)義