CN118447576B 一種基于骨架時空聯(lián)合特征交互增強的跨視角步態(tài)識別方法 （山東大學）

WO2024021394A1,2024.0一種基于骨架時空聯(lián)合特征交互增強的跨本發(fā)明涉及一種基于骨架時空聯(lián)合特征交2全局時空特征提取網(wǎng)絡用于提取關鍵點間的全局空間關系和長程時微時空聯(lián)合特征提取網(wǎng)絡用于建模關鍵點間的短程時空依賴即微時空聯(lián)分層特征交互增強融合模塊用于融合全局時空特征提取網(wǎng)絡和微時空聯(lián)合特征提取整體框架包括全局時空特征提取網(wǎng)絡、微時空聯(lián)合特征提獨立計算全局時空特征提取網(wǎng)絡、微時空聯(lián)合特征提取網(wǎng)絡和分交互增強融合模塊的損失的平均值來監(jiān)督整體框?qū)⒆约筒樵兗牟綉B(tài)骨架序列送入訓練好的整體框架，通過比較全局時空特征提取網(wǎng)絡包括全局空間特征提取網(wǎng)絡及長程c、全局空間特征提取網(wǎng)絡構建；對于輸入其中，是線性層可學習的參數(shù)矩陣，Ck表示線性層輸出張量的通道維3計算H頭自注意力A",he{0,…,H-1}:d、長程時間特征提取網(wǎng)絡構建；對步驟c全局空間特征提取網(wǎng)絡的輸出特征通過卷積核大小為9x1的時間卷積提取時間特征：N(F))(9)首先在人體骨架圖序列設置一個大小為τ的時間滑動窗口；時間滑動窗口在人體骨架圖序列上以步長為1滑動，每滑動一步，都產(chǎn)生一個微時空子圖，t時刻的微時空子圖其中是窗口中τ幀骨架圖的節(jié)點組成的節(jié)點集，其節(jié)點特征用張量表示為時空邊用時空鄰接矩陣表f、時空聯(lián)合圖卷積運算；在步驟e定義節(jié)點特征和K跳時空鄰接矩陣4為第l層微時空聯(lián)合特征提取網(wǎng)絡中時空聯(lián)合圖卷積運算的輸入和輸出特征，v3d(reshape1(F?')))(15)·)將特征維度由TxτNxCl變換為ClxTxτxN，Cl+1xTx1xN變換為TxNxCl+1，進而得到第l層微時空聯(lián)合特征提取網(wǎng)絡最終的輸出特征2.根據(jù)權利要求1所述的一種基于多尺度骨架時空特征提取的跨視角步態(tài)識別方法，3.根據(jù)權利要求1所述的一種基于多尺度骨架時空特征提取的跨視角步態(tài)識別方法，T幀人體骨架圖組成S={srnERIt,nEN,t<T,n<N和快速運動F=ifneRIt,neN,t<T,n<N}兩5骨骼角度集E=fernERIt,neN,t<T,n<N],其對應張量表示為sFBSFB4.根據(jù)權利要求1所述的一種基于多尺度骨架時空特征提取的跨視角步態(tài)識別方法，和微時空聯(lián)合特征提取網(wǎng)絡的中間層特征為全局時空特征提取網(wǎng)絡和微時空聯(lián)合特征提取網(wǎng)絡的通道維度調(diào)·)分別全局時空特征提取網(wǎng)絡和微時空聯(lián)合特征提取網(wǎng)絡的通道維度調(diào)整網(wǎng)絡；6息并生成注意力向量；以Ffs1作為源特征、Ffs2作為待增強的目標特征，對于源特征2將時間、空間和通道維度的注意力權重進行逐元素相乘，通過廣播5.根據(jù)權利要求1所述的一種基于多尺度骨架時空特征提取的跨視角步態(tài)識別方法，7t得到微時空聯(lián)合特征提取網(wǎng)絡和分層特征交互增強融合模塊最終的輸出特征和將輸出特征和拼接作為整體框架最終的輸出特征Fout：6.根據(jù)權利要求1所述的一種基于多尺度骨架時空特征提取的跨視角步態(tài)識別方法，全局時空特征提取網(wǎng)絡的三元組損失的計算方式如得到微時空聯(lián)合特征提取網(wǎng)絡和分層特征交互增強融合模塊的損失函數(shù)7.根據(jù)權利要求1_6任一所述的一種基于多尺度骨架時空特征提取的跨視角步態(tài)識別8往借助于中間向量處理骨架這種非歐幾里得空間的圖結構數(shù)據(jù)，圖卷積網(wǎng)絡(GCN)的發(fā)展鍵點間特征的空間圖卷積和用于建模序列時間特征的一維時間卷積組成。Teepe等人提出9上一幀膝關節(jié)的運動會帶動下一幀踝關節(jié)的運動。忽略這種相關性會削弱模型的表示能部位需要根據(jù)關鍵點語義人工劃分，因此對于不同的關鍵點形式需要設計不同的劃分策計算自注意力鄰接矩陣用于提取全局空間關系，然后通過大核時間卷積建模長程時間關[0018]微時空聯(lián)合特征提取網(wǎng)絡用于建模關鍵點間的短程時空依賴[0020]分層特征交互增強融合模塊用于融合全局時空特征提取網(wǎng)絡和微時空聯(lián)合特征特征交互增強融合模塊的損失的平均值來監(jiān)包括N個表示人體關鍵點的節(jié)點；邊集ε包括表示關鍵點間連接的邊，采用鄰接矩陣骨架圖組成的序列為輸入，其節(jié)點特征集合x={xrneRIt,neN,[0031]相對關鍵點位置集R=frrnER"It,neEN,t<T,n<N],其對應張量表示為連接的關鍵點xt,adj的坐標之差來表示，骨骼長度集B={b,neR"It,neN,t<T,n<N]},[0051]計算H頭自注意力A",he(0,…,H-1}:[0055]d、長程時間特征提取網(wǎng)絡構建；對步驟c全局空間特征提取網(wǎng)絡的輸出特征通過卷積核大小為9×1的時間卷積提取時間特N(F))(9)圖其中是窗口中τ幀骨架圖的節(jié)點組成的節(jié)分別為第l層微時空聯(lián)合特征提取網(wǎng)絡中時空聯(lián)合圖卷積運算的輸入和輸出特征，F(xiàn)f,F",…,F和微時空聯(lián)合特征提取網(wǎng)絡的中間層特征[0074]F,-ii為全局時空特征提取網(wǎng)絡和微時空聯(lián)合特征提取網(wǎng)絡的通道維度調(diào)·)分別全局時空特征提取網(wǎng)絡和微時空聯(lián)合特征提取網(wǎng)絡的通道維度調(diào)整網(wǎng)絡；效信息并生成注意力向量；以Ffs1作為源特征、Ffs2作為待增強的目標特征，對于源特征[0081]其中，ateRI11,reshape1(·)將特征維度由T×N×Cfs轉(zhuǎn)換為Cfs×T×N，是兩個全連接層可學習的參數(shù)矩陣，r是維度縮減因[0093]將Ffs2作為源特征、Ffs1作為待增強的目標特征，得到Ffs2增強后的輸出特征pool,(Ff")(25)oI,(r")(26)[0101]得到微時空聯(lián)合特征提取網(wǎng)絡和分層特征交互增強融合模塊最終的輸出特征和全局時空特征提取網(wǎng)絡的錨樣本步態(tài)特征，為與錨樣本身份相同的正樣本步態(tài)特征，[0108]得到微時空聯(lián)合特征提取網(wǎng)絡和分層特征交互增強融合模塊的損失函數(shù)和通過時空聯(lián)合圖卷積捕捉關鍵點間微小的短出信息量更大的互補特征的同時避免了對原始分支[0122]圖5為本發(fā)明提出的基于骨架時空聯(lián)合特征交互增強的跨視角步態(tài)識別方法的整計算自注意力鄰接矩陣用于提取全局空間關系，然后通過大核時間卷積建模長程時間關[0131]微時空聯(lián)合特征提取網(wǎng)絡用于建模關鍵點間的短程時空依賴[0133]分層特征交互增強融合模塊用于融合全局時空特征提取網(wǎng)絡和微時空聯(lián)合特征特征提取網(wǎng)絡和分層特征交互增強融合模塊的三元組損失，并使用全局時空特征提取網(wǎng)征維度一致，全局時空特征提取網(wǎng)絡、微時空聯(lián)合特征提取網(wǎng)絡每層網(wǎng)絡的名稱均為[0142]根據(jù)實施例1所述的一種基于多尺度骨架時空特征提取的跨視角步態(tài)識別方法，骨架圖組成的序列為輸入，其節(jié)點特征集合x=fxrnER"It,neN,t<T,n<N},用張量以規(guī)范化關鍵點坐標。相對關鍵點位置集R=frrnERCIt,neN,t<T,n<N},其對應張B=fbrnERIt,neN,t<T,n<N},其對應張量表示為bt,n由下式計算：[0157]骨骼角度集E=fernERIt,neN,t<T,n<N},其對應張量表示為[0164]如圖1所示，全局時空特征提取網(wǎng)絡包括全局空間特征提取網(wǎng)絡及長程時間特征A",he(0,…,H-1}:[0172]d、長程時間特征提取網(wǎng)絡構建；對步驟c全局空間特征提取網(wǎng)絡的輸出特征通過卷積核大小為9×1的時間卷積提取時間特圖其中是窗口中τ幀骨架圖的節(jié)點組成的節(jié)C表,示第i幀骨架圖關鍵點與第j幀骨架圖中對應空間相鄰位分別為第l層微時空聯(lián)合特征提取網(wǎng)絡中時空聯(lián)合圖卷積運算的輸入和輸出特征，為了減少參數(shù)量，通道維數(shù)在這里保持不變，在后續(xù)步驟g的窗口維度壓縮中改變通道維數(shù)；[0186]為了提高模型的靈活性，本發(fā)明為時空聯(lián)合圖卷積設計兩個可學習的參數(shù)分別為第l層微時空聯(lián)合特征提取網(wǎng)絡中時空聯(lián)合圖卷積運算的輸入和輸出特征，為了減少參數(shù)量，通道維數(shù)在這里保持不變，在后續(xù)步驟g的窗口維度壓縮中改變通道維數(shù)；和微時空聯(lián)合特征提取網(wǎng)絡的中間層特征為全局時空特征提取網(wǎng)絡和微時空聯(lián)合特征提取網(wǎng)絡的通道維度調(diào)12u'eR,reshape1(·)將特征維度由T×N×Cfs轉(zhuǎn)換為Cfs×T×N，wc2egcIi/rxcf是兩個全連接層可學習的參數(shù)矩陣，r是維度縮減因[0212]其中，pen1eRTxwxcf為Ffs1增強后的輸出特征；提取網(wǎng)絡的輸出特征和分層特征交互增強融合模塊的輸出特征e、r"、Fen1、Fen2分別輸Ff",池化過程用公式表示為：pool.(Ff")(25)pool,(r")(26)[0221]通過上述相同方法得到微時空聯(lián)合特征提取網(wǎng)絡和分層特征交互增強融合模塊全局時空特征提取網(wǎng)絡的錨樣本步態(tài)特征，為與錨樣本身份相同的正樣本步態(tài)特征，[0228]通過上述相同方法得到微時空聯(lián)合特征提取網(wǎng)絡和分層特征交互增強融合模塊Fout作為每個步態(tài)骨架序列的特征表示，用每個步態(tài)骨架序列的特征表示構建注冊集的特算，最終將查詢樣本的身份識別為與其特征歐氏距