CN116343338B 基于層次時(shí)空注意力網(wǎng)絡(luò)的人體骨架動(dòng)作識(shí)別方法 （西安電子科技大學(xué)）

基于層次時(shí)空注意力網(wǎng)絡(luò)的人體骨架動(dòng)作本發(fā)明公開(kāi)了一種基于層次時(shí)空注意力網(wǎng)將訓(xùn)練樣本集和測(cè)試樣本集中的關(guān)節(jié)點(diǎn)劃分為2轉(zhuǎn)化為120幀，將所有幀數(shù)小于120的人體骨架序列用上采樣方法轉(zhuǎn)化為120幀，再將所有(4)將訓(xùn)練樣本集輸入到人體骨架動(dòng)作識(shí)別模型，選用Adam優(yōu)化算法對(duì)其進(jìn)行迭代訓(xùn)(5)將測(cè)試樣本集輸入到訓(xùn)練好的人體骨架動(dòng)作識(shí)別模型中，得到測(cè)試樣本集的動(dòng)作2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟(積α;化后人體骨架序列的關(guān)節(jié)點(diǎn)坐標(biāo)[x',y',z']的升維[x',y',z',1],其表示為如下四維矩陣TT和所述劃分身體部位，是根據(jù)人體拓?fù)浜蛣?dòng)作識(shí)別任務(wù)的識(shí)別精細(xì)3所述層次空間注意力模塊，選用現(xiàn)有的注意力模型，且在層次時(shí)空注塊的深層以身體部位為單位計(jì)算空間注意力并以此計(jì)算深層次身所述層次時(shí)間注意力模塊，選用現(xiàn)有的注意力模型，且在層次時(shí)空注6.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟(4)選用4設(shè)第n個(gè)關(guān)節(jié)點(diǎn)在所有t個(gè)幀或時(shí)間片段的動(dòng)作特征分別為連接所有根據(jù)注意力模型中的三個(gè)線性層和W",分別計(jì)算關(guān)節(jié)點(diǎn)查詢值Q,=W?X",特征X":設(shè)第m個(gè)身體部位包含的p個(gè)關(guān)節(jié)點(diǎn)在第pos個(gè)幀或時(shí)間片段的關(guān)節(jié)點(diǎn)動(dòng)作特征分別為連接這些關(guān)節(jié)點(diǎn)動(dòng)作特征得到身體部位動(dòng)作根據(jù)注意力模型中三個(gè)線性層和",分別計(jì)算身體部位查詢值身體部位鍵值和身體部位信息值V,=W,"":設(shè)身體部位拓?fù)渚仃嚍镋m，求身體部位查詢值與身體部位鍵值的相似度并與位動(dòng)作特征X,":設(shè)第pos幀的所有k個(gè)關(guān)節(jié)點(diǎn)或身體部位的動(dòng)作特征分別為連接這根據(jù)注意力模型中的三個(gè)線性層和分別計(jì)算幀查詢值求幀查詢值與幀鍵值的相似度再以此為權(quán)重對(duì)幀信息值加權(quán)求和，得到更5設(shè)第設(shè)第r個(gè)時(shí)間片段包含的6個(gè)幀的關(guān)節(jié)點(diǎn)或身體部位動(dòng)作特征分別為連求時(shí)間片段查詢值與時(shí)間片段鍵值的相似度再以此為權(quán)重對(duì)時(shí)間片段信息值6[0002]人體骨架動(dòng)作識(shí)別的目的是判定已剪輯好的人體骨架序列中發(fā)生的人類動(dòng)作類當(dāng)前骨架動(dòng)作識(shí)別的主流方法，但圖神經(jīng)網(wǎng)絡(luò)對(duì)特征的聚合是沿圖拓?fù)浣Y(jié)構(gòu)逐點(diǎn)擴(kuò)展的，雜度和較好的并行性學(xué)習(xí)輸入數(shù)據(jù)間的全局依賴關(guān)系，從而發(fā)掘人類動(dòng)作中隱含的特征。[0009]有學(xué)者在ACMMULTIMEDIA2021發(fā)表的STST:Spatial_TemporalSpecializedTransformerforSkeleton_basedActionRecognition，設(shè)計(jì)了三種自監(jiān)督學(xué)習(xí)任務(wù)捕[0011]一是沒(méi)有根據(jù)人體運(yùn)動(dòng)的過(guò)程針對(duì)性地選擇建模人體動(dòng)作的最小單位和采樣頻71的比例劃分為訓(xùn)練樣本集和測(cè)試樣本集，并將訓(xùn)練樣本集和測(cè)試樣本集中所有人體骨架[0024](4)將訓(xùn)練樣本集輸入到人體骨架動(dòng)作識(shí)別模型，選用Adam優(yōu)化算法對(duì)其進(jìn)行迭[0025](5)將測(cè)試樣本輸入到訓(xùn)練好的動(dòng)作識(shí)別模型中，得到測(cè)試樣本集的動(dòng)作識(shí)別結(jié)8意力，可將在多個(gè)關(guān)節(jié)點(diǎn)上計(jì)算注意力的過(guò)程轉(zhuǎn)化為在少量身體部位上計(jì)算注意力的過(guò)且減少了數(shù)據(jù)中單個(gè)關(guān)節(jié)點(diǎn)噪聲對(duì)動(dòng)作識(shí)別性人工智能算法捕獲骨架序列的時(shí)空特征，但是在利用這些算法進(jìn)行人體骨架動(dòng)作識(shí)別時(shí)，[0044]用獲取的人體骨架序列組成人體骨架數(shù)據(jù)庫(kù)或從網(wǎng)絡(luò)獲取公開(kāi)的人體骨架數(shù)據(jù)例對(duì)訓(xùn)練樣本集和測(cè)試樣本集中所有人體骨架序列進(jìn)行關(guān)節(jié)點(diǎn)坐標(biāo)視角標(biāo)準(zhǔn)化和位置標(biāo)9[0047]1.2.1)設(shè)人體骨架序列中第n個(gè)關(guān)節(jié)點(diǎn)在第pos幀的坐標(biāo)為第[0055]本實(shí)施例選取了三個(gè)主流的骨架動(dòng)作識(shí)別基準(zhǔn)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，包括NW_UCLA數(shù)[0057]NTU_RGB+D60數(shù)據(jù)集是一個(gè)包含56880個(gè)骨架動(dòng)作序列的大規(guī)模人體動(dòng)作識(shí)別數(shù)[0058]NTU_RGB+D120數(shù)據(jù)集是NTU_RGB+D60數(shù)據(jù)集的擴(kuò)展，在NTU_RGB+D60的基礎(chǔ)上[0062]第一個(gè)條件是劃分身體部位包含的關(guān)節(jié)點(diǎn)在人體拓?fù)浣Y(jié)構(gòu)上僅存在一個(gè)連通子[0064]第三個(gè)條件是所有身體部位包含關(guān)節(jié)點(diǎn)數(shù)量一致，若不一致可以通過(guò)補(bǔ)0或復(fù)制[0073]對(duì)NTU_RGB+D60和NTU_RGB+D120數(shù)據(jù)集，根據(jù)動(dòng)作識(shí)別任務(wù)要求的精細(xì)程度將[0087]選用現(xiàn)有的注意力模型，并設(shè)該注意力模型中的三個(gè)線性層分別為?,,"和W",設(shè)第n個(gè)關(guān)節(jié)點(diǎn)在所有t個(gè)幀或時(shí)間片段的動(dòng)作特征分別為連接所有查詢值關(guān)節(jié)點(diǎn)鍵值和關(guān)節(jié)點(diǎn)信息值V,=W"X":動(dòng)作特征X,":[0093]將提取關(guān)節(jié)點(diǎn)動(dòng)作特征的注意力模型作為以關(guān)節(jié)點(diǎn)為單位計(jì)算空間注意力的層[0095]選用現(xiàn)有的注意力模型，并設(shè)該注意力模型中的三個(gè)線性層分別為W",W和W",設(shè)第m個(gè)身體部位包含的p個(gè)關(guān)節(jié)點(diǎn)在第pos個(gè)幀或時(shí)間片段的關(guān)節(jié)點(diǎn)動(dòng)作特征分別為連接這些關(guān)節(jié)點(diǎn)動(dòng)作特征得到身體部位動(dòng)作[0098]設(shè)身體部位拓?fù)渚仃嚍镋m，計(jì)算身體部位查詢值與身體部位鍵值的相似度次身體部位動(dòng)作特征X,":[0101]將用于更新身體部位動(dòng)作特征的注意力模型作為以關(guān)節(jié)點(diǎn)為單位計(jì)算空間注意[0103]選用現(xiàn)有的注意力模型，并設(shè)該注意力模型中的三個(gè)線性層分別為和設(shè)第pos幀的所有k個(gè)關(guān)節(jié)點(diǎn)或身體部位的動(dòng)作特征分別為連接和分別計(jì)算幀查詢值幀鍵值和幀信息值[0107]求幀查詢值與幀鍵值的相似度再以此為權(quán)重對(duì)幀信息值加權(quán)求和[0110]將用于更新幀動(dòng)作特征的注意力模型作為以幀為單位計(jì)算時(shí)間注意力的層次時(shí)[0112]選用現(xiàn)有的注意力模型，并設(shè)該注意力模型中的三個(gè)線性層分別為w",w"和W",設(shè)第r個(gè)時(shí)間片段包含的6個(gè)幀的關(guān)節(jié)點(diǎn)或身體部位動(dòng)作特征分別為連[0114]將時(shí)間片段動(dòng)作特征X"作為注意力模型的輸入，根據(jù)注意力模型中的三個(gè)線性層和W",分別計(jì)算時(shí)間片段查詢值-W"X",時(shí)間片段鍵值K,=W"X"和時(shí)[0115]求時(shí)間片段查詢值與時(shí)間片段鍵值的相似度再以此為權(quán)重對(duì)時(shí)間片段信[0118]將用于更新時(shí)間片段動(dòng)作特征的注意力模型作為以時(shí)間片段為單位計(jì)算時(shí)間注[0119]3.2.5)將以關(guān)節(jié)點(diǎn)為單位計(jì)算空間注意力的層次空間注意力模塊和以幀為單位[0120]3.2.6)將以身體部位為單位計(jì)算空間注意力的層次空間注意力模塊和以時(shí)間片力維度設(shè)為128，層次時(shí)空注意力模塊的淺層和層次時(shí)空注意力模塊的淺層數(shù)量均設(shè)為1，[0126]對(duì)于NTU_RGB+D60和NTU_RGB+D120數(shù)據(jù)集，動(dòng)作識(shí)別模型的位置編碼維度設(shè)為space是所有幀和關(guān)節(jié)點(diǎn)的空間位置編碼；方(gτ)2的加權(quán)和；[0147]本發(fā)明的仿真試驗(yàn)平臺(tái)是3.6GHz的IntelCorei7_9700KCPU，顯卡為NvidiaRTX2080Ti的PC機(jī)，仿真平臺(tái)為