CN117912083B 一種線性自注意力的輕量化人臉表情識(shí)別方法 （湖北省三娃食品有限公司）

街道稻谷溪路松滋現(xiàn)代農(nóng)博城26號(hào)樓一種線性自注意力的輕量化人臉表情識(shí)別本發(fā)明請(qǐng)求保護(hù)一種線性自注意力的輕量化人臉表情識(shí)別方法(LSViT)，旨在設(shè)計(jì)輕量化(ViT)參數(shù)較多的問題，設(shè)計(jì)基于CNN和ViT的輕2步驟2、全局線性自注意力模塊通過捕獲不同表情區(qū)域斑塊的長距離依賴來獲得全局步驟3、局部空間注意力模塊通過MobileNext沙漏塊以及池化操作來進(jìn)行空間注意力B1、將輸入的低級(jí)特征x展平為特征序列，經(jīng)過線性映射矩陣Z進(jìn)行哈達(dá)瑪乘積得到最后的全局表情編碼特征N(G)e線性自注意力計(jì)所述步驟4還包括：網(wǎng)絡(luò)整體在鑒別損失Di-Loss監(jiān)督下進(jìn)行，擴(kuò)其中XER"表示屬于第j類的第i個(gè)樣本的特征，表示第i個(gè)樣本的權(quán)重矩陣，3程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至2任一項(xiàng)所述線性自注意力的輕量化人臉表情識(shí)時(shí)實(shí)現(xiàn)如權(quán)利要求1至2任一項(xiàng)所述線性自注意4[0002]人臉表情識(shí)別(FER)任務(wù)在計(jì)算機(jī)視覺領(lǐng)域受到越來越多的關(guān)注，因?yàn)樗谌藱C(jī)網(wǎng)絡(luò)模型必須在網(wǎng)絡(luò)初始階段通過更多地關(guān)注重要的局部特征來學(xué)習(xí)對(duì)面部圖像的全局注意力機(jī)制的平方級(jí)計(jì)算復(fù)雜度，ViT無法在資源有限的移動(dòng)的設(shè)備上實(shí)現(xiàn)令人滿意的結(jié)學(xué)習(xí)長距離歸納偏置方面的強(qiáng)大建模能力以克服基于CNN的FER模型的弱點(diǎn)仍然是一個(gè)有5區(qū)域之間的關(guān)聯(lián)性，對(duì)于表情識(shí)別中的類間相似性及類內(nèi)差異性問題未能得到良好解決。饋送至全局線性自注意力模塊和局部空間注意力[0012]步驟2、全局線性自注意力模塊通過捕獲不同表情區(qū)域斑塊的長距離依賴來獲得[0013]步驟3、局部空間注意力模塊通過MobileNext沙漏塊以及池化操作來進(jìn)行空間注道注意力模塊進(jìn)行通道特征加權(quán)后輸入到分類6意力矩陣Z進(jìn)行哈達(dá)瑪乘積得到最后的全局表情編碼特征N(G)e線性自注意[0026]C1、設(shè)xeRCXHXW是經(jīng)過初始卷積后的輸入張量，將X通過沙漏模塊進(jìn)行新的[0029]C2、通過使用兩個(gè)池化操作來聚合特征映射的通道信AavgEwt"和來表示通道中的平均池化特后，通過Sigmod激活函數(shù)來產(chǎn)生空間注意力圖空間注意力公式計(jì)算為：融合后的特征F經(jīng)過ECANet進(jìn)行通道注意力加權(quán)交互通道信息后，輸入到分類器進(jìn)行表情7[0041]其中表示屬于第j類的第i個(gè)樣本的特征，表示第i個(gè)樣本的權(quán)重矩[0042]E2、加性角度間隔損失ArcFace損失將Softmax損失的偏置置為0，令處理器執(zhí)行時(shí)實(shí)現(xiàn)如任一項(xiàng)所述線性自注意力的輕量化人臉表擾因素的面部表情時(shí)能夠更集中于關(guān)鍵信息，并利用通道注意力進(jìn)一步增加通道信息交8[0058]如附圖1所示，一種基于線性自注意力的輕量化人臉表情識(shí)別方法，包括如下步初始特征分別饋送至全局線性自注意力模塊和局部空間注意力模塊中，具體包括以下步[0061]A2、將圖像I輸入到兩個(gè)3×3卷積中提取圖像初級(jí)特征，用x表示xeRCXHXW,[0062]2.如附圖1所示，全局線性自注意力模塊9意力矩陣Z進(jìn)行哈達(dá)瑪乘積得到最后的全局表情編碼特征N(G)eRCXHXW。由于所設(shè)計(jì)[0069]3.如附圖1所示，局部空間注意力模塊主要[0070]C1、設(shè)xeRCXHXIV是經(jīng)過初始卷積后的輸入張量，將x通過沙漏模塊進(jìn)行新的[0073]C2、通過使用兩個(gè)池化操作來聚合特征映射的通道信AavgER*"和來表示通道中的平均池化特征和最大池化后，通過Sigmod激活函數(shù)來產(chǎn)生我們的空間注意力圖M(G)e簡而言之注意力公式計(jì)算為：Concat操作將特征進(jìn)行融合FeR2CXHXW,用公式表示為：提高類內(nèi)樣本的相似性和類間樣本的多樣性，這導(dǎo)致了深度人臉表情識(shí)別的性能差距。ArcFace損失在最近被提出用以顯著的擴(kuò)大類間距離并縮小類內(nèi)距離，取得了競爭性的結(jié)[0085]其中表示屬于第j類的第i個(gè)樣本的特征，W以表示第i個(gè)樣本的權(quán)重矩[0086]E2、加性角度間隔損失ArcFace損失