CN118366653B 一種基于增量學習的多模態服刑人員心理狀態評估系統及方法 （杭州華亭科技有限公司）

一種基于增量學習的多模態服刑人員心理本申請公開了一種基于增量學習的多模態貝葉斯增量學習模塊持續訓練迭代以動態評估2S1、獲取服刑人員的多模態數據，所述多模態S2、對所述多模態數據進行預處理獲得預處理S3、將預處理后多模態數據分別送入對應的編碼器S4、在特征融合模塊中對來自不同編碼器的高級特S5、將綜合融合特征作為輸入送入貝葉斯增量學習所述融合過程中引入注意力機制以加強模型對關鍵信息的關注，獲得綜合融合特征，f,(x)=o(w,*x,+b0)f:(x)=o(w;xxz+b)視頻注意力權重：u,=softmax(vufxtanh(w',xf,(x)+bj))；文本注意力權重：ar=softmax(vfxtanh(w(xf:(x)+bf))；標量注意力權重：as=softmax(v?xtanh(w;xf;(x,)+b;,))；融合第一層特征：將各模態的底層特征按照注意力權重進行視頻語義特征：g,(f,(xn))=o(u,xf,(x0)+cp)文本語義特征：g:(f:(x))=o(uxf:(xd)+cd)3融合第二層特征：將第一層融合特征h1與各模態的高層語義特征gng.gs按照權重矩2.根據權利要求1所述的一種基于增量學習的多模態服刑人員心理狀態評估方法，其所述將預處理后多模態數據分別送入對應的編碼器中，包括，預處3.根據權利要求2所述的一種基于增量學習的多模態服刑人員心理狀態評估方法，其采用L層Transformer編碼器對嵌入向量序列E;其中為第l層編碼器的輸出，hfeRdTransformerEncoder為通過計算每一個head;最終輸出多頭自注意力MutiHead(Hl-1)其中w1eRdxdr,b1eRdrr為第一層前饋網絡的權重和偏置，wzeRdrrxd,bzeRd為第輸出經過transform編碼器提取高級44.根據權利要求2所述的一種基于增量學習的多模態服刑人員心理狀態評估方法，其其中g(x)為重構函數將特征表示fi映射回原始輸入空間；5.根據權利要求1所述的一種基于增量學習的多模態服刑人員心理狀態評估方法，其其中p(9]D)是當前模型基于舊數據的后驗概率,Dod=(x1,y1),(x2,y2)….(xn,yn)為A(t+1)=f((t),t)A(t+1)=A(t)xe-t/s)；6.一種基于增量學習的多模態服刑人員心理狀態評估系統，該系統基于權利要求1至5預處理模塊，用于對所述多模態數據進行預處理獲得預處理后多高級多模態數據特征提取模塊，用于將預處理后多模態數據分別送入對應的編碼器綜合融合特征，用于在特征融合模塊中對來自不同編碼器的高綜合處理模塊，用于將綜合融合特征作為輸入送入貝葉斯增所述存儲器中存儲有可供處理器調用的計算所述處理器通過調用所述存儲器中存儲的計算機程序，在后臺中執行權利要求1_5中任意一項所述的一種基于增量學習的多模態服刑人求1_5中任意一種基于增量學習的多模態服刑6[0007]根據本申請的一個方面，基于增量學習的多模態監7用深度學習方法可以更好地挖掘行為模式，從而更好地理解和解釋服刑人員的心理狀態，89征使用基于Transformer的BERT模型提取、預處理后標量數據特征使用多層感知機進行提[0035]S312、首先輸入第一個卷積塊通過64個3*3*3的卷積核進行卷嵌入的標記序列通過嵌入層映射為嵌入向量xi+Epi+Es；n為[0044]其中為第l層編碼器的輸出，hfeRdTransformerEncoder為KVKV[0063]其中為第l個隱藏層的預激活值，為第l個隱藏層的權重矩陣，bleRdi為第l個隱藏層的偏置向量，hfeRdr為[0075]S334、通過前向傳播計算MLP的最后一個隱藏層的輸出，將其作為數據的特征表ta,=softmax(u引*tanh(w;*f。(xn)+bf?))f*f(x)+bf))重矩陣進行加權求和，再經過非線性變換p(Relu、sigmoid)得到心理狀態和潛在的風險因素。注意力機制可以自動識別并賦予這些關鍵部分更高的權重，[0123]將模型預測的服刑人員心理狀態評估結果清晰地呈現給監獄管理人員或者相關[0128]本實施例是基于實施例1基礎之上進行的，與實施例中相同的部分在此不做更多[0129]如圖6所示，一種基于增量學習的多模態服刑人員心理狀態評估系統，該系統包[0137]根據本申請實施方式的方法或裝置也可以借助于圖7所示的電子設備的架構來實或硬盤107可存儲本申請提供的基于增量學習的多模態服刑人員心理狀態評估方法實現。預處理獲得預處理后多模態數據，所述預處理后多模態數據包括預處理后視頻數據特征、[0145]以上的預設的參數或預設的閾值均由本領域的技術人員根據實際情況設定或者