CN115761757B 基于解耦特征引導的多模態文本頁面分類方法 （福州大學）

基于解耦特征引導的多模態文本頁面分類本發明涉及一種基于解耦特征引導的多模流的端到端Transformer編碼網絡，所述雙流的端到端Transformer編碼網絡包括視覺特征提取分類的電子文本頁面的文本數據輸入語言特征頁面的圖像數據輸入視覺特征提取器獲得深層2獲取電子文本頁面數據構建訓練集，并基于訓練集訓練雙流的端到端Transformer編將待分類的電子文本頁面的文本數據輸入語言特征提取器獲得將待分類的電子文本頁面的圖像數據輸入視覺特征提取器獲得將得到的深層語言特征和深層視覺特征共同輸入跨模態融合編碼器獲得多模態特征，所述視覺特征提取器包括第一解耦表征網絡模塊、引導對齊模塊待分類的電子文本頁面的圖像數據通過第一解耦表征網絡模塊處理,解耦得到形狀特輸入引導對齊模塊進行引導對齊得到淺層視覺將淺層視覺特征Ev輸入視覺編碼器進行加工，進一步提取視覺特征得到深層視覺特征3將形狀特征、顏色特征和像素特征共同輸入引導對齊模塊進行gray)+γ2*LN(Wshhsv)將剩余文本特征Etail通過1×1通道卷積實現與視覺特征E1維度對齊，并與E1拼接輸入一個自注意力層進行語義對齊得到淺層視覺特征Ev替代已有的合并特征，其計算公式如將待分類的電子文本頁面的文本數據先輸入第二解耦表征網絡模塊,得到淺層語言特然后將淺層語言特征Ehead通過10層Transformer結構的語言編碼器網絡進一步提取文具體過程表示為：采用S22中文本嵌入方法分別將頭部文本Thead和剩余文本Ttail共享同一份Bert權重嵌4為剩余文本特征；將剩余特征和淺層語言特征分別輸入引導對齊模塊和語言編碼模塊將跨模態特征Fx輸入分類頭網絡進行分類；分類頭網絡通過維度大小為三層全連接層組成，并通過Mish激活函數和BatchNorm歸一化層連接兩層全連接，分類頭最終通過特征和語言模態特征，分別表示所有圖片視覺模態特征和語言模態特征的集合，(3)：將分類頭輸出的分類概率使用交叉熵損失函數計算預測得到的分類概率與真實5近電子文本頁面分類相似的視覺任務，但電子文本頁面圖像包括了文檔的種類且不限于[0010]將得到的深層語言特征和深層視覺特征共同輸入跨模態融合編碼器獲得多模態[0013]將待分類的電子文本頁面的文本數據先輸入[0014]然后將淺層語言特征Ehead通過10層Transformer結構的語言編碼器網絡進一步提6[0016]采用大規模預訓練Bert編碼文本語言特征；將文本序列嵌入到語言特征空間具體過程表示為：[0018]其中Bert(·)為預訓練Bert權重，為待嵌入的文本序列，p,$分別為依照Bert處理的方法在嵌入過程中添加嵌入向量的位[0019]采用S22中文本嵌入方法分別將頭部文本Thead和剩余文本Ttail共享同一份Bert權aa,?,5)為淺層語言特征，tau,u,s)為剩余文本特征；[0022]待分類的電子文本頁面的圖像數據通過第一征Etail輸入引導對齊模塊進行引導對齊得到淺層視特征Fv；其中對常規的視覺編碼器中的自注意力層進行替換，采用加入高斯核函數生成[0028]對圖像xi通過不同大小的高斯核G(·)處理圖像，并得到高斯差分金字塔DOG7[0033]通過提取圖像xi的HSV特征，將該特征值序列通過一層全連接網絡映射為特定長gray)+γ2*LN(Wshhsv)[0041]將剩余文本特征Etail通過1×1通道卷積實現與視覺特征E1維度對齊，并與E1拼接接層組成，并通過Mish激活函數和BatchNorm歸一化層連接兩層全連接，分類頭最終通過8模態特征和語言模態特征，分別表示所有圖片視覺模態特征和語言模態特征的集[0055](3)：將分類頭輸出的分類概率使用交叉熵損失函數計算預測得到的分類概率與[0057]1、本發明能夠有效地對電子文本頁面中綜合特征進行分析，提升了分類的準確[0058]2、本發明針對模型學習電子文本頁面圖像細節特征代價問題，提出解耦表征模[0060]4、本發明針對難以將電子文本頁面場景中大量文本與視覺特征進行模態間特征9Transformer編碼網絡并通過已訓練網絡并推理電子文本頁面類別，用于檢測用戶瀏覽電[0070]步驟S112：將S34中得到的視覺模態特征Fv和S23中得到的語言模態特征Ft通過infoNCEloss計算模態間損失LCM，將S模態特征和語言模態特征，分別表示所有圖片視覺模態特征和語言模態特征的集處理的方法在嵌入過程中添加嵌入向量的位置和份Bert權重嵌入特征空間得到Ehead=為淺層語言特征，Eau=Bert(Tau,pu,s)為剩余文本特征；[0089]步驟S23：將S21得