CN118537705B 一種使用多模態模型進行齒輪圖像精準識別的方法及系統 （北京航空航天大學）

一種使用多模態模型進行齒輪圖像精準識本發明公開了一種使用多模態模型進行齒ResNet和Llama2的多模態Transformer模型實現數據采集和預處理；從各類開源的零件圖庫和/或零件標準文件中收集圖像數據和文本數據，2步驟S100：數據采集和預處理；從各類開源的零件并應用hardnegativemining方步驟S400：高級融合策略；通過向量拼接將圖像的特要求但標簽不同的樣本對；對于兩個特征向量xa和xz，歐幾里得距離的計算公式為：,其中分別是兩個特征向量在第個維度上的取步驟S101：收集齒輪圖像數據；從各類開源的零件3步驟S401：融合向量特征融合；通過向量拼接將圖像首先，定義自注意力模塊，自注意力允許模型在序列中不同隨后，構建以自注意力為核心的Transformer模塊；包含12個TraTransformer模塊包含一個多頭自注48.一種使用多模態模型進行齒輪圖像精準識別的數據整合與優化模塊：從多種來源收集齒輪圖像數據和文本數動態樣本調度模塊：通過知識圖譜整合正負樣本對，并應用hard多模態架構設計模塊：建立了包含兩個分支的框架：一個高級特征融合模塊：通過向量拼接將圖像特征和文本嵌入向深度訓練與性能評估模塊：通過對比學習方法，結合三元5類型的齒輪僅從圖像上難以精確區分，亟需研發具有高精度識別功能的齒輪圖像識別方技術結合了圖像處理和文本信息處理，通過深度學習模型實現多模態特征的融合與建模，[0004]為實現上述目的，本發明提供一種使用多模態模型進行齒輪圖像精準識別的方所述圖像處理分支使用ResNet模型進行圖像嵌入和模型訓練；所述文本處理分支使用LlaMa2模型獲取文本嵌入并進行深層6齒輪的專有術語和關鍵描述)，以及尺寸數據和工藝信息(描述齒輪的具體尺寸和制造工71i和x2i分別是兩個特征向量在第i個維個Transformer模塊包含一個多頭自注意力機[0043]動態樣本調度模塊：通過知識圖譜整合正負樣本對，并應用hardnegative8[0051]圖3示出了根據本發明的多模態Transformer模型對圖像和文本特征向量進行高術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范便于描述本發明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、[0056]本發明提供了一種融合ResNet和Llama2的多模態Transformer模型用于齒輪圖像[0057]本發明展示了一種結合ResNet和Llama2技術的多模態Transformer模型，這種模[0059]這兩種技術的數據輸入到多模態Transformer模型中，模型通過一個創新的融合9[0060]根據本發明的使用多模態模型進行齒輪圖像精準識別的系統，包括以下5個功能[0062]動態樣本調度模塊：通過知識圖譜整合正負樣本對，并應用hardnegative機制和人工篩查選擇最準確和最全面的答案。樣本之間的區分能力，并最終增強模型的泛化性能和準確度，具體包括以下步驟S201，(涵蓋齒輪的專有術語和關鍵描述)，以及尺寸數據[0092]步驟S403：設計多模態Transformer模型；首先，定義自注意力模塊，該模塊是Transformer架構的基礎。自注意力允許模型在序列中不同位置的特征間分配不同的注意評估將決定是否需要增加層數來捕獲更復雜的數據結[0097]整個多模態Transformer模型的設計兼顧了效率與準確性，從而為齒輪圖像的精心是建立從簡單到復雜的訓練序列，確保模型在識別齒輪圖像時的逐步學習和泛化能力。圍內能夠幫助模型在保持足夠識別正樣本的同時，也能有效識別并排除錯誤的齒輪類型，策略是采用結合了三元組損失和對比性損失[0107]三元組損失函數關注于一個錨點樣本，一個正樣本和一個負樣本之間的相對距[0115]這種復合損失函數允許模型在多模態空間中同時學習到樣本之間的絕對和相對ofpositivetonegativesamples)。訓練期間，模型采用多模態融合策略(multimodal一化折損累計增益(NDCG)、對比損失(contrastivelos[0134]利用評估之后確定的最佳的模型，實現對測試集中的齒輪圖像進行精準識別任[0137]在規范化過程中將圖像調整至統一的224x224像素，然后使用公式來處理圖像數機制和人工篩查選擇最準確和最全面的答案。以下表格2展示了調整prompt生成文本描述分支。圖像處理分支使用ResNet模型提取圖像特征，并進行規范化。文本處理分支使用[0158]其中，V是融合后的多模態特征向量，Vimage代表從齒輪圖像中提取的特征向量，[0172]集成視覺和語言模型的多模態融合架構：本發明通過集成前沿的視覺和語言模[0174]高質量樣本生成與遞進式訓練策略：本發明利用知識圖譜和hardnegative