CN118537264B 一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法 （上海人工智能創新中心）

一種基于視覺語言模型的真實場景惡劣天本發明涉及一種基于視覺語言模型的真實用視覺語言模型來增強真實世界惡劣天氣條件覺語言模型提供的監督信號來訓練圖像恢復模性和效果。本發明還引入了一種有效的訓練策示了本方法在真實世界惡劣天氣圖像恢復方面2獲取帶有標簽的惡劣天氣圖像樣本并輸入學生網絡中，基于獲取無標簽的惡劣天氣圖像樣本并分別輸入教師網絡和所述學生基于所述學生網絡復原后的圖像，利用預訓練好的CLI于所述圖像嵌入與預設的晴朗天氣提示向量的文本嵌入計基于所述學生網絡復原后的圖像，以及預設的無標簽的惡劣天氣計算用于將學生網絡復原后的圖像、偽標簽以及無,雪四種天氣情況下的天氣提示向量的文本嵌入，EZ()表示學生網絡復原后的圖像的嵌2.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，在訓練前，利用視覺語言模型對無標簽的惡劣天氣圖像樣3.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，,4.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，構建晴朗、雨、霧和雪四種天氣情況下用于捕捉與天3在所述CLIP模型的文本編碼器的嵌入空間中初始化天氣提示5.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，針對無標簽的惡劣天氣圖像樣本，利用另一個視覺語言模型6.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，,7.根據權利要求1所述的一種基于視覺語言模型的真實場景惡劣天氣圖像復原方法，,存有一個或多個程序，所述一個或多個程序包括用于執行如權利要求1_7任一所述基于視9.一種計算機可讀存儲介質，其特征在于，包括的一個或多個程序，所述一個或多個程序包括用于執行如權利要求1_7任一所述基于視覺4多種惡劣天氣條件下的圖像恢復方面取得了進展，但它們通常忽視了圖像的語義上下文，[0005]本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于視覺語言5[0010]基于所述學生網絡復原后的圖像，利用預訓練好的CLIP模型計算對應的圖像嵌[0019]其中，分別表示利用視覺語言模型對所述學生網絡復原后的圖像進行可的嵌入。6[0033]其中，LUP、LPS、LwpehLsemLfeat分別為監督損失、偽標簽損失、天氣提[0039](3)圖像語義恢復能力強：本發明基于描述輔助的語義增強實現圖像復原框架的7[0052]參見圖1為圖像復原框架訓練過程的示意圖，圖像復原框架包括可訓練的學生網[0054](1)圖像評估與偽標簽生成(ImageAssessmentandPseudo_Labeling)：通過引8評估為其分配并更新偽標簽選擇不含天氣相關偽影的理想偽標簽圖像"。研究發現rvlm能夠獲取含有更少天氣相關偽影的更好的偽標簽。9[0063]初始化天氣提示EZ(t)在CLIP文本編碼器的嵌入空間中。同時收集不同天氣情況習損失Lupe最大化模型預測恢復圖像(即學生網絡的預測輸出，對應圖1中的復原值(學生))的圖像嵌入E:(9)與晴朗天氣提示的文本嵌入之間的相似度。圖像。在這一階段，通過最大化模型預測的了解決這一問題并增強模型學習的規范化，采用了特征相似度損失Lfeat以將模型的預測與偽標簽yps及輸入xu對齊。這種方法采用了DepthAnything的視覺編碼器進行特征提取，覺語言模型的圖像文本理解能力來增強惡劣天氣negpos[0071]隨后，將與惡劣天氣條件下質量受損的圖像相關聯的負面場景描述d轉換為偽negpos清晰表示。通過提示大型語言模型(LLMs)生成與恢復圖像相對應的正面描述d來實現這posnegposneg最終，總損失是監督外觀損失Lsaup半監督偽標簽損失LPS天氣提示損失Lwpe描述輔助的語義損失Lsem和特征相似度損失Lhur的加權組合，其中w1,w2,w3,w4是用于平衡損失值[0076]L=L同天氣條件下獲得了最佳的VLM_Vis評分。這些結果證明了本方法在真實數據上相比現有[0086](1)提高泛化能力：采用的半監督學習框架利用有標簽的合成圖像和無標簽的真[0088](3)增強圖像語義恢復：利用視覺語言模型生成描述惡劣天氣圖像的自然語言描內儲存有一個或多個程序，所述一個或多個程序包括用于執行如實施