CN117726808B 一種模型生成方法、圖像處理方法及相關設備 （書行科技(北京)有限公司）

備法及相關設備，通過基于預訓練的視覺語言模初始提示特征用于與預設類別組合形成自然語得到第一目標提示特征；基于第一目標提示特2基于預設的多個可學習的第一初始提示特征、各預設類別的類別提示特征用于與預設類別組合形成自然語言的基于所述第一訓練樣本的所述預測分割掩碼和所述真實分割基于所述第一目標提示特征，生成零樣本語義分割模型；所述括基于第一目標提示特征和各類別特征生成所述基于預設的多個可學習的第一初始提示特征、各預設類別將每個所述第一初始提示特征與各所述預設類別的類別特征拼接，得到多個分割特將第一訓練樣本的特征圖像分別輸入每個被賦予分割特征作為參數的預設卷積核中針對每一所述第一初始提示特征，根據所述第一初始提示基于預設的可學習的第二初始提示特征、各所述類別特征，始提示特征用于表征每個圖像中各所述預設基于所述第一分割掩碼與每個所述預設類別出現的概率，得到所根據所述第一訓練樣本的所述真實分割掩碼和所述預測分割掩碼基于所述分割損失函數和所述分類損失函數，對所將所述第二初始提示特征分別與各所述預設類別的類別特征拼接，得到多個分類特基于各所述分類特征分別對所述第一訓練樣本的特征圖像3基于所述第一訓練樣本的所述預測分割掩碼和所述真實分割掩碼若調整后的所述第一初始提示特征滿足第一預設條件以及預設正交限制條6.根據權利要求1所述的模型生成方法，其特征在于，所述基于所述第一目標提示特基于所述第一目標提示特征、所述視覺語言模型，獲得所述未標注或基于所述第一訓練樣本、所述第二訓練樣本以及所述第一目標基于所述第一目標提示特征和各所述預設類別的類別特征，生成目標將所述目標分類器和所述特征提取網絡組成初始語根據所述初始語義分割模型分別對所述第一訓練樣本、所述第二基于所述第一訓練樣本、所述第二訓練樣本的所述預測基于零樣本語義分割模型對所述待處理圖像進行語義分割，4程序運行時控制所述可讀存儲介質所在電子設備執行權利要求1至8任一項所述的模型生5[0002]語義分割任務是指輸入一張圖像，為圖像中的每一個像素點分配一個類別標法對未標注的類別的圖片進行語義分割。為了實現語義分割模型具有識別更多類別的能[0003]然而，現有技術中提出了視覺語言模型(對比語言_圖像預訓練(ContrastiveLanguage_ImagePre_training，CLIP)模型、大規模圖像和噪聲文本嵌入(ALarge_scale視覺語言模型應用在語義分割任務中以實現零樣本的語義分6二初始提示特征用于表征每個圖像中各所述預[0018]基于所述分割損失函數和所述分類損失函數，對所述第二初始提示特征進行調將調整后的所述第一初始提示特征設置為第一7本語義分割模型，一方面將視覺語言模型應用在語義分割任務中以實現零樣本的語義分8這種重復是為了簡化和清楚的目的，其本身不指示所討論各種實施方式和/或設置之間的意識到其他工藝的應用和/或其他材料的使9及相關設備，通過預訓練的視覺語言模型獲取標注有真實分割掩碼的樣本圖像的特征圖為手機、平板電腦、智能藍牙設備、筆記本電腦、游戲機、或者個人電腦(Personal可以用于執行本實施例所述的模型生成方法以得到用于零樣本語義分割的零樣本語義分[0075]在本實施例中，可以將第一訓練樣本輸入至預訓練的視覺語言模型的圖像編碼[0081]在本實施例中，可以隨機生成k個可學習的prompt作為第一初始提取特征pi,其[0082]可以理解的是，隨機生成k個可學習的prompt作為第一初始提取特征只需在步驟到該預設類別的類別特征，然后將每個預設類別c的類別特征與各第一初始提示特征進行[0088]可選的，可以通過視覺語言模型的文本編碼器對預設類別的類別詞進行特征提預設卷積核。該預設卷積核的數量與分割特征的數量相同，例如：3個分割特征：從預先設置的多個卷積核中選擇3個卷積核作為上述預設卷積核(包括：預[0100]上述預設正交限制條件為各第一初始提示特征的平均特征點乘積為0。由上述實將每個第一初始提示特征與各預設類別的類別特征進行拼接的實施例，在此不再加以贅滿足第二預設條件的第二初始提示特征作為第二[0140]上述第二預設條件可以是滿足預設損失函數值和/或達到訓練次數，在此不再加二初始提示特征的情況下，在得到第二目標提示特征后同樣可以參照第一目標提示特征，得到特征提取后的分割特征以及分類特征s":同時，將第一訓練樣本A輸入理后的概率P和歸一化處理前的概率P進行加權求和，得到調整后的第一訓練樣本A出現每,訓練樣本A的第一分割掩碼SM；將第一訓練樣本A的第一分割掩碼SM與第一訓練樣本A出現,,,分割模型不會僅關注圖像中最具有差異性的區域，能夠使得生成的分割掩碼覆蓋整個目[0147]本申請實施例還提供了一種圖像處理方法，圖8為本實施例提供的圖像處理方法以為智能手機、平板電腦、筆記本電腦、觸控屏幕括一個或者一個以上處理核心的處理器910、有一個或一個以上計算機可讀存儲介質的存[0153]處理器910是電子設備900的控制中心，利用各種接口和線路連接整個電子設備以上的應用程序對應的指令加茲安到存儲器920中，并由處理器910來運行存儲在存儲器[0161]針對每一第一初始提示特征，根據第一初始提示特征和[0198]觸控顯示屏930可用于顯示圖形用戶界面以及接收用戶作用于圖形用戶界面產生式來配置顯示面板。觸控面板可用于收集用戶在其隨后處理器910根據觸摸事件的類型在顯示面板上提供相應的視覺輸出。在本公開實施例顯示屏930也可以作為輸入單元960的一部分實[0199]射頻電路940可用于收發射頻信號，以通過無線通信與網絡設備或其他電子設備[0213]針對每一第一初始提示特征，根據第一初始提示特征和得該電子設備執行上述實施例中的各種可選實現方