CN118485659B 一種視頻缺陷檢測方法、檢測模型訓練方法及裝置 （北京優酷科技有限公司）

個圖像塊中的缺陷區域及缺陷區域對應的缺陷2針對所述至少一個圖像塊中的每一圖像塊，通過訓練好的根據所述至少一個圖像塊中的缺陷區域及缺陷區域對應的缺陷根據所述每一視頻幀中的缺陷區域及缺陷區域對應的缺陷類型，根據所述至少一個圖像塊中每一圖像塊中的缺陷區域，生成對所述每一視頻幀的缺陷程度圖及所述每一圖像塊對應的根據所述每一視頻幀中的缺陷區域及缺陷區域對應的缺陷類型，確將該圖像塊對應的高頻子圖及低頻子圖進行拼接處理構建訓練樣本集；其中，所述訓練樣本集中包括多個圖用于權利要求1_4中任一項所述的方法，用于檢測分割視頻得到的圖像塊中缺陷區域及缺3在所述候選視頻中提取樣本圖像，并獲取所述樣本圖像中的根據所述樣本圖像中的缺陷區域及缺陷區域對應的缺陷類型，確定在所述候選視頻為不存在缺陷的視頻時，對所述候選視頻進所述高頻子圖用于表征該圖像塊的紋理信息，所述低頻子圖用于表征該圖像塊的結構信將該圖像塊對應的高頻子圖及低頻子圖輸入到所述預設模型基于該圖像塊的缺陷預測結果及該圖像塊的標簽，調整所述預設視頻幀缺陷檢測模塊，用于根據所述至少一個圖像塊中的缺陷區域視頻缺陷檢測模塊，用于根據所述每一視頻幀中的缺陷區域及缺所述視頻幀缺陷檢測模塊，還用于根據所述至少一個圖像塊中每一圖程度；對所述每一視頻幀的缺陷程度圖及所述每一圖像塊對應的低頻子圖進行融合處理，生成所述每一視頻幀中的缺陷區域的掩膜，所述低頻子圖用于表征該圖像塊的結構信息，4述檢測模型應用于權利要求1_4中任一項所述的方法，用于檢測分割視頻得到的圖像塊中其中，所述處理器被配置為在執行所述存儲器存儲的指令時，實意一項所述的方法或實現權利要求5至9中程序指令被處理器執行時實現權利要求1至4中任意一項所述的方法或實現權利要求5至95[0002]影視作品作為娛樂文化的重要組成部分，其視頻質量直接影響著觀眾的觀賞體[0007]針對所述至少一個圖像塊中的每一圖像塊，通過訓練好的檢測模型進行目標檢訓練好的檢測模型進行目標檢測，確定每一圖像塊中缺陷區域及缺陷區域對應的缺陷類[0015]將該圖像塊對應的高頻子圖及低頻子圖進行拼接處理后，輸入到所述檢測模型6每一圖像塊的標簽，所述每一圖像塊的標簽包括每一圖像塊中是否存在缺陷區域的標簽、型用于檢測分割視頻得到的圖像塊中缺陷區域及缺陷區域對應的[0024]獲取原始數據集；所述原始數據集中包括存在缺陷的視頻和/或不存在缺陷的視[0033]針對所述多個圖像塊中任一圖像塊，生成該圖像塊對應的高7多個圖像塊中各圖像塊中缺陷區域對應的缺陷類型不完型，所述檢測模型用于檢測分割視頻得到的圖像塊中缺陷區域及缺陷區域對應的缺陷類由于檢測模型基于各圖像塊中缺陷區域對應的缺陷類型不完全相同的多個圖像塊訓練得8[0050]包含在說明書中并且構成說明書的一部分的附圖與說明書一起示出了本公開的9標檢測模型中，其中，輕量化網絡EfficientRep中分別提取網絡塊ERBlock3、網絡塊[0081]示例性地，可以利用索貝爾算子(Sobel算子)從圖像塊中提取高頻細節信息生成定所述每一視頻幀中的缺陷區域及缺陷區域各缺陷類型，通過該視頻幀中每一圖像塊中的對應各缺陷類型的缺陷區域進行融合處理，到視頻幀中的非缺陷區域。像塊對應的缺陷程度；對所述缺陷程度圖及所述每一圖像塊對應的低頻子圖進行融合處中各缺陷區域，并可以輸出各缺陷區域對應的缺頻幀中存在缺陷的圖像塊中缺陷區域對應的缺陷類型為該預設缺陷類型的概率值作為該中任一像素點的像素值與該像素點在缺陷程度圖中的灰度值的乘積作為該像素點在掩膜若連續的多個視頻幀均存在色階缺陷，則該多個視頻幀作為一個存在色階缺陷的視頻片以結合該多張視頻幀中的缺陷區域及缺陷類型，確定待檢測視頻中存在缺陷的視頻片段，定所述每一視頻幀中的缺陷區域及缺陷區域[0107]示例性地，可以將檢出存在缺陷的連續的多個視頻幀作為一個存在缺陷視頻片檢測視頻中存在多個存在缺陷的視頻片段，則對該多個視頻片段的缺陷分值進行加權求[0109]本公開實施例中，根據所述每一視頻幀中的缺陷區域及缺陷區域對應的缺陷類的拼接圖輸入到YOLOv6目標檢測模型中的輕量化網絡EfficientRep中，輕量化網絡[0119]例如，可以從視頻平臺收集具有多種空間分辨率(例如4096x2160、3840x2160、例性地，如果一個圖像塊與樣本圖像中缺陷區域重疊部分超過了該圖像塊的30則將該述檢測模型用于檢測分割視頻得到的圖像塊中缺陷區域及缺陷區域對應的用索貝爾算子(Sobel算子)從圖像塊中提取高頻細節信息生成高頻子圖，并運用分段平滑檢測模型(包括輕量化網絡EfficientRep及頸部網絡RepBi標檢測模型中進行目標檢測，輸出每一圖像塊中的缺陷區域及缺陷區域對應的缺陷類型，[0145]圖7示出根據本公開一實施例的一種視頻缺陷檢測裝置的結構示意圖，如圖7所缺陷區域對應的缺陷類型，確定所述每一視頻幀中的缺陷區域及缺陷區域對應的缺陷類陷分值用于表示缺陷區域對視覺效果的影響程度；根據所述每一視頻幀對應的缺陷分值，的標簽；所述多個圖像塊中各圖像塊中缺陷區域對應的缺陷類型不完全相同；訓練模塊型用于檢測分割視頻得到的圖像塊中缺陷區域及缺陷區域對應的原始數據集中包括存在缺陷的視頻和/或不存在缺陷的視頻；在所述原始數據集中篩選出括一個或多個處理器，以及由存儲器1932所代表的存儲器資源，用于存儲可由處理組件[0160]電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源出接口1958(I/O接口)。電子設備1900可以操作基于存儲在存儲器1932的操作系統，例如[0163]計算機可讀存儲介質可以是可以保持和存儲由指令執行設備使用的指令的有形[0164]這里所描述的計算機可讀程序指令可以從計算機可讀存儲介質下載到各個計算/任意組合編寫的源代碼或目標代碼，所述編程語言包括面向對象的編程語言—諸如處理裝置的處理器執行時，產生了實現流程圖和/或框圖中的一個或多個方框中規定的功計算機可讀介質則包括一個制造品，其包括實現流程圖和/或框圖中的一個或多個方框中指令實現流程圖和/或框圖中的一個或多個方框中規定