CN118941936B 基于圖卷積與多尺度提示融合的深度偽造檢測方法及系統(tǒng) （山東大學(xué)）

基于圖卷積與多尺度提示融合的深度偽造本發(fā)明提出了基于圖卷積與多尺度提示融度提示融合模塊從圖特征和頻率特征中生成提加細(xì)粒度的RGB和頻率信息融合，從而提高深度2將人臉圖像輸入到訓(xùn)練好的檢測模型中，進(jìn)行是否偽造的二分類，其中，所述檢測模型提取人臉圖像中的圖特征和頻率特征，所述檢測模型包括雙分支特征提取網(wǎng)絡(luò)、自適應(yīng)圖卷積模塊、多尺度提所述多尺度提示融合模塊，為每個(gè)特征設(shè)置一個(gè)提示學(xué)習(xí)器，用于所述提示學(xué)習(xí)器是使用空間注意力和通道注意力提取關(guān)鍵信息，通過2.如權(quán)利要求1所述的基于圖卷積與多尺度提示融合的深度偽造檢測方法，其特征在所述頻率特征是采用CNN從人臉圖像的頻率域表3.如權(quán)利要求1所述的基于圖卷積與多尺度提示融合的深度偽造檢測方法，其特征在利用局部聚集器，計(jì)算節(jié)點(diǎn)矩陣的查詢、鍵4.基于圖卷積與多尺度提示融合的深度偽造檢測系統(tǒng)，采用如權(quán)利要求1_3任一項(xiàng)所其中，所述檢測模型提取人臉圖像中的圖特征和頻率特征，3其中，所述計(jì)算機(jī)可讀指令被所述處理器運(yùn)行時(shí)，執(zhí)行權(quán)利要求1_3任一項(xiàng)所述的方4適應(yīng)性，實(shí)現(xiàn)更加細(xì)粒度的RGB和頻率信息融合，從而提高深度偽造檢測的精度和泛化能56執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明第一方面所述的基于圖卷積與多尺度提示融合的深度偽造檢測方法[0040]由于ViT在處理局部特征方面的能力較弱，本發(fā)明設(shè)計(jì)了一個(gè)混合架構(gòu)，結(jié)合了積聚合相關(guān)節(jié)點(diǎn)信息形成語義信息更加豐富的組令牌，有效構(gòu)建出更魯棒的全局信息表7[0058]本公開的一種實(shí)施例中提供了基于圖卷積與多尺度提示融合的深度偽造檢測方8[0079]下面對本實(shí)施例基于圖卷積與多尺度提示融合的深度偽造檢測方法的實(shí)現(xiàn)過程[0080]本實(shí)施例提供一個(gè)更為具體的檢測模型DINA，DINA的輸入是一張的RGB人臉圖像,然后通過檢測模型DINA的計(jì)算流程，最終輸出該圖像的預(yù)測結(jié)果，其中,雙分支特征提取由兩個(gè)CNN特征提取器frgb和frrea組成，它們之間參數(shù)不共享，分別以[0083]該部分的作用為使用CNN提取不同尺度的特征，本實(shí)施例中，兩個(gè)分支均使用SRM過濾器得到lrea。[0084]注意該部分的主要作用為后續(xù)模塊提取特征，因此使用其他的CNN模型或者頻率9[0095]其中，attj代表att第i行第j列的元素，即特征圖中對應(yīng)的兩個(gè)位置的相似度，,分別代表a和k的第i和j行的元素，T代表矩陣轉(zhuǎn)置操作；by是一個(gè)可學(xué)習(xí)的相對位置編碼，代表位置i和j之間的空間關(guān)聯(lián)。[0097]E;={jljeargma構(gòu)建圖G=<X,A>。網(wǎng)絡(luò)可以定位輸入特征圖的關(guān)鍵信息并將其轉(zhuǎn)化為提示令牌；該模塊的輸入為2n-1個(gè)[0112]其中，為sigmoiSENet用于定位關(guān)鍵信息，并不作為該模塊的主要內(nèi)容，使用其他的注意力機(jī)制也是可行[0119]具體的，將上面得到三類令牌以及一個(gè)可學(xué)習(xí)的分類令牌CLS拼接起來，得到I=(CLS,lyprgb,prred)，將送入一個(gè)2層的ViT網(wǎng)絡(luò)中進(jìn)行特征交互和融合；在ViT中，通[0125]本公開的一種實(shí)施例中提供了基于圖卷積與多尺度提示融合的深度偽造檢測系公開實(shí)施例一所述的基于圖卷積與