CN116188902B 一種視覺骨干模型的令牌混合器剪枝方法 （上海人工智能創新中心）

本發明公開一種視覺骨干模型的令牌混合過程中，將教師模型學到的知識蒸餾到學生模2構建教師模型，該教師模型包含令牌混合器，并且構建學生模型，該學生模型包含與教師模型對應的層將所述仿射變換模塊學到的相關參數通過重參數化過程融入到學生模型的層歸一化3的Batch數量索引，通道數索引，高度索引和寬度索引，vi和pi是重參數化之后的變量，層的縮放參數和位移參數，yi和是第i個通道重參數化之前的變量，si和ti是對應第i行時實現根據權利要求1至5中任一項所述的方7.一種計算機設備，包括存儲器和處理器4一個允許不同空間位置(tokens)進行交流的令牌混合器(TokenMixer)和一個允許相同位取得性能與計算復雜度最佳權衡的模型。知識蒸餾技術是指借助更加復雜的教師模型意力(Window_basedSelf_attention)和簡單的池化操作(Pool)，這些新的令牌混合模塊[0005]1)基于模型架構搜索的方法得到的ViT模型雖然可以實現較好的精度與計算復雜[0006]2)目前基于高效令牌混合器設計的方法的目的是設計計算復雜度較小的令牌混模型訓練的靈活性不高，這是因為目標學生模型的架構無法完成訓練和推理過程的解耦，而且學生模型中也具有計算復雜度較高的令牌混合器，在實際業務中部署時有較高的延5[0015]將所述仿射變換模塊學到的相關參數通過重參數化過程融入到學生模型的層歸6[0030]圖2是現有技術中的模型架構，其中左圖是通用視覺骨干模型的一般架構Eia,Lout,Lrel的定[0042]這種知識蒸餾損失函數的設計希望利用簡單的仿射變換操作模仿復雜的令牌混特征蒸餾方法可以有效改變TokenMixer_Free類架構的特征分布，使之更接近于有TokenMixer的模型。而且，訓練出的學生模型能夠使TokenMixer_Free類架構的有效感受野更7射變換的參數利用重參數化過程融合到前置的層歸M(2)8模型作為學生模型，通過在合適的位置進行特征知識蒸餾和關系型的知識蒸餾策略將TokenMixer相關知識教給學生模型，希望學生模型簡單Affine操作的功能與教師模型實施例進行適當的改變或變型。本發明核心點是將令牌混合器剪枝之后如何保證模型精[0064]為了進一步驗證本發明的效果，進行了實驗。具體地，在大規模圖像分類任務4160.184899.602140.202530.489[0073]2)本發明的特征蒸餾方法的目的是讓簡單的仿射變換操作模仿復雜的令牌混合[0074]3)本發明剪枝之后的不帶令牌混合器的模型使用帶有令牌混合器模型的預訓練[0077]6)在多種視覺任務上評估了基于知識蒸餾得到的IdenFormer，包括圖像分類[0080]計算機可讀存儲介質可以是可以保持和存儲由指令執行設備使用的指令的有形[0081]這里所描述的計算機可讀程序指令可以從計算機可讀存儲介質下載到各個計算/任意組合編寫的源代碼或目標代碼，所述編程語言包括面向對象的編程語言—諸如程序指令的狀態信息來個性化定制電子電路，例如可編程邏輯電路、現場可編程門陣列處理裝置的處理器執行時，產生了實現流程圖和/或框圖中的一個或多個方框中規定的功計算機可讀介質則包括一個制造品，其包括實現流程圖和/或框圖中的一個或多個方框中