CN117932683B 一種基于混洗差分隱私保護的個性化聯邦學習方法及系統 （重慶大學）

1160-1168.一種基于混洗差分隱私保護的個性化聯邦本發明提供了一種基于混洗差分隱私保護分析器獲得并發布下一全局迭代輪次的全局模2客戶端通過當前全局迭代輪次的全局模型更獲取上一全局迭代輪次中第i個客戶端本地訓練完成后獲得的局部模型梯度t表按照如下公式獲得第i個客戶端當前全局迭代輪次t中本地訓練的初始局部模型：客戶端本地的隨機產生器根據預設的用戶隱私偏好和隱私等級分類策略確定用戶隱混洗服務器將收到的擾動梯度和隱私保護等級分別構成擾動梯度序列和隱私保護等分析器基于打亂后的擾動梯度序列和隱私保護等級序列獲得并發布下一全局迭代輪述客戶端本地的隨機產生器根據預設的用戶隱私偏好和隱私等級分類策略確定用戶隱私A<εB<εC；3.如權利要求1或2所述的基于混洗差分隱私保護的個性化聯邦學習方法，其特征在保留加入噪聲后的局部模型梯度中最大的b個維度，并將加入噪聲后的局部模型梯度所述擾動梯度序列包括n個客戶端本地的隨機產生器上傳的擾動梯度，將擾動梯度序3列中每個梯度維度索引在n個擾動梯度中對應的維度值組成維度值排列，打亂所有梯度維度索引對應的維度值排列獲得打亂后的擾動梯度序列。5.如權利要求1或2或4所述的基于混洗差分隱私保護的個性化聯邦學習方法，其特征從打亂后的擾動梯度序列中采樣S個客戶端的擾動梯度，按照預設聚合聚合隱私保護等級序列獲得聚合隱私保護等級，若所述聚示高斯分布噪聲，N表示參與本次全局迭代訓練的客戶端數量，c表示第一常數，得第i個客戶端第r本地訓練輪次的個性化模型(oj,):全局迭代中第i個客戶端的第r本地訓練輪次獲得的局部模型的梯度，(q;D)表示第i個4當達到最大本地訓練輪次R時，上傳第i個客戶端第R本地訓練輪次的局部模型梯度9.一種基于權利要求1-8之一所述的基于混洗差分隱私保護的個性化聯邦學習方法的5練方可以通過梯度的明文重構出完整的訓練數據，因此亟需更多手段保護訓練方(即客戶方案可用性比較差。又提出聯邦學習中采用安全多方計算來實現梯度在服務器的安全聚現有技術中還提出基于混洗差分隱私的聯邦學習方案可同時滿足本地和中央服務器的強[0005]本發明旨在解決現有技術中本地差分隱私的個性化聯邦混洗差分隱私保護的個性化聯邦學習方法，分析器發布隱私等級分類策略和初始全局模6分別構成擾動梯度序列和隱私保護等級序列，分別打亂擾動梯度序列和隱私保護等級序梯度序列和隱私保護等級序列獲得并發布下一全局迭代輪次的本發明第一方面所述的基于混洗差分隱私保護的個性化聯邦學習方法的訓練系統，包括n[0008]本發明根據用戶客戶端本地的隨機產生器根據預設的用戶隱私偏好和隱私等級分類策略來確定用戶隱私預算，并根據用戶隱私預算添加不同的噪聲在局部模型梯度中，梯度參數的安全，混洗服務器打亂梯度序列使攻擊方難以將局部模型和客戶端一一對應，[0010]圖2是本發明一種優選實施方式中基于混洗差分隱私保護的個性化聯邦學習方法示的方位或位置關系，僅是為了便于描述本發明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發明的限7具體情況理解上述術語的具體含義。器Mi以及用戶根據自身隱私保護強度設置的隱私偏好等級Ri。隱私等級分類策略表示為ε(εAAεA<εB<εC。ωt表示第t8模型(or,):t次全局迭代中第i個客戶端的第r本地訓練輪次獲得的局部模型的梯度，(a;D)表示第i[0032]在上述本地訓練方案中，個性化聯邦學習可以表述為一個雙層優化問題：通過外部層利用n個客戶的數據分布的期望損失，基于此，客戶端可以沿不同的方向更新本地模型，同時不會偏型(oi,)的高精度的近似(oi,).在本地訓練個性化模型，允許客戶端沿不同的方向更新A<εB<εC；9[0038]當Ri<εA時，第i個客戶端的隱私保護等級第i個客戶端的隱私預算為εi=RiεA；i個客戶端的隱私保護等級第i個客戶端的隱私預算為εi=并將加入噪聲后的局部模型梯度中不屬于最大的b個維度的維度值替換為預設值，將新生個客戶端加入噪聲后的局部模型梯度的第k維度的維度[0046]步驟S4，混洗服務器將收到的擾動梯度和隱私保護等級分別構成擾動梯度序列和隱私保護等級序列分別打亂擾動梯度序列和隱私保護等級序列，將打亂[0048]擾動梯度序列包括n個客戶端本地的隨機產生器上傳的擾動梯度，將擾動梯度序列中每個梯度維度索引在n個擾動梯度中對應的維度值組成維度值排列，打亂所有梯度維[0051]步驟501：對梯度的每個維度k∈[d]，生成排列πk，基于排列πk打亂梯度序列：[0059]步驟S53生成下一輪全局模型，包括：若聚合隱私保護等級小于或等于全局差[0062]其中，t表示當前全局迭代噪聲，N表示參與本次全局迭代訓練的客戶端(即用戶)數量，N≤n，c表示第一常數，[0063]本發明還公開了一種基于上述基于混洗差分隱私保護的個性化聯邦