CN116069512B 一種基于強化學習的Serverless高效資源分配方法及系統 （之江實驗室）

US11574243B1,2023.02.07分配.萬方學位論文.2021,全文.一種基于強化學習的Serverless高效資源本發明提公開了一種基于強化學習的高頻率控制層隱藏了時間開銷并降低了資源開銷。本發明與最新的工作流任務調度系統作比22.根據權利要求1所述的一種基于強化學習的Serverless高效資源分配方法，其特征3.根據權利要求2所述的一種基于強化學習的Serverless高效資源分配方法，其特征4.根據權利要求1所述的一種基于強化學習的Serverless高效資源分配方法，其特征Q(st,at)和V(st)分別指累積經驗的軌跡和平均經驗的模擬逼近，用于對Actor的行為進行35.根據權利要求1所述的一種基于強化學習的Serverless高效資源分配方法，其特征在于，所述步驟(1)中獎勵模塊利用資源配置量以及請求端到端執行時間作為獎懲值訓練6.根據權利要求1所述的一種基于強化學習的Serverless高效資源分配方法，其特征7.根據權利要求1所述的一種基于強化學習的Serverless高效資源分配方法，其特征到不同資源配置數量的容器實例數后，預測模塊將把資源配置分配給不同的集群機器上，8.根據權利要求1所述的一種基于強化學習的Serverless高效資源分配方法，其特征9.根據權利要求1所述的一種基于強化學習的Serverless高效資源分配方法，其特征4代理模塊：所述代理模塊是在容器管理平臺的守護進5員不得不選擇較大資源配置（如內存、CPU等）來保障應用的SLO（ServiceLevel動類控制依賴機器學習模型的精準度，當預測誤差較低時主動類資源效率將高于被動類；高資源利用率的同時保障99%的請求時間延遲目標。同時本發明利用流水線決策和容器管6個函數的平均執行時間以及每個函數的平均資源利用率，即通過函數的離線分析獲得的[0015]所述請求狀態，用于描述訪問負載的情況，包括每秒請求數QPS（QueryPerSecond即每秒請求數、到達目標時延SLO之前剩余時間以及工作流中尚未執行的函數數與環境進行互動；Critic為評價網絡，即利用優勢函數A(s,ar)=Q(sr,ar)-v(sn)作為評價網絡Critic，其和分別指累積經驗的軌跡和平均經驗的模擬逼近，用于對7段以QPS劃分的動作概率表，并將最大到達率與動作概率一一相乘得到未來一段時間窗口8衡為尾延遲和資源浪費時極其困難，主動預測式的動態決策依賴機器學習模型預測的精9此如何使其與RL網絡輸入層的固定大小相協調是一個挑戰。本發明使用GCN（Graph[0052]在應用狀態信息被刻畫獲得后，系統將從其DAG圖的尾部節點開始傳遞其應用狀造成局部最優困境。同時，本發明利用優勢函數A(sr,an)=Q(sr,ar)-v(sr)作為本發明的評[0057]為每種類型的資源訓練了一個獨立的決策網絡，并由各網絡決定對應資源配置導出下一個函數的資源配置，但在并行決策時并沒法知道下個階段執行時所剩余的時間。[0066]主要分成負責未來請求到達率預測的預測模塊，負責節點容器的動作概率表，并將最大到達率與動作概率一一相乘得到未來一段時間窗口的容器實例可預測的延遲都可以通過基于強化學習的請求粒度資源分配策略同時實現。它通過部署在個核心組件：強化學習預測器決定每個實例的資源配置；流水線化隱藏每個決策過程產生的時間開銷，避免了累積效應導致的SLO違規。由于無服務器計算在處理過程中通常采用前監控到的狀態信息發送給強化學習決策器，以此獲取能滿足SLO且資源浪費量最少的配[0076]關于本發明的強化學習模型實現：圖3展示了強化學習模型實現架構，系統對發到轉發模塊。并且OpenFaaS網關利用監控程序（Prometheus）持續監控請求到達速率水線預測利用Go語言中的信號量和Goroutine以工作流方式管理應用程序的執行。強化學習決策器是通過TensorflowGo將訓練好的模型集成在OpenFaaS之中。同時本發明通過塊。它通過在集群中公開HTTP服務端口，在接收到調用后執行資源調整操作。狀態的資源（例如CPU配額、內存等）使用Cgroup進行調整。與通過修改Kuberne