CN118539996B 一種無線電通信設備控制方法 （湛江豐越通信工程有限公司）

本申請公開了一種無線電通信設備控制方2S3，無線電通信設備將采集的環境數據與接收S4，根據生成的動態校準參數，采用Actor-Criti根據擬合得到的非線性關系，結合當前采集的環境數據，生成當前根據S3生成的動態校準參數，采用Actor-Critic強化學習框架對發根據策略網絡生成的工作參數調整量，對發射功率和接收靈敏度進將調整后的設備性能指標和目標性能指標作為觀察值，輸入至C值函數網絡輸出的策略價值作為Actor網絡的獎勵值；Actor網絡采用策略梯度算法，3通過構建隸屬度函數，將輸入變量映射到相應的模糊集合，計算天線根據天線駐波比偏離程度和頻率誤差偏離程度，通過模糊推駐波比偏離程度和頻率誤差偏離程度與設備健康狀態之間的模糊將量化指標與預設的校準優先級等級閾值進行比對，根據比對結果將采集的環境數據輸入預訓練的多層自編碼網絡，通過多層自編碼無線電通信設備將得到的量化指標通過通信鏈路上云服務基于獲取的非線性映射關系，以設備性能指4基于構建的參數優化模型，通過高斯過程回歸構建參數空間的概間上置信邊界算法采用探索因子和利用因子的權重將獲取的全局最優的校準參數組合，作為當前環境狀態下的設備初始化置信區間上置信邊界算法中的探索因子權重和將調整后的探索因子權重、利用因子權重、候選參數組合的將計算得到的置信區間上界作為輸入，選擇置信區間上界最大的候選將迭代優化后的工作參數輸出，對無線電通信設備的發射和接收進5[0002]隨著無線通信技術的迅猛發展，無線電通信設備在各種環境下的應用越來越廣[0005]針對現有技術中存在的無線電通信設備對于復雜多變的通信環境適應度低的問6[0008]模糊推理算法(FuzzyInferenceAlgorithm)：一種基于模糊集合論和模糊邏輯7函數估計(Critic)的強化學習方法。Actor網絡根據當前狀態生成動作(如校準參數)，入變量與輸出變量之間模糊關系的IF-THEN形式的語句。模糊推理規則由前件(IF部分)和[0015]去模糊化處理(Defuzzification)：將模糊推理得到的模糊值轉換為確定性數值89候選參數組合處目標函數值的期望。后驗均值綜合考慮了先驗知識和已評估樣本點的信t環境數據與S2中接收到的校準觸發閾值進行比對；當采集的環境數據達到校準觸發閾值的設備輸出性能指標；無線電通信設備將調整后的性能指標和預期性能指標作為觀察值，[0042]通過在無線電通信設備端部署基于校準觸發閾值的實時環境感知和動態校準參[0043]采用極限學習機網絡對接收到的數據權重參數與實時采集的環境數據進行非線[0046]將優化后的工作參數和性能指標反饋至云服務器，由云端基于設備反饋數據對[0047]圖1是根據本說明書一些實施例所示的一種無線電通信設備控制方法的示例性流[0049]圖3是根據本說明書一些實施例所示的生成校準觸發閾值和數據權重參數的示例[0050]圖4是根據本說明書一些實施例所示的采用Actor-Critic強化學習框架對設備的[0052]圖1是根據本說明書一些實施例所示的一種無線電通信設備控制方法的示例性流健康閾值是根據設備的技術指標和工作要求預先設定的參數[0056]圖2是根據本說明書一些實施例所示的獲取設備校準優先級的示例性流程圖，在頻率誤差偏離程度ishighTHEN設備健康狀態ispoor。IF天線駐波比偏離程度islowAND頻率誤差偏離程度islowTHEN設備健康狀[0063]圖3是根據本說明書一些實施例所示的生成校準觸發閾值和數據權重參數的示例[0065]BLSTM網絡是一種循環神經網絡，通過引入前向和后向兩個方向的長短期記憶單建的環境因素與設備性能間的非線性映射關系，通過高斯過程回歸(GPR)構建參數空間的無線電通信設備，指導設備的自適應校準。UCB算法中探索因子和利用因子權重的動態調到的數據權重參數和當前采集的環境數據輸入至訓練好的ELM網絡，通過前向傳播計算過[0072]圖4是根據本說明書一些實施例所示的采用Actor-Critic強化學習框架對設備的備的工作參數進行自適應校準。首先，無線電通信設備根據生成的動態校準參數，采用Actor-Critic強化學習框架對發射功率和接收靈敏度等工作參數進行[0073]Actor-Critic框架由策略網絡(Actor)和值函數網絡(Critic)兩部分組成，策略[0074]Actor網絡的策略網絡采用深度神經網絡結構，用于學習設備狀態空間到工作參數調整空間的映射關系，根據當前設備狀態和動態校準參數生成最優的工作參數調整策備狀態和動態校準參數的輸入。隱藏層采用全連接結構，通過非線性激活函數(如ReLU、標是最大化期望累積獎勵0}^∞γ^tr_t]達到最[0077]Critic網絡的值函數網絡用于評估Actor網絡生成的工作參數調整策略的長期價在當前狀態下采取調整策略后獲得的即時性能反饋，r_target表示期望達到的性能目標。[0078]值函數定義：值函數V(o_t)表示在狀態o_t下繼續執行當前調整策略所能獲得的對值函數網絡進行訓練，通過Bootstrap方法利用下一時刻的估計值函數來更新當前狀態采用隨機梯度下降等優化算法對網絡參數φ進行更新，使值函數逼近真實的期望累積獎勵。策略梯度定義為v__J(9)=E[v_9log_9(a_lo_t)v_?(o_t)],表示策略分布對數[0080]策略－值函數交互訓練：Actor網絡和Critic網絡通過交互訓練實現策略和值函絡則利用Actor網絡與環境交互產生的軌跡數據，通過TD算法不斷優化值函數的估計準確策略和價值的解耦合學習，提高了訓練效率和策略探索的有效性。最終通過Actor網絡和[0082]Actor-Critic框架相比于傳統的PID控制和參數查表方法，具有更強的自學習和數據樣本，對云端部署的Actor-Critic網絡進行在線學習和優化。利用設備上傳的狀態-動作－獎勵數據，通過策略梯度算法和時序差分算法，分別更新Actor網絡的策略參數和Criti