現代數字信號處理(chap5自適應濾波)(修訂版)

主講教師:何松華教授聯系方式0731)8268771813973132618@139.com

現代數字信號處理/自適應濾波第五章自適應濾波器教學內容最小均方自適應橫向型濾波器(LMS)

正則方程、梯度法、LMS算法遞歸最小二乘自適應濾波器(RLS)

原理、迭代算法自適應濾波器應用自適應對消器前言一、自適應濾波器的提出Weiner濾波器：輸入x(n)，期望輸出yd(n)輸入\期望輸出信號是廣義平穩的；輸入\期望輸出信號的相關及互相關特性是已知的。自適應濾波器(兩層)的含義：輸入信號統計特性是未知的或知道甚少，或者其統計特性是時變的，自動適應輸入信號的統計特性,能夠根據輸入信號統計特性的變化自動調整其結構參數，以滿足某種最佳準則的要求。平滑濾波D步預測前言二、自適應濾波器的組成濾波結構IIR、FIR、橫截型、格型

自適應算法LMS、RLS實際輸出期望輸出前言三、自適應濾波器的典型應用自適應系統建模

回波抵消模型、控制模型、信道模型自適應逆濾波

自適應均衡、盲解卷積自適應信號預測

自適應預測編碼、變化檢測多傳感器干擾抵消

陣列信號處理(角分辨)與自適應波束形成始終保證誤差信號的方差或動態范圍為最小,降低編碼比特數移動通信:信道模型空間位置的變化而變化干擾信號的方向是未知的變化的電視現場直播信號前言四、自適應濾波器的典型應用舉例通信中的回波抵消(電話交換機)由于阻抗不匹配造成能量泄漏前言濾波器的參數自動適應C--混合器B--D的回波路徑僅剩B的話音,回音被對消前言自適應預測誤差編碼第一節LMS自適應濾波器WidrowB，HoffMEJr.Adaptiveswitchingcircuits.1960線性(L)最小均方誤差(MS)濾波器、最陡下降法一、最佳濾波器的正則方程d(n)自適應算法∑x(n)y(n)+_e(n)z-1z-1z-1w1(n)w1(n)wM(n)濾波器的參數不再是常數,而是與n有關的變量第一節LMS自適應濾波器為平穩信號情況下的線性FIR濾波最優濾波器的參數與時間n無關為非平穩信號情況下的線性FIR濾波最優濾波器的參數與時間n有關記M-1階線性濾波器第一節LMS自適應濾波器定義：均方誤差性能函數則：對于非平穩過程,數學期望不再是常數矢量函數的含義?第一節LMS自適應濾波器定義：矢量標量行矢量[矩陣]列矢量=標量(列矢量,互相關矢量)自相關矩陣(列矢量行矢量)第一節LMS自適應濾波器標量對矢量的導數為矢量根據《矩陣論》中的二次型求導原理，當則：第一節LMS自適應濾波器平穩\Rx,P已知情況下正則方程的求解滿秩直接矩陣求逆算法最陡下降法(牛頓梯度法)Levinson－Durbin算法LMS算法、RLS算法運算量大，且在非平穩情況下對每個n都要求逆格形自適應濾波器LMS算法的基礎,同樣可以避免矩陣求逆運算Rx,P未知情況下以及非平穩正則方程的求解二、梯度法(Gradient-Method)

最陡下降法(ThemethodofSteepestDescent)第一節LMS自適應濾波器1算法(牛頓梯度法)(一維情況)LMS算法的基礎，必須先進行介紹W(n)=W1時W(n)=W2時向左搜索向右搜索第一節LMS自適應濾波器梯度的極性約束方向，控制步長\收斂速度\精度。

當算法收斂統計特性P、Rx已知的情況下,一旦給定初始權值W(0),則收斂路徑確定見前面的推導第一節LMS自適應濾波器2.W的收斂條件自相關矩陣Rx的本征分解理論由Rx的特征根構成的對角矩陣由Rx的特征向量構成的矩陣根據特征向量矩陣的正交性QTQ=I本征分解對推導\分析的好處:轉化為對角矩陣運算處理一定能收斂到最優解嗎?上式兩邊取轉置并利用性質證:第一節LMS自適應濾波器2.W的收斂條件定義誤差矢量非負定、對稱，存在正交矩陣，即非負定的含義：根據矩陣理論，自相關矩陣是非負定的滿足根據則有:則:第一節LMS自適應濾波器定義

則

Q的正交性對角矩陣第一節LMS自適應濾波器或時，當滿足條件的第k個元素的第k個元素第一節LMS自適應濾波器共M個指數過程，收斂取決于最慢的指數過程(i最小的)指數收斂因子收斂路徑分析第一節LMS自適應濾波器3.均方誤差序列的收斂性以及收斂精度第一節LMS自適應濾波器根據定義根據對角矩陣乘積交換律選擇收斂步長u滿足：根據權值收斂特性性能曲面函數第一節LMS自適應濾波器4.二維情況下誤差性能曲面舉例關于的橢圓椎面函數第一節LMS自適應濾波器令C為常數等高線大特征值對應短軸，收斂(逼近最優點)快第一節LMS自適應濾波器牛頓梯度法舉例:預測估計∑x(n)z-1z-1w1w2第一節LMS自適應濾波器a1a2λ1λ2λ1/λ2ξmin1-0.19500.920.09652-0.97500.951.50.530.07313-1.59550.951.8180.182100.03224-1.91140.951.9570.01981000.0038情況2的說明已知:第一節LMS自適應濾波器的兩個特征根分別為練習5.1：根據表中的其他情況的1、2以及Rx性質(對稱，且對角元素值相等)反推矩陣Rx，根據a1、a2以及Rx反推P并計算min第一節LMS自適應濾波器取則當n足夠大時,統計特性已知時,只有在大矩陣情況下才體現運算上的優勢第一節LMS自適應濾波器三、LMS算法(LeastMeanSquare)

1.B.Widrow和M.E.Hoff1960年權值遞推算法給定任意的初始權值矢量

以及合適的步長，從n=0開始一般采用全零的矢量第一節LMS自適應濾波器單個誤差樣本的平方

隨機梯度隨機變量隨機路徑無須事先知道P、Rx等統計特性,自動適應其統計特性,并收斂到最優權值然后由、、計算、；依此類推標量矢量第一節LMS自適應濾波器LMS算法流程

假設輸入數據從n0=0開始，在n=0的邊界附近構造矢量時，的值可以用零代替H:共軛轉置*:共軛復數據情況同樣適用矢量LMS算法流程第一節LMS自適應濾波器LMS算法框圖2.權矢量收斂性第一節LMS自適應濾波器幾點假設聯合平穩梯度矢量的隨機估計誤差權值估計誤差矢量X(n)和不相關雖然只與矢量X(n-1)有關,該假設比較牽強,X(n)與X(n-1)之間有重疊,以下證明為不嚴格的證明,但在應用上尚未出現明顯的問題處的理論梯度與實際梯度的誤差第一節LMS自適應濾波器梯度估計矢量是無偏的(含義)不相關假設第一節LMS自適應濾波器定義則前面已證明為0P第一節LMS自適應濾波器令原式兩邊同乘Q-1根據遞推原理第一節LMS自適應濾波器要求:;收斂速度取決于最大的項或最小的項,特征值的散度越大，則收斂時間愈長。第一節LMS自適應濾波器收斂條件可取根據矩陣理論更嚴格地滿足收斂條件期望意義上收斂N足夠大時3.估計誤差能量的收斂性第一節LMS自適應濾波器根據最佳估計時的誤差與X(n)不相關的原理練習5.3:該矩陣對角線元素值的和為第一節LMS自適應濾波器將QT移到前面去相乘w與x無關,則v與x無關第一節LMS自適應濾波器

均方誤差收斂條件超量均方誤差

結論:LMS算法使用隨機梯度,權值收斂為均值意義上的收斂(在最優權矢量附近左右擺動),平均誤差能量大于牛頓梯度法的最小誤差能量4.超量均方誤差第一節LMS自適應濾波器根據可以得到練習5.4假設r(n)與v’(n)不相關對角矩陣相乘的位置可交換性,假設權系數誤差之間互不相關如何求方差?第一節LMS自適應濾波器當時理想穩態情況下誤差矢量在時的近似解為練習第一節LMS自適應濾波器定義：失調量值越大，失調量大為矩陣對角線元素上的值注:第一節LMS自適應濾波器當n足夠大時,權值在最優點附近擾動;并非依概率1收斂于最優權值擾動所帶來的超量均方誤差為因此,當n足夠大時,權值在最優點附近擾動是比較小的收斂路徑中的噪聲第一節LMS自適應濾波器5.應用：自適應均衡碼間干擾現代通信中一般設置訓練比特反射波個數\延遲\幅度未知重構的部分數據y(n)第一節LMS自適應濾波器+x(n)y(n)d(n)e(n)通信信號數據發生器信道hn高斯白噪聲發生器自適應均衡器+I(n)v(n)收發同步后接收端根據已知的訓練比特重構的I(n)訓練比特是位置固定的0,1取值已知比特當自適應均衡器為信道hn的逆濾波器時，y(n)=I(N)；均衡器達到理想效果第一節LMS自適應濾波器W3.5r(0)1.09631.15681.22641.3022r(1)0.43880.55960.67290.7774r(2)0.04810.07830.11320.1511λmin0.33390.21360.12560.0656λmax2.02952.37612.72633.0707實際信道直射波兩個反射波第一節LMS自適應濾波器W=3.5W=3.3W=3.1W=2.9u=0.075W越大,反射波越強，則收斂精度越低第一節LMS自適應濾波器W=2.9u=0.075u=0.025u=0.0075u越小,則收斂速度越慢,但收斂精度越高第一節LMS自適應濾波器第一節LMS自適應濾波器梯度法與LMS算法：統計梯度與隨機梯度梯度法在n趨于無窮時能收斂到最小均方誤差，這是因為每次迭代都使用了精確的梯度向量。LMS算法在n趨于無窮時，最小均方誤差大于。這是因為存在梯度估計誤差。梯度法定義了明確的學習曲線(收斂路徑)，該曲線反映了均方誤差對迭代次數的變化情況。LMS算法學習曲線由噪聲和衰減指數和組成，噪聲的幅度通常隨步長參數u的減小而減小。

第一節LMS自適應濾波器課程上機實驗6：線性信道均衡中的LMS梯度算法實現采用Matlab或VB語言編程(1)參照實驗3的方法產生均值為0，根方差為0.01的、正態白噪聲序列(2)假設信源發送的前10個比特為訓練比特,為假設信源發送的后10個比特為信息比特,為收發雙方按通信協議約定的,收方已知收方未知第一節LMS自適應濾波器(3)假設在接收端的采樣率為每個調制脈沖采集10點,采樣后數字基帶信號的數字角頻率為0.21,A=1,則接收到的直射波采樣信號(經同步后)可以表示為(4)假設有兩個反射波,相對于直射波的延時分別為2,4;幅度系數分別為0.3,0.2;則合成的信號為(5)加上信道噪聲后的信號為ASK調制第一節LMS自適應濾波器(6)畫出直射回波a(n)以及帶有信道噪聲以及碼間干擾的信號x(n)的波形圖,計算平均誤差(7)設置自適應濾波器的抽頭數M=6,搜索步長取為初始權值設置為利用訓練比特對應的前100點數據計算權值,偽代碼為可以改變抽頭數以及步長,比較收斂效果假設數組的下標只能從1開始的修正第一節LMS自適應濾波器觀察最終得到的權值(8)用得到的權值對信息比特對應的后100點數據進行濾波處理

前100點的期望輸出是已知的可以多次運行上述過程,以前一次的運行結果為初值;觀察是否可以改善均衡效果第一節LMS自適應濾波器畫出誤差序列ed(n)的波形圖;畫出均衡后的序列y(n)的波形圖,觀察其與a(n)波形圖的后半部分的差異性[遠小于x(n)與a(n)的差異性]偽代碼,需要根據具體的語言進行修正第一節LMS自適應濾波器(9)計算信道均衡后的平均誤差比較其與e1的差異性(遠小于e1)觀察ed(n)的波形圖中的個別毛刺點(誤差絕對值較大的點),思考:為什么個別毛刺點對誤碼率影響不大?思考:如果信號幅度A不為1且未知,是否對信道均衡產生影響?按A=2重復實驗(期望輸出保持不變,則濾波輸出下降到1/A,輸出波形的調制方式\形狀不變)第一節LMS自適應濾波器在期望輸出不變的情況下,為了將不同A情況下的均衡結果進行有意義的比較,必須對誤差能量進行功率歸一化.信道均衡前,功率歸一化后的平均誤差能量信道均衡后,功率歸一化后的平均誤差能量比較e1,e2,觀察信道均衡效果第二節最小二乘自適應濾波器一、RLS算法與LMS算法(RLS:RecursiveLeastSquare)LMS算法－偽最小均方誤差準則，一類數據的最佳濾波器RLS算法－最小二乘準則，一組數據的最佳濾波器二、最小二乘原理有限長度輸入信號為M(M<<N)階線性濾波器期望輸出信號為遞歸的實際上對同類的不同數據有不同的解第二節最小二乘自適應濾波器代價函數2、數據窗范圍1、輸入輸出方程、代價函數

當已知的輸入數據為x(n)(n=0,1,…,N-1),則其中輸出y(0),y(1),…,y(M-2)牽涉到n<0的輸入數據x(n);y(N),y(N+1),…,y(N+M-2)牽涉到n>N-1的輸入數據x(n);必須對邊界外的數據進行假定為什么不考慮n<0以及n>N+M-2?輸入數據范圍第二節最小二乘自適應濾波器(1)協方差法：使得n=M-1到N-1范圍內的誤差能量最小，不牽涉到[0，N-1]之外的輸入數據，無須任何假定定義數據矢量定義數據矩陣n時刻進入濾波器的數據第二節最小二乘自適應濾波器(2)自相關法：使得n=0到N+M-2全部范圍內的誤差能量最小，假設[0，N-1]之外的輸入數據都為零第二節最小二乘自適應濾波器(3)前加窗法：使得n=0到N-1范圍內的誤差能量最小，不牽涉大于n>N-1時刻的輸入數據，對其不做任何假定；但假設n<0的輸入數據為零第二節最小二乘自適應濾波器(4)后加窗法：使得n=M-1到N+M-2范圍內的誤差能量最小,不牽涉n<0時刻的輸入數據，對其不做任何假定；但假設n>N-1的輸入數據為零第二節最小二乘自適應濾波器3、正則方程

(前加窗)其他加窗情況作為練習,自己推導.為什么以前加窗作為重點?期望輸出都有定義定義濾波器輸出信號矢量:

定義權矢量:

MN維M維N維第二節最小二乘自適應濾波器則有:

定義誤差信號矢量:

定義期望信號矢量:

則有:

誤差信號能量:

N維N維標量第二節最小二乘自適應濾波器根據標量對矢量的二次型的求導公式得到:

M維M維MN,NMMMMN,N1M1定義樣本自相關矩陣:

第二節最小二乘自適應濾波器對稱；但對角線元素值不同,不滿足Toepliz的兩個條件其中:

定義:

其中:

第二節最小二乘自適應濾波器則得到正則方程最小誤差能量為：一般不滿足Toepliz性質，有沒有遞歸算法避免大矩陣的直接求逆運算？是要解決的主要問題,后面介紹將解代入第二節最小二乘自適應濾波器三、(遞歸最小二乘)RLS自適應橫向濾波器當前誤差能量積累(離當前時刻越遠，加權越小)定義只討論前加窗情況A(n)是矩陣A的前n+1列當前輸入數據矩陣當前輸出數據矢量第二節最小二乘自適應濾波器則有定義將輸入數據段為0到N-1情況下的矩陣形式表示形式推廣到輸入數據段為0到n情況下的矩陣形式表示形式,目的?中n的含義?當前誤差數據矢量當前最優權值矢量第二節最小二乘自適應濾波器則有

的定義？適用?根據最小二乘原理，參照情況的解，得到該線性方程組解為矢量第二節最小二乘自適應濾波器此處，、的定義為第二節最小二乘自適應濾波器矢量標量將解代入表達式練習：根據上述矩陣的定義以及對角矩陣相乘的性質第二節最小二乘自適應濾波器如何遞推求解，避免矩陣求逆?、都是MM的矩陣、的遞推關系？則可求出權的遞推第二節最小二乘自適應濾波器矩陣求逆定理：如果E、F為正定矩陣，且滿足下面推導與的關系則有觀察C為列矢量時，D只能為標量，CTFC也為標量設第二節最小二乘自適應濾波器令令增益系數有有第二節最小二乘自適應濾波器將K(n)表達式的分母移到左邊相乘，再移位根據q(n)的遞推式根據p(n)的遞推式第二節最小二乘自適應濾波器先驗估計誤差;要求與具有最小誤差，在未獲得之前，以作為d(n)先驗估計第二節最小二乘自適應濾波器小節初始條件：遞推算法：(M維矢量)對n=0,1,…,N-1,執行上述遞歸迭代運算，則最終的為所求MM維對角矩陣，為任意較小的正數沒有出現任何的矩陣求逆運算(M維矢量)(標量)第二節最小二乘自適應濾波器前向加窗法:從n=0迭代到n=N-1協方差法:從n=M-1迭代到n=N-1迭代次數少,初始值影響大自相關法:從n=0迭代到n=N+M-2后發散現象后向加窗法:從n=M-1迭代到n=N+M-2后發散現象邊界外的期望值定義為零第三節自適應對消器自適應對消器的組成應用一：消除交流市電干擾應用二：