誤差反傳算法_第1頁
誤差反傳算法_第2頁
誤差反傳算法_第3頁
誤差反傳算法_第4頁
誤差反傳算法_第5頁
已閱讀5頁，還剩7頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

誤差反傳算法及標準BP算法的改進1整理ppt要點BP算法的根本思想基于BP算法的多層感知器模型標準BP算法的改進2整理ppt1、BP算法的根本思想學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經各隱層逐層處理后，傳向輸出層。假設輸出層的實際輸出與期望的輸出不符，那么轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形成通過隱層向輸入層逐層反傳，并將誤差攤給各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權值的依據。這種信號正向傳播與誤差反向傳播的各層權值調整過程，是周而復始地進行的。權值不斷調整的過程，也就是網絡的學習訓練過程。此過程一直進行到網絡輸出的誤差減少到可接受的程度，或進行到預先設定的次數為止。3整理ppt2、基于BP算法的多層感知器模型4整理ppt2、基于BP算法的多層感知器模型三層感知器中，輸入向量為圖中是為隱層神經元引入閾值而設置的；隱層輸出向量為，圖中是為輸出層神經元引入閾值而設置的，輸出層輸出向量為；期望輸出向量為。輸入層到隱層之間的權值矩陣用V表示，，其中列向量為隱層第個神經元對應的權向量；隱層到輸出層之間的權值矩陣用表示，，其中列向量為輸出層第個神經元對應的權向量。5整理ppt對于輸出層，有對于隱層，有以上兩式中，變換函數均為單極性Sigmoid函數具有連續、可導的特點，且有6整理ppt根據需要，也可以采用雙極性Sigmoid函數〔或稱雙曲線正切函數〕網絡誤差與權值調整當網絡輸出與期望輸出不等時，存在輸出誤差，定義如下將以上誤差定義式展開至隱層，有進一步展開至輸入層，有7整理ppt由以上可以看出，網絡輸入誤差是各層權值的函數，因此調整權值可改變誤差顯然，調整權值的原那么是使誤差不斷地減少，因此應使權值的調整量與誤差的梯度下降成正比，即8整理ppt標準BP算法的改進存在的缺陷：易形成局部極小而得不到全局最優；訓練次數多使得學習效率低，收斂速度慢；隱節點的選取缺乏理論指導；訓練時學習新樣本有遺忘舊樣本的趨勢9整理ppt改進方法：增加動量項；自適應調整學習率；引入陡度因子增加動量項：為了考慮t時刻之前的梯度方向。假設用W代表某層權矩陣，X代表某層輸入向量，那么含有動量項的權值調整向量表達式為自適應調節學習率從誤差曲面可以看出，在平坦區域內太小會使訓練次數增加，因而希望增大值；而在誤差變化劇烈的區域，太大會因調整量過大而跨過較窄的“凹坑〞處，使訓練出現振蕩，反而使迭代次數增加。10整理ppt設一初始學習率，假設經過一批次權值調整后使總誤差增大，那么本次調整無效，且；假設經過一批次權值調整后使總誤差減少，那么本次調整有效，且引入陡度因子

誤差曲面上存在著平坦區域。權值調整進入平坦區的原因是神經元輸入了變換函數的飽和區。如果在調整進入平坦區后，設法壓縮神經元的凈輸入，使其輸出退出變換函數的飽和區，就可以改變誤差函數的形狀

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論