模式識別與人工智能（基于MATLAB）（第2版）課件 6.4 Hopfield（DHNN）網(wǎng)絡(luò)設(shè)計

基于Hopfield網(wǎng)絡(luò)數(shù)據(jù)分類設(shè)計目錄

Hopfield神經(jīng)網(wǎng)絡(luò)簡介離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)離散Hopfield神經(jīng)網(wǎng)絡(luò)算法Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類總結(jié)

一.

Hopfield神經(jīng)網(wǎng)絡(luò)簡介1982年，美國物理學(xué)家Hopfield教授提出了一種可模擬人腦聯(lián)想記憶功能的新的人工神經(jīng)元模型，稱做Hopfield網(wǎng)絡(luò)。這種網(wǎng)絡(luò)的提出對神經(jīng)網(wǎng)絡(luò)的研究有很大影響，使得神經(jīng)網(wǎng)絡(luò)的研究又掀起了新的高潮。Hopfield網(wǎng)絡(luò)是迄今人工神經(jīng)網(wǎng)絡(luò)模型中得到最廣泛應(yīng)用的一種神經(jīng)網(wǎng)絡(luò)之一，它在聯(lián)想記憶、分類及優(yōu)化計算等方面得到了成功的應(yīng)用。一.

Hopfield神經(jīng)網(wǎng)絡(luò)簡介Hopfield網(wǎng)絡(luò)是一種單層全反饋網(wǎng)絡(luò)，研究的是一種復(fù)雜的動力學(xué)系統(tǒng)，該系統(tǒng)通過神經(jīng)元的狀態(tài)變遷，最終穩(wěn)定于某一穩(wěn)定狀態(tài)，獲得聯(lián)想記憶或神經(jīng)計算的結(jié)果。根據(jù)激活函數(shù)選取的不同，Hopfield網(wǎng)絡(luò)可分為離散型和連續(xù)型兩種，其中的離散型網(wǎng)絡(luò)的激活函數(shù)為二值型，主要用于聯(lián)想記憶。二.離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)Hopfield神經(jīng)網(wǎng)絡(luò)模型是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，從輸出到輸入有反饋連接。在輸入的激勵下，會產(chǎn)生不斷的狀態(tài)變化。Hopfield神經(jīng)網(wǎng)絡(luò)是漸進(jìn)穩(wěn)定的，隨著時間的推移，網(wǎng)絡(luò)狀態(tài)向能量小的方向移動，最終達(dá)到穩(wěn)定平衡狀態(tài)。其結(jié)構(gòu)表現(xiàn)形式有兩種：二.離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)三.離散Hopfield神經(jīng)網(wǎng)絡(luò)算法Step1設(shè)定記憶模式

將設(shè)定記憶模式。將欲存儲的模式進(jìn)行編碼，得到取值為1和-1的記憶模式：X=[Xi1,Xi2,```,Xin]TStep2采用Hebb規(guī)則設(shè)計網(wǎng)絡(luò)的權(quán)值

其中Wij

是神經(jīng)元j到i突觸權(quán)值，一旦計算完畢，突觸權(quán)值將保持變。三.離散Hopfield神經(jīng)網(wǎng)絡(luò)算法Step3聯(lián)想過程

將X中的各個分量的X1，X2,```Xn分別作為第一層網(wǎng)絡(luò)n節(jié)點(diǎn)的輸入，則節(jié)點(diǎn)有相應(yīng)的初始狀態(tài)Y（t=0），即yi(0)=Xj,j=1,2,…，nStep4

Hopfield網(wǎng)絡(luò)輸出三.離散Hopfield神經(jīng)網(wǎng)絡(luò)算法Hopfield網(wǎng)絡(luò)的主要功能(1)、聯(lián)想記憶：輸入–輸出模式的各元素之間，并不存在一對一的映射關(guān)系，輸入–輸出模式的維數(shù)也不要求相同；聯(lián)想記憶時，只給出輸入模式部分信息，就能聯(lián)想出完整的輸出模式。即具有容錯性。(2)、CHNN的優(yōu)化計算功能應(yīng)用Hopfield神經(jīng)網(wǎng)絡(luò)來解決優(yōu)化計算問題的一般步驟為：A、分析問題：網(wǎng)絡(luò)輸出與問題的解相對應(yīng)。B、構(gòu)造網(wǎng)絡(luò)能量函數(shù)：構(gòu)造合適的網(wǎng)絡(luò)能量函數(shù)，使其最小值對應(yīng)問題最佳解。C、設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)：將能量函數(shù)與標(biāo)準(zhǔn)式相比較，定出權(quán)矩陣與偏置電流。D、由網(wǎng)絡(luò)結(jié)構(gòu)建立網(wǎng)絡(luò)的電子線路并運(yùn)行，穩(wěn)態(tài)–優(yōu)化解或計算機(jī)模擬運(yùn)行。四.

Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類本文以酒瓶顏色分類為例來介紹該算法。其中，前29組數(shù)據(jù)已確定類別，后30組數(shù)據(jù)待確定類別。1.Hopfield網(wǎng)絡(luò)分類法設(shè)計原理記憶過程：將酒類評價標(biāo)準(zhǔn)作為網(wǎng)絡(luò)的標(biāo)準(zhǔn)模式使網(wǎng)絡(luò)記憶它們的特征，得到權(quán)值，也就是得到一個Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)。聯(lián)想過程：輸入待測酒樣數(shù)值，利用得到的網(wǎng)絡(luò)進(jìn)行聯(lián)想，最后確定待測酒樣屬于哪種類別模式，就可以得到綜合評價的結(jié)果。四.

Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類指定評價標(biāo)準(zhǔn)數(shù)據(jù)預(yù)處理創(chuàng)建Hopfield網(wǎng)絡(luò)待測試數(shù)據(jù)分類進(jìn)行二值化網(wǎng)絡(luò)聯(lián)想功能測試2.離散Hopfield研究流程四.

Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類3.

Hopfield神經(jīng)網(wǎng)絡(luò)分類過程Step1設(shè)定網(wǎng)絡(luò)的記憶模式，即將預(yù)存儲的模式進(jìn)行編碼，得到取值為1和-1的記憶模式。由于原始給定數(shù)據(jù)分為4類，采用了3項(xiàng)特征來進(jìn)行判別，因此記憶模式為：其中，；n=4。用“1”來表示達(dá)到某一分級標(biāo)準(zhǔn)，用“-1”表示未達(dá)到某一分級標(biāo)準(zhǔn)，下表所列為將數(shù)據(jù)標(biāo)準(zhǔn)化且壓縮在{-1，1}之間后進(jìn)行的數(shù)據(jù)離散化和類別編碼。四.

Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類

特

征1特

征2特

征31類1

1

1

1

111

1

1

1

112類

111

1

1

1

111

1

1

13類111111111

1

114類1

1

1

1

1

1

11

1

11

1特征類

1

0.50.51

1

0.50.51

1

0.50.51四.

Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類Step2將待分類的數(shù)據(jù)轉(zhuǎn)化為網(wǎng)絡(luò)的欲識別模式，即轉(zhuǎn)化為二值型的模式，將其設(shè)為網(wǎng)絡(luò)的初始狀態(tài)。Step3建立網(wǎng)絡(luò)，即運(yùn)用matlab工具箱提供的newhop函數(shù)建立Hopfield網(wǎng)絡(luò)Step4運(yùn)用Matlab提供的sim函數(shù)進(jìn)行多次迭代使其收斂。Step5輸出網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，根據(jù)穩(wěn)定狀態(tài)可得到各待測樣本的分類結(jié)果。四.

Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類首先將數(shù)據(jù)存放到數(shù)據(jù)文件data_sample.dat中，數(shù)據(jù)內(nèi)容及格式如下圖所示。四.

Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類4.重要程序代碼：1）數(shù)據(jù)集離散化clear;clc;p=importdata('data_sample.dat');%數(shù)據(jù)標(biāo)準(zhǔn)化同時壓縮在{-1，1}之間[pn,minp,maxp]=premnmx(p);P=zeros(59,4);fori=1:59ifpn(i,1)==-1P(i,1)=1;P(i,2)=-1;P(i,3)=-1;P(i,4)=-1;elseif(1-pn(i,1))>1P(i,1)=-1;P(i,2)=1;P(i,3)=-1;P(i,4)=-1;elseifpn(i,1)==1P(i,1)=-1;P(i,2)=-1;P(i,3)=-1;P(i,4)=1;elseP(i,1)=-1;P(i,2)=-1;P(i,3)=1;P(i,4)=-1;endend

end四.

Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類end%利用以上循環(huán)將第一個特征向量離散化P1=P;P=zeros(59,4);fori=1:59ifpn(i,2)==-1P(i,1)=1;P(i,2)=-1;P(i,3)=-1;P(i,4)=-1;elseif(1-pn(i,2))>1P(i,1)=-1;P(i,2)=1;P(i,3)=-1;P(i,4)=-1;elseifpn(i,2)==1P(i,1)=-1;P(i,2)=-1;P(i,3)=-1;P(i,4)=1;elseP(i,1)=-1;P(i,2)=-1;P(i,3)=1;P(i,4)=-1;endendendendP2=P;P=zeros(59,4);fori=1:59ifpn(i,3)==-1P(i,1)=1;P(i,2)=-1;P(i,3)=-1;P(i,4)=-1;四.

Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類elseif(1-pn(i,3))>1P(i,1)=-1;P(i,2)=1;P(i,3)=-1;P(i,4)=-1;elseifpn(i,3)==1P(i,1)=-1;P(i,2)=-1;P(i,3)=-1;P(i,4)=1;elseP(i,1)=-1;P(i,2)=-1;P(i,3)=1;P(i,4)=-1;endendendendP3=P;%輸出離散化的數(shù)據(jù)P=[P1,P2,P3]2）模式編碼one=[1-1-1-1-111-1-1-1-11];two=[-111-1-1-1-111-1-1-1];three=[111111111-1-11];four=[1-1-1-1-1-1-11-1-11–1];四.

Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類3）網(wǎng)絡(luò)學(xué)習(xí)T=[one;two;three;four]';%輸出Hopfield網(wǎng)絡(luò)net=newhop(T);%輸出權(quán)值與偏差w=net.lw{1,1},b=net.b{1};4）輸出網(wǎng)絡(luò)分類結(jié)果L=zeros(59,1);fori=1:59a={[P(i,1),P(i,2),P(i,3),P(i,4),P(i,5),P(i,6),P(i,7),P(i,8),P(i,9),P(i,10),P(i,11),P(i,12)]'};[y,Pf,Af]=sim(net,{160},[],a);ify{50}'==oneL(i,1)=1;elseify{50}'==twoL(i,1)=2;elseify{50}'==four四.

Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類L(i,1)=4;elseL(i,1)=3;endendendendL5）以圖形方式輸出分類結(jié)果holdofff=L';index1=find(f==1);index2=find(f==2);index3=find(f==3);index4=find(f==4);plot3(p(:,1),p(:,2),p(:,3),'o');line(p(index1,1),p(index1,2),p(index1,3),'linestyle','none','marker','*','color','g');line(p(index2,1),p(index2,2),p(index2,3),'linestyle','none','marker','*','color','r');line(p(index3,1),p(index3,2),p(index3,3),'linestyle','none','marker','+','color','b');line(p(index4,1),p(index4,2),p(index4,3),'linestyle','none','marker','+','color','y');四.

Hopfield網(wǎng)絡(luò)應(yīng)用于模式分類box;gridon;holdon;xlabel('A');ylabel('B');zlabel('C');title('HopfieldNetworkStateSpace');運(yùn)行程序后，系統(tǒng)分類結(jié)果如