第四章多元線性回歸模型

第四章

多元線性回歸模型

1多元線性回歸模型多元線性回歸模型的參數(shù)估計多元線性回歸模型的統(tǒng)計檢驗多元線性回歸模型的預(yù)測回歸模型的其他形式回歸模型的參數(shù)約束本章學(xué)習(xí)的主要內(nèi)容2i=1,2…,n一、多元線性回歸模型多元線性回歸模型:表現(xiàn)在線性回歸模型中的解釋變量有多個。

一般表現(xiàn)形式：其中:k為解釋變量的數(shù)目，

j稱為回歸參數(shù)（regressioncoefficient）。

方程表示：各變量X值固定時Y的平均響應(yīng)。

j也被稱為偏回歸系數(shù)，表示在其他解釋變量保持不變的情況下，Xj的單位變化對Y均值的“直接”或“凈”（不含其他變量）影響。3樣本回歸函數(shù)：用來估計總體回歸函數(shù)其隨機(jī)表示式:

ei稱為殘差或剩余項(residuals)，可看成是總體回歸函數(shù)中隨機(jī)擾動項

i的近似替代。

樣本回歸函數(shù)的矩陣表達(dá):

或其中：4UiU1XY0β0X1X2XiU25

假設(shè)1、解釋變量是非隨機(jī)的或固定的，且各X之間互不相關(guān)（無多重共線性）。

假設(shè)2、隨機(jī)誤差項

具有零均值、同方差和不序列相關(guān)性：

E(

i)=0i=1,2,…,n

Var(

i)=

2i=1,2,…,n

Cov(

i,

j)=0i≠ji,j=1,2,…,n

假設(shè)3、隨機(jī)誤差項

與解釋變量X之間不相關(guān)：

Cov(Xi,

i)=0i=1,2,…,n

假設(shè)4、

服從零均值、同方差、零協(xié)方差的正態(tài)分布

i~N(0,

2)i=1,2,…,n

假設(shè)5：隨著樣本容量的無限增加，解釋變量X的樣本方差趨于一有限常數(shù)。即

假設(shè)6：回歸模型設(shè)定是正確的

二、多元線性回歸模型的基本假設(shè)6（一）多元線性回歸模型的參數(shù)估計i=1,2…,n估計方法：OLS、ML或者M(jìn)M?隨機(jī)誤差項

的方差

的無偏估計

7⒈

最小樣本容量（二）樣本容量問題所謂“最小樣本容量”，即從最小二乘原理和最大或然原理出發(fā)，欲得到參數(shù)估計量，不管其質(zhì)量如何，所要求的樣本容量的下限。樣本最小容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項）,即

n

k+12、滿足基本要求的樣本容量

從統(tǒng)計檢驗的角度：

n

30時，Z檢驗才能應(yīng)用；

n-k8時,t分布較為穩(wěn)定

一般經(jīng)驗認(rèn)為:當(dāng)n

30或者至少n3(k+1)時，才能說滿足模型估計的基本要求。

8三、多元線性回歸模型的統(tǒng)計檢驗

擬合優(yōu)度檢驗方程的顯著性檢驗(F檢驗)

變量的顯著性檢驗（t檢驗）參數(shù)的置信區(qū)間9（一）擬合優(yōu)度檢驗該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。

問題：

在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，

R2往往增大（Why?)

這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。總體平方和=殘差平方和+回歸平方和10調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，

n-1為總體平方和的自由度。11（二）方程的顯著性檢驗(F檢驗)

方程的顯著性檢驗，旨在對模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出推斷。即檢驗?zāi)Ｐ?/p>

Yi=

0+1X1i+2X2i++kXki+ii=1,2,,n中的參數(shù)

j是否顯著不為0。可提出如下原假設(shè)與備擇假設(shè)：H0：

0=1=2==k=0H1：

j不全為012

根據(jù)數(shù)理統(tǒng)計學(xué)中的知識，在原假設(shè)H0成立的條件下，統(tǒng)計量

服從自由度為(k,n-k-1)的F分布

給定顯著性水平

，可得到臨界值F

(k,n-k-1)，由樣本求出統(tǒng)計量F的數(shù)值，通過

F

F

(k,n-k-1)或F

F

(k,n-k-1)

來拒絕或接受原假設(shè)H0，以判定原方程總體上的線性關(guān)系是否顯著成立。13

關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論

由與可推導(dǎo)出或14（三）變量的顯著性檢驗（t檢驗）方程的總體線性關(guān)系顯著

每個解釋變量對被解釋變量的影響都是顯著的因此，必須對每個解釋變量進(jìn)行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。這一檢驗是由對變量的t檢驗完成的。15檢驗步驟：（1）對總體參數(shù)提出假設(shè)即H0：

i=0；H1：

i0

（i=1,2…k）

（2）由樣本計算原假設(shè)H0的t統(tǒng)計量（3）給定顯著性水平，查t分布表，得臨界值t/2(n-2)

(4)比較，判斷若|t|>t/2(n-k-1)，則拒絕H0，接受H1；

若|t|

t/2(n-k-1)，則拒絕H1，接受H0-t/2+t/2接受域|t|

t/2(n-k-1)拒絕域|t|>t/2(n-k-1)從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。

16注意：一元線性回歸中，t檢驗與F檢驗一致一方面，t檢驗與F檢驗都是對相同的原假設(shè)H0：

1=0

進(jìn)行檢驗;

另一方面，兩個統(tǒng)計量之間有如下關(guān)系：17（四）參數(shù)的置信區(qū)間參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多“近”。在變量的顯著性檢驗中已經(jīng)知道：容易推出：在(1-)的置信水平下

i的置信區(qū)間是

其中，t/2為顯著性水平為

、自由度為n-k-1的臨界值。

18如何才能縮小置信區(qū)間？

增大樣本容量n，因為在同樣的樣本容量下，n越大，t分布表中的臨界值越小，同時