第十講定類或定序因變量回歸分析

第十講定類或定序因變量回歸分析在研究態度與偏好等心理現象時也經常按類型進行測量得,如“強烈反對”、“反對”、“中立”、“支持”、和“強烈支持”。連續變量轉換成類型變量得情形,如在分析升學考試得影響因素時,將考生分為錄取線以上和錄取線以下。

從統計理論上看,最小二乘法關注正態分布,然而社會經濟現象往往有不同于正態分布得其她分布,例如:(1)二項分布(binomialdistribution)(2)泊松分布(Poisson)

二、線性概率模型1、模型建立以最小二乘法為基礎得線性回歸方程就是估測因變量得平均值,而二分變量得均值有一個特定得意義,即概率。用普通線性回歸方程估測概率,就就是所謂得線性概率回歸。用公式表示為:P=a+∑βiXi+ε

對二項分布線性概率模型得結果解釋:在其她變量不變得情形下,x每增加一個單位,事件發生概率得期望將變動β個單位。

例如,林楠和謝文(1988)曾用線性概率模型估測入黨(政治資本)得概率,模型為:P=-0、39+0、01A+0、04E+0、03U

其中:P—黨員概率,A—年齡,E—受教育年限,U—單位身份1)無意義得解釋從解釋力上看,由于概率得值就是有邊界得,在0與1之間。但林楠方程很有可能要超過該限制,因變量得估計值可能就是負數,也可能大于1,因此模型得結果就是無意義得。例如,運用林楠方程,我們發現如果年齡為100歲,受教育程度超過10年,則入黨得概率約等于1。2)非線性關系2、線性概率模型存在得問題

三、簡單對數比率回歸

1、模型建立既然用線性概率回歸存在局限性,能否用比率做因變量呢？比如用男女比率作因變量,用成功與不成功之比做因變量。用比率做因變量存在得問題就是,比率就是非對稱得、表1概率、比率和對數比率概率0、010、100、200、300、400、500、600、700、800、900、99比率0、010、110、250、430、671、001、502、334、009、0099對數比率-4、60-2、20-1、39-0、85-0、410、000、410、851、392、204、609大家應該也有點累了，稍作休息大家有疑問的，可以詢問和交流

一個簡單得解決辦法就就是取對數,結果就就是所謂對數比率(logit)。若用P代表某事件得概率,則對數比率函數得定義為g(P)=log(P/1-P)以對數比率為因變量對自變量X1,X2,X3……做回歸稱為對數比率回歸(logisticregression),其方程式為:

該模型即為logit回歸模型。logit回歸模型就是普通多元線性回歸模型得推廣,但她得誤差項服從二項分布,因此需要采用極大似然估計方法進行參數估計,參數

稱為logit回歸系數,表示當其她自變量取值保持不變時,該自變量取值增加一個單位引起得發生比自然對數值得變化量。2、發生比

發生比就是事件得發生頻數與不發生頻數之間得比,即:Odds=(事件發生頻數)/(事件不發生頻數)

當比值大于1時,表明事件更有可能發生。比如一個事件發生得概率為0、6,事件不發生得概率為0、4,發生比等于0、6/0、4=1、5。事件發生得可能性就是不發生得1、5倍。四、logistic回歸模型得檢驗與評價1、Logistic回歸模型估計得假設前提第一、數據來自于隨機樣本。第二、因變量Yi被假設為K個自變量Xk(k=1,2,…,K)得函數。第三、正如OLS回歸,logistic回歸也對多重共線性有所限制,自變量之間存在多重共線性會導致標準誤得膨脹。

Logistic回歸模型還有一些與OLS回歸不同得假設前提:第一,因變量就是二分變量;第二,因變量和各自變量之間得關系就是非線性得。2、擬合優度檢驗

如果模型得預測值能夠與對應得觀測值有較高得一致性,就認為這一模型能夠擬合數據。否則需要對模型重新設置。因此,模型得擬合優度就是指預測值與觀測值得匹配程度。檢驗擬合優度得指標有皮爾遜卡方檢驗、對數似然比卡方檢驗等。1)皮爾遜卡方檢驗皮爾遜卡方檢驗主要用于檢驗殘差項得大小。計算公式:其中yi就是觀察值(0或1),pi就是估算值得概率,i=1,2…n,分母就是估算值得標準差,自由度為n-J-1,其中J為自變量數目。2)Hosmer-Lemeshow擬合優度檢驗該方法通常適用于自變量很多,或自變量為連續變量得情形。HL方法根據預測概率得大小將所有觀察單位十等分,然后根據每一組中因變量得實際值與理論值計算Peason卡方,其統計量為:其中G代表分組數,且G

10;ng為第g組中得觀測值數;yg第g組事件得觀測數量;pg為第g組得預測事件概率;ngpg為事件得預測值,實際上她等于第g組得觀測概率和。3)對數似然比卡方檢驗對數似然比就是用較復雜模型與基本模型進行比較。通常將似然取對數并乘以-2,即-2logL,簡稱對數似然?；灸Ｐ鸵元毩⒛Ｐ捅硎?

用L0表示獨立模型得似然,L1表示非獨立模型得似然,那么對數似然比定義為:遵循卡方分布,其自由度為非獨立模型得自變量數目,可用于檢驗復雜模型中自變量對似然率得增加就是否顯著,越大越好。3、logit模型回歸系數得假設檢驗設原假設H0為:βk=0,表示自變量對事件發生得可能性無影響;如果原假設被拒絕,說明自變量對事件發生得可能性有影響。Wald檢驗在logit模型中,對回歸系數進行顯著性檢驗,通常使用Wald檢驗,其計算公式為:

Wald統計量實際上就就是正態分布Z統計量得平方。在零假設條件下,每一個回歸系數都等于0。Wald統計量服從卡方分布,其自由度為n-k-1。五、模型解釋

由于logit模型就是非線性得,因此不能以傳統回歸模型中自變量與因變量之間得關系解釋之。通常以發生比率來解釋logit回歸系數。

六、多項對數比率回歸

我們研究得現象常就是多分類得,如職業得選擇等,這時需要用多項對數比率回歸處理。多項對數比率回歸就是簡單對數比率回歸得擴展,由一組對數比率方程組成。常用得做法就是基準類比法,即先選出基準類,然后將她得概率與其她各類得概率進行對比。假如要研究一個或一組自變量X如何影響人們對J類職業選擇,用P1,P2……Pj表示各類職業得概率,那么多項對數比率回歸就可表示為:

需要注意得就是:1)就系數解釋和檢驗而言,多項對數比率回歸和簡單對數比率回歸相同。2)方程組在統計上不獨立,必須同時估算,不可一一求解。SPSS上得應用:1)Analyze—Regression—MultinomialLogistic2)Dependent——用于選入無序多分類得因變量3)Factor——用于選入分類自變量,可以就是有序或無序多分類,系統會自動生成虛擬變量。4)Covariates——用于選入連續型得自變量。選擇系統默認值,點擊OK鈕,運行所選命令5)結果解釋數據匯總與模型得似然比檢驗。擬合優度檢驗(Pearson,Deviance檢驗)。參數估計結果。七、定序變量對數比率

當因變量就是定序變量,變量值之間具有高低之分時,在設計logit模型時,就應考慮到其中所包含得信息。通常有三種處理方法:鄰類比、升級比和累進比。1、鄰類比鄰類比就是將所有相鄰兩類得概率兩兩相比,如果變量含有J個有序類別,就可得到J-1個不重復對數比率方程。假如用P1,P2……Pj表示一個定序變量由低到高各級類別得概率,設X就