(13)-抽樣-第10章-調查中的非抽樣誤差

抽樣調查2023/9/261抽樣框誤差無回答誤差計量誤差離群值的檢測和處理調查中的非抽樣誤差一非抽樣誤差概述二抽樣框誤差概念、類型三不完善抽樣框的使用10.1抽樣框誤差一、非抽樣誤差概述

1.抽樣誤差與非抽樣誤差抽樣調查中的誤差包括抽樣誤差和非抽樣誤差。抽樣誤差是指由于抽樣的隨機性引起的樣本統計量的數值與總體目標變量真值之間的差異。

非抽樣誤差：指除抽樣誤差以外的由于各種原因引起的誤差。在概率抽樣，非概率抽樣，其他的全面和非全面調查以及普查中，非抽樣誤差都有可能存在。

2.非抽樣誤差的特點

(1)非抽樣誤差的產生不是因為抽樣的隨機性，所以在抽樣調查中，它不可能隨著樣本量的增大而變小；

(2)在抽樣調查中，由于非抽樣誤差的影響，往往造成估計量的有偏；

(3)有些非抽樣誤差難以識別和測定；(4)由于產生非抽樣誤差的渠道眾多，有些非抽樣誤差成因復雜，尤其調查對象是人的時候，社會因素、經濟因素對非抽樣誤差的范圍和程度都將產生不可忽視的影響。而且與抽樣誤差相比，對非抽樣誤差的研究還不夠深入。

3.非抽樣誤差的產生非抽樣誤差產生于抽樣調查的各個階段，包括調查及抽樣設計階段、數據采集階段及數據的處理與分析階段。

(1)調查及抽樣設計階段任一項工作出現問題都可能造成難以補救的后果；

(2)數據采集階段一方面調查人員沒有從被調查者那里得到所需要的信息；另一個方面是在數據采集過程中被調查者作出的回答與真實事實不一致；

(3)數據處理與分析階段對調查資料進行審核、整理、編碼和錄入過程中出現差錯所引起的誤差。4.非抽樣誤差的來源

抽樣框誤差：由不完善的抽樣框引起的誤差；

無回答誤差：由于種種原因沒有從被調查單元獲得調查結果，造成調查數據缺失；

計量誤差：所獲得的調查數據與其真值之間不一致造成誤差。丟失目標總體單元2.抽樣框誤差的類型二、抽樣框誤差1.抽樣框誤差的概念：就是目標總體與抽樣總體不一致產生的誤差。抽樣框中的單元與目標總體單元不完全呈現一一對應關系，一個抽樣框單元聯結多個目標總體單元，或一個目標單元聯結多個抽樣框單元抽樣框沒有能覆蓋所有總體單元。丟失單元會造成總量估計偏低，也會造成均值（或比例）估計的偏差抽樣框中包含一些本不屬于調查對象的非目標總體單元有些抽樣設計需要抽樣框提供輔助信息，如分層抽樣、不等概抽樣、比率估計和回歸估計等包含非目標總體單元復合聯結不正確的輔助信息

3.對抽樣框誤差的基本認識(1)有些誤差來自構成抽樣框的資料本身；(2)抽樣框中的問題有些容易被發現，有些不容易被發現，即便對于發現的問題，有些也不容易解決；對于經常性的調查項目來說，抽樣框的維護、抽樣框使用情況的不斷總結與研討是十分必要的；(3)抽樣框不完善并不意味著不能使用；(4)抽樣框誤差在有些場合下會被解釋為其他類型的非抽樣誤差。

4.抽樣框誤差的影響以丟失目標總體單元為例進行分析設目標總體由個抽樣框中單元和個抽樣框中丟失的單元組成，即,則總體總值與均值估計的情況分別為：

(1)

總值估計。總體總值的真值為：

現從抽樣框的個單元中采用簡單隨機抽樣抽出容量為的一個樣本，由于n取之于為一致不妨記為，對于總體總值Y的估計為：

這表明估計量低估了總體總值。令則Y的相對偏差可以寫為：顯然，此時的估計是有偏的，偏差為：

從上式看出，總體總值估計得相對偏差取決于和兩個因素。如果即丟失單位均值與抽樣框的單位值相同，則相對偏差為在抽樣調查的實踐中，抽樣框中的丟失往往規模較小，一般為，故相對偏差的絕對值也就小于的絕對值。(2)均值估計。在抽樣框存在丟失單元的情況下，均值估計量為：此時，估計量的偏差為:

的相對偏差可以寫為：

從上式看出，如果丟失單元均值和抽樣單元均值相同，即，則估計量是目標變量的無偏估計；反之，如果，偏差狀況則隨的變化而變化。若不完善抽樣框能采用一些補救措施，將有助于減少抽樣框誤差。三、不完善抽樣框的使用對不完善抽樣框的補救大致可以劃分為三種類型：第一種是利用核查或其他有關資料，掌握誤差情況，對不完善的抽樣框進行調整，或對不完善抽樣框所得到的估計量進行調整；第二種是事先制定一些規則，對發現的抽樣框問題進行處理；第三種是使用多個抽樣框進行抽樣。

(1)實行聯結

這種方法是事先制定的一些規則，使沒有包含在抽樣框中的目標單元與包含在抽樣框中的單元相聯結，以彌補抽樣框中丟失單元所造成的影響。

(2)唯一聯結抽樣框誤差的一種類型是復合聯結。復合聯結以其中某一聯結組成抽樣框。

(3)使用多重抽樣框這是指在抽選樣本過程中使用兩個或多個抽樣框。這種方法主要用于抽樣框中丟失單元的情況，既然一個抽樣框覆蓋不全，就采用多個抽樣框。使用多個抽樣框的問題是容易產生重疊現象，如有A

和

B

兩個抽樣框，如圖圖中的

AB

是重疊部分

設樣本取自A

，B兩個抽樣框。這兩個抽樣框的單元數分別為兩個抽樣框將目標總體劃分為三個區域：區域a:其中的單元僅僅與抽樣框A

有聯系，單元個數為；

區域b:其中的單元僅僅與抽樣框B

有聯系，單元個數為；圖雙重抽樣框

區域ab:其中的單元與抽樣框A,B均有聯系，單元個數為。現采用簡單隨機抽樣。從

A,B

框中分別抽取容量為的兩個樣本。利用抽樣框

A

的樣本對區域a

和區域ab進行事后分層的總值估計分別為：式中，與是落入區域a

和區域

ab

的樣本單元數；和是區域a

和區域

ab

的樣本觀測值。類似地，利用抽樣框B的樣本對于區域

b

和區域ab進行事后分層的總值估計分別為：于是，目標總體的總值估計為：式中，是適當選取的權數，且有。若足夠大，則估計量的方差近似為:式中分別表示重疊部分的單元占抽樣框單元的比例，即而和分別為目標總體三個區域的方差。令為抽樣框A

中進行抽樣和調查的單位費用，為在抽樣框B

中進行抽樣和調查的單位費用，則總費用的函數為：

在總費用給定條件下使方差最小的最優抽樣比為：及權數分別為：一無回答誤差的概念二無回答產生的原因及影響三降低無回答的措施四對存在無回答數據的調整10.2無回答誤差一、無回答誤差的概念

1.定義無回答誤差是指在調查中出于各種原因，調查人員沒有能從入選樣本的單元獲得所需要的信息，由于數據缺失造成估計量的偏誤。這種情況一般發生在調查對象為人的時候。

2.分類

無回答產生于不同的情況，據此可以對無回答做不同的分類。

從內容上看，可以分為單元無回答和項目無回答。單元無回答指被調查單元沒有參與或拒絕接受調查。項目無回答指被調查單元雖然接受調查，但對其中的一些調查項目沒有回答。從性質上看，可以分為有意無回答和無意無回答。有意無回答常常與調查內容有關。無意回答常與調查內容無關，是由其他原因造成的。

1.無回答誤差產生的原因采集數據的查找、接觸和采訪三個階段都有可能出現無回答。查找階段：調查人員無法找到被調查者，主要原因有：地址不詳；被調查者搬遷；被調查者不在現場等。接觸階段：被調查者由于客觀原因無法接受調查；被調查者由于主觀原因拒訪。采訪階段：調查開始后被調查者對某些問題不愿意提供答案；調查人員由于粗心遺漏某些項目；由于某種原因造成調查中斷等。二、無回答產生的原因及影響2.無回答的影響假設總體有兩個層組成。一個是“回答層”，如果這個層的單元被抽中，就可以得到回答。另一個是“無回答層”，采用相同抽樣方式，如果這個層的單元被抽中，就無法得到回答。設分別為總體單元數、回答層單元數、無回答層單元數。分別為總體回答率和無回答率，即則總體均值從總體中抽取容量為n的簡單隨機樣本，來自回答層，來自無回答層。根據回答單元計算出的樣本均值為，它是總體中回答層均值的無偏估計，即于是用作為總體真值的估計值，其偏差為：

采用相同的方法可以得到總量估計得偏差和相對偏差分別為：

這表明，總量估計的絕對偏差等于均值估計的絕對偏差乘以總體單位數N，總量估計和均值估計的相對偏差相等。由模型看出，導致無回答偏差的原因主要來自兩個方面：一個是回答層與無回答層單位之間的數量差異；一個是無回答率。

(1)問卷設計具有吸引力，容易引起被調查者的興趣，并注意適當的長度。

(2)在可能的條件下，充分利用調查組織者的權威性和社會影響力，激發被調查者的參與意識。

(3)確定準確的調查方位，使調查員容易找到被調查者。

(4)采用有助于消除被調查者冷漠、擔心或懷疑的出措施。如預先通知、調查前的解釋說明等。

(5)注意調查人員的挑選。調查人員的身份與被調查者越接近，就越容易被對方接受。

三、降低無回答的措施(6)做好調查人員的培訓，增強調查人員的責任心，提高他們的訪談技巧。(7)注意調查過程的監控。對不成功的調查及時總結，找出解決問題的辦法。(8)獎勵措施。調查總要占用被調查者的時間和精力，適當的獎勵是有必要的。(9)再次調查。再次調查是指在概率抽樣的第一輪調查完成之后，針對無回答產生的原因，采取相應的措施，對無回答單元進行再次調查。(10)替換被調查單元。對于放棄的無回答者，需要抽取替換單元，以便使接受調查的樣本單元數不低于設計要求。1.再抽樣調整

這種方法是指在第一次無回答的單元中隨機抽取一個子樣本，通過更細致、更充分的工作，獲得該子樣本的數據，作為整個無回答層的代表值。然后把第一次調查中回答層數據和第二次調查中無回答層數結合起來，對總體的有關參數進行估計。設從總體N

中隨機抽取

n

個樣本單元，第一次調查有個回答單元和個無回答單元，；再從個無回答單元中隨機抽取一個容量為m

的子樣本進行調查。令和分別代表第一次個單元和第二次個單元的樣本均值，則可以得到總體均值的無偏估計：四、對于存在無回答數據的調整式中，，分別代表樣本中回答層和無回答層的比例。

由于抽樣用到兩個隨機程序：一個是從個單元隨機抽取個單元，另一個是從第一次無回答的個單元中隨機抽取個單元。根據抽樣估計原理，目標變量經過兩個隨機程序的方差為：

第二個隨機程序的條件期望值和估計量方差分別為：

(1)式中，是樣本無回答層的方差；k

是無回答層抽樣間距，即。將(2),(3)式代入(1)式，有式中，為總體方差；為總體中無回答層的方差。

(2)(3)2.加權調整加權調整法是通過對調查中所獲得的回答數據使用加權因子，達到對數據進行調整，減小由于無回答造成的估計偏差的目的。設從總體中隨機抽取容量為n的樣本，估計量是無偏的，這里是第i個樣本單元的權數；若令為第i

個單元的入樣概率，在樣本單元全部回答情況下，權數，它反映了第i

個樣本單元在估計中的作用。又設為第i個單元的回答概率，表示一定回答，表示一定不回答。設回答概率期望值,即第i個單元被選中后的回答概率為。在調查中，由于無回答的存在，因此估計量

就需要修正為，其中是對無回答數據進行調整的權數。為進行調整，需要掌握樣本單元的回答概率。由于未知，就需要對進行合理估計。對的不同估計形成不同的調整方法。

將容量為

n

的樣本劃分為

H

個互不重疊的子集(調整組)，用下標表示。通過劃分使得組內各單元的目標變量值盡可能相近，并假設組內所有單元的回答概率相同。加權組調整中使用的估計量，是組內經過加權的回答率。對任何概率樣本，有，這里是第h

組中第

i

個樣本單元的未經調整的權數，的估計量為：式中，是第

h

組中的樣本量；是第h

組中回答單元的個數；第h組第

i個單元回答概率的估計值。于是經過加權組調整的權數為：如果沒有無回答，，調整后和調整前的權數沒有太大區別。如果存在無回答，，則。

令為第

h

組中回答層的總體均值，則的估計值為：由上面式子可以得到總體均值估計為：令是第

h

組在總體中所占的比重，則的估計值為：式中，估計量下標表示加權組調整。3.相關推估法相關推估法主要用于調查中的項目無回答。基本思路是尋找與無回答問題變量有關聯的其他調查問題變量，利用調查數據建立變量之間的回歸方程，對項目無回答的變量進行推估。

4.插補調整在數據整理階段，利用調查結果，采用一定的方式，為無回答的缺失值確定一個合理的估計值，插補到原缺失數據的位置上。插補可以達到兩個調整目的，一個是減少由于無回答可能造成的估計量偏差，為此就要使確定替補值盡可能接近缺失的原數據值。調整的第二個目的是力圖構造一個完整的數據集。插補方法有均值插補和隨機插補。

a.均值插補均值插補發實際中使用較多，其方法為，首先根據輔助信息將樣本分為若干組，使組內各單元的主要特征相似。然后分別計算各組目標變量的均值，將各組均值作為組內所有缺失項的替補值。均值插補法的特點：操作簡單，并且對于均值和總量這樣的單變量參數可以有效地降低起點估計的偏差。均值插補法的弱點：一個是插補的結果歪曲了樣本單元中Y變量的分布,因為同組中無回答的替補值都由該組的平均值充當，使得其分布狀況受到由各組回答單元數據計算出組均值的制約；另一個是插補結果將導致在均值和總量估計中對方差的低估，因為同一組內樣本單元的離差將由于同一個數值的多次出現而偏低。均值插補法適用的場合僅是僅僅進行簡單的點估計，而不適用于需要方差估計等比較復雜的分析。

b.隨機插補隨機插補法是采用某種概率抽樣的方式，從回答單元的資料中抽取無回答的替補值。令某項目回答數據個數為，無回答個數為，則，現從個數據中隨機抽取個替補值，則樣本構成為：

樣本此時，目標變量的均值估計為：式中：

如果采用不重復抽樣或1；如果采用重復抽樣，則H為多項式分配，若，則否則上面所定義的概率為0，由此得出若假設

i

與j

獨立，由上面的結果可以導出式中，為方差總體。可以看出，隨機插補法估計量的方差由兩部分組成，等式右邊第一項是僅用回答單元數據進行估計得方差，即一計量誤差的概念二計量誤差的模型三減少計量誤差的措施10.3計量誤差一、計量誤差的概念計量誤差涵蓋的內容非常廣泛，主要成因來自：設計不周引起的誤差，被調查者誤差，調查者誤差和其他誤差。

1.設計不周引起的誤差第一個方面是問卷設計帶來的誤差；

第二個方面是抽樣過程可能引起的誤差。2.被調查者誤差被調查者誤差是最主要的一種計量誤差，被調查者在調查過程中沒有給出真實的回答：無意識誤差和有意識誤差。3.調查者誤差工作不認真，記錄錯誤，誘導被調查者等。4.其他誤差測量工具的不精準，編碼錯誤，錄入錯誤等。1.計量誤差的模型假設對第i個單元進行多次重復性調查并做計量，令式中，為第i個單元真值；為第

i

個單元第t次計量中的誤差。在對同一個單元進行重復計量的情況下，將遵從一個概率分布。通常假定是正態分布，并令

二、計量誤差的模型式中，代表計量中的偏差。如果，說明雖有計量誤差，但它是隨機的，其期望值為0；反之，若，則表明對第i個單元的計量中存在系統性偏差。對于不同的

i，可能不同，若則稱B為所有單元的常數偏差。不妨令式中，表示對每個單元

i

，在第

t

次計量時的誤差波動部分。顯然

與有相同的分布，其期望值。因此，又用表明單元

i

的具體觀測結果。它受其真值、計量系統偏差及計量隨機誤差幾個因素的影響。是計量過程中的隨機誤差，它所表現的是實際測量值與包括偏差在內的測量均值之間的差異。由上進一步令是對單元

i

進行

t

次計量后的平均，也即其中在調查中，抽取容量為

n

的樣本，令