信息分析方法

信息分析方法趙俊杰Telmail:junjie@徐峰Telmail:xufeng@中國科學技術信息研究所2023/2/11主要內容定量分析方法

簡單線性分析方法——回歸分析法多元統計分析方法——因子分析法聚類分析法定量與定性相結合的方法

層次分析法及應用系統動力學分析方法2023/2/12－－回歸分析方法2023/2/13編號R&D經費投入(億元)SCI論文數(篇)19911150.8663019922209.8622419933256.2961719944309.81041119955349.11313419966404.81445919977481.91688319988551.11983819999678.924476200010895.7304992001111042.5356852002121287.6407582003131539.649788200414184357377中國1991-2004年Ｒ＆Ｄ投入及SCI論文數案例2023/2/14案例2023/2/15回歸分析方法回歸分析方法是對變量之間統計關系進行分析的一種數理統計方法。

作用：便于觀察變量間的關系，了解變量所反映的一些實際問題。用于簡單的預測，可以利用回歸分析建立進行預測的回歸模型：但要注意在統計檢驗的基礎上保證預測的可靠性方法：對數據進行數學表達－回歸方程確定各參數統計檢驗2023/2/16線性回歸：一元線性回歸：

Y=a+bX多元線性回歸:Y'=c0+c1X1+c2X2+...+cmXm非線性回歸多項式：Y=b0+b1X+b2X2+...+bkXk冪函數：Y=aXb指數函數：Y=abx

主要的回歸方程類型2023/2/17最常用的回歸方程建立方法

——最小二乘法：思路設擬合函數為

Y'=f(X1,X2,...,Xm)，Xi(i=1,2,...,m，指自變量)對于各觀測點k=1,2,...,n，有估計值：Y'k=f(Xik)觀測值：Yk(k=1,2,...,n)各觀測值與實際函數值之間存在誤差（Y‘k-Yk），使觀測值與估計值之差的平方和——目標函數為極小

min∑（Y'k-Yk）2由此可計算出中各參數。2023/2/18對一元線性回歸函數，有：

2023/2/19回歸檢驗可能存在的問題：數據量太小，擬合度、相關系數很高，但不具備統計上的顯著相關性。原始數據的點過分集中在一個小區域，可能建立起不同形式的回歸方程來對應同一組數據，它們與原始數據的擬合程度都比較接近，從而產生了不確定的情況。所以，僅根據相關分析中的擬合程度或簡單相關系數的絕對值大小來判斷是不充分的?？赡苓€需要對回歸方程進行更嚴格的統計檢驗。對于線性回歸，可以根據相關分析來判斷因變量與各自變量間成直線關系的密切程度，因而也是判斷曲線擬合優劣度的一個標準。2023/2/110小結回歸分析方法是分析變量間線性關系的一種方法在做回歸分析時，應先將數據做成便于觀察的圖（如散點圖），然后根據對數據圖表的觀察選擇適當的回歸模型做分析對回歸模型做相應的檢驗，可以根據檢驗來判斷所先模型的適當與否

2023/2/111Excel軟件的數據分析功能2023/2/112——因子分析法2023/2/1132003中國競爭情報應用戰略高級培訓研討會昆明林登（Linden）對奧林匹克十項全能比賽得分作的因子分析。十項全能項目為：100米跑（x1）、跳遠（x2）、鉛球（x3）、跳高（x4）、400米跑（x5）、110米跨欄（x6）、鐵餅（x7）、撐桿跳高（x8）、標槍（x9）、1500米跑（x10）。四個因子：短跑速度、爆發性臂力、爆發性腿力

和耐力。案例2023/2/114因子分析簡介因子：用較少的綜合指標分析存在于各變量中的各類信息，而各綜合指標之間是不相關的，代表各類信息的綜合指標稱為因子。因子分析：用少數幾個公共因子來描述許多指標或因素之間的聯系，以較少的幾個因子反映原始資料的大部分信息的統計學方法。特點：因子變量的數量遠少于原始指標變量的數量，方便分析研究；因子變量不是對原有變量的取舍，而是根據原始變量的信息進行重新組構，它能夠反映原有變量大部分的信息；因子變量之間不存在相關關系，對變量的分析比較方便；因子變量具有命名解釋性，即該變量是對某些原始變量信息的綜合反映。2023/2/115數學模型2023/2/116幾個概念因子載荷aij：因子之間完全不相關時，為第i個原有變量和第j個因子變量的相關系數，即xi在第j個公共因子變量上的相對重要性。aij絕對值越大，則公共因子Fj和原始變量xi關系越強。變量共同度（公因子方差、公共方差）：反映全部公共因子變量對原有變量xi的總方差解釋說明比例。公共因子Fj的方差貢獻：反映了該因子對所有原始變量總方差的解釋能力，其值越高，說明因子重要程度越高。2023/2/117因子分析的計算方法因子分析通常根據樣本變量的相關矩陣或協方差矩陣來計算根據相關矩陣或協方差矩陣，計算其特征值，根據特征值的大小（或正負）來選取因子基本原因，矩陣計算出來的不同的特征值對應的特征向量是不相關的，也就是說，計算出來的各因子之間是不相關的。2023/2/118因子分析的基本步驟確定待分析的原有若干變量是否適合于因子分析：相關分析，計算變量間的相關系數矩陣；構造因子變量：主成分分析法、主軸因子法、極大似然法、最小二乘法等；利用旋轉使得因子變量更具有可解釋性；計算因子變量的得分：每一樣本數據在不同因子上的具體數值。2023/2/119因子個數的確定特征值準則：取特征值大于等于1的主成分作為初始因子。根據因子的累計方差貢獻率來確定。2023/2/120因子分析的檢驗SPSS中提供了兩種重要的檢驗KMO樣本精度檢驗，用于判斷變量間的相關性，以及其相關性是否適于進行因子分析，Bartlett球型檢驗，用于判斷變量矩陣是不是單位矩陣2023/2/121小結因子分析是一種十分常用的多元統計方法，由于對影響研究對象的變量進行了降維處理，有助于我們對研究對象的理解因子分析通常是對多變量，大樣本量進行的一種統計分析，對于變量和樣本量均有一定的要求，通常變量與樣本量的比例不應少于1：5，這樣才可能會有比較好的效果因子的可解釋性是因子分析得到廣泛應用的重要原因2023/2/122——聚類分析方法2023/2/1232003中國競爭情報應用戰略高級培訓研討會昆明聚類分析：思考“物以類聚，人以群分”，現實世界中存在大量的分類問題：學生成績分等級；國家經濟發展狀況的分類（人均國民收入、人均工農業產值、人均消費水平等統計指標）；人體健康水平的分類；學科門類；……2023/2/124聚類分析

(ClausterAnalysis)數值分類法的一種，在社會應用中稱類型學。RobertTryon于1939年提出的一種心理學研究方法。目的：用數量關系對事物進行分類。對于可以用某些數量描述的事物，采用樣本間的距離來將性質接近的事物歸為一類，從而達到對事物的分析和評價。聚類分析作分類時各類群乃至類群數事先未知，而是根據數據的特征確定的，又稱為無師可循的分類。一般分為逐步聚類、系統聚類和其它方法。2023/2/125

X1X2X3X4X5X6X7X8北京2959.19730.79749.41513.34467.871141.82478.42457.64天津2459.77

河北1495.63

山西1406.33

內蒙古1303.97

遼寧1730.84

吉林1561.86

黑龍江1410.11

上海3712.31

江蘇2207.58

浙江2629.16

安徽1844.78

福建2709.46

消費性支出數據（單位：元）數據來源：2000年《中國統計年鑒》數據示例2023/2/126

1.系統聚類法

在開始時不選重心，而是令各樣本自成一類；

計算各樣本間的距離或相似度，使距離最近的，或相似度最大的兩個樣本并成一類；

計算合并后的各類間的距離或相似度，使距離最小的或相似度最大的兩類并成一類。

重復進行兩個最近類的合并，每次減少一類，直至所有的樣本合并為一類，或直到滿意的分類為止。判據：距離最小或相似度最大。2023/2/127樣本之間的距離－明氏距離Q為樣本所在空間的維度。當各變量單位不同或測量范圍相差很大時，要對變量進行標準化處理?！?023/2/128樣本之間的距離－蘭氏距離蘭氏距離與各變量的單位無關。對大的異常值不敏感，故適用于高度偏斜的數據。明氏距離和蘭氏距離都沒有考慮變量之間的相關性，因此，這兩種距離更適合于變量之間互不相關的情形。2023/2/129樣本之間的距離－馬氏距離馬氏距離考慮了各變量之間的相關性，且與各變量的單位無關。S難以確定，S不應隨聚類過程而變化。實際聚類分析中，馬氏距離不理想。2023/2/130相似系數：表示樣本之間的相似度

相關系數：夾角余弦2023/2/131類間距離的計算最大距離法又稱完全連接法，是以兩類間最遠的樣本間的距離為類間距離；最小距離法又稱單連接法，是以兩類間最近的樣本間距離為類間距離；中間距離法以兩類間最大和最小距離之中值為類間距離；類平均法以兩類樣本間距離的平均值為類間距離；重心法類與類之間的距離定義為它們的重心（均值）之間的歐氏距離。離差平方和法類中各樣本到類重心的歐氏距離平方之和稱為（類內）離差平方和。反映了各類內樣本的分散程度。兩個較近的類合并后所增加的離差平方和最小。（與樣本數有較大的關系）2023/2/1322023/2/133聚類結果的輸出樹狀圖還表征出類與類之間的相對接近或距離程度。

1627581034943212023/2/134刷狀圖從上而下或從左而右，可分別反映出不同類的情況。2023/2/1352逐步（動態）聚類法基本思路：在計算之前，先選取選擇一批凝聚點或給出一個初始的分類，讓樣本按某種原則向凝聚點凝聚（距離最近、或相似度最大），對凝聚點進行不斷的修改或迭代，直至分類比較合理或迭代穩定為止。2023/2/136ｋ均值法（1）選擇ｋ個樣本作為初始凝聚點，或者將所有樣品分成ｋ個初始類，然后將這ｋ個類的重心（均值）作為初始凝聚點。（2）對除凝聚點之外的所有樣品逐個歸類，將每個樣本歸入凝聚點離它最近的那個類（通常采用歐氏距離），該類的凝聚點更新為這一類目前的均值，直至所有樣品都歸了類。（3）重復步驟（2），直至所有的樣品都不能再分配為止。2023/2/137選凝聚點初始分類修改分類最終分類分類合理否？NoYes2023/2/138需要特別注意變量的選擇（應具有代表性，重要性、變量決定類群特征）數據的預處理（標準化處理）各種方法的比較

系統聚類：容易把握各對象間的關聯，任意分類，分類客觀，不受其他因素影響；但計算量大。逐步聚類：經驗、計算量少；但分類效果不穩定、數據間關聯程度把握欠缺。類的個數給定一個閾值：要求類間距離大于閾值。觀測樣本散點圖：兩個或三個變量，多個變量綜合成兩個或三個變量，通過散點圖確定類的個數。使用統計量。2023/2/139小結聚類分析法是按樣本（或變量）的數據特征，把相似的樣本傾向于分在同一類中，把不相似的樣本傾向于分在不同類中。距離和相似系數反映了樣本之間的相似程度。相似程度越高，一般兩個樣本間的距離就越小或相似系數就越大，反之亦然。系統聚類是一種常用的聚類方法，常用的有最短距離法、最長距離法、中間距離法、類平均法、重心法和離差平方和法。在許多應用中，類平均法和離差平方和法效果相對較好。逐步聚類（動態聚類）法是用于大數據集的一種聚類方法。2023/2/140SPSS軟件簡介

SPSS軟件是國際上最早的統計分析軟件，1984年首先推出了世界上第一個統計分析軟件微機版。迄今SPSS軟件已有30余年的成長歷史。全球約有25萬家產品用戶，它們分布于通訊、醫療、銀行、證券、保險、制造、商業、市場研究、科研教育等多個領域和行業，是世界上應用最廣泛的專業統計軟件。用戶只要掌握一定的Windows操作技能，粗通統計分析原理，就可以使用該軟件進行特定學科的統計分析了。美中不足的是，SPSS輸出結果雖然漂亮，但不能為WORD等常用文字處理軟件直接打開，只能用拷貝、粘貼的方式加以交互。2023/2/141定性＋定量的方法2023/2/142——層次分析法（TheAnalyticHierarchyProcess，AHP）2023/2/143層次分析法簡介20世紀70年代由美國著名運籌學家、匹茲堡大學教授T.L.Saaty提出。一種多目標決策方法。對主觀判斷進行定量描述。主要用于優先方案的選擇和評價體系的確定。與德爾菲法相結合，可以得出較滿意的結果。2023/2/144將一個復雜的問題分解成若干層次，建立起有序的梯階層次結構（即層次結構模型），每一層次中的元素具有大致相等的地位，且與上一層次和下一層次有著一定的聯系。并使人的經驗和判斷能夠用數量形式加以表達和處理。即對因素的重要性進行兩兩比較，把兩兩比較的結果作為判斷矩陣的元素，構造判斷矩陣，通過求解該矩陣的最大特征根及對應的特征向量，獲得其相對重要性的排序結果。

對比較和判斷結果進行嚴格的邏輯分析和統計檢驗，保證了眾多的判斷元素及判斷矩陣在綜合過程中的思維一致性。1方法的思路和基本原理2023/2/145目標概念化構造層次結構模型建立判斷矩陣單層排序計算相對權重單層一致性檢驗是否通過總排序計算合成權重總判斷一致性檢驗是否通過評估總結果系統分析1－9標度特征向量法2層次分析法的實施程序

2023/2/146Saaty認為，每個層次的元素的數量最好不超過9個。（1）建立層次結構模型目標層準則層方案層2023/2/147（2）建立判斷矩陣akB1B2…BnB1B2...Bnb11b21...b11b12b22...bn2………b1nb2n...bnn2023/2/148判斷矩陣構建方法：1-9標度法標度含義1表示兩個因素相比，具有同樣重要性3表示兩個因素相比，一個因素比另一個因素稍微重要5表示兩個因素相比，一個因素比另一個因素明顯重要7表示兩個因素相比，一個因素比另一個因素特別重要9表示兩個因素相比，一個因素比另一個因素極端重要2,4,6,8

上述兩個相鄰判斷的中值倒數因素i與j比較得判斷bij，則因素j與i比較的判斷的bji=1/bij2023/2/149一致性檢驗

一致性指標CI：CI=(λmax-n)/(n-1)

平均隨機一致性指標RI：

隨機一致性比率CR：CR=CI/RI<0.10階數3456789RI值0.580.901.121.241.321.411.45主要用于判斷邏輯性錯誤，如

A>B，B>C，C>AA>>B，B>>C，A>C一致性檢驗

實際目的2023/2/150ExpertChoice(EC)軟件簡介ExpertChoice軟件是以層次分析法(AHP)為基礎的客觀決策支持工具，判斷的層次標準都表現在軟件的hierarchicalstructure上，決策者可融合自身問題的層次并做出重要的判斷。在ExpertChoice決策過程結束之后，決策者可借助于簡單明了的結果，理解決策是如何產生的。網址：/2023/2/151ExpertChoice應用領域資源分配（ResourceAllocation）

資源選擇（SourceSelection）

人力資源管理（HumanResourceManagement）

員工表現評估（EmployeePerformanceEvaluation）

薪資決策（SalaryDecisions）

制定市場策略（FormulatingMarketingStrategy）

決策分析（SelectingAlternatives）

預測支出（PredictingLikelyOutcomes）

分析規劃（AnalyticalPlanning）

促進團體決策（FacilitatingGroupDecisionMaking）

收益/成本分析（Benefit/CostAnalysis）

工程設計評估（EngineeringDesignEvaluations）

生產作業管理（ProductionandOperationsManagement）

策略分析及評估（PolicyFormulationandEvaluation）

評估獲益和合并（EvaluatingAcquisitionsandMergers）

供貨商評估（SupplierEvaluation）

信用分析（CreditAnalysis）

顧客反應（CustomerFeedback）

IT投資管理（ITPortfolioManagement）

產品定價（ProductPricingDecisions）

創新管理（InnovationManagement）2023/2/152軟件ExpertChoice(EC)2023/2/153——系統動力學法及

Vensim軟件簡介2023/2/1542003中國競爭情報應用戰略高級培訓研討會昆明系統動力學方法簡介系統動力學方法是一種以反饋控制理論為基礎，以計算機仿真技術為手段，通常用以研究復雜的社會經濟系統的定量方法。自50年代中美國麻省理工學院的福雷斯特（JayW.Forrester）教授于1956創立以來，它已成功地應用于企業、城市、地區、國家甚至世界規模的許多戰略與決策等分析中，被譽為“戰略與決策實驗室”。2023/2/155系統動力學基本概念(1)系統：一個由相互區別、相互作用的各部分有機地聯結在一起，為同一目的而完成某種功能的集合體。(2)反饋：系統內同一單元或同一子塊其輸出與輸入間的關系稱為“反饋”。對整個系統而言，反饋則是指系統輸出與來自外部環境的輸入的關系。

正反饋：能產生自身運動的加強過程，在此過程中運動或動作所引起的后果將回授使原來的趨勢得到加強。負反饋：能自動尋求給定目標，未達到目標時將不斷作出響應。

(3)反饋回路：由一系列的因果與相互作用鏈組成的閉合回路。分為正反饋回路和負反饋回路。

2023/2/156正反饋回路

具有正反饋特性的回路稱為正反饋回路。特性：非穩定、非平衡、增長、自增強

正反饋回路舉例：人口增長同人口基數的關系

＋＋＋2023/2/157負反饋回路

具有負反饋特性的回路稱為負反饋回路。力圖縮小系統狀態相對于目標狀態的偏離。為穩定回路、平衡回路或自校正回路。例：空調的恒溫部分。+-—期望溫度溫度繼電器冷卻器加熱器室溫2023/2/158社會小系統－存款與收入舉例2023/2/159系統動力學認為：反饋回路是構成系統的基本結構。一個復雜系統則是由這些相互作用的反饋回路組成的。一個反饋回路就是由狀態、速率、信息三個基本部分組成的基本結構。一個復雜系統則按一定的系統結構由若干相互作用的反饋回路所組成；反饋回路的交叉、相互作用形成了系統的總功能。系統的基本結構2023/2/160系統的變量狀態變量（L）：描述系統在任一特定時刻的狀態，是隨時間而變化的累積量，是物質、能量與信息的存儲環節。構造方程時用“狀態變量方程”表示。速率變量（R）：表示狀態變量變化的快慢。用“速率方程”表示：描述控制作用的政策表達式，即速率方程公式表示