高中信息技術必修1數據與計算知識清單：數據采集與預處理核心精講

高中信息技術必修1數據與計算知識清單：數據采集與預處理核心精講一、數據采集：從原始信號到分析素材的基石（一）數據采集的概念與核心原則【基礎】【高頻考點】數據采集，是指根據特定的目標與分析需求，采用相應的方法和工具，從現實世界或信息系統中獲取原始數據的過程。它不僅是數據處理流程的起點，更是后續所有分析與決策的基礎，其質量直接決定了數據分析結果的準確性與可靠性。數據采集并非盲目的堆砌，而是一個高度目標導向的工程，必須遵循“需求驅動”的核心原則。這意味著在采集任何數據之前，必須首先明確“要解決什么問題”、“需要什么數據”、“從哪里可以獲得這些數據”以及“用什么方法去獲取”。若此環節目標模糊，后續的數據整理與分析將如同無根之木，無源之水，極易陷入“垃圾進，垃圾出”的困境【2】【3】。（二）數據采集的主要環節【基礎】【難點】一個完整的數據采集過程，通常可以解構為四個環環相扣的關鍵步驟，這既是科學的方法論，也是信息技術學科計算思維的具體體現。1、明確數據需求：這是采集工作的頂層設計階段。需要深入分析研究課題或待解決的問題，將其轉化為具體的數據需求。例如，若要分析“本校學生體質健康狀況”，則需要明確需求為“各年級學生的身高、體重、肺活量、耐力跑成績等數據”。此階段應產出詳細的數據采集清單，包含數據項名稱、數據類型、數據精度等要求【2】【4】。2、確定數據來源：根據需求清單，尋找數據的源頭。在信息化時代，數據來源極其廣泛。主要可分為一手數據（直接來源）和二手數據（間接來源）。一手數據包括通過傳感器、調查問卷、科學實驗、觀察記錄等方式直接獲得的數據；二手數據則包括從政府公開平臺、專業統計網站、社交媒體API、企業內部數據庫等渠道獲取的、已經過他人初步加工的數據【3】【4】。選擇來源時需考量其權威性、時效性、完整性和獲取成本。3、選擇采集方法：針對不同的數據來源，需匹配合適的采集技術。例如，獲取天氣數據可通過氣象局的公開API，獲取用戶評論可通過網絡爬蟲技術，獲取車間生產數據可通過物聯網傳感器。選擇方法時，需在技術可行性、數據規模和效率之間做出權衡【2】【7】。4、實施數據采集：依據前期的規劃，運用選定的工具和技術，實際執行數據獲取操作，并將原始數據保存到本地或數據庫中，以便后續處理。這一過程需要嚴格記錄采集的時間、環境和可能出現的異常情況，為后續的數據清洗提供背景信息【7】。（三）數據采集的核心方法與技術工具【重要】【高頻考點】隨著物聯網與互聯網技術的普及，數據采集的手段已從傳統的人工記錄為主，演變為以機器自動采集為主的智能化模式。1、傳感器數據采集：傳感器是一種檢測裝置，能感受被測量的信息，并能將感受到的信息，按一定規律變換成為電信號或其他所需形式的信息輸出，以滿足信息的傳輸、處理、存儲、顯示、記錄和控制等要求【2】【6】。它是連接物理世界與數字世界的橋梁。▲常見傳感器類型：溫度傳感器（采集環境溫度）、壓力傳感器（采集氣壓、水壓）、圖像傳感器（CMOS/CCD，采集圖像視頻）、紅外傳感器（采集人體紅外信號）、聲音傳感器（采集音頻信號）、加速度傳感器（采集運動狀態）等【4】【10】。★工作流程：傳感器對環境中的物理量（如溫度、光線）進行周期性或事件觸發的感知，將其轉換為模擬電信號，再通過模數轉換器（ADC）轉換為計算機可以處理的數字信號，最終形成結構化的數據記錄【6】【8】。2、網絡數據采集：這是當前獲取大規模文本、圖片、影評、商品信息等數據的主要途徑。（1）通過網絡應用程序接口（API）采集：許多網絡平臺（如微博、天氣網、電商平臺）會提供公開或付費的API接口。開發者只需按照接口規范發送請求，即可獲得標準化的數據（通常為JSON或XML格式）。這是最穩定、最合規的數據采集方式【1】【6】。（2）通過網絡爬蟲（WebCrawler）采集：【難點】網絡爬蟲是一種按照一定規則，自動抓取萬維網信息的程序或腳本。其基本原理是從一個或若干個初始網頁的URL（統一資源定位符）開始，獲取初始網頁上的內容，在抓取并解析當前頁面的過程中，不斷發現新的URL鏈接放入待抓取隊列，直到滿足系統設定的停止條件（如抓取了一定數量的頁面、爬遍了指定網站或達到特定時間）【1】【2】。★爬蟲的分類：●通用網絡爬蟲：如搜索引擎（百度、Google）的爬蟲，抓取范圍廣，目標是構建海量索引數據庫【10】。●聚焦網絡爬蟲：也稱為主題網絡爬蟲，它會根據預定義的主題或關鍵詞，有選擇性地抓取與特定主題相關的網頁內容。例如，只抓取“流浪地球”這部電影的所有豆瓣影評，就是聚焦爬蟲的應用【10】。robots.txt與道德【重要】：在使用網絡爬蟲時，必須嚴格遵守法律法規和網站的Robots協議（即robots.txt文件，用于告知搜索引擎哪些內容可以抓取，哪些不可以）。嚴禁進行惡意爬取（如高頻請求導致對方服務器過載）、侵犯個人隱私（如爬取非公開的個人信息）、爬取受版權保護的內容用于商業競爭等行為。這不僅關乎職業道德，更涉及《網絡安全法》等法律法規的底線【10】。3、調查問卷采集：當所需數據無法從現有系統或網絡中直接獲取時（如用戶的滿意度、觀點、態度、生活習慣等），調查問卷是理想的選擇。現代信息技術提供了便捷的在線問卷平臺（如問卷星、騰訊問卷等），支持問卷的設計、發布、回收和初步統計，極大地提高了調查效率【2】【10】。4、系統日志采集法：在信息系統中，系統日志（包括操作系統日志、應用程序日志、安全日志等）詳細記錄了系統中硬件、軟件和用戶行為的事件。通過日志采集工具（如Flume、Logstash）將分散在各服務器上的日志數據實時或準實時地匯聚到日志服務器或大數據平臺，用于監控、故障排查和用戶行為分析。例如，電商網站通過分析用戶點擊流日志，可以洞察用戶的瀏覽和購買偏好【1】。二、數據整理：將“臟數據”煉成“清潔數據”（一）數據整理的必要性與目標【基礎】原始采集而來的數據，往往因其來源多樣、格式各異、錄入錯誤等問題，被稱為“臟數據”。這些數據無法直接用于分析。數據整理，就是通過一系列技術手段，對原始數據進行校驗、清洗、轉換和標準化，將其轉化為結構統一、質量可靠的“清潔數據”的過程。這個過程是數據分析中最為耗時（往往占據整個項目80%的時間）但也最為關鍵的環節，其科學性與嚴謹性直接影響數據分析結果的真實性和準確性【2】【3】。（二）數據整理的核心內容與處理方法【重要】【高頻考點】【難點】數據整理的核心任務是對數據集中的各種典型問題進行檢測與處理。在Python生態中，Pandas庫是完成這些任務的最核心工具。1、處理重復值：▲概念：重復值包括記錄重復（即數據表中的某兩行或多行數據在所有特征上完全相同）和特征重復（即兩個或多個字段名稱不同，但存儲的數據完全相同或高度相關，如“身高（厘米）”和“身高（米）”）。★檢測方法：使用Pandas中的duplicated()方法可以檢查數據各行是否完全重復。★處理方法：對于記錄重復，通常會采用drop_duplicates()方法刪除完全相同的多余記錄。但在刪除前，需分析重復數據產生的原因，確保刪除操作不會丟失有效信息【2】。對于特征重復，則需根據業務邏輯保留一個，刪除其余冗余特征。2、處理缺失值：▲概念：缺失值是指數據集中某個或某些字段的值是空缺的（通常表示為NaN或None）。缺失會導致樣本信息不完整，降低模型訓練的準確性。★檢測方法：使用isnull()或isna()方法可以逐元素檢查缺失值，結合sum()方法可以統計每列的缺失總數。★處理方法【難點】：●刪除法：最簡單直接的方法是使用dropna()刪除包含缺失值的行或列。此法適用于缺失值占比極小，或缺失值隨機分布且對整體影響不大的情況。但缺點是會損失部分樣本信息【2】。df.mean插補法）：用一定的值來填補缺失，是更精細的處理方式。常用策略包括：a.用固定的值填充（如用0填充）；b.用集中趨勢度量值填充，如均值（fillna(df.mean())df.medianlna(df.median())df.modellna(df.mode())）；c.用前后相鄰的數據填充（method=‘ffill’或‘bfill’）；d.使用機器學習模型預測缺失值（更高級的方法）【2】。3、處理異常值：▲概念：異常值（離群點）是指數據中個別數值明顯偏離其余數值的觀測值。它們于測量誤差、錄入錯誤產生的，也可能是真實存在的稀有事件（如銀行交易中的巨額詐騙金額）。★檢測方法【難點】：●可視化方法：通過繪制箱線圖（Boxplot），可以直觀地識別出位于上邊緣或下邊緣之外的數據點。●統計方法：使用3σ原則，對于近似服從正態分布的數據，99.7%的數值會落在均值±3個標準差范圍內，超出此范圍的值可視為異常值。●算法方法：使用聚類或孤立森林等機器學習算法進行自動檢測。★處理方法：●刪除法：若確認異常值是由錯誤導致，可直接刪除包含異常值的記錄【2】。●修正法：若異常值是真實的，但對整體分析有較大干擾，可進行修正。例如，用前后兩個觀測值的平均值進行平滑處理，或使用蓋帽法（Winsorizing），將超出99百分位數的值強制設定為99百分位數的值。●視為缺失值：將異常值視為缺失值，然后采用處理缺失值的方法進行處理【2】。4、數據一致性處理：▲概念：確保數據格式、單位、命名規范等在全數據集中保持一致。例如，日期字段有的存為“2023/1/1”，有的存為“01012023”；性別字段有的為“男/女”，有的為“M/F”。這些不一致都會給分析帶來障礙。★處理方法：通過編寫轉換函數，將所有數據統一為同一種格式。例如，統一將所有日期轉換為YYYYMMDD格式，將所有性別統一為“男/女”。Pandas提供了強大的字符串處理功能和時間序列處理功能來完成此類任務。（三）數據整理的利器：Pandas庫入門【重要】【高頻考點】Pandas是Python數據分析的核心庫，它提供了快速、靈活、表達力強的數據結構，旨在讓“關系型”或“標記型”數據的處理既簡單又直觀。1、核心數據結構：★Series：它是一種類似于一維數組的對象，由一組數據（各種NumPy數據類型）和一組與之相關的數據標簽（即索引）組成。可以將其想象為一個帶標簽的Excel單行或單列【2】。★DataFrame：它是一個表格型的數據結構，既有行索引也有列索引，每列的數據類型可以不同（如整型、浮點型、字符串型）。DataFrame可以被看做是由多個Series組成的字典（這些Series共用同一個行索引），是最常用、最核心的Pandas對象【2】。2、常見數據讀寫操作：pd.read_csvimportpandasaspd；df=pd.read_csv(‘文件路徑.csv’)。這是最基礎也是最常用的操作，read_csv函數提供了數十個參數，用于處理編碼問題（如encoding=‘utf8’或‘gbk’）、指定列名、處理缺失值標記等復雜情況【2】。df.to_csv文件：df.to_csv(‘新文件路徑.csv’，index=False)。index=False參數用于指示不將行索引寫入文件。3、數據探索與清洗常用屬性和方法：df.headdf.head()/df.tail()：查看數據的前幾行或后幾行。●()：查看DataFrame的摘要，包括行數、列數、每列的非空值個數和數據類型。●df.describe()：生成描述性統計摘要，包括計數、均值、標準差、最小值、四分位數和最大值。●df.shape：返回一個元組，表示DataFrame的行數和列數【2】。●df.columns：查看或操作列標簽【2】。●df.loc[行標簽，列標簽]：通過標簽（索引名和列名）來選取數據子集【2】。●df.isnull().sum()：快速檢查每列的缺失值數量。三、數據的數字化表示：從模擬信號到二進制【基礎】【拓展】（一）數字化的概念在數據采集環節，特別是通過傳感器采集物理世界信息時，核心的轉換過程就是數字化。數字化，是指將連續的模擬信號（如聲波、光線強度、溫度變化）轉換為離散的數字信號（即計算機可以處理的二進制0和1序列）的過程。這是信息社會的技術基礎【6】【8】。（二）數字化過程三步驟：采樣、量化、編碼1、采樣：按一定的時間間隔（或空間間隔）對模擬信號進行取值，將連續的時間（空間）信號變為離散的時間（空間）信號。采樣的核心設備是采樣器【6】。★采樣頻率：指每秒鐘采樣的次數，單位為赫茲（Hz）。根據奈奎斯特香農采樣定理，為了能從采樣后的離散信號無失真地恢復出原始連續信號，采樣頻率必須大于或等于原始信號中最高頻率成分的兩倍【8】。例如，CD音質的采樣頻率為44.1kHz，這意味著每秒鐘對聲音信號進行44100次采樣。▲【重要】采樣頻率對數據的影響：采樣頻率越高，單位時間內的采樣點就越多，數字化后的數據就越接近原始信號，質量越好，但同時數據量也越大【6】。2、量化：將采樣得到的、在幅度上仍然連續變化的樣值，用有限個離散的數值等級來表示的過程。也就是將每個采樣點的值，歸入到預先劃分好的某個量化級別中【6】【8】。★量化位數：也稱為量化精度，指用多少位二進制數來表示一個量化級別。如果用n位二進制數，則可以表示2^n個不同的量化級別。例如，8位量化可以將信號的幅度劃分為256個等級【6】。▲【重要】量化位數對數據的影響：量化位數越多，量化等級就越精細，對原始信號的幅度描述就越精確，量化誤差越小，數字化后的信號質量越好，但同時每個采樣點需要存儲的數據量也越大【6】。3、編碼：將量化后的離散數值，按照一定的規則轉換成對應的二進制代碼，以便計算機存儲和處理。這一過程由模數轉換器（ADC）完成【6】。（三）數制及其轉換【高頻考點】【難點】數據在計算機內部均以二進制形式存儲和處理。理解不同數制及其轉換是深入理解數字化的基礎。1、常用數制：★二進制（Binary）：基數為2，使用數碼0和1，逢二進一【6】。★十進制（Decimal）：基數為10，使用數碼09，逢十進一。★十六進制（Hexadecimal）：基數為16，使用數碼09和AF（A代表10，B代表11，……，F代表15），逢十六進一【6】。它常用于簡化二進制數的表示，例如，一個字節（8位二進制）正好可以用兩位十六進制數表示。2、核心概念：基與權★基（Base/Radix）：數制所使用的數碼個數。如二進制基為2【6】。★權（Weight）：每一個數位上的1所對應的數值。例如，十進制數123，從右往左，個位的權是10^0=1，十位的權是10^1=10，百位的權是10^2=100。任意一個數都可以表示為各數位上的數碼與該位權的乘積之和【6】。3、進制轉換方法：★R進制轉十進制：按權展開相加法。將R進制數的每一位數碼乘以對應的權值（R的某次冪），然后求和【6】。例如：二進制(1101)2=1×2^3+1×2^2+0×2^1+1×2^0=8+4+0+1=(13)10【8】。例如：十六進制(A8)16=10×16^1+8×16^0=160+8=(168)10【6】。★十進制轉R進制：除R取余法。將十進制數連續除以R，每次得到的余數即為R進制數由低到高的各位數碼，直到商為0為止【6】【8】。例如：十進制(29)10轉二進制：29÷2=14余1，14÷2=7余0，7÷2=3余1，3÷2=1余1，1÷2=0余1。將余數從后往前排列，得到(11101)2【6】。例如：十進制(181)10轉十六進制：181÷16=11余5（11在十六進制中為B），11÷16=0余11（B）。得到(B5)16【6】。★二進制與十六進制的互轉：利用四位二進制數可以精確表示一位十六進制數的對應關系（0000~1111>0~F）。轉換時，以小數點為界，分別向左和向右每四位一組進行轉換，位數不足時補0【6】【8】。例如：二進制(1001011011)2轉十六進制：從右向左，最低四位1011對應B，往左四位0110對應6（高位補0），再往左兩位10補0成0010對應2，得到(25B)16【6】。四、數據采集與整理的實踐應用與倫理規范（一）數據安全意識的培養【重要】在數據采集與整理的全過程中，數據安全是貫穿始終的紅線。★數據安全的威脅：主要來自計算機病毒、黑客攻擊、數據存儲介質損壞、內部人員失誤或惡意泄露等【3】【7】。★數據保護的基本方法：●數據備份：定期將數據到其他存儲介質或云端，以防硬件故障或數據損壞導致數據丟失【3】【7】。●數據加密：通過加密算法將明文數據轉換為密文，即使數據被非法獲取，沒有密鑰也無法解讀，有效保障數據傳輸和存儲過程中的機密性【3】【7】。（二）信息社會責任的踐行作為數字時代的公民，在享受數據帶來便利的同時，必須承擔相應的社會責任。在采集數據時，尤其是涉及他人信息的數據，必須遵循合法、正當、必要的原則，尊重他人隱私。例如，在設計問卷或爬取數據時，不得采集與目的無關的個人敏感信息，對采集到的個人信息應進行脫敏處理，并在使用完畢后妥善銷毀。這不僅是對他人的尊重，更是法律法規的明確要求【3】【7】【10】。五、考點、考向與解題策略【重要】【高頻考點】（一）常見考查方式本部分內容的考查通常結合具體情境，以選擇題、填空題、判斷題和簡單的分析設計題形式出現。重點考查學生對核心概念的理解、方法的運用以及在具體情境下的分析能力。（二）核心考點與解題步驟1、數據采集方法的選擇題：★考向：給出一個具體場景（如“獲取某市十年來的GDP數據”、“實時監測大棚內的溫濕度”、“收集用