機器學習基礎與應用 課件 第二章 數據預處理

第二章數據預處理目

錄數據的定義與類別數據預處理技術數據標準化技術數據編碼技術01020304數據的定義與類別01數據的定義與類別數據是指對客觀事件進行記錄并可以鑒別的符號，是對客觀事物的性質、狀態以及相互關系等進行記載的物理符號或物理符號的組合，它是一種可識別的、抽象的符號。01數據的定義我今天買了12瓶飲料“12瓶”實際上指的是對“飲料”這一個客觀事物狀態進行記錄的一個符號數據的定義與類別數據指的不僅是狹義上的數字，還可以是具有一定意義的文字、字母、數字符號的組合等。生活中常見的圖像、視頻、音頻、文本等都屬于數據。數據也是客觀事物的屬性、數量、位置及其相互關系的抽象表示。01數據的定義數據的定義與類別在計算機科學與技術的領域中，數據是指一切能夠輸入計算機且能被計算機程序處理的符號總稱。數據是指可用于輸入計算機并進行處理的數字、字母、符號和各種模擬量。這些數據在計算機系統中都以二進制的信號單元0、1表示，所以通常需要將如文本、圖像等非數值型的數據轉換成數值型。01數據的定義數據的定義與類別數據分類在收集、處理和應用數據過程中非常重要。根據不同的數據類別進行分類可以更好地組織、管理、分析和應用數據。01數據的類別按照字段分類按照數據結構類型分類常見的數據分類方式數據的定義與類別01數據的類別按照字段分類用于描述性的字段，如個人姓名、家庭住址、文章等。這一類的數據是非量化的一個值，即該數據不可以直接運用在運算中。例如“芒種，是夏季的第三個節氣。”這一段文字就是一種文本類數據文本類數據用于描述事件發生的時間，如“2023年1月1日”文本可以轉換成為時間類數據“2023/1/1”，該數據是可以直接進行運算的。時間類數據用于描述量化屬性或用于編碼的一種數據，如交易金額、額度、商品數量、積分數、客戶評分等都屬于量化屬性，是日常計算指標的核心字段。數值類數據數據的定義與類別01數據的類別按照數據結構類型分類指由統一的結構來進行邏輯表示和存儲的數據。這類數據遵守相同的數據格式與數據長度規范，可以通過關系型數據庫進行存儲和管理。結構化數據指沒有預定義數據模型、數據結構不完整或者不規則，不可以直接用數據庫邏輯來表現的一種數據。在日常生活中常見的圖像、文本、音頻、視頻等均屬于非結構化數據。非結構化數據指介于結構化與非結構化數據之間的一種數據，是一種包含相關標記，以相關標記對字段進行分層分隔語義元素的一類數據，半結構化數據也被稱為自描述結構。半結構化數據數據預處理技術02數據預處理技術數據和特征決定機器學習的上限，模型和算法只是逼近該上限，凸顯出數據預處理的必要性。在實際業務中，從各種渠道獲取的初始數據大多是“臟”數據。02“臟”數據定義：對實際業務無意義、格式非法、編碼不規范、業務邏輯模糊的數據。成因：數據重復錄入、共同處理等不規范操作而產生的混亂、無效數據。特點：低質量的數據，存在著一系列問題。影響：導致輸出不正確，甚至誤導性的結果。類型：錯誤數據、重復數據、缺失數據等問題解決辦法：數據預處理。數據預處理技術02指不為空的屬性值錯誤。如異常值（某個產品價格為1到100元，統計中出現200元的值）；格式錯誤（某種格式的數據被記為另一種格式，如將文字錄成日期格式）錯誤數據1指同一條數據在數據集中多次出現,如數據表中存在兩條甚至多條如[姓名：A，座位號：01]的數據。重復數據2指數據表中屬性值缺失或者是包含無效值。成因：系統問題、人為問題等。缺失數據3原始數據存在的問題數據預處理技術數據預處理指的是在數據集用于模型訓練前，使用一定的方法對數據進行處理，以便把數據變換成適用于機器學習模型訓練的格式或形式，常用的數據預處理方法有刪除法、插補法等。02刪除法指將含有錯誤值、重復值或者缺失值的記錄直接進行刪除，在刪除過程中通常直接刪除存在問題的某一行或某一列數據。插補法是用于處理缺失數據和錯誤數據的一種常用方法，該方法常常使用數據中的均值、中位數或眾數填充或替換空值、錯誤部分數據。數據標準化技術03數據標準化技術定義：數據標準化指通過數學變換方式，將原始數據按照一定的比例進行轉換，使之落入小的特定區間內（如0～1或-1～1）。目的：消除不同變量之間性質、量綱、數量級等特征屬性的差異，將其轉化為一個無量綱的相對數值（標準化數值），使各指標的數值都處于同一個數量級上，便于不同單位或數量級的指標進行綜合分析和比較。常見方法：min-max標準化、z-score標準化。03數據標準化技術03min-max標準化z-score標準化也稱為最小-最大標準化，是對原始數據的線性變換。該標準化可以將數據值映射到[0,1]。計算公式：新數據=（原數據-最小值）/（最大值-最小值）。是基于原始數據的均值和標準差對數據進行標準化的方法。處理后的數據符合標準正態分布（即均值為0，標準差為1）。計算公式：新數據=（原數據-均值）/標準差。數據編碼技術04數據編碼技術數據編碼指的是將一個字符串類型的數據轉換成數值類型。常見的數據編碼技術有標簽編碼和獨熱編碼。04標簽編碼（labelencoding）指用標簽進行編碼，將原始特征值編碼為自定義的數字標簽完成量化編碼過程。如：有紅、黃、藍三種類別的顏色，可以編碼為紅=1、黃=2、藍=3。0102標簽編碼獨熱編碼（one-hot編碼）用于將離散的分類標簽轉換為