任務3.1數據處理與清洗

項目三數據處理與清洗主講教師:段曉亮Dataprocessingandcleaning前面的項目通過多種渠道采集到的數據，得到大規模的人工智能所需要的數據。這種復雜的數據環境給海量大數據的處理帶來極大的挑戰。想要處理大數據，首先必須對所需數據源的數據進行抽取和集成，并在數據集成和抽取的過程中對數據進行清洗，以保證數據質量及可用性。那么，如何進行高效、精準的數據抽取和集成顯得至關重要。這些數據在組織、存儲與標注前需要進行數據審核、去重、去噪、標準化、規范化、審查、校驗等系列數據整理、轉換、清洗操作，目的在于刪除重復信息，糾正錯誤，統一數據規格，實現數據一致性，這些步驟統稱為數據處理。項目導入1.項目背景及需求1.項目背景及需求前面的項目通過多種渠道采集到的數據，得到大規模的人工智能所需要的數據。這種復雜的數據環境給海量大數據的處理帶來極大的挑戰。想要處理大數據，首先必須對所需數據源的數據進行抽取和集成，并在數據集成和抽取的過程中對數據進行清洗，以保證數據質量及可用性。那么，如何進行高效、精準的數據抽取和集成顯得至關重要。這些數據在組織、存儲與標注前需要進行數據審核、去重、去噪、標準化、規范化、審查、校驗等系列數據整理、轉換、清洗操作，目的在于刪除重復信息，糾正錯誤，統一數據規格，實現數據一致性，這些步驟統稱為數據處理。項目導入數據處理基礎圖像數據集的處理智能客服語音數據處理文本數據處理視頻數據處理2.項目分解1.項目背景及需求前面的項目通過多種渠道采集到的數據，得到大規模的人工智能所需要的數據。這種復雜的數據環境給海量大數據的處理帶來極大的挑戰。想要處理大數據，首先必須對所需數據源的數據進行抽取和集成，并在數據集成和抽取的過程中對數據進行清洗，以保證數據質量及可用性。那么，如何進行高效、精準的數據抽取和集成顯得至關重要。這些數據在組織、存儲與標注前需要進行數據審核、去重、去噪、標準化、規范化、審查、校驗等系列數據整理、轉換、清洗操作，目的在于刪除重復信息，糾正錯誤，統一數據規格，實現數據一致性，這些步驟統稱為數據處理。項目導入3.

職業崗位介紹掌握人工智能應用任務的數據集預處理操作方法掌握數據處理的工作流程0201數據處理工程師通常需要具備如下的能力：1.項目背景及需求前面的項目通過多種渠道采集到的數據，得到大規模的人工智能所需要的數據。這種復雜的數據環境給海量大數據的處理帶來極大的挑戰。想要處理大數據，首先必須對所需數據源的數據進行抽取和集成，并在數據集成和抽取的過程中對數據進行清洗，以保證數據質量及可用性。那么，如何進行高效、精準的數據抽取和集成顯得至關重要。這些數據在組織、存儲與標注前需要進行數據審核、去重、去噪、標準化、規范化、審查、校驗等系列數據整理、轉換、清洗操作，目的在于刪除重復信息，糾正錯誤，統一數據規格，實現數據一致性，這些步驟統稱為數據處理。了解人工智能數據集的分類了解數據處理的概念、常用方法掌握不同類型數據的清洗方法020103目標項目知識目標掌握數據處理的工作流程掌握人工智能應用任務的數據集預處理操作方法項目技能目標

0102培養愛崗敬業、細心踏實、勇于創新的職業精神培養科技強國的愛國主義思想，樹立服務社會的服務意識目標項目思政目標數據處理基礎任務3.1FundamentalsofDataProcessing數據處理與清洗是數據服務內容中的重要一環，主要任務是將采集到的數據樣本，經過一系列的處理和清洗工作，送給下一步做標注處理，標注好的數據直接交給模型進行訓練。所以一個高質量的數據集離不開數據處理，而數據處理的一種方法就是對數據做清洗，讓數據更規范，數據的清洗也是數據處理工作中最耗時、工作量最大的環節。任務導入任務知識目標01了解數據清洗的基本概念02掌握數據清洗的基本方法03熟悉常見的數據清洗與分析工具04能夠通過pandas、numpy、正則化工具進行數據清洗任務能力目標掌握數據處理的工作流程掌握人工智能應用任務的數據集預處理操作方法任務思政目標01通過解決實際問題，培養分析問題、解決問題的科學探索精神培養嚴謹細致的職業素養及遵守行業、專業法規的意識020102CONTENTS目錄常見的數據問題01Commondataissues數據處理的概念與方法02ConceptsandMethodsofDataProcessing人工智能數據集03ArtificialIntelligenceDataset數據清洗與分析工具04Datacleaningandanalysistools感知傳感器包括視覺傳感器、激光傳感器、雷達傳感器等類型。視覺傳感器：即攝像頭，攝像頭分為單目視覺和雙目（立體）視覺兩類。比較知名的視覺傳感器提供商有以色列的Mobileye，加拿大的PointGrey，德國的Pike等。激光傳感器：分為單線和多線。每多一線，成本相應上漲，當然檢測效果也相對更為出色。比較知名的激光傳感器提供商有美國的Velodyne和Quanergy，德國的Ibeo等。國內有速騰聚創和禾賽科技。雷達傳感器：雷達傳感器已經在汽車上得到了廣泛使用，應該是車廠Tier1的強項。知名的供應商當然是博世、德爾福、電裝等。1.常見的數據問題原始數據就像這個雜亂的房間，往往存在各種各樣的問題，這時候就需要數據處理與清洗來幫忙，讓數據變得有序、可用。在實際的數據世界中，常見的數據問題有很多，包括以下幾種情形：1.缺失值2.重復值3.異常值4.數據格式不一致視覺傳感器：即攝像頭，攝像頭分為單目視覺和雙目（立體）視覺兩類。比較知名的視覺傳感器提供商有以色列的Mobileye，加拿大的PointGrey，德國的Pike等。激光傳感器：分為單線和多線。每多一線，成本相應上漲，當然檢測效果也相對更為出色。比較知名的激光傳感器提供商有美國的Velodyne和Quanergy，德國的Ibeo等。國內有速騰聚創和禾賽科技。雷達傳感器：雷達傳感器已經在汽車上得到了廣泛使用，應該是車廠Tier1的強項。知名的供應商當然是博世、德爾福、電裝等。1.數據處理的概念與方法處理與清洗需求分析在人工智能行業任務中，一般的數據處理需求主要包括處理與清洗兩個部分：數據處理數據清洗感知傳感器包括視覺傳感器、激光傳感器、雷達傳感器等類型。視覺傳感器：即攝像頭，攝像頭分為單目視覺和雙目（立體）視覺兩類。比較知名的視覺傳感器提供商有以色列的Mobileye，加拿大的PointGrey，德國的Pike等。激光傳感器：分為單線和多線。每多一線，成本相應上漲，當然檢測效果也相對更為出色。比較知名的激光傳感器提供商有美國的Velodyne和Quanergy，德國的Ibeo等。國內有速騰聚創和禾賽科技。雷達傳感器：雷達傳感器已經在汽車上得到了廣泛使用，應該是車廠Tier1的強項。知名的供應商當然是博世、德爾福、電裝等。任務思考題為什么要在需求中區分“處理”和“清洗”兩個部分？視覺傳感器：即攝像頭，攝像頭分為單目視覺和雙目（立體）視覺兩類。比較知名的視覺傳感器提供商有以色列的Mobileye，加拿大的PointGrey，德國的Pike等。激光傳感器：分為單線和多線。每多一線，成本相應上漲，當然檢測效果也相對更為出色。比較知名的激光傳感器提供商有美國的Velodyne和Quanergy，德國的Ibeo等。國內有速騰聚創和禾賽科技。雷達傳感器：雷達傳感器已經在汽車上得到了廣泛使用，應該是車廠Tier1的強項。知名的供應商當然是博世、德爾福、電裝等。1.數據處理的概念與方法處理與清洗需求分析在視覺感知任務的數據集中，數據處理需要我們對數據集做如下操作：圖像去重可以使用程序“自動處理”刪除尺寸過小樣本重新定義樣本尺寸修改圖像樣本格式樣本重新編號這些處理都有什么共同特點？視覺傳感器：即攝像頭，攝像頭分為單目視覺和雙目（立體）視覺兩類。比較知名的視覺傳感器提供商有以色列的Mobileye，加拿大的PointGrey，德國的Pike等。激光傳感器：分為單線和多線。每多一線，成本相應上漲，當然檢測效果也相對更為出色。比較知名的激光傳感器提供商有美國的Velodyne和Quanergy，德國的Ibeo等。國內有速騰聚創和禾賽科技。雷達傳感器：雷達傳感器已經在汽車上得到了廣泛使用，應該是車廠Tier1的強項。知名的供應商當然是博世、德爾福、電裝等。1.數據處理的概念與方法處理與清洗需求分析在數據清洗部分，我們觀察需要清洗的圖片內容：這些“內容清洗”樣本，我們無法用程序來檢測圖像中的細節，所以只能通過“手動清洗”解決問題。視覺傳感器：即攝像頭，攝像頭分為單目視覺和雙目（立體）視覺兩類。比較知名的視覺傳感器提供商有以色列的Mobileye，加拿大的PointGrey，德國的Pike等。激光傳感器：分為單線和多線。每多一線，成本相應上漲，當然檢測效果也相對更為出色。比較知名的激光傳感器提供商有美國的Velodyne和Quanergy，德國的Ibeo等。國內有速騰聚創和禾賽科技。雷達傳感器：雷達傳感器已經在汽車上得到了廣泛使用，應該是車廠Tier1的強項。知名的供應商當然是博世、德爾福、電裝等。1.數據處理的工作流程數據預處理數據手動清洗標注數據預處理圖像去重刪除尺寸過小樣本重新定義樣本尺寸修改圖像樣本格式樣本重新編號需要在清洗后、標注前對數據做預處理視覺傳感器：即攝像頭，攝像頭分為單目視覺和雙目（立體）視覺兩類。比較知名的視覺傳感器提供商有以色列的Mobileye，加拿大的PointGrey，德國的Pike等。激光傳感器：分為單線和多線。每多一線，成本相應上漲，當然檢測效果也相對更為出色。比較知名的激光傳感器提供商有美國的Velodyne和Quanergy，德國的Ibeo等。國內有速騰聚創和禾賽科技。雷達傳感器：雷達傳感器已經在汽車上得到了廣泛使用，應該是車廠Tier1的強項。知名的供應商當然是博世、德爾福、電裝等。1.人工智能數據集的劃分人工智能數據集可以理解，人工智能是機器產生的智能。要實現人工智能，需要把人類理解和判斷事物的能力教給計算機，讓計算機擁有類似人類的識別能力。計算機正是通過從帶標簽的數據中不斷的學習才能夠實現自主識別。具體操作的過程中，我們需要先根據具體的應用場景獲取可用的數據，并通過標注的方法把計算機需要識別的數據對象賦予人類認知的標簽。這一類帶有標簽的數據集就被稱為人工智能數據集。視覺傳感器：即攝像頭，攝像頭分為單目視覺和雙目（立體）視覺兩類。比較知名的視覺傳感器提供商有以色列的Mobileye，加拿大的PointGrey，德國的Pike等。激光傳感器：分為單線和多線。每多一線，成本相應上漲，當然檢測效果也相對更為出色。比較知名的激光傳感器提供商有美國的Velodyne和Quanergy，德國的Ibeo等。國內有速騰聚創和禾賽科技。雷達傳感器：雷達傳感器已經在汽車上得到了廣泛使用，應該是車廠Tier1的強項。知名的供應商當然是博世、德爾福、電裝等。1.人工智能數據集的劃分人工智能任務的分類自2010-2017年，ImangeNet項目的成功改變了人工智能領域大眾的認知，從業者普遍認為數據是人工智能研究的核心，數據比算法重要得多。因此，按照數據對象分類，人工智能的任務劃分為圖像與計算機視覺感知任務、語音識別與合成任務、自然語言處理任務。視覺傳感器：即攝像頭，攝像頭分為單目視覺和雙目（立體）視覺兩類。比較知名的視覺傳感器提供商有以色列的Mobileye，加拿大的PointGrey，德國的Pike等。激光傳感器：分為單線和多線。每多一線，成本相應上漲，當然檢測效果也相對更為出色。比較知名的激光傳感器提供商有美國的Velodyne和Quanergy，德國的Ibeo等。國內有速騰聚創和禾賽科技。雷達傳感器：雷達傳感器已經在汽車上得到了廣泛使用，應該是車廠Tier1的強項。知名的供應商當然是博世、德爾福、電裝等。1.人工智能數據集的預處理自2010-2017年，ImangeNet項目的成功改變了人工智能領域大眾的認知，從業者普遍認為數據是人工智能研究的核心，數據比算法重要得多。因此，按照數據對象分類，人工智能的任務劃分為圖像與計算機視覺感知任務、語音識別與合成任務、自然語言處理任務。數據清洗數據標注數據格式轉換數據集劃分樣本去重樣本標準化手動清洗訓練集驗證集測試集需要在清洗后、標注前對數據做預處理任務實施Taskimplementation感知傳感器包括視覺傳感器、激光傳感器、雷達傳感器等類型。視覺傳感器：即攝像