3.2 大數據采集概述

XXXXXXXX.XX主講人：時間：第3章數據采集BYYUSHENBYYUSHEN大數據采集技術發展趨勢01.大數據采集概述02.大數據采集方法03.大數據采集類型04.常見采集問題及注意事項05.CONTENTS目錄02大數據采集概述大數據采集是獲取海量、高速、多變數據的過程，目標為捕獲全面有價值的信息，以支持后續深入分析、挖掘和應用。數據源包括社交網絡、網絡日志、傳感器、數據庫、在線交易等內部系統、商業交易、社交媒體、公共數據集。采集的數據量通常達到TB(太字節)甚至PB(拍字節)級別，處理如此海量的數據需要高效的存儲和進程管理能力。數據采集需支持高速實時或近實時；確保數據的準確性和高質量是非常重要的，同時遵守相關的數據保護法規和公司政策。大數據采集定義數據源的多樣性數據的體量數據采集的速度大數據采集的概念批量數據采集是一種集中式數據采集，其中數據以較大的批次進行收集和處理，通常不要求實時性；適用于離線分析和批量處理場景。流式數據采集持續不斷的工作流程，數據以連續流的形式實時采集和處理；對于需要即時分析的應用（如股票市場分析、網絡監控）非常重要。社交媒體數據采集從社交網絡和在線社區采集數據，通常包括文本、圖片和視頻內容；用于了解公眾意見、監測品牌聲譽等。大數據采集的類型機器生成數據采集利用傳感器、日志文件和其他自動化工具采集的數據，常見于物聯網(IoT)、工業自動化和日志管理等領域。公共數據集采集公共數據集是政府、教育機構、公共組織發布的開放數據，可以用于研究和分析；促進跨領域合作與創新。交易數據采集來自電子交易系統的數據采集，比如金融交易、電子商務統計等；幫助企業了解市場趨勢、優化庫存管理等。大數據采集的類型包括網頁內容、用戶點擊流和網絡日志數據，可以用網絡爬蟲或相關工具采集；用于了解用戶行為、優化網站設計等。網絡數據采集涵蓋圖像、音頻和視頻內容的采集，常用于人工智能模型訓練和媒體分析中；提供豐富的多媒體內容供分析使用。多媒體數據采集涉及從多種傳感器中采集數據，傳感器可以是物理設備或是軟件；用于監控環境、設備狀態等。傳感器數據采集大數據采集的類型社交網絡站點（如Facebook,Twitter,LinkedIn等）的用戶生成內容；博客和在線論壇的內容；網絡搜索查詢記錄。網絡和社交媒體數據事務性數據企業和組織內部數據涵蓋電子商務交易、銀行和金融交易以及實體零售銷售記錄，支持業務分析和決策制定。包括交易數據的收集和整合。包括企業資源規劃（ERP）系統數據、客戶關系管理（CRM）系統數據以及供應鏈管理數據，支持企業日常運營。大數據采集的來源多媒體內容包括圖像和視頻數據，可能來自公共監控攝像頭、航空航天圖像，或是媒體庫；音頻數據，比如音樂流服務、播客等。機器和傳感器數據包括物聯網（IoT）設備數據，如智能電表、家電和穿戴設備；工業傳感器和自動化系統；車輛和運輸監控系統。公共數據和開放數據集包括政府發布的數據集（例如人口統計、經濟指標等）；研究機構和教育機構發布的數據集；國際組織的數據。大數據采集的來源地理空間數據包括地圖數據和衛星圖像；GPS追蹤數據，用于定位和導航；支持地理空間分析和決策制定。生物醫藥數據包括電子健康記錄（EHR）；基因組學研究的數據；藥物研發的數據；支持生物醫藥領域的分析和決策制定。科研數據包括物理、化學、生物學等自然科學實驗的數據；社會科學調查和研究的數據；用于支持科研活動和學術決策。日志文件包括服務器日志文件，用于監控網站流量和用戶活動；應用程序日志，用于記錄軟件的操作和事件。大數據采集的來源全量采集定義全量采集是一次性將所有數據（按天數/月數等）全部采集過來的過程，優點在于數據完整，缺點是耗時、消耗大量存儲資源，且存在重復數據冗余。CDC機制介紹變化數據捕獲(CDC)機制通過識別和捕獲數據庫中的數據變化，將變化內容記錄并傳遞至下游服務，減輕數據庫壓力，提升實時性，如MySQL的binlog機制。增量同步策略由于全量同步占用大量存儲空間，效率低，一般采用增量同步；即在第一次全量基礎上，后續只同步修改、增加的數據，以減少存儲和提升效率。大數據采集的策略全量采集工具DataX是強大的全量及增量數據處理工具，支持多種數據源與目標平臺組合，通過JSON配置實現無縫對接，適用于大