大數據技術導論2014

大數據技術–導論周可k.zhou@華中科技大學1內容什么是大數據研究背景深入思考23什么是大數據定義1：

大數據是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合（維基百科定義）Bigdatausuallyincludesdatasetswithsizesbeyondtheabilityofcommonly-usedsoftwaretoolstocapture,curate,manage,andprocessthedatawithinatolerableelapsedtime.---Wiki4什么是大數據定義2：3VBigDataarehigh-volume,high-velocity,and/orhigh-varietyinformationassetsthatrequirenewformsofprocessingtoenableenhanceddecisionmaking,insightdiscoveryandprocessoptimization--Gartner

大數據的4V特性VolumeVolumeVarietyVolume模態多樣VeracityVolume真偽難辨VelocityVolume速度極快體量巨大文本視頻圖片音頻到2020年，數據總量達40ZB，人均5.2TB分享的內容條目超過25億個/天，增加數據超過500TB/天5大數據及其4V特征海量數據規模（volume）：TB級PB級快速處理（velocity）：快速數據流轉和動態數據體系多樣數據類型（variety）：數據類型繁雜巨大數據價值（value）：價值稀疏、多樣、不確定值得關注的大數據的若干研究方向分布式數據存儲與管理：對大數據進行存儲與管理數據挖掘與商務智能：對大數據規律進行挖掘與發現物聯網與CPS：產生與形成大數據云計算及服務平臺：存儲和處理大數據及其業務關注點：海量數據處理=>分布式存儲與管理=>云計算=>

數據挖掘與分析=>海量業務處理=>大服務7什么是大數據定義3:

當數據的規模和性能要求成為數據管理分析系統的重要設計和決定因素時，這樣的數據就被稱為大數據不是簡單地以數據規模來界定大數據，要考慮數據查詢與分析的復雜程度以目前計算機硬件的發展水平看針對簡單查詢（如關鍵字搜索），數據量為TB至PB級時可稱為大數據針對復雜查詢（如數據挖掘），數據量為GB至TB級時即可稱為大數據8什么是大數據定義4:

大數據有兩個基本特征不同于傳統的數據集：

1.大數據不一定存儲于固定的數據庫，而是分布在不同地方的網絡空間

2.大數據以半結構化或非結構化數據為主，具有較高的復雜性。內容什么是大數據研究背景深入思考9克強指數（Likeqiangindex）:耗電量鐵路貨運量銀行貸款發放量英國著名政經雜志《經濟學人》認為：克強指數比官方GDP數字更能反映中國經濟的現實狀況。花旗銀行在編制時將各自權重分別設定為40%、25%和35%。12大數據涉及諸多不同的領域

用戶生成數據DeepWeb數據多模態內容數據天文氣象基因醫學經濟物理其他領域網絡與關系數據13大數據的價值科研價值1998年圖靈獎得主、數據庫技術奠基人JimGray認為數據驅動的研究將是第四種科學研究范式”TheFourthParadigm:Data-IntensiveScientificDiscovery”大數據已為多個不同學科的研究工作提供了寶貴機遇經濟價值麥肯錫全球研究院：大數據可為世界經濟創造巨大價值，提高企業和公共部門的生產率和競爭力，并為消費者創造巨大的經濟利益著名Gartner公司：到2015年，采用大數據和海量信息管理的公司將在各項財務指標上，超過未做準備的競爭對手20%工業價值分析使用：揭示隱藏其中的信息，例如零售業中對門店銷售、地理和社會信息的分析能提升對客戶的理解二次開發：創造出新產品和服務。例如Facebook通過結合大量用戶信息，定制出高度個性化的用戶體驗，并創造出一種新的廣告模式社會價值例如：2009年淘寶網推出淘寶CPI來反映網絡購物的消費趨勢和價格動態其他價值…DataisthenextIntelInside.Thefuturebelongstothecompaniesandpeoplethatturndataintoproducts.----著名出版公司O‘Reilly的創始人TimO‘Reilly深網挖掘深空探索2012年我國神州九號進入太空深海探測2012年我國蛟龍號探測水下7000米實現大數據價值的

深度挖據和高度利用！大數據的戰略意義大數據的深度資源挖掘與價值利用是國家戰略從深空

+

深海深網14大數據的現實需求：感知現在15感知現在：歷史數據與當前數據的融合，潛在線索與模式的挖掘，

事件、群體與社會發展狀態的感知中國發展指數（物價、環境、健康）需求：掌握現狀，如淘寶CPI、環境指數難點：PB級社會媒體數據，百億級日志數據，結構與非結構數據關聯，歷史與流式數據并存犯罪線索挖掘需求：發現線索,如罪犯行為軌跡難點：PB級日志數據、EB級監控數據中發現嫌疑人及其行為模式猶如大海撈針問題與挑戰：數據規模巨大、模態多樣、關聯復雜、真偽難辨

現有數據處理方法感知度量難、特征融合難、模式挖掘難15大數據的現實需求：預測未來聯合國“全球脈動”(GlobalPulse):利用網絡大數據預測失業率與疾病爆發等現象，利用數字化的早期預警信號來提前指導援助項目。問題與挑戰：數據交互性強、實時性強、動態演變，導致傳統數據計算方法：

數據生命周期的割裂、時效性與準確性難以兼顧、演變趨勢難以預測基于Twitter數據的選舉結果預測:通過對Twitter等網上公開數據的實時感知、動態獲取與綜合分析，結合仿真調控，預測大選結果。預測未來：全量數據、流式數據、離線數據的關聯分析，態勢與效應的判定與調控，揭示事物發展的演變規律，進而對事物發展趨勢進行預測1617美國的大數據規劃-大數據上升為國家意志2012年3月29日，美國聯邦政府整合6個部門宣布2億美元的“BigDataResearchandDevelopmentInitiative”促進采集、存儲、維護、管理、分析和共享海量數據的核心技術；利用以上技術來加速科學與工程發現的步伐，強化國家安全，改變教育和學習；培養開發和使用大數據技術的人力資源。CoreTechnologiesforAdvancingBigDataScience&EngineeringDatatoDecisions1000GenomesProjectDataAvailableonCloudScientificDiscoveryThroughAdvancedComputingBigDataforEarthSystemScienceXDATA18歐盟的大數據規劃-基礎設施是先導Horizon2020-TheFrameworkProgrammeforResearchandInnovation面向大數據的數據信息化基礎設施（E-Infrastructure）是優先資助領域GRDI2020-GlobalResearchDataInfrastructures建立針對科研大數據的基礎設施，實現數據管理系統、數字數據圖書館、研究圖書館、數據工具和研究團體的整合FP7Call8IntelligentInformationManagement-BigData預算5千萬歐元，2012-1-17截止目標：提升發現、分析、開采、使用大數據及其基礎設施的能力通過對大數據收集與分析創造更大價值探索基于大規模互聯數據資源與專用基礎設施的新型科學研究面向大數據的人力資源開發19學術界對大數據的關注2012年1月，NaturePhysics上出版專刊“Complexity”特別指出大數據為科學研究，特別是復雜性科學的研究提供了史無前例的機遇2008年，Nature出版專刊“BigData”從互聯網技術、互聯網經濟學、超級計算、環境科學、生物醫藥等多個方面介紹了大數據所帶來的技術挑戰2011年，Science刊登專刊“DealingwithData”討論了數據洪流（Datadeluge）所帶來的挑戰，也特別指出倘若能夠更有效地組織和使用這些數據，人們將得到更多的機會發揮科學技術對社會發展的巨大推動作用2012年4月，歐洲信息學與數學研究協會會刊ERCIMNews上出版專刊“BigData”討論了大數據時代的數據管理、數據密集型研究的創新數據庫技術等問題，并介紹了歐洲科研機構開展的研究活動和取得的創新性進展20大數據會議/WorkshopBDA:InternationalConferenceonBigDataAnalyticshttp://cs.du.ac.in/BDA2012/bda12.html2012:12月24-26日，印度；第1屆BigMine:WorkshoponBigData,StreamsandHeterogeneousSourceMining:Algorithms,Systems,ProgrammingModelsandApplications/2012:與SIGKDD合辦；8月12日，北京；第1屆BigDataEurope系列會議/展示大數據實踐與方案；加強業界人員交流2012:

Zurich,Vienna,Paris,Frankfurt,London2013:Stockholm,Warsaw,IstanbulBigDataAnalytics2012http://www.whitehallmedia.co.uk/bda/6月20日，倫敦學術會議工業會議內容什么是大數據研究背景深入思考2224大數據總量增長態勢25目前大數據的規模IDC公司發布的數字宇宙研究報告稱：全球信息總量每兩年就會增長一倍，2011年全球被創建和被復制的數據總量為1.8ZB(1021)。IDC認為，到下一個十年(2020年)，全球所有IT部門擁有服務器的總量將會比現在多出10倍，所管理的數據將會比現在多出50倍。預計到2020年，全球將總共擁有35ZB的數據量2011年企業創造、采集、管理和儲存信息的成本已經下降到2005年的1/6，而同期企業關于數據的總投資自2005年以來卻反而上升了50%。數據成本的下降助推了數據量的增長，而新的數據源和數據采集技術的出現則大大增加了未來數據的類型，數據類型的增加導致現有數據空間維度增加，極大地增加了未來大數據的復雜度。26目前大數據規模─示例天文觀測數據：SloanDigitalSkySurvey:2000年部署幾周收集的數據比歷史上收集的數據還多每晚收集200G的數據，已收集了140TB=1.4x105GB的數據LargeSynopticSurveyTelescope:2016年完成部署每5天可收集105GB的數據物理實驗數據：LargeHadronCollider:2010年一年產生13PB=1.3x107GB數據互聯網數據:Facebook：用戶超7億，每月上傳10億照片，每天生成3x105GB日志數據淘寶：有3.7億會員，在線商品8.8億，每天交易數千萬，產生2x104GB數據IBM估計:全球每天生成2.5EB=2.5x109GB數據，90%的已有數據是過去兩年生成的Cisco預測:到2013年，互聯網上的數據將達到667EB=6.67x1011GB27收集的數據還沒有實現高度共享和深度利用

2.超大規模：為保證可靠性，需要存儲數據副本，實際存儲的數據量數倍于凈數據量

3.時空屬性：包含時間與位置信息

4.模糊高維：數據未必精確和完整：傳感器誤差，網絡中斷……

5.數據維度高：例如一次體檢可以得到數百項生命體征數據大數據特點28大數據與常規數據的對比常規數據范圍廣模態多增長快關聯繁數據規模較小模態屬性受限增長速度較慢關聯相對簡單稠密與稀疏共存冗余與缺失并在動態與靜態互現顯式與隱藏均有特性問題描述與存儲的挑戰分析與理解的挑戰挖掘與預測的挑戰挑戰大數據應用目標相對比較明確數據結構相對比較簡單時序長持續時間較短處理方法通常為模型化、參數化

錢學森“綜合集成”理論的啟示

一個科學新領域------開放的復雜巨系統及其方法論錢學森-戴汝為:“綜合集成”(meta-synthesis)科學方法論

“綜合集成”可以解讀為從定性到定量的科學研討廳(hallforworkshop)“綜合集成”方法論:1+1>2[J].自然雜志,1990大數據時代的軟件服務工程

拓新“綜合集成的迭代整合”科學方法論“綜合集成”可拓展為以科研社交網絡的民主形式，從定性到定量的科研整合“定性”：是指面向領域或主題、運用專家的定性智慧，建立大數據處理知識的聚類，形成少數幾種可能的大數據價值服務的基本解決方案及其本體。

面向領域或主題的大數據服務的共性需求解決方案“定量”：細化解決方案本體,對同類或異類方案之間的關聯,通過語義互操作構造與管理的關聯計算，建立大數據處理的基本知識；隨著時間與空間的變化,不斷吸收與迭代整合:來自歷史大數據的知識與基于運行時反射機理的用戶網頁個性化標注的相關內容,動態演化生長

形成面向領域或主題的大數據服務的富知識從定性到定量整合的科學研討廳(hallforworkshop)

：支撐領域或主題大數據處理知識的規模化整合及其演化的PaaS(平臺作為服務)，并接入面向多樣價值目標的異域異構大數據服務SaaS(軟件作為服務)綜合與互操作實現。

PaaS+SaaS厚積簿發：面向領域或主題的富知識,實現在線流式大數據分析的可伸縮、可選擇的按需價值服務科學家與鞋匠所見略同“定性”:鞋匠按手工方式做鞋，因各人尺寸各異，覺得鞋子采用個案生產，天經地義；但做到第10000雙時，感悟復雜中存在簡單，幾十種鞋碼足以滿足大眾個