我眼中的大數據

大數據(bigdata)1大數據背景大數據帶來的好處數據倉庫大數據可視化facebook社交網絡淘寶、ebuy電子商務微博、Apps移動互聯21世紀是數據信息大發展的時代，移動互聯、社交網絡、電子商務等極大拓展了互聯網的邊界和應用范圍，各種數據正在迅速膨脹并變大?；ヂ摼W（社交、搜索、電商）、移動互聯網（微博）、物聯網（傳感器，智慧地球）、車聯網、GPS、醫學影像、安全監控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產生著數據?！按髷祿钡恼Q生：半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經積累到了一個開始引發變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因學，創造出了“大數據”這個概念。如今，這個概念幾乎應用到了所有人類智力與發展的領域中。大數據時代的背景GBTBPBEBZB想駕馭這龐大的數據，我們必須了解大數據的特征。地球上至今總共的數據量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產生了約180EB的數據；在2011年，這個數字達到了1.8ZB。而有市場研究機構預測：到2020年，整個世界的數據總量將會增長44倍，達到35.2ZB（1ZB=10億TB）！1PB

=2^50字節1EB

=2^60字節1ZB=2^70字節大數據時代的爆炸增長“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數據”的顯著特征，或者說，只有具備這些特點的數據，才是大數據。VolumeVelocityValueVariety大數據的4V特征:大數據背景大數據帶來的好處數據倉庫大數據可視化用途？互聯網上的數據看起來數量龐大卻用處寥寥，但事實上，只要處理好這些數據，就能給商家帶來巨大的利益。舉一個簡單的例子：商家消費意向通過網頁瀏覽記錄通過人人、微博等消費水平通過淘寶等消費記錄通過社交平臺信息消費位置通過手機軟件定位客戶針對性地給客戶提供廣告與優惠信息消費服務7前瞻來看，隨著互聯網對網民的理解，網民對網絡的反作用，互聯網將變得越來越智能。它在滿足你需求的同時，也在創造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應用都是在線的。用戶在免費使用這些產品的同時，把個人的行為、喜好等信息也免費的送給了Google。因此Google的產品線越豐富，他對用戶的理解就越深入，他的廣告就越精準。廣告的價值就越高。這是正向的循環，谷歌好用的、免費得軟件產品，換取對用戶的理解；通過精準的廣告，找到生財之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯網的巨擘?；ヂ摼W越來越智能Google精確掌握用戶行為、獲取需求8政治經濟監控手機的使用狀況和賬單的繳付模式如果數據突然發生變化，那可能預示著經濟困境正在加劇國情調控對Twitter和Facebook等社交媒體網站的數據篩查若社交媒體提及糧食或種族沖突，那可能預示爆發了饑荒或者國內騷亂醫療保衛社交媒體上提到某地區受到感染，是對疫情流行的有效早期預警9經典案例：10在一家超市中，人們發現了一個特別有趣的現象：尿布與啤酒這兩種風馬牛不相及的商品居然擺在一起。但這一奇怪的舉措居然使尿布和啤酒的銷量大幅增加了。這可不是一個笑話，而是一直被商家所津津樂道的發生在美國沃爾瑪連鎖超市的真實案例。原來，美國的婦女通常在家照顧孩子，所以她們經常會囑咐丈夫在下班回家的路上為孩子買尿布，而丈夫在買尿布的同時又會順手購買自己愛喝的啤酒。這個發現為商家帶來了大量的利潤，但是如何從浩如煙海卻又雜亂無章的數據中，發現啤酒和尿布銷售之間的聯系呢？這又給了我們什么樣的啟示呢？美國超市Target基于數據挖掘的精準銷售案例11消費者每一次進行消費，其實都將自己的消費模式細節透露給銷售方?，F在銷售商、尤其是電子商務銷售公司，致力于利用數據挖掘分析出消費者的個人偏好、需求、對不同優惠券的反應等，進行客戶信息管理，向客戶精準推銷，提高銷售效率。Target超市的數據庫系統給每個顧客分配一個TargetGuestID，在該條目下詳細記錄顧客的信用卡信息、網上注冊信、在Target官網瀏覽的每一個頁面和停留時間長短、每次的購買行為等信息，數據挖掘團隊專門分析這些收集到的歷史信息，預測顧客將來的購物行為和需求甚至生活方式，然后發郵件給顧客。吃貨集中營12數據化運營…13啤酒和尿布ORACLE2012年3月29日奧巴馬政府公布了”大數據研發計劃”。該計劃的目標是改進現有人們從海量和復雜的數據中獲取知識的能力，從而加速美國在科學與工程領域發明的步伐，增強國家安全，轉變現有的教學和學習方式。大數據的浪潮BI商業智能人工智能數據分析

ETL大數據可視化互聯網Googlefacebook基于海量數據云計算數據倉庫個人隱私IBM實際上，你的數據，不管用什么樣的方式計算出來，如果不能很快去查，你的數據永遠只是一些數字而已，產生不了任何的商業價值。提到大數據，你會想到什么呢？大數據背景大數據帶來的好處數據倉庫大數據可視化數據倉庫的基本概念數據倉庫的概念由被譽為“數據倉庫之父”的WilliamH.Inmon提出的：數據倉庫是一個面向主題的、集成的、隨時間變化的、信息相對穩定的數據集合，它用于對企業管理和決策提供支持。所謂主題：是指用戶使用數據倉庫進行決策時所關心的重點方面，如：客戶、產品、賬務、事件、服務使用、資源、客戶服務、地域等；所謂面向主題，是指數據倉庫內的信息是按主題進行組織的，而不是像業務支撐系統那樣是按照業務功能進行組織的；16數據倉庫項目過程:ETL工具展現分析工具數據庫WEB服務器數據庫建模工具COGNOSBOSSRSORACLEDB2NETEZZATomcatWeblogicPowerDesignerERWinInformaticaDataStageJBoss解決方案方法論行業模型典型分析項目控制項目建設物理模型數據加載應用開發上線加載產品選購方案選擇項目工作SSIS17數據倉庫的技術要求-ETL數據倉庫的技術要求包含如下幾個方面：ETL(Extract/Transformation/Load)：用戶從數據源抽取出所需的數據，經過數據清洗、轉換,最終按照預先定義好的數據倉庫模型，將數據加載到數據倉庫中去；ETL是數據倉庫系統中最重要的概念之一，ETL在一個數據倉庫系統項目中要花一半以上的時間。18ETL在技術上涉及到：增量、全量、定時、調度、監控等方面技術。增量數據：流水類數據、話單類數據的抽取方式；全量數據：用戶信息類數據，狀態會更新發生變化的數據；定時抽取：數據抽取一般在生產系統比較閑暇的時候進行，凌晨時候比較多，而且按照要分析數據的周期，還分為按日、按月數據；作業調度：由于涉及到的業務系統的數據量龐大，需要分批進行抽取，以及抽取數據后面的一系列處理過程；作業監控：對所有作業執行的監控；數據倉庫的技術要求-ETL19大數據背景大數據帶來的好處數據倉庫大數據可視化大數據的技術領域-數據可視化數據可視化主要旨在借助于圖形化手段，清晰有效地傳達與溝通信息為了有效地傳達思想概念，美學形式與功能需要齊頭并進，通過直觀地傳達關鍵的方面與特征，從而實現對于相當稀疏而又復雜的數據集的深入洞察數據可視化的根本目的:傳達與溝通信息Echarts簡介Echarts舉例Echarts模塊化引入大數據可視化IntrductionECharts，純Javascript圖表庫，基于Canvas，底層依賴ZRender，商業產品通用圖表庫，提供直觀，生動，可交互，可個性化定制的數據可視化圖表，支持折線圖（區域圖）、柱狀圖（條狀圖）、散點圖（氣泡圖）、K線圖、餅圖（環形圖）、雷達圖（填充雷達圖）、和弦圖、力導向布局圖、地圖（內置世界地圖、中國及全國34個省市自治區地理數據），同時支持任意維度的堆積和多圖表混合展現。23Echarts舉例Echarts模塊化引入大數據可視化Echarts簡介單圖表類型：Pie單圖表類型：Pie

單圖表類型：Bar

單圖表類型：Bar

單圖表類型：force單圖表類型：forceEcharts簡介Echarts模塊化引入大數據可視化Echarts舉例模塊化引入Echarts:引入一個模塊加載器，如esl.js或者require.js為ECharts準備一個具備大小（寬高）的Dom（當然可以是動態生成的）為模塊加載器配置echarts的路徑，從當前頁面鏈接到echarts.js動態加載echarts然后在回調函數中開始使用（當你確保同一頁面已經加載過echarts，再使用時直接require('echarts').init(dom)就行）<scriptsrc="/r/www/cache/ecom/esl/1-6-10/esl.js"></script><divid="main"style="height:400px"></div>require.config({paths:{'echarts':'/build/echarts','echarts/chart/bar':'/build/echarts'}});varmyChart=ec.init(document.getElementById('main'));...myChart.setOption(option);32大數據的技術領域-數據可視化數據可視化相關工具:GooglePublicData

ExplorerInstantatlasDataDeskDAVIXEye-SysFerretDataVisualizationandAnalysisGGobiIBMOpenDXIDL(programminglanguage)StyleIntelligenceOpenLinkAJAXToolkitParaViewSmile(software)信息可視化的相關方法:Cladogram

(phylogeny)分支圖Coloralphabet

色彩字母表Dendrogram

(classification)樹狀圖