大云大數據平臺及應用

“大云”大數據平臺及應用中國移動通信研究院

郭磊濤2013年11月電信運營商具有更多的數據移動互聯網服務商電信運營商SNS博客電商視頻圖片音樂簽到問答點評優惠券專業SNS微博消息論壇2G、3G、4G、WIFI除了像移動互聯網服務商那樣關注“結果”，電信運營商還需要關注“過程”！新聞地圖典型的應用場景之一：大數據批處理系統目標：針對海量結構化、非結構化數據的ETL操作。從各種數據源獲取數據，并進行清洗、轉換、去重、缺值補充等操作。通常采用MapReduce等并行計算技術。技術要求舉例：針對海量數據實時離線批處理運算（ETL），通常時間要求較為寬松，如幾個小時級別。數據ETL運算種類多，靈活性強，通常具有很強的定制化特征數據通常需要導出到數據庫、數據倉庫，提供報表能力需要靈活的調度的系統，便于系統需要和其他業務系統混合部署，提高資源利用水平例圖：分時段匯總的業務場景典型的應用場景之二：大數據查詢系統目標：針對海量結構化、半結構化數據的精確定位、區段掃描等條件查詢操作，用于網絡優化、帳詳單查詢、故障定位、搜索引擎等業務場景。采集預處理計算1計算2融合處理大數據庫大數據庫原始數據消息營業廳系統營業廳1營業廳2營業廳3營業廳4例圖：帳詳單查詢系統技術要求舉例：針對海量數據實施交互式查詢，返回時間在1秒鐘左右。針對海量大數據規模實施查詢，數據規?？梢赃_到100TB-10PB規模。數據插入通常采用批處理方式，而查詢通常帶有條件，通常返回結果數較少系統具備較高的并發性，支持大量用戶同時查詢，依然可以在給定時間出口返回結果數據具有很高的可靠性和可用性要求典型的應用場景之三：大數據挖掘系統目標：針對海量結構化、非結構化數據的進行深度挖掘。通常需要根據業務需求設計模型、訓練集并選擇算法（分類、聚類、關聯、非結構化）。通常會使用各種分布式數據挖掘工具和算法人群1其它人群例圖：客戶分類識別應用技術要求舉例：針對海量數據實施全量數據挖掘，規模達到10TB-PB規模。處理時間沒有嚴格要求，通常達到幾個小時，甚至更長時間需要支持各種并行計算模式，如MapReduce、BSP等數據挖掘系統需要較好的用戶界面，用戶通常具備業務知識，但是未必具備開發經驗系統可以和其他系統混合部署數據具有一定的可靠性和可用性要求中國移動“大云”

云計算平臺IT基礎資源對象存儲BC-oNest數據倉庫系統HugeTable系統監控和管理CloudMaster平臺安全管理CloudSecurity并行數據挖掘工具集BC-PDM文件中間件BC-NAS并行數據抽取轉換BC-ETLEMailIDC服務…經分KPI集中運算結算系統云計算資源池系統搜索引擎BC-SE經分系統ETL/DM信令系統物聯網應用彈性計算BC-EC彈性塊存儲BC-Blockstore商務智能平臺數據管理/分析類計算/存儲資源池BC-Hadoop數據存儲和分析平臺IaaS產品PaaS產品“大云”產品K-V數據庫BC-kvDB消息隊列BC-Queue實時交易類分布式內存引擎

BC-DME分布式SQL數據庫BC-RDBBC-BSP數據并行框架能力開放平臺其他平臺中間件數據倉庫系統HugeTable并行數據挖掘工具集BC-PDMBC-Hadoop數據存儲和分析平臺K-V數據庫BC-kvDB分布式SQL數據庫BC-RDBBC-BSP數據并行框架BC-Hadoop：對開源Hadoop/HBase進行擴展和增強，為大云其他組件提供基本的存儲計算能力?；贖adoop1.0的NameNode/JobTrackerHA，HBaseCoprocessor優化，管理工具整合等Hadoop數據存儲與分析RS級別結果匯聚線程池管理ZookeeperJobTracker(VirtualIP)JT-0001JT-0002JT-0003基于Ambari的Hadoop監控管理工具ApacheAmbari是對Hadoop進行部署、監控和管理的開源項目Puppet部署hadoop服務Ganglia收集hadoop服務數據與生成圖表Nagios監控集群服務狀態并報警基于Ambari的Hadoop監控管理工具TODO:啟用MRv1JT/HMasterHA刪除節點節點異構配置(Ambari-3531)數據倉庫系統（HugeTable）基于Hadoop的海量結構化數據存儲系統，利用低成本硬件提供高性能的數據加載、索引查詢和并行分析能力，對外提供易于應用集成的數據訪問接口大容量：支持PB級別的數據存儲能力低成本：基于PC架構，不需要外接集中存儲設備高性能：秒級別索引查詢、數據并行掃描可靠性：數據冗余備份永不丟失可定制：根據應用需求選擇索引類型及存儲引擎接口豐富：提供標準的JDBC/ODBC/SQL接口；提串行Scan接口和分布式MapReduce接口外圍工具：支持數據、性能、故障、配置、日志管理功能；支持外部數據并行加載；支持數據快速備份、恢復單條查詢等(少量數據)實時性要求高的分析查詢SQL(數據量滿足impala內存限制條件)

復雜SQL語句或者掃描大表全表（大規模數據聚合查詢等占用空間超過了impala內存能力）圖計算平臺（BC-BSP）BC-BSP：針對社交網絡分析、用戶精準營銷、搜索引擎PageRank計算等圖計算領域的數據挖掘需求而研發的并行計算框架，針對迭代計算，計算效率優于MapReduce框架/cmri/并行數據挖掘工具集（BC-PDM）任務任務分解…M1M2MiR1Rj子任務block1數據分割block1block1block2block2block2block3block3block3M1M2MiR1R2…R2…RjBC-BSPHugeTableMapReduce并行數據挖掘各種海量數據處理、挖掘應用數據交換并行數據探索WebGUI/工作流引擎SQL腳本CLI命令行應用用戶權限管理數據交換：支持與RDB直接交換數據、支持CSV格式數據數據ETL：支持數據清洗、轉換、集成等7大類45種ETL數據探索：支持數據統計、變量分析、分布特征探索等數據挖掘算法：支持分類、聚類、關聯分析等3大類共15種算法社交網絡分析：支持網絡特征分析、社團發現和演化、社團展示等支持SaaS服務模式：Web瀏覽器使用，并可支持應用共享支持豐富的用戶UI：

支持Web圖形化方式創建數據分析邏輯，支持SQL腳本方式，支持CLI命令行方式支持二次開發：JavaAPI、WebServiceBC-PDM：支持SaaS模式的海量數據并行處理、分析與挖掘系統。適用于經營決策、用戶行為分析、精準營銷、網絡優化、移動互聯網等領域的智能數據分析與挖掘應用主要特點并行數據ETL社交網絡分析廣域網K-V數據庫（BC-KVDB）BC-KVDB：根據訂購關系存儲、用戶個人信息存儲等應用需求和相關規范，增強系統操作維護功能、優化性能并提高系統可靠性。提供一個高并發、高可擴展的鍵值對存儲系統。數據連續范圍分區，類似HBase不依賴DFS，數據直接讀寫本地多個磁盤QueryCache&BlockCache通過Region數據的多副本，保證數據的高可靠實現多個主節點的互備元數據與用戶數據隔離存儲實現用戶認證和授權SQL數據庫（BC-RDB）BC-RDB是基于MySQL的分布式數據庫，系統由多個安全組（safegroup）和一個分布式事務管理器組成。采用“兩階段提交協議即2PC”來實現分布式事務“大云”應用案例之一：大數據ETL業務流程現網時間（min）云ETL時間（min）加速比例時間減少絕對值（小時）1465011534.0358.32270015711.7218.88210012931.6213.49180011501.5610.810150012251.224.6114903251.512.8現網3.2天，減少為0.8天節約近2.5天現網90分鐘減少為10分鐘僅為1/10現網時間（min）云ETL時間（min）MR時間云ETL腳本加速比例時間減少絕對值（小時）流程39010無9.001.3流程413059403.251.5流程56014無4.280.8流程68025無2.500.9流程713047無2.761.9滾詳單類出月表類帳詳單系統存儲數量急劇膨脹，傳統架構難以滿足當前業務運營要求，系統面臨擴容難題“大云”應用案例之二：大數據查詢業務采集預處理計算1計算2融合處理HugeTable表2HugeTable表1原始數據消息營業廳系統營業廳1營業廳2營業廳3營業廳4某地市應用，每個月帳詳單總體數據量10TB話單通過HTLoad工具批量加載帳詳單查詢通過SQL或Native

API接口進行復雜分析則通過MR接口進行HugeTable支持數據按照Joinkey預先進行數據劃分，減少join過程中數據在節點間的拷貝應用效果：加載：支持數據并行加載，數據加載保證完整性和可靠性；查