數據倉庫解決方案概述.ppt

Sybase DW/Business Intelligence,Sybase中國有限公司,Sybase數據倉庫解決方案,電信行業,議程,數據倉庫解決方案概述 Sybase數據倉庫技術解決方案 數據倉庫設計工具 抽取、轉換、清洗和裝載工具 數據存儲、管理服務器 數據分析和展現工具 數據字典（元數據）的管理工具,“數據倉庫是在企業管理和決策中 面向主題的,集成的, 與時間相關的 和不可修改的數據集合”,Bill Inmon,數據倉庫定義,OLTP系統,財務系統,業務系統,計費系統,網管系統,數據倉庫是完全不同的數據庫系統,操作(業務)系統特性,信息(分析)系統特性,DW/BI 在電信行業的應用 - How ?,立足于現有的OLTP系統 當前數據和歷史數據 集中整合之后，構建一個龐大的數據倉庫 面向業務分析和決策層 運用多維分析方法，充分挖掘數據中的信息 應用DW/BI的三步曲,數據抽取,數據管理,數據分析,INFORMATION,信 息,數據倉庫(Data Warehouse)是一種專為聯機分析應用 和決策支持系統提供數據源的結構化的數據環境 數據倉庫要解決的問題是從數據庫中獲取信息的問題。,信 息,INFORMATION,DW/BI 在電信行業的應用 - 小結 什么是數據倉庫(Data Warehouse) ？,決策支持應用,數據倉庫的實際構造示意圖,議程,數據倉庫解決方案概述 Sybase數據倉庫技術解決方案 數據倉庫設計工具 抽取、轉換、清洗和裝載工具 數據存儲、管理服務器 數據分析和展現工具 數據字典（元數據）的管理工具,Sybase數據倉庫相關產品的技術構成,Relational,Package,Legacy,External source,Data Clean Tool,Source Data,Data Staging,WareHouse Admin. Tools,Enterprise Data Warehouse,Data Extraction, Transformation and load,Datamart,Datamart,Enterprise/ Central Data Warehouse,RDBMS ROLAP,RDBMS,RDBMS, Star Schema,Architected Datamarts,Central Metadata,Local Metadata,Local Metadata,Sybase數據倉庫相關產品介紹,一個集成化的產品集,集成的主要產品,Integrate Enterprise Connect Replication Server PowerMart,Design Warehouse Architect,Manage Sybase ASIQ,議程,數據倉庫解決方案概述 Sybase數據倉庫技術解決方案 數據倉庫設計工具 抽取、轉換、清洗和裝載工具 數據存儲、管理服務器 數據分析和展現工具 數據字典（元數據）的管理工具,設計: 成功的關鍵,數據庫的設計對數據倉庫系統的整體性能、裝載和 建立索引的時間以及數據量的增長等的影響超過 任何其它方面。,數據倉庫設計工具WarehouseArchitect,為數據倉庫的設計提供三大功能： 多維建模 度量、維、屬性 事實表，維表 維層次表，事實層次表 設計向導 聚合（Aggregation Wizard） 分區（Partitioning Wizard） 逆向工程數據源 優化代碼生成 目標數據倉庫引擎（IQ，RDBMS) OLAP分析環境,設計:WarehouseArchitect,議程,數據倉庫解決方案概述 Sybase數據倉庫技術解決方案 數據倉庫設計工具 抽取、轉換、清洗和裝載工具 數據存儲、管理服務器 數據分析和展現工具 數據字典（元數據）的管理工具,數據抽取、轉換、清洗、集成,挑戰 多個、多種異構數據源 硬件，OS，RDBMS，文件 數據不規范，需要做大量的清洗和整合 轉換規則復雜，繁多 繁瑣的日常性工作，占80%工作量 數據質量保證 數據增量抽取 抽取工作過程化，自動化,數據抽取、轉換、清洗、集成,成功的關鍵 支持多個、多種異構數據源 輕松方便地設計數據的清洗，轉換和整合規則 日常事務性工作自動化完成 有完善的數據質量保證體系 有完備的數據增量抽取 直觀，面向過程化設計；自動化的執行 開放性，可擴展性，易于實施和維護,數據抽取、轉換、清洗、集成,解決的方案 手工編程實現 使用工具設計和實施 PowerMart/PowerCenter 開發環境，一系列工具用于設計、執行和維護 數據的抽取、轉換和裝載流程 抽取轉換引擎(服務器)，自動執行,集成: PowerMart,Mapping Designer,Transformation Developer,Sybase Informix Oracle Microsoft IBM/UDB ODBC DB2 SAP PeopleSoft VSAM Flat Files Web Logs XML IBM MQ Gateways,Sybase Informix Oracle Microsoft ODBC IBM/UDB SAP BW PeopleSoft EPM Flat Files Gateways,議程,數據倉庫解決方案概述 Sybase數據倉庫技術解決方案 數據倉庫設計工具 抽取、轉換、清洗和裝載工具 數據存儲、管理服務器 數據分析和展現工具 數據字典（元數據）的管理工具,數據存儲、管理,挑戰 數據規模 查詢性能 裝載速度 易于管理 存取訪問,成功的關鍵 快速，高效數據存儲技術 出色的查詢性能 - 特殊的索引 技術，并行查詢 可伸縮性 - GB 到 TB 級 易于管理 - 方便，靈活，GUI 存取訪問 - 數據隨時可用,數據管理,解決的方案 通用的關系數據庫系統 專門的數據倉庫服務器 Sybase IQ 專門為數據倉庫/數據集市設計的關系型數據庫 專門針對OLAP/DSS而優化的索引和查詢處理技術,Adaptive Server IQ,數據存儲： Adaptive Server IQ,無處不索引(Index EVERYWHERE) 數據壓縮(通常達到原始數據的 70 - 75%) 垂直存儲技術(Vertical Partitioning) 專利的Bit Wise索引技術跨越Bitmap的限制 多種索引類型：FP,LF,HNG,HG 低級數的限制從100擴充到1000 預連接的索引提供額外的顯著提高性能手段(Join Index) 支持任意設計模式 星型、雪花、雪暴、星座模式 普通關系模式 支持任意加載方式 文件、內部數據、外部數據庫直接加載 開放的接口,計算“NY”州 A類商店的 平均銷售額,當表的記錄數從幾萬條變為千萬和上億條時， 傳統RDBMS技術面對的問題: 表掃描的性能極端低下 冗余設計代價高昂、查詢讀取的無效字段過多 低級數類型數據上索引的失效 普通索引加載和空間代價，造成不能任意建造 即席查詢的SQL順序對性能有顯著影響 數值型比較和運算，無恰當手段加速處理,傳統RDBMS不適合數據倉庫,IQ的特殊存儲方式-垂直存儲（按列存儲）,Sybase IQ: 數據是按列存儲的，而不是按行存儲,好處: 只存取查詢所需的數據 數據類型是一致的，因而可以很容易被壓縮 數據庫易于修改和管理,Sybase IQ: 只讀完成查詢所 涉及到的列,計算在紐約的“A”類商店 的平均銷售額,IQ的特殊存儲方式-垂直存儲（按列存儲）,“How many MALES are NOT INSURED in CALIFORNIA?,Gender M M F M M -,800 Bytes/Row,10M ROWS,State NY CA CT MA CA -,RDBMS,Insured Y Y N Y N,10M Bits x 3 col / 8 16K Page,= 235 I/Os,800 Bytes x 10M 16K Page,= 500,000 I/Os,基本上只能使用表掃描 查詢過程讀取了太多的無效數據,IQ,Example: I/O 的明顯減少,IQ的索引特點,索引即是數據 沒有索引和數據的分別 任何一列可以建立多個索引 系統保證至少會存在一個索引（FP） 索引的選擇和設計主要基于： 數據的級數（離散值的個數） 在查詢中的使用方式 和SQL語句的順序無關,索引的種類,Fast Projection(FP) 數據壓縮存儲 根據數據的特點會自動使用三種方式中的一種 Low Fast (LF) Bit map 索引 High Non Group (HNG) Bit-wise 索引 High Group (HG) G-Array (包括一個改進的B-tree),FP Index normal FP,級數（取值個數） 65536 數據被壓縮存儲,Color,Red,Blue,Green,Red,FP Index - FFP,級數 256 內建一個1-byte的參照表,Lookup Table,Data,LF Index,傳統的 Bit Map 索引 級數小于1000 可以唯一 使用的可能性 Joins Group by MIN, MAX, SUM, AVG functions Where clause predicates Equality / Inequality, Ranges, IN lists,.,冗余設計時數據量比想象中要小得多 每一個取值都有一個相應的位 可以適應新的取值出現和行的增加 查詢： select count(*) from customers where state =AL,LF Index,HNG Index,Bit-Wise Index 數據按照二進制存儲 垂直分布和處理 Sybase的專利技術 cannot be used with certain data types 使用最佳范圍 range searches for high cardinality columns 運算 (sum and average functions),適合大量二進制的存儲 數據垂直分片 即每一個位都可以在內部被獨立操作 由于肯定存在大量的位同時為1或0，因此IQ在內部處理時會自動做數據壓縮,HNG - High Card Bit-Wise Index,HG Index,在Bit-Wise的基礎上增加一個B-Tree，并保證樹在加載時不會重建 最佳使用場合： Joins Select Distinct, Count Distinct Group By,1 0 0 0 1 0 0 1,突破性的速度 閃電般的快速查詢 快速裝載 無限的靈活性 任何查詢 任何模式 非常經濟 壓縮的數據存儲 支持多用戶查詢,Sybase IQ,Adaptive Server IQ 12: 專門設計的數據倉庫服務器,IQ12的技術參數,Column limit - now 16,000 per table (up from 255 - Great for SAS & SPSS customers) Row limit - now 281,474,976,710,700 (thats 281 Trillion Rows and change) Device size - up to 128GB (depending on OS) Device limit - now 65,524 (up from 2,000) Database Size limit - 8.4 Petabytes,Sybase IQ 真正的數據倉庫,Andyne,Brio,Business Objects,Gentia,Information Advantage,Information Discovery,InfoSpace,Linguistic Technology,Teleran Technology,Seagate Software,Mathsoft,Any Data, Any Time, Anywhere,Cognos,Adaptive Server IQ,議程,數據倉庫解決方案概述 Sybase數據倉庫技術解決方案 數據倉庫設計工具 抽取、轉換、清洗和裝載工具 數據存儲、管理服務器 數據分析和展現工具 數據字典（元數據）的管理工具,信息生產者,信息消費者,Brio.Insight,Brio.Quickview,客戶機服務器,Web/Intranet,高級用戶,活躍的分析人員,報表查閱者,信息技術人員,Brio.Enterprise 6.0 產品家族,Brio Enterprise 功能服務,功能服務,BrioQuery 查詢 OLAP 查詢 在線分析 (OLAP) 報表 EIS/腳本 制圖 審核 兩層安全防護,Broadcast Server 信息發布 作業調度 批處理查詢/報表 事件驅動處理 報表廣播,OnDemand Server 零管理客戶端 Web查詢 適應型報表 多層安全防護 集群服務器支持 SSL (安全套接層加密),BrioQuery,IQ數據倉庫,數據源-IQ數據倉庫,Transformer,Impromptu,*.iqd,任何數據源（關系型、平面型,數據倉庫) 自動生成PowerCube 用戶定義的業務規則和維度 10:1的數據壓縮 圖形化的瀏覽多維數據 完全交互式的報表探察,PowerPlay: OLAP 環境,Cognos BI 產品結構,PC Database,Oracle, Sybase, Informix, SQL Server, ODBC Gateway,Impromptu,.DBF .DB,.DBF, .DB, .XLS, .WKS, .CSV,Transformer,Authenticator,.MDC,PowerCubes,.PBB,PowerPlay,.PYH .MDL,.IQD,.PPR,.IMR,議程,數據倉庫解決方案概述 Sybase數據倉庫技術解決方案 數據倉庫設計工具 抽取、轉換、清洗和裝載工具 數據存儲、管理服務器 數據分析和展現工具 數據字典（元數據）的管理工具,元數據管理：什么是元數