數(shù)據(jù)倉庫架構(gòu)培訓(xùn).ppt

《數(shù)據(jù)倉庫架構(gòu)培訓(xùn).ppt》由會員分享，可在線閱讀，更多相關(guān)《數(shù)據(jù)倉庫架構(gòu)培訓(xùn).ppt（37頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

目錄 廠商的數(shù)據(jù)倉庫架構(gòu) IBM數(shù)據(jù)倉庫架構(gòu) NCR數(shù)據(jù)倉庫架構(gòu) SAP的數(shù)據(jù)倉庫 兩級數(shù)據(jù)倉庫架構(gòu) 公司的數(shù)據(jù)倉庫架構(gòu) 業(yè)務(wù)系統(tǒng) 數(shù)據(jù)存儲平臺 數(shù)據(jù)倉庫應(yīng)用平臺 EDW DDS 對外接口 數(shù)據(jù)交換平臺 數(shù)據(jù)挖掘與分析系統(tǒng) 其它應(yīng)用 OLAP ADS DM 系統(tǒng)總體架構(gòu)圖 歷史數(shù)據(jù)存儲 HDS 操作數(shù)據(jù)存儲 ODS 主數(shù)據(jù) ETL 數(shù)據(jù)質(zhì)量管理 業(yè)務(wù)系統(tǒng) 數(shù)據(jù)存儲平臺 數(shù)據(jù)倉庫應(yīng)用平臺 EDW DDS 對外接口 數(shù)據(jù)交換平臺 數(shù)據(jù)挖掘與分析系統(tǒng) 其它應(yīng)用 OLAP ADS 公司實(shí)施常用架構(gòu) 歷史數(shù)據(jù)存儲 HDS DM ETL 數(shù)據(jù)質(zhì)量管理 數(shù)據(jù)存儲與ETL 11 數(shù)據(jù)存儲 主數(shù)據(jù)存儲 模型特點(diǎn)ER模型 與業(yè)務(wù)系統(tǒng)中代碼信息存放方式類似數(shù)據(jù)標(biāo)準(zhǔn) 在企業(yè)中采用統(tǒng)一的編碼規(guī)則和標(biāo)準(zhǔn)保留歷史 保留主數(shù)據(jù)變化的版本 ODS數(shù)據(jù)存儲 模型特點(diǎn)ER模型 與業(yè)務(wù)系統(tǒng)中模型基本一致 盡量減少由于數(shù)據(jù)處理帶來的時(shí)間消耗實(shí)時(shí)性 保存實(shí)時(shí)變化的數(shù)據(jù) EDW數(shù)據(jù)存儲 模型特點(diǎn)采用3NF方式建模 采用面向?qū)ο蟮慕７绞綇臉I(yè)務(wù)模型入手 結(jié)合實(shí)際的業(yè)務(wù)系統(tǒng)的數(shù)據(jù) 使用主題域?qū)?shù)據(jù)進(jìn)行抽象建模原則全面性 最終應(yīng)該能夠覆蓋到客戶經(jīng)營活動中所有的業(yè)務(wù)數(shù)據(jù)抽象性 從業(yè)務(wù)的角度把客戶的所有業(yè)務(wù)要素抽象成若干對象 采用面向?qū)ο蟮脑O(shè)計(jì)方法擴(kuò)展性 其體系結(jié)構(gòu)應(yīng)該能夠適應(yīng)客戶今后業(yè)務(wù)的發(fā)展高效性 應(yīng)該注意不要使對象之間的關(guān)系過于復(fù)雜 導(dǎo)致在實(shí)際查詢時(shí)的速度過慢 DDS數(shù)據(jù)存儲 模型特點(diǎn)星型模型 以維度表和事實(shí)表的方式對數(shù)據(jù)進(jìn)行組織和存放面向需求 從滿足應(yīng)用需求的角度進(jìn)行設(shè)計(jì) 從中找出維度 維和分析變量粒度較粗 從明細(xì)數(shù)據(jù)匯總得到 數(shù)據(jù)抽取 數(shù)據(jù)加載 數(shù)據(jù)映射 數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)清洗 從HDS或ODS中獲取所需數(shù)據(jù) 清除錯(cuò)誤的 不符合業(yè)務(wù)邏輯的數(shù)據(jù) 將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)字段對應(yīng)到主數(shù)據(jù)的數(shù)據(jù)字段 將數(shù)據(jù)轉(zhuǎn)換成主數(shù)據(jù)的模型 將轉(zhuǎn)換完畢的數(shù)據(jù)寫入物理數(shù)據(jù)庫 數(shù)據(jù)標(biāo)準(zhǔn)化 按照數(shù)據(jù)的標(biāo)準(zhǔn) 對數(shù)據(jù)進(jìn)行統(tǒng)一 主數(shù)據(jù)加載 數(shù)據(jù)抽取 數(shù)據(jù)加載 數(shù)據(jù)映射 數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)清洗 從HDS或ODS中獲取所需數(shù)據(jù) 清除錯(cuò)誤的 不符合業(yè)務(wù)邏輯的數(shù)據(jù) 將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)字段對應(yīng)到EDW的數(shù)據(jù)字段 將數(shù)據(jù)轉(zhuǎn)換成EDW的模型 將轉(zhuǎn)換完畢的數(shù)據(jù)寫入物理數(shù)據(jù)庫 數(shù)據(jù)標(biāo)準(zhǔn)化 按照數(shù)據(jù)的標(biāo)準(zhǔn) 對數(shù)據(jù)進(jìn)行統(tǒng)一 EDW數(shù)據(jù)加載 數(shù)據(jù)抽取 數(shù)據(jù)加載 數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)匯總 數(shù)據(jù)映射 從EDW數(shù)據(jù)存儲中獲取所需數(shù)據(jù) 將EDW存儲模型的字段 對應(yīng)到DDS存儲模型的字段 把數(shù)據(jù)從EDW的ER模型轉(zhuǎn)換為DDS的多維存儲模型 把EDW中的數(shù)據(jù)進(jìn)行一定程度的匯總 將轉(zhuǎn)換完畢的數(shù)據(jù)寫入物理數(shù)據(jù)庫 DDS數(shù)據(jù)加載 前端業(yè)務(wù)應(yīng)用與管理系統(tǒng) 應(yīng)用服務(wù)層 數(shù)據(jù)中心存儲平臺 DDS OLAP DM MetaData 數(shù)據(jù)服務(wù)層 OLAP引擎 元數(shù)據(jù)管理服務(wù) 管理和審計(jì)服務(wù) BI引擎 統(tǒng)一的安全管理 EDS 數(shù)據(jù)訪問層代理 WebServer 瀏覽器 GUI應(yīng)用程序 ODS 數(shù)據(jù)交換服務(wù) 主數(shù)據(jù)管理服務(wù) 分析型應(yīng)用 企業(yè)績效KPI 業(yè)務(wù)報(bào)務(wù) 業(yè)務(wù)應(yīng)用 跨部門 跨業(yè)務(wù)應(yīng)用 應(yīng)用層次規(guī)劃 資產(chǎn)分析 成本分析 業(yè)務(wù)分類 財(cái)務(wù) 生產(chǎn) 銷售 KPI 庫存 物流 盈利 產(chǎn)量 原料 質(zhì)檢 銷量 市場 競爭對手 市場 生產(chǎn)指標(biāo) 財(cái)務(wù)指標(biāo) 銷售指標(biāo) 庫存分析 應(yīng)用分類 管理系統(tǒng) 元數(shù)據(jù)管理 主數(shù)據(jù) 數(shù)據(jù)中心 ODS EDS DDS DM 應(yīng)用系統(tǒng) ETL 元數(shù)據(jù)數(shù)據(jù)源 元數(shù)據(jù)存儲平臺 業(yè)務(wù)元數(shù)據(jù) 業(yè)務(wù)指標(biāo) 維度 技術(shù)元數(shù)據(jù) 維度 ADS ETL信息 應(yīng)用系統(tǒng)信息 管理元數(shù)據(jù) ETL日志 應(yīng)用系統(tǒng)日志 權(quán)限 元數(shù)據(jù)應(yīng)用平臺 維護(hù)功能 業(yè)務(wù)元數(shù)據(jù)維護(hù) 技術(shù)元數(shù)據(jù)維護(hù) 查詢功能 分類導(dǎo)航 全文檢索 日志查詢 權(quán)限查詢 展現(xiàn)功能 動態(tài)指標(biāo)解釋 信息展示 血緣關(guān)系 OLAP 業(yè)務(wù)指標(biāo) 需求 主數(shù)據(jù)管理 商務(wù)智能工具 SOA技術(shù) WEB技術(shù) 實(shí)施技術(shù) 實(shí)施過程 數(shù)據(jù)倉庫實(shí)施方法 自下而上從業(yè)務(wù)數(shù)據(jù)入手 建立數(shù)據(jù)模型建立完整的后臺數(shù)據(jù)自上而下完全基于業(yè)務(wù)需求分析的結(jié)果以需求確定后臺的數(shù)據(jù)范圍迭代開發(fā)整個(gè)建設(shè)過程分為多個(gè)迭代過程從關(guān)鍵的業(yè)務(wù)入手 即考慮后臺數(shù)據(jù) 又提供前端展現(xiàn) 28 項(xiàng)目組架構(gòu) 實(shí)施流程 項(xiàng)目準(zhǔn)備 項(xiàng)目規(guī)劃 技術(shù)架構(gòu) 源數(shù)據(jù)分析數(shù)據(jù)建模 應(yīng)用設(shè)計(jì)開發(fā) ETL設(shè)計(jì)開發(fā) 集成測試 系統(tǒng)上線 運(yùn)行維護(hù)系統(tǒng)演進(jìn) 項(xiàng)目管理 實(shí)施案例 業(yè)務(wù)系統(tǒng) 數(shù)據(jù)存儲平臺 數(shù)據(jù)倉庫應(yīng)用平臺 EDW DDS 對外接口 數(shù)據(jù)交換平臺 數(shù)據(jù)挖掘與分析系統(tǒng) 其它應(yīng)用 OLAP ADS DM 數(shù)據(jù)中心 案例1 歷史數(shù)據(jù)存儲 HDS 操作數(shù)據(jù)存儲 ODS 主數(shù)據(jù) ETL 數(shù)據(jù)質(zhì)量管理 業(yè)務(wù)系統(tǒng) 數(shù)據(jù)存儲平臺 數(shù)據(jù)倉庫應(yīng)用平臺 EDW DDS 對外接口 數(shù)據(jù)交換平臺 數(shù)據(jù)挖掘與分析系統(tǒng) 其它應(yīng)用 OLAP ADS DM 數(shù)據(jù)倉庫 案例2 歷史數(shù)據(jù)存儲 HDS 操作數(shù)據(jù)存儲 ODS 主數(shù)據(jù) ETL 數(shù)據(jù)質(zhì)量管理 業(yè)務(wù)系統(tǒng) 數(shù)據(jù)存儲平臺 數(shù)據(jù)倉庫應(yīng)用平臺 EDW DDS 對外接口 數(shù)據(jù)交換平臺 數(shù)據(jù)挖掘與分析系統(tǒng) 其它應(yīng)用 OLAP ADS DM 數(shù)據(jù)倉庫 案例3 歷史數(shù)據(jù)存儲 HDS 操作數(shù)據(jù)存儲 ODS 主數(shù)據(jù) ETL 數(shù)據(jù)質(zhì)量管理 業(yè)務(wù)系統(tǒng) 數(shù)據(jù)存儲平臺 數(shù)據(jù)倉庫應(yīng)用平臺 EDW DDS 對外接口 數(shù)據(jù)交換平臺 數(shù)據(jù)挖掘與分析系統(tǒng) 其它應(yīng)用 OLAP ADS DM 數(shù)據(jù)倉庫 案例4 歷史數(shù)據(jù)存儲 HDS 操作數(shù)據(jù)存儲 ODS 主數(shù)據(jù) ETL 數(shù)據(jù)質(zhì)量管理 業(yè)務(wù)系統(tǒng) 數(shù)據(jù)存儲平臺 數(shù)據(jù)倉庫應(yīng)用平臺 EDW DDS 對外接口 數(shù)據(jù)交換平臺 數(shù)據(jù)挖掘與分析系統(tǒng) 其它應(yīng)用 OLAP ADS DM 數(shù)據(jù)倉庫 案例5 歷史數(shù)據(jù)存儲 HDS 操作數(shù)據(jù)存儲 ODS 主數(shù)據(jù) ETL 數(shù)據(jù)質(zhì)量管理 業(yè)務(wù)系統(tǒng) 數(shù)據(jù)存儲平臺 數(shù)據(jù)倉庫應(yīng)用平臺 EDW DDS 對外接口 數(shù)據(jù)交換平臺 數(shù)據(jù)挖掘與分析系統(tǒng) 其它應(yīng)用 OLAP ADS DM BI系統(tǒng) 案例6 歷史數(shù)據(jù)存儲 HDS 操作數(shù)據(jù)存儲 ODS 主數(shù)據(jù) ETL 數(shù)據(jù)質(zhì)量管理 追求卓越不斷創(chuàng)新客戶至上