IT數(shù)據(jù)運維：數(shù)據(jù)倉庫與數(shù)據(jù)庫

2020-04-15 19:53 作者：admin 瀏覽量：

 
一、定義
數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間變化的、但信息本身相對穩(wěn)定的數(shù)據(jù)集合，用于對管理決策過程的支持。
 
二、數(shù)據(jù)倉庫的四個特點
· 面向主題：數(shù)據(jù)倉庫都是基于某個明確主題，僅需要與該主題相關(guān)的數(shù)據(jù)，其他的無關(guān)細節(jié)數(shù)據(jù)將被排除掉
· 集成的：從不同的數(shù)據(jù)源采集數(shù)據(jù)到同一個數(shù)據(jù)源，此過程會有一些ETL操作
· 隨時間變化：關(guān)鍵數(shù)據(jù)隱式或顯式的基于時間變化
· 數(shù)據(jù)倉庫的數(shù)據(jù)是不可更新的：數(shù)據(jù)裝入以后一般只進行查詢操作，沒有傳統(tǒng)數(shù)據(jù)庫的增刪改操作。數(shù)據(jù)倉庫的數(shù)據(jù)反映的是一段相當長的時間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是不同時點的數(shù)據(jù)庫快照的集合，以及基于這些快照進行統(tǒng)計、綜合和重組的導(dǎo)出數(shù)據(jù)，而不是聯(lián)機處理的數(shù)據(jù)。
 
三、數(shù)據(jù)庫與數(shù)據(jù)倉庫的區(qū)別
數(shù)據(jù)庫：是一種邏輯概念，用來存放數(shù)據(jù)的倉庫。通過數(shù)據(jù)庫軟件來實現(xiàn)。數(shù)據(jù)庫由很多表組成，表是二維的，一張表里可以有很多字段。字段一字排開，對應(yīng)的數(shù)據(jù)就一行一行寫入表中。數(shù)據(jù)庫的表，在于能夠用二維表現(xiàn)多維關(guān)系。目前市面上流行的數(shù)據(jù)庫都是二維數(shù)據(jù)庫。如：Oracle、DB2、MySQL、Sybase、MS SQL Server等。
業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)結(jié)構(gòu)是為了完成交易而設(shè)計的，不是為了而查詢和分析的便利設(shè)計的。業(yè)務(wù)數(shù)據(jù)庫大多是讀寫優(yōu)化的，即又要讀（查看商品信息），也要寫（產(chǎn)生訂單，完成支付）。
數(shù)據(jù)倉庫：是數(shù)據(jù)庫概念的升級。從邏輯上理解，數(shù)據(jù)庫和數(shù)據(jù)倉庫沒有區(qū)別，都是通過數(shù)據(jù)庫軟件實現(xiàn)的存放數(shù)據(jù)的地方，只不過從數(shù)據(jù)量來說，數(shù)據(jù)倉庫要比數(shù)據(jù)庫更龐大得多。數(shù)據(jù)倉庫主要用于數(shù)據(jù)挖掘和數(shù)據(jù)分析，輔助領(lǐng)導(dǎo)做決策。
數(shù)據(jù)倉庫的表結(jié)構(gòu)是依照分析需求，分析維度，分析指標進行設(shè)計的。
數(shù)據(jù)庫 比較流行的有：MySQL, Oracle, SqlServer等
數(shù)據(jù)倉庫 比較流行的有：AWS Redshift, Greenplum, Hive等。
 
數(shù)據(jù)庫與數(shù)據(jù)倉庫的區(qū)別：  
四、數(shù)據(jù)倉庫的應(yīng)用
1.數(shù)據(jù)分析、數(shù)據(jù)挖掘、人工智能、機器學習、風險控制、無人駕駛。
2.數(shù)據(jù)化運營、精準運營。
3.廣告精準、智能投放。
五、數(shù)據(jù)倉庫架構(gòu)圖
ODS層：
為臨時存儲層，是接口數(shù)據(jù)的臨時存儲區(qū)域，為后一步的數(shù)據(jù)處理做準備。一般來說ODS層的數(shù)據(jù)和源系統(tǒng)的數(shù)據(jù)是同構(gòu)的，主要目的是簡化后續(xù)數(shù)據(jù)加工處理的工作。從數(shù)據(jù)粒度上來說ODS層的數(shù)據(jù)粒度是最細的。ODS層的表通常包括兩類，一個用于存儲當前需要加載的數(shù)據(jù)，一個用于存儲處理完后的歷史數(shù)據(jù)。歷史數(shù)據(jù)一般保存3-6個月后需要清除，以節(jié)省空間。但不同的項目要區(qū)別對待，如果源系統(tǒng)的數(shù)據(jù)量不大，可以保留更長的時間，甚至全量保存；
PDW層：
為數(shù)據(jù)倉庫層，PDW層的數(shù)據(jù)應(yīng)該是一致的、準確的、干凈的數(shù)據(jù)，即對源系統(tǒng)數(shù)據(jù)進行了清洗（去除了雜質(zhì)）后的數(shù)據(jù)。這一層的數(shù)據(jù)一般是遵循數(shù)據(jù)庫第三范式的，其數(shù)據(jù)粒度通常和ODS的粒度相同。在PDW層會保存BI系統(tǒng)中所有的歷史數(shù)據(jù)，例如保存10年的數(shù)據(jù)。
DM層：
為數(shù)據(jù)集市層，這層數(shù)據(jù)是面向主題來組織數(shù)據(jù)的，通常是星形或雪花結(jié)構(gòu)的數(shù)據(jù)。從數(shù)據(jù)粒度來說，這層的數(shù)據(jù)是輕度匯總級的數(shù)據(jù)，已經(jīng)不存在明細數(shù)據(jù)了。從數(shù)據(jù)的時間跨度來說，通常是PDW層的一部分，主要的目的是為了滿足用戶分析的需求，而從分析的角度來說，用戶通常只需要分析近幾年（如近三年的數(shù)據(jù)）的即可。從數(shù)據(jù)的廣度來說，仍然覆蓋了所有業(yè)務(wù)數(shù)據(jù)。
APP層：
為應(yīng)用層，這層數(shù)據(jù)是完全為了滿足具體的分析需求而構(gòu)建的數(shù)據(jù)，也是星形或雪花結(jié)構(gòu)的數(shù)據(jù)。從數(shù)據(jù)粒度來說是高度匯總的數(shù)據(jù)。從數(shù)據(jù)的廣度來說，則并不一定會覆蓋所有業(yè)務(wù)數(shù)據(jù)，而是DM層數(shù)據(jù)的一個真子集，從某種意義上來說是DM層數(shù)據(jù)的一個重復(fù)。從極端情況來說，可以為每一張報表在APP層構(gòu)建一個模型來支持，達到以空間換時間的目的數(shù)據(jù)倉庫的標準分層只是一個建議性質(zhì)的標準，實際實施時需要根據(jù)實際情況確定數(shù)據(jù)倉庫的分層，不同類型的數(shù)據(jù)也可能采取不同的分層方法。  
六、數(shù)據(jù)倉庫技術(shù)
數(shù)據(jù)倉庫技術(shù)是為了有效的把操作型數(shù)據(jù)集成到統(tǒng)一的環(huán)境中以提供決策型數(shù)據(jù)訪問的各種技術(shù)和模塊的總稱。所做的一切都是為了讓用戶更快更方便查詢所需要的信息，提供決策支持。從功能結(jié)構(gòu)劃分，數(shù)據(jù)倉庫系統(tǒng)至少應(yīng)該包含數(shù)據(jù)獲取（Data Acquisition）、數(shù)據(jù)存儲（Data Storage）、數(shù)據(jù)訪問（Data Access）三個關(guān)鍵部分。在國內(nèi)最優(yōu)秀的互聯(lián)網(wǎng)公司里(如阿里、騰訊)，很多數(shù)據(jù)引擎是架構(gòu)在數(shù)據(jù)倉庫之上的(如數(shù)據(jù)分析引擎、數(shù)據(jù)挖掘引擎、推薦引擎、可視化引擎等等)。
以上內(nèi)容由北京艾銻無限科技發(fā)展有限公司整理