【IT168 信息化】
一、引 言
随着计算机技术的飞速发展和企业界不断提出新的需求,数据仓库技术应运而生。传统的数据库技术是以单一的数据资源即数据库为中心,进行从事务处理、批处理到决策分析等各种类型的数据处理工作。而不同类型的数据处理有着其不同的处理特点,以单一的数据组织方式进行组织的数据库并不能反映这种差异,满足不了数据处理的要求。随着数据库应用的广泛普及,人们对数据处理的这种多层次特点有了更清晰的认识、数据仓库是以传统的数据库技术作为存储数据和曾理资源的基本手段,以统计分析技术作为分析和提取信息的有效方法,以人工智能技术作为挖掘知识和发现规律的科学途径。它是诸多学科相互结合、综合应用的技术。它是一种解决问题的方案,而不是可以买到的现成产品
二、什么是数据仓库
数据仓库是作为决策支持系统(DSS)服务基础的分析型数据库,它用于更好地支特企业或组织的决策分析处理,是一种面向主题的、集成的、随时间不断变化的、非易失的数据集合。
1、面向主题——主题是一个较高层次上对数据的抽象,面向主题的数据组织方式,就是在较高层次上刘分析对象数据的一个完整、一致的描述,能完整统一地刻画各个分析对象所涉及的企业的数据项,以及数据之间的联系。数据仓库关注决策者的数据建模与分析,而不是构造组织机构日常的控制和事物处理。
2、集成——将多个异种数据源,如关系数据库文件、一般文件、联机事务处理记录等等集成在一起由于不同数据源中的数据有类型、命名、单位、字长等不一致等矛盾,所以需先统一,然后进行数据的综合和计算。
3、时变——数据仓库随时间变化不断增加新的、不断删去旧的数据内容。数据仓库中包含有大量的综合数据,这些综合数据中很多跟时间有关,如数据经常按照时间进行综合,或隔一定的时间片进行抽样等,是随时间不断变化的,存储从历史的角度提供信息。
4、非易失——数据仓库总是物理地分离存放数据,由操作环境下的应用数据转换来。由于这种分离,数据仓库不需要事务处理、恢复和并行控制。
三、操作数据库与数据仓库
数据库系统作为数据管理手段,主要用于事务处理在这此数据库中保存了大量的日常业务数据。传统的DSS一般是直接建立在这种事务处理环境上的。以业务处理为主的是联机事务处理系统(On-Line Transaction Processlng,OLTP) 。近年来新兴的一门软件技术称为联机分析处理技术(On-Line Analytical Processing,OLAP) ,它专门设计用于支持复杂的分析操作,侧重于对决策人员和高层管理人员的决策支持OLTP与OLAP的区别表现在:
1、用户和系统的面向性不同:OLTP面向操作人员和低层管理人员,如顾客、办事员等;OLAP面向决策人员和高层管理人员,如市场、经理、主管等决策者。
2、数据内容不同:OLTP是管理当前的数据,对基本数据进行查询和增、删、改操作处理,是以数据库为基础;OLAP是管理历史的、导出的及综合提炼的数据,比OLTP要多一步数据多维化或预综合处理的操作。
3、数据库设计模型不同:OLTP采用E-R模型;OLAP采用星型或雪花模型。
4、视图不同:OLTP关注一个部门或企业的当前数据,不涉及其他组织的数据和历史数据;OLAP跨越数据库模式的多个版本,处理来自不同组织、不同领域的数据及历史数据。
5、访问模式不同:OLTP由短小、原子事务组成,需要并行恢复机制;OLAP访问的大部分是只读操作和历史的数据,而不是当前的数据。
四、OLAP操作技术
OLAP的操作主要是对多维数据进行的。主要有上卷(roll up)、下钻(drill down)、切片(slide)、切块(dice)和转动。
1、上卷也称上钻(drill up):通过维层次向上攀升或通过维化简,在数据上进行聚集。
例:位置维门牌号、街道、区、市、省,当前位置是街道维,如果上卷则成为区维,再上卷则为市维……
上卷也可以删除维。
2、下钻:是上卷的逆操作。
如果当前位置是区维,下钻则是街道维、门牌维……
3、切片:是在给定的一个数据方的一个维上进行选择,导致一个子方。
4、切块:通过对两个或多个维进行选择。
5、转动:数据没有发生改变,只是改变一个报告和页面显示维的方向。
五、结束语
数据仓库是数据库发展的必然,而OLAP也在决策人员迫切需要准确、及时并可以灵活访问的决策信息的背景下兴起,OLAP主要是在已有的数据基础上对数据进行对维化及预综合处理,同时在前端软件上,提供多维访问界面以满足决策人员的需求。