信息化 频道

数据仓库解决方案

  数据仓库系统的实现需要经过以下一系列操作:

  数据整合(形成统一视图访问分布式的异构或同构数据)

  数据抽取 (从业务源数据到企业数据仓库)

  建立数据仓库的数据模型

  数据移动(从企业数据仓库到数据集市,)

  建立数据集市的数据模型

  前台应用的定制

  数据仓库实现过程

  企业级数据仓库的实现

  企业级数据仓库是指集成了电力决策分析之所需的业务数据的关系型数据库,这些数据是经过鉴定的和经过清洗的,并由数据仓库管理工具定义其存储的数据模型和监控其数据导入操作。

  建立企业级数据仓库的步骤包括以下五部分:

  1.数据模型的建立-----数据模型是数据仓库的蓝图,它根据数据仓库的用户需求而设计。没有数据模型的数据仓库如同盖房子没有蓝图,其成功机会可以想见。成功的数据模型往往需要技术人员和企业业务人员的共同努力。

  2.数据抽取----以定时或事件触发的方式实现对业务源数据的抽取,并将数据转移到企业级数据仓库。抽取方式包括全刷新和增量抽取方式;覆盖的源数据范围尽量广泛。由于数据仓库提供给用户的是准实时的数据,因此数据抽取的工作可选取定期地在业务系统空闲的时候进行,对反应时间的要求并非象交易系统那么严格。

  3.数据整理----将抽取来的源数据进行去冗余、消偏差、数据格式转换等一系列操作,保证数据一致性,并进行数据汇总、聚合运算,使数据符合数据模型的要求。在此阶段工具应提供丰富的数据重组功能。在数据抽取和整理阶段,所有操作应自动完成并可自动进行作业管理。

  4.数据存储管理----考虑到数据仓库的数据量相当大,数据存储的关系型数据库系统应支持大数据量的处理和访问。

  5.数据访问----对数据仓库进行的客户端访问,往往具有一次性操作数据量大、只查询不更新、操作方式多变等特征,与OLTP处理不一样。

  这一系列工作完全可以由数据仓库管理软件配合后台关系型数据库来完成,IBM 就是通过可视化数据仓库和DB2 来实现的。

  数据集市的实现

  数据集市是集中包含某一特定业务领域的数据的、面向部门或工作组的小型数据仓库。数据集市可以存在于关系型数据库或非关系型数据库,事实上它往往存在于不同的应用分析工具中,其特点是满足客户端对数据的迅速查询和浏览。

  建立数据集市的工作包括:

  建立数据集市的数据模型---包括OLAP模型、报表模型、关系型模型或挖掘分析模型;

  数据移动---数据从企业级数据仓库移动到数据集市

  数据整理---按分析方式和工具的特点,将数据进行索引、汇总、抽样等操作。

  数据存储和管理---由不同的应用工具进行管理。虽然数据量没有企业级数据集市大,但应用工具对大数据量的支持仍然是考虑的重点。

  数据访问---支持灵活、迅速的分布式的客户端访问。

  在数据集市一级,数据模型的建立仍然至关重要。但数据模型的特点将随应用分析工具的不同而改变。实现数据集市的应用分析工具包括:

  报表/资料检索工具

  OLAP工具及前端工具

  数据挖掘工具---用于发掘隐含在数据中的规律

  客户端访问

  相对而言,数据仓库的客户端访问不象中心数据结构那么重要。它侧重于使用的灵活性和接口的开放性,为了最大限度地减少信息人员的负担,简单的可视化定制开发功能必不可少。理想的前台工具,甚至只通过简单的培训,熟悉计算机的高级业务用户便可以直接定制自己想了解的信息。

  数据仓库主要实现的部分功能

  信息种类

  数据仓库管理系统能对所有关系型数据库、电子表格文件、文本文件、Access文件等进行直接的数据抽取、清洗和转换,并可将其内部数据存储在数据仓库中。对Word, PDF文件,HTML等所有其他文件,可以采用功能调用、URL链接等方式进行处理,其内部信息独立于数据仓库,但可为数据仓库所调用。

  数据主题域业务规划:

  由业务系统源数据与决策分析主题的对应关系,以下主题都是可实际构造的:

  1.内部机构主题

  2、电力客户主题

  3、电力规划主题

  4、电网运行主题

  5、生产技术主题

  6、生产运行主题

  7、人力资源主题

  8、物资主题

  9、财务主题

  10、综合指标主题

  11、电力计划主题

  12、全面计划全面预算管理主题

  在构造过程中,需要根据源数据的相关性、电力的分析需求、主题内容相关性等方面,具体情况具体分析,来定义全局数据模型和主题共享内容,例如:综合指标主题里的综合指标与财务主题中的财务数据、营销主题的营销数据、内部机构主题有一定重叠,而综合指标主题分析的电力营销与电力客户主题联系性非常强,甚至可以进行归并。

  应用系统规划


 
  对应用系统而言,每一个应用系统都与后台分析主题有密切的联系。在系统建设中,我们建立电力营销主题,可以支持电费收缴情况分析,并提供营销数据给经营管理指标统计应用和客户关系管理系统。

  对于营销应用分析,我们可以采取的分析应用角度可以包括、但不局限于以下各点:电量销售情况分析,电力需求分析,典型用户分析(包括大型用电用户分析和欠费用户分析),电力市场需求预测(用电形势预测),业扩报装,用电检查,装表修试(包括电表统计和装表修试)等等。

  其中,电力需求分析分别从时间、机构、电价类型、用电类型等角度对用电量、售电量、用电负荷等指标进行全面分析,发现各行业用电量的构成特点,企业生产经营活动基本态势,为科学地进行电力需求预测提供合理的依据,促进电力市场的进一步发展。

  而典型用户分析可以分别从时间、机构、用电类别、电价类别、收费方式、力调标准、有功表状态、用户类型、行业类型、缴费方式等角度对实用电度、总电费、户数、欠收金额、电度电费、农网改造税、迟纳金、增值税、三峡基金税、市政附加电费等数据指标进行全面分析,揭示大型用电用户和欠费用户这两类典型用户的构成特点、变化趋势,从大量的客户数据中,细致地发现和分析不同用户地客户地用电习惯,用电量变化,个人用电规律,缴费方式和经济能力等信息,确定不同的信誉度、不同经济能力、不同用电爱好和不同缴费方式的用户群,为客户提供体贴温馨的个性化服务,稳固地拓展电力市场,有效地提高供电企业地形象。

  数据集市规划需求

  数据集市以功能划分,使用OLAP工具来完成模型的定义和数据集市的建立。数据模型的定义继承数据仓库的模型划分标准。

  对省公司的下属机构,有两种处理方案:

  一是可以采用在省公司数据中心的数据仓库基础上建立视图的方式来建立多个逻辑型数据集市,视图安全性由数据仓库控制,OLAP数据分析模型的数据来源于数据仓库,不同的视图形成多个同构的业务动态分析模型,每个同构的模型具有同样的复杂分析功能设计;

  另一种现实可行的方案是数据仓库的模型无需划分视图,在OLAP工具中形成全局性的业务动态分析模型,然后在OLAP模型中划分省公司的下属机构可访问的信息切面,信息切面的视图安全性由OLAP工具控制;

  两种方案均可实现,在实施过程中我们可以根据数据特性和安全管理的复杂度灵活使用。

  主要技术功能

  系统的结构设计能满足以下要求:

  对电力公司的业务数据进行全面的采集和集中存储,并建立物理数据模型,对采集上来的数据进行各种规整处理。

  依据各部门的实际应用需求,设计相对应的逻辑数据模型。

  支持后台任务调度与管理—从数据采集、清洗、转换到集中存储到数据仓库中,到OLAP数据的应用下载和计算,一系列数据仓库任务,都可以进行定时或者顺序、并行调度。

  开发前端应用—前端工具的开发支持多种开发方式,包括JAVA, C, C++, VB,VC, PowerBuilder, Delphi等等语言和工具均可进行前端应用开发。

  具备数据的管理能力、与应用系统的交流与协调机制。

  具有完善的元数据管理机制,

  具备或支持实现适当粒度的权限控制--对粒度的权限控制可以从多个角度进行严密控制,包括关系型数据库、OLAP服务器均有相应功能提供。

  具备足够的扩展性--本建议书提供了对硬件扩展性、数据量扩展性和应用扩展性的支持。

  可以整合其它软硬件系统和不同开发商应用,如Oracle, BEA等等。

0
相关文章