数据中心系统设计方案框架

　　整合后的数据中心作为一个完整的证券行业数据服务体系，其基本功能目标要满足以下几类数据服务需求：

　　原始基础数据服务。这类数据服务主要是面向那些需要某个单独源系统整合基础数据的管理系统，所提供的数据直接来自于源系统，只是在数据集成平台进行了清洗和标准化处理。

　　整合基础数据服务。这类数据服务主要是面向那些需要多个源系统整合基础数据的管理系统。这些数据来自多个源系统的整合数据，可以通过某个属性关联起来，原则上这些数据除了标准化处理以及通过关键字把信息合并之外，不会做其他加工处理。

　　加工汇总数据服务。这类数据服务主要是面向那些需要进行加工汇总处理数据的管理系统，比较典型的是绩效考核系统和EDW，这些系统需要根据大量的历史基础数据进行计算。通常的做法是把一些需要基于历史基础数据进行大量运算处理的指标在数据集成平台完成预处理，然后再通过数据交换平台提供给相应的管理系统。

　　准实时基础数据服务。这类数据服务主要是面向对数据时效性要求较高的管理系统，比如资金管理系统、交易风险监控系统等。这是一个介于交易数据服务体系和管理数据服务体系之间的目标。既可以考虑在交易数据服务体系中实现，也可以考虑在管理数据服务体系中实现。

　　根据前文中所描述的证券公司数据中心的设计特点和设计原则，结合证券公司实际的系统架构和业务情况，得到如下的总体设计框架。数据中心系统主要由四大模块组成，即采集中心、处理中心、数据网关和控制中心。

　　采集中心。数据采集部分主要完成从数据源采集数据，传输并存入数据中心的主数据库的任务。在证券公司业务系统框架下，它主要采集各个业务子系统数据源中的原始数据，并完成数据传输和记录等任务。考虑到证券行业的数据特点，数据采集系统应考虑以下几点：数据采集不能影响业务系统的正常运行。采集得到的数据是公司的关键数据，必须保证数据采集、传输的安全性。

　　处理中心。处理中心部分完成数据的规整、转换以及一些数据预处理功能。包括文件接收、数据入库、转换、清洗和装载等过程。处理中心同时也是整个数据中心体系中的核心部分。它通常采用以下步骤实现：数据提取：捕获源数据的过程。有完全复制和增量复制两种主要方法；数据清理：清理有效数据，使之更精确更有意义；数据集成：将多个数据源联合成一个统一数据接口来进行数据分析的过程。对于证券公司来说，数据分布在多个系统中，因此，数据集成的规则可能相当复杂，数据转换逻辑和算法必须要切合实际的业务规则。集成结果通常生成新的数据实体或属性，使数据变得易于终端用户进行访问和理解。数据聚集：收集并以总结形式表达信息的过程。数据聚集通常是以业务报表的形式出现的。数据装载：是整个过程的最后步骤，即将数据移入目标表。

　　数据网关。数据网关是应用系统和数据中心之间的封装层，其目的就是为应用系统提供数据支持，应用系统必须通过数据网关才能获取数据中心存储的数据。它的核心功能包括：封装隔离功能、数据服务功能、安全认证功能。

　　控制中心。控制中心主要用来对数据中心内部各模块的正常运行提供支持。主要包括任务管理、日志管理、认证服务、数据库密码服务器、消息管理、系统监控和系统维护等功能。

　　证券公司开展数据中心建设，全面整合交易、客户、财务、清算等数据，为总部各应用系统提供统一而清洁的数据支持。通过数据中心提高证券公司总部各应用系统的处理效率，加强对各分支机构的集中管理，节约证券公司行政管理和风险控制的管理成本，提高证券公司的创新能力，是新时期证券公司通过内涵发展、提升竞争能力的必由之路，对于证券公司的发展具有无可替代的关键作用。（作者：宏源证券股份有限公司副总经理 杨玉成）