【IT168 案例】
价值点评:这是一个金融行业的商业智能应用案例。大数据量是银行业务的最大特点,准确、存储、灵活,是对银行业务数据管理的要求。银行卡业务只是众多银行业务之一,却是发展最快、日益重要的业务。如何利用IT手段,满足银行卡经营管理的需要呢?中国农业银行银行卡统计分析系统给出了一个很好的案例,为众多希望提高业务综合竞争能力的企业提供了借鉴和参考。
中国农业银行是四大国有独资商业银行之一,网点遍布中国城乡,是国内网点最多、业务辐射范围最广的大型国有商业银行,全行每天交易增量数据达300G。近年,中国农业银行银行卡业务实现跨越式发展,市场份额显著增加,银行卡发卡量、存款余额、跨行交易量均有提高。
应用场景描述:技术跟不上业务发展
随着业务管理的不断深入,银行卡各级经营管理机构及各级监管机构对银行卡统计分析信息需求日益细化,中国农业银行现有报表系统已不能满足经营管理的需要,主要表现在:一数据手工录入,不能完全保证准确;二报表生成环节多,汇总时间长,任何一个环节产生问题,都会影响报表生成的及时性;三报表系统缺乏灵活性,不能根据业务发展需要进行调整;四现有系统的容量有限,不能进行复杂分析。
如何提高银行卡综合竞争能力,通过分析产品、细分市场,提高业务管理水平和产品创新能力摆到了中国农业银行的重要议事日程上。
案例技术细节:列式架构保证快速分析
中国农业银行的银行卡统计分析系统采用集中分布式体系架构,实现了总行集中式管理和分行自主数据处理的有机结合。系统应用Sybase ASE + Sybase IQ跨数据库模式,实现了数据处理、数据项生成、报表生成、智能调度、电子报表、数据项查询、辅助采集、多维分析、资源控制等功能,完成了农业银行借记卡、准贷记卡和部分贷记卡产品的统计分析,包括卡量、账户、存款余额、透支余额、银行卡收入和支出、银行卡的交易、商户、设备、网点等6600多个基本数据项、116类基础报表和15个主题的多维分析。
中国农业银行银行卡统计分析系统逻辑架构如下图所示:
在该银行卡统计分析系统中,Sybase IQ列式架构的应用保证了大数据量的快速分析与系统的可扩展性。Sybase IQ是应用于数据分析的关系型数据库,通过列存储、列并行处理、位图索引方法,以及智能的动态访问技术实现快速的查询响应速度,同时为快速批量数据加载提供了强大的技术保证。
u 节省存储空间
Sybase IQ存储管理数据时与传统RDBMS不同,是按列存储数据的,并利用比特式(bit-wise)索引及相应的压缩技术对数据库中的所有字段建索引,不仅查询效率大幅度提高,而且还降低了对磁盘空间的占用。以广东分行为例,每天35G的增量数据文件,原来在普通联机数据库上需要40G空间,而在IQ上只需18G存储开销,大大节省了磁盘空间。
u 提高查询性能
Sybase IQ的按列存储技术在选择满足查询条件的数据时,只须涉及到很少的数据页面,从而带来更高的吞吐量,使得IQ可以减少I/O超过90%。而IQ的13种索引类型,使IQ在查询优化时提高性能。银行卡系统在处理卡量余额数据项时,源表为三张5000万条记录级,进行关联操作,由原来的25小时缩短到5小时, CPU平均使用率由93%降到50%,内存平均使用率由50%降到30%。
案例实施效果:存储空间省一半,查询时间缩5倍
中国农业银行银行卡统计分析系统有效地保证和促进了全行银行卡统计工作的快速发展,主要体现在以下三方面:
1.在系统功能和性能的有效辅助下,银行卡统计分析工作效率明显提高,统计人员的劳动强度大为减轻,有效减少了银行卡经营的人力和物力成本,增收节支效果显著。
2.由于使用成熟的数据库管理系统代替传统统计方式,统计数据的准确性得到保证,使总分行的考核更加公平和准确。
3.使用IQ灵活、高效的快速开发工具,可以适应监管机构随时变化的统计需求,避免系统的重复开发。