【IT168 信息化】

　　第一章 绪论

　　近几年，商业智能(BI)技术得到了大量的应用并取得显著的应用效果，相应的商业智技术也日趋成熟。国外知名的商业智能(BI)软件供应商相继在国内亮相，国内的BI厂商也纷纷推出了各自的商业智能产品，IBM、ORACLE、微软等公司纷纷推出了支持BI开发和应用的软件系统。目前商业智能主要应用在金融、电信、保险、零售等数据集中程度高的行业，但在生产制造领域内，尤其是配方产品的制造行业，由于企业信息化水平高低不齐，商业智能并未得到很好的利用。配方产品企业积累的大量的历史数据，其中蕴含这很多宝贵的经验和知识，企业急需从这些数据挖掘出这些知识，使传统的经验配方转变为科学配方，以支持产品质量的稳定和提高以及新产品的开发，提高品牌产品的综合竞争能力。

　　在业务需求上，随着数据库、数据仓库技术的发展，企业积累的生产数据也呈现指数级的增长。数据积累只是一个过程，它最终的目的是从海量的数据中提取出实用、有价值的信息，从而能指导以后的生产和决策，提高产品质量和企业效益，使企业在激烈的竞争中站稳脚跟。对于配方行业来说，其配方产品的制造流程大致相同，都是经过原料采购，原料的存储和加工，配方的设计以及生产线制造等，最终的产品质量的好坏也是通过消费者或专家的感官评估情况判断的。在整个制造过程中，包括基础原料指标数据、辅助材料规格、生产配方的组合信息，加工过程中的工艺参数等，所有这些数据参数都会影响最终产品的质量。那么它们之间是怎样的影响关系，怎么来描述这种影响，控制和改变哪些数据和指标能够提高最终产品的质量，是我们值得研究和感兴趣的问题。以往只是行业专家凭借多年的生产经验能对问题进行一定的解释，很难被其他人掌握，而且这些经验由于缺乏科学理论依据，不能快速形成知识为大家所掌握，使相关工作人员的业务掌握程度很慢，在一定程度上阻碍了科研的进行和新产品的开发。要想把这些产品数据内部的知识突破专家的界限，以更简单的方式呈现在所有人的面前，让更多人掌握，需要信息技术的支持，需要完整规划的配方设计计算机系统。在技术需求上，商业智能由业务需求的驱动而产生，由决策支持系统发展而来。它是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息，通过数据分析和数据挖掘，来实现数据一信息一知识一决策过程的系统实现技术商业智能作为一种技术架构，是目前相对成熟的支持数据分析、数据挖掘以及决策任务的工具，在很多行业的应用已经取得了很好的效果。它可以应用到任何需要数据分析和决策支持的系统中，因此商业智能技术可以也应该应用到配方行业的产品质量分析和配方设计中。

　　商业智能系统最核心的价值不是平台，而是模型。但目前由于国内配方行业应用BI的企业并不多，应用深入的更少，应用基础也比较薄弱;国外配方行业的研究也主要集中在数据分析和规律的挖掘，也没有太成熟的适用于某个配方的行业商业智能模型，需要尽快建立各种适合行业特色的商业智能解决方案，行业业务应用经验加上商业智能产品才是BI的真正价值体现。

　　配方以产品为中心，以质量为目标，关注原料、成本等生产要素，有别于其它的行业。商业智能技术在配方设计领域应用的目标就是通过数据整理、分析，找出生产过程中对产品质量影响较大的关键环节，及其影响关系，从而合理的指导工艺生产，达到稳定和提高产品质量的目的。商业智能还可以发现产品原料指标和产品质量指标的关系，提供一种关系模型，帮助配方人员选择非常好的的工艺参数和配方比例，来指导配方改革和新产品研发。在整个产品生产的角度上看，利用B1分析结果制定有关策略、规划，对资源进行合理配置，达到节约成本提高产品质量的目的。

　　软件工程与智能信息系统是笔者研究方向，笔者在校期间主要研究商业智能技术在数据分析和决策支持的系统应用，选择该课题作为毕业设计一方面是对校学习和工作实践的系统总结，另一方面也为笔者以后在此方向的工作需要打下扎实的基础。

　　研究意义

　　商业智能以及数据挖掘技术日趋成熟，但在关注产品质量的配方产品行业的应用却一直空缺。宝钢曾结合质量分析，应用数据挖掘技术，实现质量问题的诊断，进入了把商业智能技术应用到生产中，但也只是在局部质量分析上的应用。与配方产品生产相关的行业拥有大量历史生产数据，急需通过分析这些数据，挖掘出其中隐藏的关系规律以指导产品生产，优化产品配方，提高产品质量。配方行业的需求与商业智能的目标是一致的。

　　在配方产品生产中，主要任务是稳定和提高产品质量以及研发新产品。往常配方人员开发产品通常根据经验，不断评吸、反复尝试，这种开发设计过程已经不能适应配方行业的市场变化。企业需要根据市场的需求快速研制新配方，推出新产品，但配方设计一个复杂的过程。在比较传统的配方行业，比如烟草，啤酒，中药等，一个配方中往往需要几十个不同的原料组合，而配方原料存在地区，等级，年份等差异，而且同一个原料的内在品质也随着时间变化。品牌需要保持自己的风味特点，只有掌握这些原料的质量随库存、时间、加工等的变化情况，才能为配方选择恰当的原料搭配。配方产品的原料大都是农作物产品，其内在化学成分随着高温高压等加工过程而发生变化，而这些成分是对最终产品的外观和口感等产生影响的关键因素，怎么合理控制工艺参数，才能保持较好的产品感官，就需要分析工艺参数变化和化学成分变化之间复杂的非线性关系。利用各种统计技术和智能技术等数据分析方法进行规律分析是必然的途径。通过数据分析和挖掘能提高配方设计的效率、降低成本，保持品牌风格的统一性;还可以优化原料库存结构，指导原料的采购。

　　要解决以上问题，无论是对数据的分析和研究、对规律的挖掘、知识的展现和以及模型的保存，还是结果的预测都需要通过完整的系统来实现，这样的配方辅助系统与传统的业务管理系统不同，它主要体现在对数据的研究，对结果的展示上，需要用到不同的库结构和系统体系结构，商业智能技术正好符合需要。本课题以实际项目研究为背景，充分考虑企业信息化建设的现状和应用的实际需求，以商业智能技术在配方产品行业的应用为出发点来进行讨论，能对相关行业的产品配方辅助设计系统的商业智能应用提供一定的参考和借鉴。

　　1.2 相关研究现状

　　商业智能的应用现状

　　商业智能在国外起步较早，已经得到国外企业普遍认同，并取得很好的应用效果和商业价值。其在中国处于起步阶段，企业对其认识还不充分，但随着BI软件厂商的高调亮相和宣传以及典型的BI成功应用案例，使其逐渐被大家所接受和期待。

　　2008年9月第三届中国IT技术趋势大调查活动中对商业智能技术做了连续调查，调查数据表明，已经有60%以上的企业开始了商业智能项目的开发和应用(没有从事商业智能开发的企业和个人比例为31%，07年没有从事商业智能项目开发的企业或个人比例为47.7%1。虽然这已经是一个很不错的比例，然而，从诸多调查数据中可以看出，商业智能应用实际上并没有像业界预测的那样，产生井喷式的增长。传统的数据库应用包括数据处理和存储等依然在数据库应用中占据较大的比例。简言之，目前还存在诸多因素阻碍商业智能应用在企业开展。巨大的市场潜力，已经吸引MicroStrategy，BusinessObjects，Cognos等不少国际知名的商务智能软件厂商进入我国，还吸引了与其相关方面的分析软件公司如甲骨文、SAP等公司，国内金蝶、用友等厂商也推出了相关产品。国内的商业智能大多应用电信、金融、航空等信息化程度偏高的行业，这些行业无论是在历史数据积累还是在对客户需求的把握程度上，都存在一定的共性被广泛关注。而配方行业由于分析角度的不同和高层重视程度的不够，商业智能的应用还属于摸索阶段。

　　配方产品分析现状

　　以食品、酒类、医药、烟草等为例的配方产品已经有了很长的发展历史，但其数据分析还处于较低的层面，企业信息化水平也是相对薄弱。其中主要原因一是这些都是传统行业，对配方改变需求不大，甚至有的以悠久历史配方为宝;二是配方非常复杂，配方内在的数据关系很难用有效的数学模型来表现。

　　目前配方行业的数据分析主要通过使用通用的统计及数据分析软件，如SPSS、WEKA、SAS、MATLAB等，针对特定的分析需求进行单独的数据分析。这种分析方法有许多不足：它需要专业的统计分析人员来做，其结果也需要专业人员来解释;而且这种分析方法的分析结果得不到系统的保存和管理，存在大量精力浪费;有时很难从业务数据库中构造出需要的数据格式;分析结果不系统，很难从产品的全局把握。以上种种问题表明，要对配方数据做更好的研究和分析，必须建立专门的配方辅助设计系统，针对行业内的主要问题，进行专业化设计，专业化分析，并对分析的结果进行保存，以便随时利用。

　　1.3 本文主要工作及论文结构

　　本文主要工作

　　本文在分析商业智能概念及其关键技术的基础上，以卷烟配方辅助设计系统为例，并以SQLSERVER 2005商业智能工具为平台，阐述了商业智能技术在配方辅助系统中的应用，以及建立配方行业商业智能系统的系统设计和流程。包括配方产品的主要业务分析和维度建模;系统的需求分析、数据仓库逻辑设计以及物理设计;数据仓库的数据集加载以及数据抽取、转换、加载(ETL)系统的建立; OLAP多维数据集的设计和分析，包括建立事实表、维度表及其关系;数据挖掘高级分析的挖掘结构和模型建立和部署等主要商业智能技术。最后展示了卷烟配方辅助系统的应用效果，介绍了各种数据分析方法的使用，以及多种商业智能前端展示技术，充分展示了配方分析的工具和方法。本论文所述卷烟配方辅助系统是来自具体的企业级应用项目，在该项目中，作者本人参与了商业智能模块的设计和开发，重点是对ETL数据转变包的编写以及对数据挖掘算法的使用和模型调用等工作。

　　第二章商业智能及其关键技术

　　2.1 商业智能概述

　　商业智能的概念

　　Gartner Group与1996年最早提出商业智能(Business Intelligence)的概念，当时将商业智能定义为一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。

　　商业智能以数据库技术为支撑，包括数据提取、转换和加载(ETL)，联机分析处理、数据挖掘和商业模型等，其发展先后经历了事务处理系统(TPS)、高级管理人员信息系统(EIS)、管理信息系统(MIS)以及决策支持系统(DSS)等阶段，最终成为企业商业智能。

　　对商业智能目前还没有准确的定义，不同的组织给出了不同的理解。Data Warehouse Institute认为“商业智能是将数据转换成知识并将知识应用到商业行为上的一个过程"。

　　GartnerGroup认为“商业智能是将数据转换成信息的过程，然后通过发现将信息转化为知识"。

　　IBM则认为商业智能是指一种能力：通过智能地使用数据财产来制定更好的商务决策。

　　以上从不同的角度给出了商业智能的定义，但都没有阐述其本质。商业智能被认为是将数据转化为知识，帮助企业做出业务决策的工具。为此目的，引需要利用数据仓库、联机分析处理(OLAP)工具和数据挖掘等技术。从技术上讲商业智能只是以上技术的综合运用，所以商业智能应该被看成是一种解决方案，商业智能的关键是从许多不同的企业运作系统数据库中提取出有用的数据并经过抽取(Extraction)、转换(Transformation)和装载(Load)，合并到企业数据仓库里，从而得到企业数据仓库的总体视图，并利用适当的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理，将数据展示出的知识展现给决策者，决策过程提供支持。

　　商业智能的研究内容

　　商业智能的研究主要集中在三个方面：支撑技术的研究、体系结构的研究、应用系统的研究。

　　(1)支撑技术的研究。商业智能是一个跨学科领域，主要借助两大学科的成果，一是计算机技术，其中关键是数据仓库技术和数据分析以及数据挖掘技术;另一个是企业管理方面的进展。计算机技术为商业智能系统能够提供技术支撑;企业管理理论为商业智能系统提供业务动力。

　　(2)体系结构的研究。一般认为商业智能系统主要包括数据预处理、建立数据仓库、数据分析及数据展现四个主要阶段，而数据仓库、OLAP和数据挖掘技术是商业智能的三大关键技术。一般认为商业智能(BI)系统的架构如图2-1所示。

　　(3)应用系统的研究。各个应用领域所面临的决策问题的分析是应用系统的研究的重点。商业智能被应用到企业运营过程的各个领域，并且已经形成其特有体系。对一般企业来说，商业智能可以实现以下作用：帮助企业了解本身的运营推动力和异常情况，协助用户清楚产品未来趋势;衡量绩效指标，追踪并管理企业运行的关键性能指标;改善和加强客户关系;掌握各种商务信息挖掘利润增长点。

　　商业智能的实施步骤

　　商业智能系统的实旌涉及企业运作管理、信息系统、数据仓库、业务数据分析、数据挖掘等知识。即需要选择合适的商业智能工具，还必须按照正确的步骤实施，商业智能项目可分为以下步骤。

　　(1)需求分析：需求分析是商业智能实施的第一步，必须明确定义企业对商业智能的期望和需求，包括分析的主题，查看的角度(维度)，业务需求和用户的要求等。

　　(2)数据仓库建模：通过需求分析，将企业中的数据按照主题归类，建立企业数据仓库的逻辑模型和物理模型，并设计Bl系统的架构。

　　(3)数据抽取：必须将数据从业务数据库加载到数据仓库中， 并在加载过程中进行转换、清洗，以保证数据的正确性和可用性。

　　(4)业务系统的开发：主要是根据业务需求，对数据仓库中的数据进行各种数据分析和展示，主要包括多维数据OLAP分析和数据挖掘，以及建立商业智能分析报表系统及门户。

　　(5)系统改进和完善： 根据系统使用情况和用户反馈信息，对商业智能系统按照上述步骤对系统进行重构或完善。