BI热点冷思考——商业智能技术与应用发展现状之分析
2002/08/19
技术篇
。。IDC将商业智能解决方案定义为帮助企业跟踪、分析、模拟和预测他们自己的业务过程以及他们的客户、供应商和合作伙伴关系的解决方案。从技术架构来讲，商业智能系统主要由数据仓库系统、数据源、商业智能应用和元数据几个部分组成。
。。在当今的商业环境中，市场竞争日益激烈，它促使企业和机构在信息系统的建设上不仅仅需要对业务流程的支持，同时需要从信息系统中获得从客户、营销、企业的运营状况到供应渠道的通畅与否等高层次的分析决策信息，并且将决策结果运用于日常业务以提高企业整体效益。然而，传统的业务系统则是针对分离的事务处理而设计，并不擅长于多层次的分析和统计。由此，商业智能应用应运而生，它通常是一个独立的系统，能够从传统业务系统中获取各类客户数据和业务数据，由此建立多层次的分析体系，并将其转化成有商业意义的信息。
1. 数据仓库系统 数据仓库系统是商业智能应用的核心，它是整个系统存储和管理数据和信息的地方。数据仓库系统可分为以下几个部分。
。。数据抽取、转换和装载(Extract, Transform, Load) 负责将数据从业务系统或外部系统中获得，转换和处理成数据仓库需要的格式和形态，并在规定的时间装入到数据仓库中去。通常我们把这三个具体的步骤统称为ETL，在系统实现时一般采用数据抽取工具和应用编程实现，并拥有调度管理和控制功能。
。。数据仓库(Data Warehouse) 数据仓库是数据存储核心，目前，大多数数据仓库采用关系型数据库管理。由于数据量的庞大和查询复杂的特点，在系统配置上强调大规模并行处理和针对决策支持访问的专项优化。
。。操作数据(Operational Data Store) 近年来，随着商业智能应用的需求，如数据挖掘和实时业务分析，在数据仓库中需要有部分数据拥有当前数据的特征，根据业务系统的变化而变化，不必关心历史信息，同时又拥有数据仓库数据面向主题的特点。这部分数据叫作操作数据，一般采用关系数据库存储，规模适中，强调快速查询响应能力。
。。数据集市(Data Mart) 数据集市存储了由数据仓库来的，经过裁剪和归整的数据，这些数据针对某个业务部门或某种业务分析应用而建立。数据集市一般都对数据进行了各种层次的汇总，并建立多维分析的模型，同时也包括了数据采样。数据集市的存储主要有关系数据库和多维数据库。其中，多维数据库存放多维分析数据，而关系数据库则存储星型模式。
。。数据归整(Refinement) 数据归整指数据从数据仓库到数据集市的过程，它是数据仓库系统内部的数据处理和转换的过程，主要的任务是多维模型的转换、数据的汇总和采样等。有时，它由ETL系统统一调度完成。
2. 数据源 数据源包括了现有企业中所有的信息系统，以及根据决策分析需求可能涉及的其他外部数据资源。它主要包括业务数据和外部数据。
3. 商业智能应用 商业智能应用涉及数据和信息的展现部分，它是用户使用商业智能系统的界面。目前的商业智能系统一般提供以下的功能：查询和报表、联机分析处理(OLAP)、数据挖掘和数理统计以及商业应用。
4. 元数据 所谓元数据就是管理商业智能系统的数据，其主要部分类似于数据字典，其内容贯穿了商业智能应用的各阶段，记录着从ETL到分析展现各个阶段和各组成部分的管理信息。在系统管理上，试图提供统一的平台对元数据进行管理和维护，并通过元数据的状态驱动系统各部分的运转。不过，就目前而言，元数据的概念在数据仓库业界尚未拥有一个统一的标准，各个数据仓库厂商的产品间元数据也是不能够互通的。
问题篇
。。商业智能应用的规划、设计、开发、实施是一项相当复杂的系统工程。事实上，国内用户在发展商业智能应用的过程中确实遇到这样或那样的问题，这些问题有些涉及宏观的系统定位和应用发展理念，有些出于具体的实现步骤或技术，还有些是认识上的误区。
1. 系统需求和定位问题：是望闻问切还是中西医结合？
。。许多用户与我们谈到商业智能系统需求的问题集中在：应用需求的不明确（具体业务部门提不出需求)、不急迫；企业决策层对该类系统的用途及如何得到投资回报不清楚；系统建设复杂(不知该如何设计模型、存放什么信息)，令人望而却步。这些问题实际上在某种程度上与东西方文化差异有关。
。。事实上，西方国家自工业革命之后，强调用可量化的尺度来描述生产、生活的各个方面，并由此发现和掌握其规律。相反，古老的中国文化则更注重经验、直觉和对人性的把握，对数据的依赖性就相对薄弱。这好比中医和西医。如果将企业比作病人，商业智能系统则是温度计、心电图机、B超、CT扫描和核磁共振，这对西医是必不可少且是最有力的工具。但对传统中医而言，望、闻、问、切是日常工作的方式。如果将企业的管理人员比作医生，中西医结合的道路就是一个好的解决方案。
2. 系统反复、受非技术成份影响大：商业智能是“一把手”工程吗？
。。商业智能系统的可持续发展力差、系统常被废弃而后又重建，造成资源浪费；技术和概念停滞不前，应用上不去；且受非技术的影响大。这是国内目前商业智能应用较普遍的问题。有些人说，商业智能系统是“一把手”工程；这表面上看是对商业智能系统的肯定，但实际上是一个误区。基于这样的概念建立的商业智能系统，功能的单一是一定的，而且也是最容易遭受由于权力的更替而带来的灭顶之灾。
。。事实上，商业智能系统的应用面在一个企业中是多层次的，其广泛程度超过任何一个业务处理系统，但前提条件是各部门业务人员和管理人员具有基于数据、统计和分析去指导决策和行动的工作习惯。
3. 信息平台和应用的问题：先开发应用还是先建立数据仓库平台？
。。国内企业对商业智能的需求一般是从具体的应用开始，如大客户管理系统、领导决策支持系统、经营分析系统、财务管理系统等等。但这些应用的背后都需要数据仓库的支持。
这样就引出了一个问题，是先开发应用还是先建立数据仓库平台。在信息平台和实际应用间有效地平衡，将系统的建设可分阶段实施、可持续发展是商业智能应用实施的关键。
4． 思维模式问题：商业智能系统与传统事务处理系统相似吗？
。。目前，国内企业商业智能系统实施过程中的一个主要的问题是带着明显的传统事务处理系统的思维模式。这种惯性的思维主要表现在：系统的设计仍沿用传统生命周期的思想，根据需求、开发应用，但商业智能的应用需求往往复杂多变;
在商业智能系统实施方法学上显得落后; 对商业智能领域的技术发展趋势的了解和把握还不足，在产品选型上对其技术路线和定位研究不透彻，在数据仓库核心的选择上一般单纯地以性能为衡量指标，动辄大搞性能测试，既不全面也不专业，殊不知查询性能在商业智能系统中是最容易被满足的。
5．商业智能仅是业务报表吗？
。。许多企业会把实现现有业务报表的问题作为商业智能应用的开始，这虽然看起来是一条务实的途径，但实际上可以算是一个误区，其中隐藏着风险。企业领导每日看报表但并不关心报表从何而来。如果商业智能系统以报表起步，就必须向决策者解释这仅仅是最基础的功能。而我们的项目实施人员往往在这一点上很难与高层领导达成共识，毕竟“钓鱼工程”、“豆腐渣”工程在今天是太多了。因此，商业智能系统的建设必须满足报表，但更要超越报表，从一开始必须给企业的决策层感受到商业智能应用的威力。
6． 系统投资回报问题：决策何以实施？
。。任何一个IT系统的建立都要讲究投资回报。整个商业智能应用的绝大部分时间都是在花钱：从数据的采集、数据仓库的存储、各种分析、挖掘的服务器和软件。而真正能够使商业智能应用赚钱的阶段则是因此得到正确的决策，并运用于企业的业务和市场。这是一个开环和闭环的问题。目前的国内企业，对闭环的问题考虑不多，即便是有了决策支持系统，问题是这些决策能否有通畅的渠道得以实施？
7． 应用条件成熟度问题:商业智能是否需要业务系统完善为前提？
。。有不少对商业智能有需求的国内企业，其传统的事务处理系统仍不完善，如零售行业、一些制造业企业和乡镇企业等。这在国外并不多见。但对国内企业来说，是否需要等到业务系统完善之后再考虑商业智能呢？实际上并不一定，因为市场竞争并不等人。实际上，数据采集的方式多种多样。即便是一个用笔和纸纪录业务过程的机构，也可以通过扫描和识别将数据汇入数据仓库或数据集市，实现分析决策。同时，我们还应该有概率统计的概念，在无法获得全部完整数据的情况下，系统通过概率加权，依然能够提供足够准确的分析。
建议篇
。。商业智能应用的建设是一个经验积累的过程。面对用户面临的各种问题，我们对用户在观念与设计思路、技术实现关键问题以及人员的主动性等方面提出如下建议。
1. 观念与设计思路的转变
。。首先，用户要采用从战略上藐视、战术上重视的观念，突破商业智能应用神秘化的思想，只不过将它作为另一种类型应用；其次商业智能应用要满足多层次应用的需求;
反对将系统简单归为“一把手”工程，尽量降低系统建设过程中非技术的影响因素；要注重激发量化科学管理的积极性，根据应用的实际需要，规划商业智能应用，从两个方面可以将商业智能系统分为战略性的用途和战术性的用途：一方面是对数据的使用程度，另一方面是应用的部署。所谓战术性指面向局部的，解决特定问题的方案，而战略性指面向全局的，解决整个企业管理问题的方案。
2. 技术实现关键
。。目前，业界较为流行的误区是将数据仓库的设计根据业务部门或应用功能进行划分。我们在数据仓库的设计中经常会见到“大客户分析”、“客户行为分析”或“客户流失分析”等不同的应用主题。事实上，仔细研究各个应用，我们不难发现，它们均使用了同一个数据源：客户交易的数据。与其在不同的应用中建立客户交易的信息，不如在数据仓库中建立统一的客户交易信息提供多个分析应用使用。
。。关注于业务的流程而非业务的部门或应用能够让我们更清晰、更经济地整合企业的信息。数据仓库的建模应根据业务的流程和数据源来决定。
。。虽然数据仓库设计作为决策分析系统的主要部分将在设计阶段集中解决，但数据仓库的建设是一个系统工程，其中涉及的数据源也可能分散在各个部门，在系统实施过程中会遇到各种包括非技术因素在内的问题。因此，数据仓库的设计必须“大处着眼、小处着手”，数据仓库的建模必须提供系统可以分阶段实施、并在应用层面保持系统可持续发展。同时，每个阶段的建设必须注重投资回报、提供资源共享。
。。对于每一个数据仓库关心的数据源，我们在数据仓库设计时都将从最明细的数据层次进行收集。即使将来的分析大部分都是基于汇总的数据，但数据仓库中最底层的数据模型将对应业务系统中最明细的部分。
。。这样的设计，使得数据仓库的建模和数据采集对于业务系统来说是一步到位的。而这样设计出的分析模型是能够支持所有可能的业务分析的。不会因为数据仓库的设计而丢弃业务的细节、导致未来系统重建。
。。需求的变化导致数据仓库模型的变化。这个问题是数据仓库系统建设中非常关键的问题，有时会影响数据仓库建设的成败。需求的变化客观上是不可避免的，一个好的数据仓库设计当然能够减少需求变化对模型的影响，但遵从一定的设计原则则可以将这种影响降至最低。解决的方法有分层次的模型设计思想，各种具体设计原则和技巧应对可能发生的扩充和变化。
3. 集成商与用户的主动性至关重要
。。来自集成商和最终用户两个方面的主动性是影响到商业智能应用的主要因素，以最终用户的主动性更为突出。因此，增强客户对商业智能系统实施的主动性是首要问题。
。。其次， IT部门和业务部门的配合也非常关键。由此，业界有人提出建立BI促进中心的想法：在需要实施商业智能应用的企业，由IT部门和业务部门的代表，加上专业咨询顾问，共同建立一个企业商业智能应用促进中心，专门负责在整个企业范围内推广商业智能应用，并负责评估应用结果，从而改进应用。
选型篇
。。用户在进行商业智能产品选型时，首先需要了解商业智能应用各部分产品在系统中扮演的角色和该角色需要的关键“素质”，根据这些特性，结合行业技术发展方向对产品进行筛选。
。。具体说来，在ETL产品方面，能够连接各种数据源已是基本的要求。能否加入客户自定义的数据转换编码、管理调度是否完善、能否支持XML等多种形式数据的接入、有没有数据质量监控的功能成为需要考虑的问题。在性能上，数据的参照清洗是一个费时费力的过程，能否提供散列表参照清洗功能对性能关键的ETL用户是考虑因素之一。此外，近年来，元数据管理成为商业智能应用的热门话题，而厂商对于元数据管理往往从ETL环节入手。产品的选型可以考虑对元数据的支持程度，以及这些新增功能对系统整体的影响。
。。在数据仓库存储管理部分，关系数据库仍是市场的主流。在选型中需要考虑的问题是，数据库系统的开放性、大规模并行处理的支持程度、在系统需要扩充时扩展性的好坏以及需要维护的工作量。同时，关系数据库对决策分析的支持扩展在数据仓库的性能上起到重大的作用，而这些技术各厂商的产品支持程度有很大的不同，必须仔细研究各自的手册，同时需要事先了解各种优化策略的适用范围和限制。并根据自身系统应用的特点进行选择。
。。在数据展现方面，首先是OLAP系统和工具。而技术的细节需要考虑是否能够提供应用在MOLAP与ROLAP之间钻取查询。在数据挖掘部分，有以数理统计算法为主的，也有以人工智能技术为主的产品。选型所考虑的问题一般在于功能的全面性，能够有效处理数据的规模以及与数据仓库系统的集成和配合等。
。。除此之外，对于产品的供应商，我们需要考虑如下问题：产品技术发展方向是否与业界主流保持一致；产品的稳定性；产品供应商在国内能够提供技术支持和保障的能力；产品供应商除产品本身之外，对于提供商业智能应用技术咨询的能力如何，国内的技术储备怎样；
在如今IT行业面临激烈竞争的时期，厂商的财务情况，产品的市场持续能力则越来越多地被关注。
发展篇
。。根据Gartner Group的分析，从2001到2003年初，商业智能的技术处于较缓慢的发展时期；在技术上，新的创新和突破预计要在2003下半年。从商业智能的应用发展来看，目前的发展是呈行业化和专业化。
。。就目前而言，商业智能技术发展在系统各环节的表现如下。
1. ETL部分和元数据管理
。。在ETL环节，对多种数据源的访问，包括非关系型数据库和大型主机，成为基本的技术指标。新的发展点主要有：新的数据抽取系统都将XML纳入数据采集格式的范围;
在数据分析上，越来越多的企业和机构要求其决策分析环境能够提供更为接近实时的数据分析，技术手段主要集中在ETL环节，交易日志的监控、数据的复制成为数据采集的手段。
2. 数据仓库
。。今天，并行处理加决策支持优化的关系数据库系统仍是数据仓库领域的主角。大家普遍认为发展方向是在关系数据库基础上融合决策支持和事务处理的能力，不过这样的策略或许仍存有争议，毕竟有不少技术人员认为事务处理和决策分析对关系数据库来说有如鱼和熊掌，不能兼得。尽管如此，在关系数据库中加入OLAP能力、SQL语句中加入数据统计公式和算法正在被各厂商提供的产品中实施。
3. 分析展现
。。商业智能系统的分析展现是技术发展较为活跃的部分。OLAP及其他商业智能的应用以Web服务形式提供，并与企业电子商务门户集成。OLAP和商业智能应用的前端的界面转化成瘦客户端的应用模式(浏览器、Intranet模式)已成为普及性的要求。以XML形式发放商业智能应用的分析结果是新的发展趋势。
。。数据挖掘的模块、算法和工具将更多地融合到OLAP组件甚至数据仓库服务器系统中。同时，商业智能应用与企业门户、企业应用集成紧密相连。新的商业智能系统不再是一个孤立的应用，它与企业中的其他应用系统将紧密集成。
。。从商业智能的应用来看，目前的发展是呈行业化和专业化。首先，商业智能系统将更具行业化的特点。笼统的商业智能系统渐渐成为概念，客户实际需要的系统则分为银行、保险、制造业、电信等各种领域。并且，每个行业有其关注的重点和分析的模型。
。。其次，商业智能应用更加强调应用的集成。主要应用领域包括：分析型的CRM，客户关系管理和优化仍将是商业智能应用很重要的一块;
服务于ERP系统的商业智能，传统的ERP厂商都在将商业智能应用或模块加入到他们的ERP系统中;与SCM 集成的供应链管理优化。
方案篇
。。Brio:集成的企业智能信息门户平台
。。Brio Performance Suite是Brio公司完全集成的企业智能信息门户平台。该平台能够为所有类型的用户提供包括企业业务报表、分析报表、通知与公告、即席查询、OLAP和各类数据的访问以及建设和实施范围广泛的分析应用工具。
。。Brio Performance Suite由分析与报表工具Brio Intelligence、分析型门户产品Brio
Portal和企业级报表引擎Brio Report 3部分组成，并且这些产品都被设计为能够支持企业级的可伸缩性和性能以及出色的易用性。并且，它们都与Brio的业务信息访问门户完全集成，对所有现有的系统提供自助式的访问。Brio
Performance Suite的优点可概括为如下几点：为企业内部和外部的信息源提供全能访问，这些数据源包括各种数据；在整个企业系统中，可以通过Web方式对信息和可操作数据进行发送；支持企业中每一个人（包括信息生产者和信息消费者）的决策处理需要；通过一个完整的解决方案，可以实现从个人的查询、报表应用到战略性的分析应用。
。。CA：端到端的解决方案涵盖BI全过程
。。CA公司提供的产品主要有三大品牌：Advantage、CleverPath以及AllFusion系列，涵盖设计、数据整合、数据分析和展现的全部过程。
。。Advantage Data Transformer 是图形化的ETL工具，用于原始数据向数据仓库，数据仓库向数据集市进行数据传输、清洗、提炼、分布；Advantage
Repository是业界领先的元数据管理工具，用于管理数据与数据之间，数据与业务之间，系统与系统之间的对应，便于技术人员和业务人员理解和使用商业智能系统中的信息。
。。CleverPath Portal提供了一个通用平台，用于发布各种数据仓库信息展示和其他Web信息。CleverPath
OLAP是进行OLAP的工具，它具有真正的三层体系结构，保证了数据仓库规模的可伸缩性和访问的高效率，可以从多个异构的数据库或数据仓库数据库中获取分析的数据，CleverPath
Reporter是高可伸缩的报表产品，可以提供多种格式的交互式报表。CleverPath Aion为基于规则的推理引擎，可选配不同的专家知识系统应用于金融、电信等领域的防欺诈系统。
。。AllFusion Erwin Modeling Suite是业界著名的数据库/数据仓库建模工具，协助用户可视化地确定合理的结构、关键元素，并优化数据库。
。。IBM:以DB2为核心的全方位方案
。。作为IBM在商业智能解决方案的核心，DB2通用数据库将行业级的数据库管理功能，扩展到数据仓库、决策支持和数据采集的领域。
Intelligent Miner for Data可以对保存于关系型数据库和普通文件中的数据进行挖掘。它可以用于发现附属关系或模式，根据属性的相似性将记录分段（或分簇），发现类似的时间顺序，或建立预测（或分类）模型。企业决策者可以使用Intelligent
Miner来发现提高用户满意度和利润率的途径，减少欺诈风险等等。
。。作为IBM最新的数据挖掘产品，它可以对文本数据源执行浏览、整理、归类等工作，并确定信息重要性，从而帮助信息用户避免过大的信息压力。Intelligent
Miner for Text可以提取模式，按主题组织文档，在一组文档中寻找显著的主题，并通过强大、灵活的查询去搜索相关文档。
。。IBM DB2 OLAP Server和Arbor Essbase OLAP
Server这两款产品是为多种多维规划、分析和报告应用而设计。DB2 OLAP Server将强大的Arbor Essbase OLAP引擎和API，与IBM
DB2关系型数据库家族集成为一体。
。。IBM Visual Warehouse是一系列经济有效而又简单易用的数据仓库和业务分析软件。在各种规模的企业内设计、实现和应用商业智能解决方案过程中，它可以处理所有相关的任务。Visual
Warehouse能够启动成本有效的快速部署，以及必要的数据小集市和数据仓库的集中管理。同时它还提供了从数据小集市到企业级数据仓库，从基于局域网的环境到分布式仓库环境的可扩展性。
。。NCR:软硬结合的TeraData数据仓库
。。Teradata是NCR公司旗下的一个事业部，提供功能强大的分析型技术方案以帮助企业业务增长。借助Teradata
解决方案，企业可获得单一且整合的运营全貌，从而更迅速、更有效地做出决策，以推动业务增长并提升赢利能力。
。。企业可充分利用这一整合的业务全貌把握商机，增加收入，降低成本并改善客户关系。Teradata解决方案同时还具有更佳的成本效益，易于管理，并能随业务发展需要进行扩展。
。。Teradata数据仓库用于提供单一且整合的企业运营全貌高性能数据库技术、全套数据存取及管理工具、强大的数据挖掘功能以及一流的可扩展硬件。
。。Teradata CRM是一套企业级分析型CRM和营销自动化解决方案。它利用从各种渠道采集的详尽互动数据，为营销人员提供完整且整合的分析环境，从而建立更有价值的客户关系。
。。Teradata 分析型应用帮助企业更有效地分析和管理运营、财务和业务绩效，特定行业应用为以下行业提供强大支持：电信、金融、保险、交通运输、零售、电子商务、制造业及旅游等。
。。Oracle:9i数据库第2版提供强大的商业智能平台
。。Oracle9i数据库第2版为大中型企业商业智能提供了强大的平台支持，特别是重点解决了互联网环境中海量数据处理和近乎实时的复杂分析需求所提出的挑战。除此之外，Oracle9i数据库提供了真正的商业智能平台，为OLAP、数据挖掘以及ETL操作提供了扩展的数据库支持。
。。性能、可伸缩性和可管理性是商业智能应用的基本要求。与以前各版本的数据库一致，
Oracle9i数据库第2版在这三个方面都进行了进一步的改进。
。。Oracle9i数据库第2版被设计为一个完整的数据仓库平台，利用 Oracle
数据库作为可伸缩的数据引擎完成对数据仓库数据的各种操作。
。。在OLAP方面，该版本提出了一种新的集成的关系——多维数据库观点，向传统的分析服务器观点发出挑战。该版本是通过SQL和OLAP
API提供对关系数据和多维数据进行访问的数据库，任何OLAP计算都可以通过SQL进行查询。
。。Oracle9i数据库第2版把Oracle OLAP作为关系数据库的一个集成部分，Oracle
OLAP通过强大的OLAP API、多维引擎以及OLAP数据操纵语言提供了一整套完整的分析功能。
。。Oracle9i数据库第2版还提供了新的数据挖掘能力。以 Oracle Darwin为基础，Oracle9i
提供了一个强大的数据挖掘引擎，在数据库中包括了额外的数据挖掘算法以及对数据挖掘中基于标准的 Java API 的增强。
。。Sybase：数据仓库和行业模型凸显特色
。。Sybase IQ-Multiplex这个专为数据仓库设计的数据库满足了目前用户对海量数据的存储与访问的需求，能够大大提升查询性能，提供了强大的并行处理能力与伸缩能力以及企业级的数据管理与性能保证。其垂直存储技术通过数据的列式存储有利于提高按范围查询的效率，并有利于数据的压缩;
专利的BitWise索引及数据压缩技术通过对数据仓库中的所有字段建索引，不仅带来查询效率的大幅度提高，而且还降低了对磁盘空间的占用；新的多线索体系增加系统的伸缩性。
。。Sybase商业智能模型IWS（行业数据仓库套件）通过一个集成的应用软件包，可以满足分析不同但相互关联的客户的行为、价值和潜力等问题的需要。IWS包含了完整的数据仓库设计方法学以及为各个行业的数据仓库实施建立了核心的业务数据模型与客户关系分析模型。Sybase的IWS模型不同于其他公司的做法，它实实在在地提供了数据仓库设计的核心技术以及建立在充分的行业需求分析、正确的设计方法以及丰富的实施经验上的已经验证的模型。IWS允许开发商在其基础上进行再加工，从而保护投资，提高软件的可用性与灵活性。IWS
的基本结构由IWS核心模型、垂直行业模型以及商业智能应用三个级别构成。
网络世界(cnw.ccw.com.cn)
相关链接: