数据采集介绍及其应用

2003/07/04

　　作为一名资深的电信系统集成营销人员，我经常接触系统营运商、CTI呼叫/服务中心。近来最热门的话题是数据采集和数据存储。而且我们的客户、供应商、银行业职员、一些业务主管以及象客户关系经理、直销经理、业务计划主管、财务管理者和CIO等职能部门的经理们也在谈论这一话题。

　　让我来举例说明那些呼叫中心正面临的典型的工作任务/目标和难题：

　　1． 一家台湾的呼叫中心为移动/固定电话客户和供应商提供有接线生服务的呼叫业务和预付费电话卡业务。该呼叫中心每天要处理数千次呼叫、监控每一个呼叫中心的呼叫业务量和处理情况，以确保最佳的客户满意度。为使呼叫中心的工作达到最优化，他们实施客户基础管理和在线系统，可以实现象呼叫业务量、每次呼叫费用分析、呼叫卡使用和客户优选设置的自动报告。他们对打进电话或网络查询提供含正确数据的实时业务。即使这样，该呼叫中心还是有巨大的压力，电信营运商将在象中国这样的地区以较低的营运成本的呼叫中心取代他们。

　　2． 南美呼叫中心

　　由于南美地区电信垄断的打破，电信业在这一领域正在蓬勃发展。以智利电信公司为例，垄断电信公司为客户服务的成本很高，这为新的玩家（从互联网业务供应商到移动电话公司）进入市场提供了方便之门。随着语音IP技术和多业务网络的兴起，客户比以前有越来越多的选择。由于基本的电信业务已成为商品，获胜者将属于那些能够提供最佳客户服务的公司。

　　以上例子表明，他们正致力于通过以下性能指标改善其服务：

- 增加客户忠诚度和寿命价值。
- 提高销售和营销方案的有效性。
- 通过监控呼叫中心的营运状况来最大限度地提高响应速度。
- 增加产品、服务和客户的越区销售收入。

　　通过分析呼叫通信量、网络通信量和及其使用模式来使网络性能最优化。

　　当今的电信市场受基于成本和业务增长的挑战。他们需要更强有力的武器从其日常的大量客户的基础数据中发掘极具价值的东西。当今由专家推荐的武器是“商业情报”，而获取情报的关键技术是数据采集、数据存储和在线分析处理。

什么是数据采集?

　　根据Gartner研究机构的定义，数据采集是指通过查看数据库中存储的大量数据来发现有意义的和新的相互关系、模式及趋势和使用模式识别技术和统计的、精确的技术的过程。

　　这些相互关系、模式和趋势描述按科学的方法支持获得竞争优势的商业预测和联合决策。同时它也可以解释为一种从大量原始数据中提取有价值的知识的过程，而一般人无法从大量数据中发现这种知识。没有专用工具的分析家们不会再明白为作出业务决策而需要处理的大量数据的含义。数据采集使得在原始数据中发现相互关系和模式的过程自动化并提供既可用于自动化决策支持系统（DSS）也可被分析家评估的结果。应向这个客户推出何种商品？

- 某个客户对一个计划好的促销作出反应的可能性有多大？
- 能否预测准备在下一个交易时段买进或卖出的最有利可图的有价证券？
- 这个客户是会拖欠贷款还是按时偿还贷款？
- 对这个病人作出的医疗诊断结果是什么?
- 一个电话或能量网络的最高载荷会有多大？
- 如何采集和跟踪网络行为数据？

　　如果能够明确发现和利用隐藏在你的数据库中的数兆字节的数据里的信息，那么以上这些问题会迎刃而解。为被研究的系统建模和在数据库中发现连接变量的关系是数据采集的主题。

数据采集不只是分析处理

　　数据采集系统可以自动记录以前的被研究的历史，它明确地叙述和测试有关系统的假设。通过数据采集，用户可以发现模式并自动建模，而无需确切知道用户在寻找的内容。所建立的模式可以是叙述性的，也可以是预期性的。这可以说明事件发生的原因（对格式化模式）以及下一次可能发生的事件（预期）。

　　当有关重要系统的简明而有价值的知识被发现时， 这种知识能够被合并或连接到联合决策支持结构中， 这有助于执行经理作出明智的决策。简而言之，数据采集是企业决策支持系统结构(DSS)中的一个新的组成部分。

　　它补充和结合其它象询问、报告、在线分析处理、数据显示和传统统计处理等DSS性能。不象传统数据库那样，它们分布在每一个独立的部门中，很难将每一个数据库其合并到一个库中。

　　在线分析处理包括在线交易处理（象银行业交易）和在线分析处理，它们都是非常普通的方法。但是数据采集旨在发掘更深层次的东西，并发现模式标准。

数据采集有何作用?

　　确定最佳前景，象对待客户一样留住它们。
仅仅根据最佳前景重点集中进行营销，你会节省时间和金钱，从而提高营销行动的有效性。

预测越区销售的机会并作出推荐

　　无论你是采用传统的还是基于网站的销售方式，你都可以帮助客户迅速定位他们感兴趣的产品并同时提升与你的客户沟通的价值。

获得影响销售和利润趋势的参数

　　你是否认为可以通过OLAP工具来做到这一点? 的确如此，OLAP能够帮助你验证假设- 但唯一的前提是你需要知道提问的问题。在大多数案例中，你没有关于影响销售的参数组合线索。在这类情形下，数据采集是你唯一的真实的选择。

市场划分和通信个人化

　　可能有一系列独特的客户、患者或自然现象需要通过不同的方式来对待。如果你有一个广泛的客户群，你需要选定包括不同产品和信息的不同的目标，以优化市场营销活动。

数据采集有助于减少人们凭猜测所做的工作

　　有时会出现以下两种情况，当分析家们在寻找复杂的多个从属因素时，他们所做的处理数据显示出人脑的不足以及在从事这样的分析时缺乏目的性。一个专家会一直成为以前研究其它系统的经验的代表。

数据采集具有机器改进的低成本

　　使用自动数据采集系统的另一个好处是这个过程有比雇用经过严格培训的专业统计员低得多的成本。虽然数据采集不能完全消除人类对任务的参与，但它极大地简化了工作并允许一个非统计和编程专业的分析家管理从数据中采集信息的过程。

数据采集的任务

预测
　　从现有案例中获取模型和利用开发的模型预测未来的目标变量的价值。

分类
　　发现将记录归并到几个离散类中的功能。

关系检测
　　为已选择的目标变量搜寻最有影响的独立变量。

外部建模
　　发现描述各种变量间相关性的明确的外部模式。

集群
　　识别一系列彼此相似但不同于数据的其余部分的记录。通常，提供最佳集群的变量也可以被识别。

偏差检测
　　确定在源于以前或期望的值的数据测量中所产生的最重要的变更。

市场目标分析
　　就象处理交易数据以便发现销量很好的产品系列。人们也在寻求识别最佳产品的指南。

　　上述应用到具体对象中的数据采集的方法仍需参考以下标准：
- 获得计算结果的关键控制
- 已开发的经验模型的解释
- 搜索过程的自动控制的程度和轻松的使用

　　为建立从更加传统的数据分析方法通往数据采集方法的桥梁， 我们要从面向对象分析系统 (OLTP)和统计软件包转向步进顺序：

1. 定义需要从数据库获取的项目和数据，
2. 进行实验设计，
3. 选择合适的建模技术，
4. 进行实际的现场测试，
5. 更新和维护系统

　　原始数据采集分析按以下方式分类：
- 定向分析：包括分类、预算和预测等。
-非定向分析：包括集群、同类分组和关联法则。

　　当你定义需要从数据库获取的项目和数据，以处理数据采集时，你需要在进行实际的现场测试前进行实验设计。

　　通常，人们会问应如何有效地建模，当然，这要取决于公司目标、问题和数据类型的选择。数据采集应用建模方法和软件工具如下：
- 中性网络
- 演进规划
- 基于存储器的论证
- 决策图表
- 起源算法
- 非线性回归方法
- 嵌入式工具 (OLAP-辅助工具，特别询问)

　　数据采集的软件算法和工具不限于结构化数据，它还适用于非结构化数据和网站文本。

　　现以决策树为例进行说明，决策树算法提供将数据记录分类为多个分类等级的任务。通过产生一组竞争分类树（每个树对应相应的等级），从而获得解决方案。这种DT算法开发出最佳的分类树，这些树的分支包括对在相应等级中的记录进行分类的可能性。

　　该算法有着众多的应用。例如，它可以用来建立标准，即：强大的医疗专家系统在医师的帮助下通过对患者的自动化诊断完成复杂的任务。

　　DT算法也是将包含自然语言文本的记录以预先确定的等级进行分类的无价之宝。

　　该算法也常常与文本分析算法结合使用。例如， 借助文本分析由分类树产生的分类标准可用于自动化分类和发往普通e-mail地址的e-mail 讯息的指令发送。

Web数据采集

　　Web智能可用来开发电子商务。它能够分析、设法交互联系和访问大量的原始网站数据，以迅速识别趋势和模式。 很难从网站中捕获真正的访问者智能，因为很多人在网站中留下虚假信息。

　　访问者智能可以精确判断在线营销活动程序、目录编写、研究和销售规划等。

　　对web敏感的公司正在开发一个web采集系统。OLAP 和特别询问技术也适用于基于实时处理和以分钟计时的报告的web 采集。

文本采集
　　除结构数据外，经常出现的现有数据包括自然记录。但是机构获得的有些知识是以文本文件表述的。因此要考虑以下情形：

可扩展的调查询问
　　分析在可扩展的客户调查中捕获的数据。

呼叫中心的记录
　　处理以保险索赔为内容的自然语言记录或呼叫中心接线员所做的记录。

对接收到的E-mail进行分类
　　自动对发往普通支持地址的电子邮件进行分类，并重新将每一个邮件分发至合适的专家信箱中进行有效的处理。

网站商业采集
　　举例说明，它可以自动跟踪诸如产品目录、为最大限度地实现越区销售或就地广告而设计的购物推车以及衡量营销方案有效性的促销的网站商业活动。

图形化工具
　　使用该工具可以浏览诸如网页微型画、横幅广告和地图等基本内容。也可以通过带探测引擎的链接分析，它可以揭示和清楚表明个体的直观特征间的关联性的复杂图案。

小结

　　当今的数据采集是通过数据库和经由互联网提供可获得的数据资源的数字采集解决方案。这是一种含低总成本和显著投资回报的快速部署。该程序是精确的分析系统并以实时或在线形式运行。它也是行业领导人正在寻找的可预期的和切实可行的应用程序。这就是数据采集的魔力。

* 本文经过GreaterChinaCRM许可转载

GreaterChinaCRM (www.gccrm.com)