数据管理之道--数据管控治理（苏州站）
2014-12-08 14:42:04   评论：0 点击：

　　随着中国金融市场的快速发展，互联网金融对传统金融行业的竞争，以及监管力度的不断加强，IT咨询服务公司对金融企业的商业智能方案也面临不断创新。如何提升金融机构在管理、盈利、风险控等多方位的能力？如何将国际经验更好的为中国市场服务？如何通过解决方案将海量数据转化为对经营决策有价值的信息之路？如何将客户智能分析成果行之有效地运用于服务渠道，并最终转换为销售业绩？为解决中国金融机构在发展中所面临的新问题，文思海辉在西安、苏州、北京、成都、深圳五地举办了6场“乘数据之舟，达价值彼岸”系列活动。

　　在主题为“乘数据之舟，达价值彼岸”的文思海辉商业智能解决方案系列研讨会苏州站现场，文思海辉金融事业群商业智能部副总裁贾丕星分享数据管控与治理方面的实践。

文思海辉金融事业群商业智能部副总裁 贾丕星

　　以下为演讲实录：

　　非常感谢大家，下面我来讲一下数据管控治理，其实这些年我们所组织的一系列的活动每次都是按照当前这个阶段我们在市场上我们在主要做的一些业务，以及跟客户主要诉求的热点去做了一些匹配，以前我们都是把数据仓库放在第一场去讲，今年我们做了一些调整，其实文思海辉在整个数据仓库上的能力已经是充分被认可了，我们在数据仓库整体方法论的成熟度达到了一定水平。今年我们把整个自己业务发展的重点和新的突破都放在了数据管控和治理，为什么放在这个领域，其实有很大的原因。

　　在讲数据管控之前，我们先简单的通过这幅图来分享一些东西，这幅图是关于一个技术程度度的一个图，也就是一个技术从它被发现上升到高度，炒作到一定的阶段，随着泡沫的破灭开始走低谷，在实践的过程中逐步被认可和挖掘价值的一个完整的过程。这个图我们可以看一下，其中企业级数据管控治理已经被炒到了一定高度逐步走下坡路这么一个过程，其实一个技术在某一个行业里面被认可是一个过程，跟一个技术在一个客户端被认可的过程是一样的。也就是说我们在看一个客户他自身做数据管控治理的时候你会发现，它一开始也是不停的在讲很重要很重要，但是当我们开始投入去做一些事情的时候，做到一定阶段你会发现，它觉得这个东西达到它预想的价值，然后选择去方向。其实上是在你选择放弃的时候，逐步开始被业务和进行接洽，开始被认可，然后逐步的又在你的整个的技术管理和业务管理的过程中，被认可的过程中再去慢慢发现价值。其实数据仓库也走过同样的一条路，也就是说它在发展的过程中存在过被炒到一定高度，又被大家不认可价值，然后逐步在支撑银行的整个从风险管理、客户关系管理等等，每个领域的应用过程中又逐步发生价值的一个过程。

　　为什么这么讲呢，其实我们在主导这两块业务的时候我们都在这么讲，数据管控和治理以及数据仓库是企业里面数据领域的两个基础工程，什么叫基础工程，基础工程就是你前期投入会大，大家它的产出ROI回报见效会稍微慢一些。所谓基础工程就是一定要从高层领导去重视，因为它不是一个简简单单的一期项目，而是一个Team性的工程，而是在业务和技术都在积极的投入和参与下的一个系统性工程，这样的工程我们把它当做基础工程来对待的话，我们必须有一套健全的方法论，我们必须有一个正确的态度去对待它，这是数据管控治理和数据仓库，我们看到的两个业务领域。很不巧我们团队一直在这两个领域里一直在很艰苦的耕耘着，其实我们回过头来看这个问题，你觉得这份坚持和这份耕耘值不值，从我们团队11年底大概有200人的团队规模发展到现在，能看出来其实客户对它的认可度是在逐步增加的，从这个图我们再看一个点，包括数据管控与治理，以及未来传统的关系数据库和大数据融合，其实它处于类似相同的领域，而且这两个领域逐步发挥价值，下面给出了评价就是5到10年，这代表了这个技术在行业里面走向成熟的一个过程，一个期限。同时也代表了这两个技术其实在某一个客户端开始被采纳到它真正的大规模发挥价值的过程。其实这个过程比较漫长，5到10年。

　　为什么今年我们开始把数据管控治理放到第一位来谈，其实有很重要的原因，我大概是从07年、08年做完农行和建行的数仓之后开始探讨数据管控和治理，但是当时在这个点上很少有人会大规模的重视，而且我们所谓理论的成熟和平台的成熟也是随着在跟客户逐步探讨的过程中衍生出来的，不是说平白无故的有了这么一个平台。这些年来特别是从09年和10年之后，你会发现数据管控和治理大规模的被银行业去探讨，特别是10年银行业开始谈，整个从人民银行推动的金标工程和银标工程，我今年年初跟人民银行做过一次交流，人民银行的信息中心谈一个什么呢，国家给它一个任务，一行三会的协同监管，其实一个商业银行体系跟一家商业银行来看待数据上他们遇到的问题是一样的。也就是说当人民银行被赋予这个责任去派一行三会协同监管的时候，他才发现我不要说证券和保险，我连银行业自身的数据都没有搞清楚，我们有的只是一个一个独立的中心，比如说征信、反洗钱等等，它按照统计结果得到一些数据而已，能够解决在这种突发事件问题下和整个系统经营风险的问题下，我们针对整个银行体系的风险评估吗，解决不了。我们能够把各家商业银行报上来的一些数据简简单单做整合加工吗，也解决不了。

　　刚才讲了全行业推动数据管控治理，今年年初人民银行找我聊了一次，说南海副总理去人民银行检查的时候给了一个口号，说要由人民银行牵头做一行三会的协同监管，这个时候其实四家机构都抓瞎了，为什么？因为他们自身的数据整合做的不好，更不要谈一行三会协同的监管，所以在这个点上，我们会发现人民银行还在全力推金融标准化工程，今天早上我接到一个电话，说银监会要求行业协会组织去论证行业及大数据平台的构建，证监会从今年年初开始做大的行业监管数据平台，才启动行业及数据模型和数据标准的梳理，下周被约了一场去保险行业协会下面的信息公司去谈保险业的行业数据整合事情，所以这个时候你会发现，当监管机构对管理信息的上收，面向风险和监控领域的数据的上收有要求的情况下，其实各个商业银行会被要求，所以我们讲第一块要求完全来自于监管部门，而且这个推动的力度，在未来相当长一段时间内会非常非常大。

　　第二块是内部决策分析，商业银行的内部决策分析确确实实遇到了很多问题，我们做CRM的时候，无法做客户的整合，我们做管理会计时，找不到那些所有分摊规则的被搭建的关系，也就是这个交易通过什么渠道发生，哪个系统支撑，这些关系我们没有，我们怎么做费用分摊呢？做不到。风险领域做计量的时候，早期给工行做平台，整个企业财务报表里面，对客户录入的前三财务报表很多信息是错误的，不真实的，包括表间的勾兑关系都不匹配，你怎么能做对功课呢？因为你拿不到他准确的资产负债比和偿还率，这是最基本的指标。我们在这个领域里面，确确实实也遇到了很多问题。

　　第三个领域是系统建设，系统领域确确实实大规模在做，而且很多城商行现在开始考虑新一代核心系统的构建，也有一些银行在走，走在前面，但是回过头来看，股份制层面在做这个过程中有什么样的体会，会发现真正系统是推上去了，成立了产品工厂费用工厂类似于这种概念的定义，但是产品真的被定义出来了吗？上了一个新核心，真正的解决了与系统之间功用代码一致性的问题吗？我们在推动新一代核心建设之前，我们针对自己数据在产生点应该被规范化的诉求，是不是可以，其实都没有，因此我们会发现，当我们系统建好之后，无论是数据移型还是后续业务又产生了新的数据，放到数据平台里面还是不满足统计分析的诉求。

　　所以在这种情况下其实我们认为数据管控治理体系是应该被做，数据管控治理理论上是软科学，是属于管理学科和信息学科的交叉学科，这个东西我们为什么把它这两个点都放在前面，确确实实是我们整个解决方案最重要的两步，但是我们一般在讲这两个解决方案时，都很难为什么？因为我们讲书记平台构建也好，数据管控治理体系也好，都属于企业的基础建设，所谓基础建设就是没有最晚，只有更晚，我随时启动都可以，我越启动前面留下来的历史包袱越重，但是我当时不启动也没问题，每一个应用都可以基于原系统直接抽出去建设，都可以，所以这个数据管控治理是一个管理类的学科，它是一个基础性的工作，因此不是太好做。

　　在这个领域我刚才讲了我们的业务拓展，在这个领域里面有一个比较好的最佳实践是广东发展银行，他们也是多次受银监会表彰的一家企业，在这个领域，他们记材上面成立了专门的数据管控部门，数据管理中心，我们从2010年跟他做合作，从前期的管控咨询开始，去构建数据管控的组织架构和流程，到数据标准一期的定义，一般商业银行在数据标准一期里面都会选择客户公众代码这样的主题，当然另外一些主题也可以被选择，到二期数据标准的咨询。

　　然后我们帮他构建了基于原数据管理，数据质量管理，数据标准管理，数据需求管理一维一体整合在一起的数据管理平台，去支撑上面定义的组织流程的实现，到后续我们从2012年6月份开始启动数据专项治理，到目前为止我们长期有一个团队帮广发做一项一项数据质量问题原因的分析以及治理推动，这四件事情构成了我们在广发在数据管控领域的最佳实践，我们目前在其它银行推动的这个领域最佳实践也是沿着这个思路做的，也是由前面三个体系的打造去支持最后一件事情。

　　当然我们谈到数据管控治理的时候，先谈第一件事情，就是管控的组织架构体系，对于一个国家来讲，社会来讲，政府机构部门来讲，我们要把环境治理的非常好，其实有的是像环保局这儿一个政府组织机构，它承担的是环境领域的综合体系的评价以及一个一个环境治理项目的推动，同时它还要达到针对持续性的监测以及后续防范的体系，也就是对我们看数据的角度来讲，跟环境治理是一模一样的，我们希望有的是前期的综合评价，组织架构的梳理和流程的梳理，推动一件一件事情，同时也要做一个长期监控的体系，以及防范与未然的体系，因此我们构建管控的组织架构有点像管理类的职能部门，从管控被咨询的组织架构角度讲，整个管控咨询我们沿着关于数据管控类的组织框架，这个里面首先我们会定义数据管控的目标和原则，大家知道这两天开四中全会法治社会，包括这两天我也特别喜欢看一本书，看一个电影，那个电视叫《大秦帝国》其实它谈的商鞅变法的第一步是法治。

　　这次四中全会里面有一句话“宪法为纲要”，也就是我们做数据管控治理首先要定义的也是我们的纲要，就是我们做数据管控治理的目标是什么，我们的战略规划以及原则是什么，接下来要构建的其实是多维度的数据管控体系，我们先看这两个角度，其实它谈的就是中国人理论上讲的三定，定组织，定岗位，定职能，这一部分是我们说的整个活动环节的定义，制度与流程，有了这部分定义以外，接下来就是工具支撑以及在管控领域要用同业的最佳实践，告诉你别人是怎么做这件事情的，我们应该借鉴别人好的地方，吸取他的教训。所以这是管控咨询的一些基本框架。

　　然后我们再来看管控组织架构的思考，管控组织架构我们在很多次跟大家讲的过程中，数据管控绝对不是科技部门一方的事情，也不是记财一方的事情，我们希望管控有层次化的组织架构体系，这个组织架构体系要有整体的治理委员会，要协同业务、科技、运营管理多部门能力的管控委员的构建，中间要有实体化的部门，下面应该有具体的每一个岗位职能的设定。这是一个管控组织架构案例的参考，大家每家企业针对自身的管控组织架构定义出来，跟另外一家企业会有差异性，我们通常来看国内企业在管控组织架构设立里面，无非三种模式，一个科技下面的独立二级部门，一个是记财下面的二级部门，还有中间一个一级部门，这三种模式各也利弊，应该根据每个企业历史上的一些延续特征选择性的构建，但是你要讲实际来说，数据管控既不是纯技术的事，更不是纯业务的事，它是一个技术和业务交叉，又有很多数据管理方法在里面的一件事情。

　　我们看第二部分方法流程和模板，我们在谈流程制度的时候，我们会这样思考问题，首先我们要想清楚这件事情怎么做，也就是方法论的问题，管理办法，包括数据在各个领域的管理办法，应该先讨论清楚，第二个管理流程和制度，依托以管理办法我们开始制定流程，管控流程，管控流程应该有一系列的技术规范和模板支持他做实现，所以这是制定整个数据管控流程的完整过程，包括这三部分，先谈方法，再定流程最后做实现。

　　但是这个里面我们也有一些教训，我跟国内某家股份制银行接触时，他们应该是四大帮他做了一个资讯，在这个里面遇到了一个很大的问题，他们前期梳理了一堆的管理办法，后期发现基本上都很难落地，因此在这个领域我从来不建议客户，你应该定义十个，八个管理办法，而是根据你当前在执行过程中最有问题的点制定一部分管理办法，沿着这些管理办法选择性的做推动，我们做事情的时候，永远花20%的力量解决80%通用性的问题，而不是花80%的经历解决20%最难解决的问题，所以管控从制度建设上有一个循序渐进的过程，只有把一个流程完完整整走顺了，才会发现其实每一个流程执行都挺难，因为站在中国人的立场上，管理的东西是需要协调的，需要大量的协调性工作，需要这个数据管理部门有协调技术和业务的全方面能力，这个真的不是一件很好做的事，所以在管控制定上一定不要追求量，而是追求质的问题。

　　这是一些样例我们就不再讲。接下来讲管控领域的三个最重要的概念，第一个概念数据标准，数据标准我们认为它是解决数据领域的度量衡的问题，换句话说我们说这个企业数据质量好与不好，其实有尺度衡量，我们做数据质量的治理最终也有目标，其实标准就是解决这个问题，是数据的度量衡，但是在这个里面讲一段话，什么叫度量衡，其实秦始皇统一了中国的度量衡，我们目前用的也不是秦始皇统一的度量衡，我们用的是国际颁布的一个标准，为什么在秦始皇那个点上制定的是中国范围内的度量衡，而我们用的是国际范围内，也就是标准其实在一定范围内被大家认可达成共识的东西，本身并不是标准，只是达成共识了，在银行定义数据标准的过程中，在于我们把技术和业务针对数据发生点它的真实的含义以及它应该具有的属性状态被定义出来，大家达成共识的过程。也就是说我们无论给任何一个企业定义数据标准很容易，为什么？把给别的企业定义好的样板拿过来给你，80%、90%可用，但是少了一个大家达成共识的过程，所以标准应该是咨询的产出，我随便拿一个东西你照样可用，但是推不下去，这是客户标准的样例，这个今天不展开讲了。

　　标准里面除了基础数据标准化以外，还有指标数据标准化，关于指标数据标准化，我们要强调一点，目前我们看到指标数据标准化，确确实实能够在银行的统一报表平台，统一监管报送体系还有面对机构的KPI管理，这些领域备用的一个点，所以这一块我们一般会构建指标体系去基于数据仓库支持指标的构件，依托于指标部去支持各个领域。

　　我们接下来看一下标准管理的系统实现，其实标准管理我们讲它是一个极其简单的系统，从开发上也不复杂，只解决一个问题，也就是我们定义完数据标准之后，我们需要有针对数据标准的增删改查的功能，然后我们定期要管理我们所定义好的数据标准在真实的系统里面被影射，在采纳，被使用的过程，所以这个东西就是标准管理平台该做的。

　　我们再看管控里面的下一个题目，就是千奇百怪的数据质量问题，我可以举行八个十个例子，但是产生的原因都不一样，比如我们最早帮光大银行定义为客户主题数据标准化的时候，关于客户被识别的三要素证件类别代码，证件号和姓名，其实在光大银行的十大个人系统里面，关于证件类别代码的定义都是不统一的，如何把这些东西能够统一做，有统一的定义被执行，支持你单一客户的整合，他只这一个代码的治理大概花了几十个人员的时间，这就是一个典型的数据质量问题。所以数据质量其实是特别不好解决的问题，等会儿我讲数据质量专项的时候大家会发现，依托于我们定义的数据管控的整体框架我们去推动数据质量治理的过程，其实是一个一个问题独立的被分析，找解决方案，推动治理的过程，这个需要做的是长效，这个里面我们会提两个点，第一个点关于数据质量的KPI，说数据质量会提一致性问题、准确性问题，及时性的问题，有效性的问题，这些所谓数据质量的一个个纬度，其实都可以被这个领域内的一系列数据质量规则去支撑，比如说我认为一致性的问题，我们垮系统之间的数据一致性，更多反应在主数据编码以及功用代码体系的一致性，我就可以把银行这个领域的一个一个的数据质量规则拿出来统计一个指标，这就是数据质量一致性的指标，这样的话我们可以构建一个数据质量的KPI，这是讲的第一，因为构建数据质量的KPI体系是量化你数据质量的过程。

　　第二点任何一个数据质量在被治理的过程中都应该有一个目标，当然标准是理想目标，但是你达到标准到底是70%就可以满足业务分析还是达到90%才能满足业务分析，这需要被定义，这是质量里面我们要关注的两个点。

　　这是我们在广发做的典型数据质量问题，大家可以看出来，基本上所有数据质量问题，包括检查出来的，还是银行统计出来的，都会沿着产生问题原因的分析治理的进展，包括错误代码录入的修复还有系统设计层面的问题，逐一的被分析和整治。

　　下面在谈管控领域的另外一个概念叫原数据管理，这解决什么问题？其实在企业里面解决两个问题，第一个问题是关于企业整体数据资产的信息浏览和查看的问题，也就是你每一类数据资产到底在哪儿如何被定义，如何被存储，可以由原数据来做管理，第二点解决整个数据加工链条管理的问题，从原系统的数据产生抽取加工实现报表，它有一个完整的数据链，加工链，这个链条应该被管理，因为原系统一旦发生改动之后，会对一系列的下游产生影响，而这个影响过程是持续性的，而且是长期大量存在的问题，我们跟很多商业银行一开始在构建数据平台的时候，都会谈一个问题，ODS特别辛苦，特别难，为什么？稍微不告诉我它变了，我们天天在生产上加班，修复，去改大的，去修复这些已经产生的，被加工过错误的数据质量问题，这是很平常的问题，然后他们被告知说我们上原数据管理，只要能上原数据管理这个问题就解了。

　　这个问题是不对的，为什么？不是不对，但是我认为欠妥，我个人的主张从来不建议一上来就上原数据管理，因为当你没有把企业及原始业务数据字典以及在加工过程中通过开发的规范化管理产生的原数据，被记录和被管理下来，你其实做原数据管理一点都无项，是因为你是可以构建一个平台，但是你没办法持续性的对它做管理。

　　所以我们在原数据管理领域里面，更愿意推动在构建的初期，我们做一些规范化的梳理，去约束你的数据字典定义，约束你的模型设计，约束你的影射，约束系统投产的过程，通过这个东西达到原数据原始产生点的一致性和规范性，然后等人工流程能够实现的情况下，我们再借助于系统，这样你原数据管理系统会走的特别顺畅，因此我们不要做前期马马虎虎上系统，然后把它扔掉，我们拍脑袋又说，说原数据其实压根没用，其实不是这么回事，我从2007年工行开始建原数据管理系统，首先构建的是数据仓的原数据管理，又跟他原系统企业级原数据管理做对接，去真正打造了企业级的原数据管理，而工行这个项目是2013年才拿出来去银监会银行体系评价，他走了多少年的路，而且我认为工行的IT领域在国内是走在最前面的。所以这个领域我们一定要尝试的是，管理制度流程和规范的梳理，先推动然后再构建系统，千万不要急于上系统，这是原数据的一些影响性分析和分析鉴定。

　　最后想强调一点是整个数据管控体系其实跟IT管控体系是不可剥离的，因为数据管控要依托于系统去实现，同时它要实现的是对你系统产生的管理过程，而这个系统其实是由IT管控体系去约束和控制，所以这两个体系其实不能剥离，而是应该逐步的走向融合，所以这是为什么我们讲有很多企业把数据管理部门构建在IT部门的原因，完全可以做，但是需要在业务管理上更好的对话，当然同样设立在业务部门内的数据管理部门，同样应该由科技管理岗跟科技事先有很多对接，而且坦帅的说早期的数据管控与治理有时候从科技角度逐步推动解决一些问题，从系统基础建设解决信息问题，反而会更加有效。

　　最后借助于刚才陈述的评估图，我把前面的东西跟大家做简单介绍。前面我们讲了平台建设、管控与治理，其实整个企业级数据治理，从数据仓库的构建这两个纬度来看问题，我们去看这条曲线它是如何定义的，这条曲线我们称为技术成熟度曲线，同时我们又把它叫做硅谷曲线，它讲的是一个技术当它被发现的时候，大家会疯狂的炒作，让它达到一个高度，当达到一定高度的时候，我们又开始冷下来了，我们去挤泡沫觉得这个技术没用，我们逐步再放弃，有些客户在这个过程说这个技术没用，我选择放弃，有些客户会沿着这个过程中坚持，坚持完了之后，其实这条走到这儿之后，逐步开始发挥作用，举一个典型的例子，早年我们在银行讲的SOA架构就经历过这个曲线的发展，因为SOA一开始提出来的时候，大规模的炒作，其实商业银行很多都没用，逐步不炒的时候，我们现在做系统构建过程中，是不是基本上都考虑SOA的架构呢？应该是这样，所以我们讲企业数据治理也好，还是那句话，它是两个基础工程，应该被坚持，基础性的工程都是前期投入大，产出小，后期你会逐步看到它产生的效果。讲完这个其实最终跟大家强调一点，我们今天为什么把管控治理这个专题放在了第一场来讲，是因为确确实实我们从商业银行当前的实践中来看，无论是外部的监管报送的压力，以及商业银行真正的从ED市场化和互联网金融冲击下，从粗矿式发展走向经济化经营管理过程中其实数据的质量问题真正影响到了你，所以你不得不解决数据质量的问题，解决数据质量的问题靠什么，靠管理治理，谢谢大家。