Informatica:数据3.0时代的数据治理之道

原标题:Informatica:数据3.0时代的数据治理之道

在钛媒体集团及旗下中国最大技术社区 ITValue联合主办的“2017 IT价值峰会暨中国企业级技术峰会”中,Informatica中国区资深产品专家孙大山、Informatica中国区技术顾问冷鹏介绍了数据3.0时代的数据治理之道。

Informatica成立于1993年,到现在有24年的历史,一直专注在数据管理领域。Informatica在全球拥有超过7000家客户,遍布各行各业。根据Gartner的相关报告,Informatica是多个数据管理领域的领导者,包括数据集成管理、数据质量管理、主数据管理、元数据管理、数据安全管理、数据归档管理、云数据集成等。在所有的细分领域当中,Informatica都常年位居领导者地位。

Informatica在中国耕耘了十多年的时间,到目前有超过600家客户,而且都是各个行业当中非常具有代表性的客户,包括金融、政府、电信、能源、制造、物流、医疗等等。孙大山表示,由于各个行业对于数据的诉求其实是相似的,所以从数据这个角度来看,不同的行业差异性并没有那么大,这也是Informatica在诸多行业都有成功案例的原因。

进入数据3.0时代

现在进入到数据爆炸的时代,对于数据管理的要求和诉求越来越多,面对的数据也是越来越多。从数据的角度,可以把整个IT发展分为三个阶段:数据1.0时代、数据2.0时代和数据3.0时代。

第一个阶段为数字1.0时代,在这个时代主要是聚焦在以系统为中心,包括销售系统、财务系统、办公系统、人力资源管理系统等。

第二个阶段为数字2.0时代,IT系统在2.0时代建设的差不多了,数据开始需要在不同的系统当中流转和交互,构建跨系统、跨部门之间的流程,所以进入了以流程为中心时代。

在数字2.0时代,有了数据集成的概念。数据集成体现的是企业对于数据管理的能力,数据能否流动起来、能否交换起来、能否支撑不同的业务场景、不同部门之间的流程化应用。从目前来看,大多数企业还是停留在数据2.0的时代,也就是以业务流程为导向,进行数据的交换和使用。

第三个阶段即数据3.0时代,这是一个以数字驱动运营的时代,在数据3.0时代不再是以系统为中心、也不再是以流程为中心,而最终迈向以数据为中心。在这个阶段,数据是最大的资源。在数据3.0时代,所有的流程都服务于数据,哪里需要数据、数据就到哪里,或者所有的业务都构建在一个完整的数据大平台上。

孙大山表示,现在很流行一种系统建设的思路叫做大平台、小应用。原先是一个一个像竖井、烟囱一样的系统,数据被分散孤立在不同的环境当中,未来一定是迈向到一个大的数据平台,所有企业的数据都集中在这个大平台之上,去构建一个个小而灵活的应用。

Informatica中国区资深产品专家 孙大山

认识到数据价值和最终的转化之间存在着一个巨大的差距,拥有数据不代表拥有价值,只有用科学有效的手段转化出来,才能够看到数据的价值。都说大数据是一个金矿,但需要用更多的时间、更多的精力去把价值发掘出来。

数据价值挖掘的三个挑战

从数据的不同方面解决价值挖掘,将遇到几个问题:数据孤岛、集成毛团和数据质量。

首先是“数据孤岛”,数据1.0时代不停的建系统,建完之后发现所有系统都像竖井一样形成一个个的孤岛,数据被锁定在孤岛中。

其次,数据2.0的时代,数据开始流转,开始采用不同的方式方法进行数据交换的管理,但并没有一个统一的思想或者统一方法,更多采用一次性集成手段。当系统越来越多,一次性集成手段越来越庞杂,导致很难梳理清楚到底系统对外有多少个实际接口、都是什么样的实现方式,于是形成了“集成毛团”。

第三就是数据质量的问题当粗放式的经营过后,开始慢慢走向精益化管理的时候,数据质量问题最终将导致很多应用的问题。以上三大问题,阻碍了数据管理的道路。

对应“数据孤岛”问题有很多解决的方法,如果采用的方式非常多样化,最终会产生一个点到点的数据架构,形成集中化、统一的整体集成架构,能够很好的帮助解决“集成毛团”问题,把所有的数据交换、数据交付的过程通过集成化、集中化平台来实现。当业务系统发生变化的时候,只需要在中间环节做调整即可,所以这是一个符合SOA的松耦合平台化整体架构。

孙大山表示,Informatica从数据管理的角度,帮助企业建立一个以数据为中心的架构,在这个架构当中不再是系统与系统之间的一次性的集成,而是构建起统一的数据管理平台,由数据管理平台来管控整个企业内部所有数据交换,以企业SOA架构来进行整体式管理,在一个大的平台中管理数据的可信度、时效性以及数据安全。

数据质量管理是一个持续过程

解决了数据集成和交换问题后,接下来就是到端到端的元数据管理。元数据管理、数据质量、主数据是数据治理的“三兄弟”。基础是什么呢?基础是数据集成。孙大山表示,很多元数据管理项目失败的一个最根本原因,就是没有把底层的基础打好。

数据质量管理与数据集成管理是两个概念,数据集成是在数据接口和数据交互的过程定义完成后每天运行即可,但是对于数据质量来讲并不是一次性的过程,而是一个循环往复的过程。而且在数据质量管理的过程当中,不再由IT单方面推动。

数据质量要解决很多问题,包括数据标准、数据缺失、数据不可读、数据重复等。解决的方法有五步:发现问题、定义和设计指标与规则、设计和实施规则与动作、流程化与异常管理、监控数据质量指标。此外,业务是7×24小时运行,不停有新的数据出现,新数据又会带来一系列数据问题,就需要时刻调整数据质量管理规则。

孙大山强调,数据质量到底有什么问题,更多的是从业务的角度对数据做定义。例如银行账户上出现1970年开户的数据,业务马上可以判断1970年银行还没有成立,不可能有开户日期。因此,数据质量是基于角色管理流程,不同部门的业务与IT要共同参与到整个数据质量管理过程中。

全景化数据视图

在主数据管理方面,Informatica有完整的主数据解决方案,而且是多域主数据管理。什么是主数据?所有的数据可以分为主数据和交易数据。交易数据是一笔交易的数据,包括购买产品的数量、金额、门店等,但客户名称、购买渠道、购买产品等数据叫主数据。

冷鹏强调,主数据在系统当中占比不到20%,但是它的价值是20%的数据拥有80%的价值。客户存在于不同的系统当中,HR、销售、财务、呼叫客服等,需要把所有分布在系统当中的客户数据整合在一起进行管理,最终实现全景化数据视图。

Informatica中国区技术顾问 冷鹏

Informatica强调,要充分发挥数据价值,应以主数据为筋脉,把各类散乱的大数据有效串联起来。Informatica提供综合全面的主数据管理解决方案,能够识别企业内部最为关键的信息并创建单一的真实数据来源。

Informatica MDM产品可获取数据的单一视图,提供关于数据关系的全方位视图,以及涉及所有交互作用的完整视图。Informatica MDM还可应用于企业内部、云端及混合环境部署,可根据企业的业务需求提供多种部署选择及云迁移路径。

智能数据平台

那么,在数据3.0时代,如何构建数据驱动型企业的数据管理架构?孙大山表示,Informatica解决方案采取逐步的分层方法:底层为虚拟化支撑平台、云平台;往上层为数据质量、数据整合、数据安全、流程服务、数据服务和企业数据中心;再往上层是元数据管理;最上层则为数据治理组织(治理委员会),主要负责数据治理制度的主题、职能、流程、系统、项目等。

Informatica智能数据平台是业界第一款混合数据集成平台,为企业搭建了一座从现有内部部署环境过渡到新的云环境的桥梁, 可支持企业跨越所有部署模型、数据类型和潜在因素部署数据管理功能, 其核心是CLAIRE智能化引擎。CLAIRE是由元数据驱动的人工智能引擎,它将机器学习及其他人工智能技术应用于企业范围的数据和元数据,可为Informatica的全系列数据管理产品和解决方案提供智能化服务。

冷鹏最后强调了数据管理与数据治理的区别,因为国内企业往往把数据管理与数据治理混为一谈。企业在进行自检的时候,要问如下6个问题:

1,企业系统间的数据访问是否通畅?2,企业的数据能否呼之欲出?3,企业的统计和报告是否准确可信?4.企业的客户数据是否统一一致?5,企业数据是否有被盗卖的风险?6,企业数据能否被审计?如果上述问题出现3-4个时,企业应该做数据治理而不是数据管理,要先做好数据治理才能管理好数据。

随着全球“数字宇宙”的快速膨胀,企业的大数据正在形成“压力锅”,并濒临“爆锅”状态。孙大山和冷鹏2017 IT价值峰会技术大牛公开课上分享的Informatica数据集成平台、主数据管理、智能数据平台、企业信息目录和数据治理等方面的技术、产品、解决方案与案例等,引起了广大与会技术高管的高度重视,为数据3.0时代的数据治理提供了指南。

查看第九届IT价值峰会暨中国企业级技术峰会的更多精彩报道,请扫描下方二维码,进入峰会合集回顾中!返回搜狐,查看更多

责任编辑:

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
阅读 ()
免费获取
今日搜狐热点
今日推荐