上一篇,我们大概归纳了一下哪些数据属于主数据,并提供了一个实例。今天,我想继续聊主数据,标题上开宗明义:主数据管理是企业数据战略的重要组部分。
为什么把主数据管理提升到如此重要的高度?因为,主数据是对企业业务必不可少的关键数据,需要跨部门、跨领域使用,而主数据管理(MDM)旨在通过建立和运行企业级数据服务组织,为整个企业及所有业务伙伴提供准确、一致和完整的主数据。
主数据的概念起源于2008年左右,当时数据仓库和ERP应用在许多组织中开始流行。随着数据量和数据库数量的不断增加,以及用户输入和读取数据的应用数量的不断增加,确保主数据正确无误变得越来越重要。例如,在大型组织中,可能会由多个应用或部门孤岛式填入和管理多个客户数据库,而同一真实客户可以从同一组织接收多种邮件或信息通知,确保客户信息准确一致非常重要。
近年来,随着大数据的爆炸式增和数据分析的迅猛发展,高质量主数据的一致性变得空前重要。企业不仅需要确保对关键数据资产进行有效、准确的管理,而且还应通过现有主数据来引入新的数据资产,以充分实现数据资产的经济潜力。因此,主数据管理必须成为公司数据战略的重要组成部分,必须成为公司首席数据官等C级高管的核心任务之一。
本质上,主数据管理失败的原因有两方面:
-
仅依靠技术和工具,没有获得业务部门的信任和支持;
-
忙于修复和解决当前数据问题,缺乏前瞻性思考。
因此,主数据管理必须采取业务驱动,需要业务部门和业务领导的支持。为了建立和维护统一的主数据,很多时候需要对业务流程进行根本性变更,最困难的主数据障碍根本不是技术问题。另外,将主数据管理作为数据战略重要组成部分才能获得前瞻性视野,它是企业未来成功的坚实基础。
大量经验表明,实施主数据管理越早越好,刚刚将ETL引入BI项目时实施MDM是最简单、最顺畅的,而调整已有数据资产和流程则往往需要付出高昂的成本和巨大的努力。从一开始就实施MDM与拖拖拉拉不肯实施MDM之间存在巨大的差异:
可见,MDM应该是所有企业数据战略的重要组成部分,且应具有长期的前瞻性。也就是说,MDM需要作为一项投资,能够为公司在大数据、数据分析和数字经济等方面奠定坚实基础,并获得长期盈利能力和长远回报。
在数据战略层面,实施MDM可以分为以下四大步骤。
步骤1:建立企业级数据治理组织
建立数据治理组织是主数据管理最关键、最重要、也最困难的部分,尤其需要数据治理委员会的支持和承诺。
这方面DMBOK2有详细的阐述,这里就不赘述了。
步骤2:将MDM应用于新数据或新应用
要想取得MDM成功,最简单、最有效的方法是在创建数据时强制让数据保持一致性。MDM是长期项目,需要企业付出长期努力,任何对数据进行临时性修修补补的调整都会使MDM既白费蜡、又白花钱。
由于MDM的驱动往往来自数据问题,许多企业在实施MDM时努力解决现有系统、现有数据的问题,造成成本和代价高昂,却收效甚微、停滞不前。其实,实施MDM的最佳方法是将其应用于新项目,这不仅有利于测试数据,也能够积累专业知识和经验。
此外,像大多数数据治理工作一样,MDM应作为与数据相关的项目的一部分,直接嵌入到应用和项目中。例如,MDM应在以下技术工作中强制执行:
-
数据建模:数据库的逻辑设计和物理设计
-
在ETL中定义业务规则和字段名称
-
配置和设置ERP等第三方软件
-
质量保证测试/用户可用性测试
步骤3:选择正确的MDM软件
理想的MDM软件,应具备以下核心功能:
-
引用和访问公司主数据资产(如关系型数据库、Hive、电子文档等)的元数据
-
业务用户和数据管理员可以在软件中轻松定义和修改主数据定义
-
能够检查数据、配置业务规则,从而应用或执行数据本身的内容
-
通过AI增强使数据管理更加强大,如自动发现和跟踪数据问题
MDM软件一般具备第1项和第2项功能,第3项和第4项则不容易实现。
但无论如何,工具只是工具。没有数据治理委员会和公司领导的支持,MDM软件无法自动发挥魔力。此外,业务、数据、技术之间不断的沟通和强化,也比软件本身起着更重要的作用。
步骤4:利用MDM管理现有系统
许多企业不愿意从头开始创建主数据,这也是他们改造现有数据库和应用的原因。将MDM应用于现有数据资产通常需要巨大的努力,且由于工作复杂、代价高昂,常常可能导致项目失败或半途而废。为了使MDM获得成功,不宜盲目上马,需要详细规划,建立起多阶段的实施路线图。有时,将数据或系统迁移到新平台之前,部分应用MDM、而不追求大而全可能是更好的策略。
总之,MDM已成为企业充分实现数据资产价值、增加收入和利润的必要条件,但实施MDM并不容易。MDM需要成为数据战略的重要组成部分,需要公司高管的支持以及业务、数据、技术的共同努力。解决现有数据和系统问题很难,但不应成为企业逃避MDM的借口。将MDM应用于新数据和新应用,可以奠定MDM逐步应用于现有数据和系统的基础。