随着云计算与大数据时代的来临，很多大中型企业数据中心的空间密度呈现出快速增长态势， 高效管理已经成为了数据中心突出的需求 。但是，随着数据中心运维对象的成倍增长，这很有可能使得企业的资产管理变得一团糟，这属于数据中心生命周期内管理的范畴。

由数通畅联的产品云MDM基础数据平台和云ESB企业服务总线构成的 基础数据治理方案可以有效地完成数据的全生命周期管理 。通过基础数据治理方案构建主数据标准体系，为企业的经营决策提供数据支撑，同时还可以更全面地助力企业数字化转型。

整体介绍

通过对企业主数据进行全生命周期管理，充分挖掘出数据的价值，同时可以优化数据存储结构。并且分离后的历史数据，可以做到相对独立的管理，可以为经营提供数据支撑。

【资料图】

1.基本概念介绍

数据生命周期，通常是指某个集合的数据从产生或获取到销毁的过程。数据全生命周期分为：数据申请、校验、审核、发布、维护、变更、注销等几个阶段。

在数据的生命周期中， 数据价值决定着数据全生命周期的长度 ，并且数据价值会随着时间的变化而递减。同时，数据的采集粒度与时效性、存储方式、整合状况、可视化程度、分析的深度和应用衔接的程度，都会影响数据价值。所以需针对数据生命周期各个阶段的特点采取不同的管理方法和控制手段，这样才能从数据中挖掘出更多有效的数据价值。

2.主数据的分类

主数据是指满足跨部门业务协同需要的，反映核心业务实体状态属性的基础信息 。企业主数据划分为四类，分别为人事类（组织、人员、岗位）、财务类（财务科目、固定资产）、物资类（物料、设备、产品）、知识类（工艺、知识产权）、项目数据（项目、合同）以及客商类（客户、供应商），上述主数据将会从现有各应用系统以及线下Excel获取基本数据信息，并对数据进行数据清洗及数据落地后，最终进行数据管理及分发。

3.数据建设意义

近几年随着IT信息化地推进，不管是企业的业务系统还是数据量都有了一个非常爆炸性的增长。对数据的管理也就有了新的要求，原有的粗放型的数据管理方法，不但不能发掘利用数据的剩余价值，连现有的在线业务处理都显得力不从心。在这种情况下，根据数据的特点实行数据全生命周期管理就显得非常必要。

首先从在线数据的角度来看， 数据生命周期管理可以优化数据存储结构 ，有效地控制在线数据规模，提高生产数据的使用效率。非在线的数据可以得到很好地剥离，有限的资源优先供给在线数据来使用。

其次从历史数据的角度来看，经过分离后的历史数据，可以做到相对独立的管理， 还可以为客户端服务和经营分析提供数据支撑 。最后从整体来看，通过规范数据生命周期管理，也可以提高数据的整体管理水平，使得企业数据错落有致，不再冗杂分散，主次不分。

常见问题

实现企业主数据的全生命周期管理的前提是实现基础数据治理，将杂乱的基础数据治理为统一标准的主数据。在基础数据治理的过程中也会有许多问题：数据散乱不完整，并且数据的质量差；没有统一的管理视图等。

1.数据丢失严重

缺少关键基础数据，部分辅助数据缺失或不全面，历史数据丢失严重 。例如：有些信息是被遗漏的信息。可能是因为输入时认为不重要、忘记填写了或对数据理解错误而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失。

2.数据质量偏差

在业务系统运行过程中，由于各类原因，会导致 数据冗余、数据不一致 、数据缺失等问题，例如计量单位不一致、编码不一致、同一实体多条记录等数据质量问题。这些问题数据如果不及时发现并处理，就会影响企业的运营，阻碍业务发展，甚至造成严重的后果。对于后续的数据分析，也会因为这些问题数据的存在而被干扰，分析结果将受其影响，误导管理层决策。

3.数据规则不一

数据的标准包括了企业核心业务定义、数据模型、数据属性、参考数据、指标等，也包括了行业内部的数据标准。企业在各业务系统建设时如果缺少统一的数据标准，会导致开发和运维人员难以正确理解数据模型的相关含义，致使企业不同 业务系统集成和数据共享困难 ，同时也会导致企业的资源浪费。

4.利用价值偏低

企业中绝大部分系统处于分散、独立的状态，各系统独立运行，系统中的数据标准自成体系，系统与系统之间 无法进行业务交互和数据交换 ，导致数据只在系统内部有效，不能与其他系统的相关数据进行关联分析，信息孤岛导致信息利用价值偏低。

解决方案

在人工智能、大数据等技术发展和企业数字化转型加速的双重驱动下，基础数据治理、建立主数据标准规范、实现主数据的全生命周期管理成为行业焦点。为此数通畅联推出了基础数据治理方案。

1.解决方案简介

企业在业务发展过程中沉淀了大量的数据，但是这些数据没有为企业带来直观的价值，没有形成企业的数据资产，所以越来越多的企业进入到了数据治理阶段，对于主数据治理的需求越来越明确。

由云MDM基础数据平台和云ESB企业服务总线组合而成的基础数据治理方案可以打破各系统间的数据壁垒，连接不同的系统，形成统一规范的数据标准体系， 实现企业业务集成和数据集成 。MDM基础数据管理平台是对主数据进行同步、清洗、治理、分发全生命周期的一次管理，帮助各个业务系统的主数据统一，保障它们的完整性、一致性。

2.整体数据架构

在基础数据的管理过程中，通过云ESB将企业基础数据同步至云MDM，或通过云MDM进行基础数据的录入。之后在云MDM进行数据清洗和日常维护等操作，最后将基础数据通过标准对接方式或通过云ESB下发至其他业务系统中。

3.典型应用场景

云MDM对录入的基础数据进行整体管理，包括一些基础数据的数据申请、流程审批、数据发布等。在日常的系统运行过程中会生成相应的图表展现，如数据集成过程情况的图表展现、集成过程中生成的日志信息等。通过结合云ESB实现主数据与业务系统之间的交互。

云MDM是主数据全生命周期的数据管理平台，因此，为了实现业务闭环，需要对数据进行申请、变更、禁用以及分发流程，以满足对数据管理的相关业务。在对数据进行操作的时候，可能出现需要对数据进行人工的审批，以保证数据的安全性和准确性。

实施要点

简单来说数据全生命周期管理主要包括了从 源头数据抽取——数据清洗转换——数据分发 的全生命周期，从而形成数据生态闭环。通过对采集到的数据进行处理分析，再应用到运营中去，这样才会发挥数据更大的价值。

1.数据采集同步

在大数据时代，企业不仅要采集企业内部数据（财务系统、HR系统、CRM、ERP等企业系统数据），同样也需要采集外部数据（行业Web数据、竞争对手的Web数据），从而挖掘出更多的数据价值。云ESB会在各个业务系统中抽取基础数据同步至云到MDM中，再由云MDM进行主数据治理。

数据处理的整个流程包括了数据存储、数据标准、数据清洗、数据质量、元数据管理、ETL（抽取、加载、转换）、数据模型设计等过程的企业数据仓库建设或数据湖建设。

在此过程中，云ESB将多个业务系统中最核心的、需要共享的数据采集到云MDM中，集中进行主数据的清洗和丰富，将分散、零乱、标准不统一的数据整合到一起 创建主数据标准体系 ；合并来自多个来源的数据，构建复杂的连接和聚合。

数据的同步是从数据源头系统获取组织、人员、岗位、客户、供应商等基础数据信息，通过ESB企业服务总线将数据同步至MDM主数据管理平台中，在主数据管理平台进行数据模型的创建、数据编码的定制以及数据质量的管理等，最后将干净的数据分发至有需求的各业务系统中。以人员主数据为例，在MDM主数据管理平台实现对人员主数据的管理首先需要清楚该类主数据的源头系统，之后根据源头系统的数据创建数据模型、功能模型， 实现对人员主数据的管理、维护 。

2.主数据的分发

将治理后的主数据通过标准对接方式或者企业服务/数据总线分发到所需的各个业务系统中，支撑业务系统、业务流程和决策。统一标准的主数据会大大降低集成过程中的难度，同时还能 保证各个业务系统基础数据的准确性、完整性、一致性 。

主数据管理将源业务系统同步过来的一条或者多条数据打包成数据任务并生成任务ID，各数据接收业务系统提供数据接收接口，该接口请求参数为任务ID，主数据管理平台提供任务ID解析接口、接口说明资料，各系统接收接口根据任务ID解析出任务内全部数据信息并将数据同步至各系统中（也可以直接推送Json数据），同时将数据同步状态信息回写至主数据管理平台。

3.基础数据清洗

通过数据清洗功能下载主数据导入模板，源头业务系统把数据填写模板中，通过数据清洗导入功能进行导入清洗，检测出数据中欠缺的、重复的、不符合规则的数据，通过导出功能把失败的数据导出到Excel中进行数据处理后，再重新导入重新检测直到所有数据成功为止，然后把所有成功的数据导出Excel中，返回给业务源头系统进行源头系统的数据清洗（源头系统添加主数据编码映射），通过主数据任务分发把标准的数据分发给业务，这样就把 源头、主数据、下发至业务系统的数据保持一致 。

4.基础数据巡检

数据巡检主要是用来保证数据的唯一性，通过巡检功能来对数据进行查重处理来保证分发到下游业务系统的数据唯一。目前云MDM中相似度巡检运算方式是根据多个字段的组合通过相似算法算出他们的相似百分比，然后查看是否超过配置的百分比数字，如果超过就判定为相似数据，然后记录到数据表中，还需添加新的质量校验算法，通过结果值乘以不同字段的阀值再除以阀值的相加和得出的数字进行数据巡检，巡检支持结果Excel输出， 帮助客户提升主数据质量 。

5.基础数据校验

数据质量是数据为产生业务价值和实现业务目标的基石 。校验规则主要是针对不同的属性配置校验方式，如非空、数字、唯一、长度等，主要是为了保证主数据的规范性、完整性，降低人工维护时产生的异常数据，从而提高数据质量， 加快业务系统对接、业务流程再造速度，提高业务响应速度 。

方案价值

通过基础数据治理方案能够实现对基础数据的治理，建立统一的主数据标准体系，协助企业完成生产类主数据的全生命周期管理，在此基础上 推动业务的升级与发展 。除此之外，基础数据治理方案还能为建设统一集成底座方案与企业数据中台方案奠定基础，并且 为企业的数字化转型解决集成整合治理的需求 。

1.奠定数据架构

基础数据治理方案能够 统一系统架构及协同标准 ，单一系统变化对其它系统影响极小，符合未来业务发展需求。同时支持插拔式信息应用扩展/替换，为后续建设统一集成底座方案以及数据中台方案奠定基础架构。

通过基础数据治理方案能够有效减少数据交换、转移所需的成本和时间，降低数据的冗余度，提高信息的有序化程度和存储效率。 实现统一数据管理标准、维护标准、统一数据口径、数据维护流程，清洗企业内部冗余数据，有效提升数据质量 。

2.强化数据管理

基于标准的数据管理模型，实现基于数据平台的规则整合、统一定义和发布等事务的集中处理。通过数据的审计支持，来保证数据变化经过严格的审批；通过数据管理的持续优化和绩效改进，提升数据资产的管理成熟度。由此实现主数据申请、校验、审核、发布、维护、变更、注销等全生命周期的业务管理，实时跟踪和掌控数据的变化，建立数据的动态历史库， 保证数据资产管理的持续优化和绩效改进 。

3.推进业务协同

确保企业核心系统（财务、OA、HR等）实现信息系统互联，满足信息共享需求，避免信息孤岛形成；创造总部、区域公司、基层业务单元协作业务运营环境，助力企业战略措施落地，达到企业业务全局一体化的管控。企业通过基础数据治理实现对生产数据的全生命周期管理，并可以逐步建立统一高效、资源整合、互联互通、信息共享、便捷查询、实时监管的企事业内外一体化的数据决策分析平台—数据中台。

4.提升运营效率

实现统一的业务访问标准，保证相关业务目标系统数据的变更同步性，通过数据总线，以灵活、可持续的方式支持任何面向业务的规则集合，保证数据的唯一和规范，大幅降低数据的集成和共享成本。有效减少数据交换、转移所需的成本和时间，降低数据的冗余度， 提高信息的有序化程度和存储效率 。

数据信息化建设是一个持续的、动态的过程，通过对数据治理实现生产类主数据的全生命周期管理，使数据能够为企业的经营决策提供支撑，通过数据的可视化展现可以实现及时掌握竞争者的商情和动态，知晓在竞争群中所处的市场地位， 通过积累和挖掘行业数据，达到帮助营销决策的目的 。数通畅联的解决方案能够 实现数据治理分析，为企业的业务提供数据支撑，促进企业数字化转型 。

本文由 原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~

标签： 生命周期 业务系统 数据管理