MDM基础数据平台是进行清洗和治理企业的主数据，使企业的主数据具有唯一性、准确性、一致性、及时性， 通过主数据数据质量功能将错误数据和重复数据进行清洗 ，从而保证企业数据能够做到以上那几点，然后再分发至下游系统，使企业信息化更加完善。

(相关资料图)

MDM基础数据平台作为数通畅联的一款核心产品，它所承担的任务就是对数据进行治理，而数据分析功能则是对数据治理前后的一些信息的变化进行统计和展示，方便用户对数据进行管理分析，从而提高决策的科学性。

整体介绍

AEAI MDM 基础数据平台帮助创建并维护整个企业内主数据的单一视图，保证单一视图的准确性、一致性以及完整性，从而简化数据清洗工作、提高数据质量、加快业务系统对接、业务流程再造速度，提高业务响应速度。

基于MDM基础数据管理的企业信息化系统，各业务系统复用一套主数据，各系统就像一个大系统的各个业务功能模块， 企业IT架构可以实现柔性调整、升级、改造 ，从而支撑企业的业务战略目标落地。在数通畅联软件的产品家族中基础数据平台命名为AEAI MDM。

1.产品介绍

AEAI MDM基础数据平台的设计理念在于保证主数据在各个系统中的正确性、重用性和通用性。通过基础数据平台将企业的主数据进行整合，集中进行数据的清洗和标准化，并以集成服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给各业务系统。助力企业创建并维护主数据的统一视图，通过保证统一视图的准确性、一致性和完整性， 提高数据质量，逐步统一企业级数据模型 ，简化改进企业流程并提高业务的响应速度。

下图是数通畅联的产品套件图：

2.产品功能

MDM基础数据平台整体功能架构如下图所示：

MDM基础数据平台分为了主数据管理平台与MDC控制台 ，具体模块的功能如下。

MDM：包含了首页看板、数据管理、质量管理和统计分析。

1． 首页看板 ：用于展示主数据的类型数量、参考数据的类型数量、已经注册了的应用数量、目前正在代办的任务、已经办理的任务、MDM的个性化配置等等；

2． 数据管理 ：对组织、人员、岗位、客户等基础信息的管理，包括基础数据的关联，发起流程，再次分发等功能。每类主数据都有各自的参考数据，对比如民族、地区、学位等常用而又比较复杂的元数据进行管理；

3． 质量管理 ：对相似数据进行筛选、巡检，分析数据的血缘，进行大批量数据的清洗；

4． 统计分析 ：从主数据的数据量、同步情况、分发情况，进行数据角度，以及从各个应用所下发的数据，从源头业务系统同步进来的数据，对其他业务系统进行数据下发，进行从应用角度两个方面进行统计分析。

MDC：包含了数据建模、功能建模、流程建模、应用管理等。

1． 数据建模 ：对主数据、参考数据、分类数据进行建模操作；

2． 功能建模 ：创建数据表结构，为主数据进行功能建模，为主数据配置功能组件，以及附件内容的管理；

3． 流程建模 ：为主数据和参考数据定义审批流程，如：流程定义、模拟仿真等操作；

4． 应用管理 ：包括元数据的关联、分组和外部管理系统的关联、分组。

3.功能说明

在MDM基础数据平台中的质量管理功能下的数据清洗下载主数据导入模板，然后源头业务系统把数据填写在模板中， 通过数据清洗批次导入功能进行导入清洗 ，检查出数据中不符合规则的数据，通过批次导出功能把错误的数据导出到Excel中进行数据处理后，再重新导入重新检测直到所有数据成功为止，然后把所有成功的数据导出Excel中，返回给业务源头系统进行源头系统的数据清洗（源头系统添加主数据编码映射），通过主数据任务分发把标准的数据分发给业务，这样就把源头、主数据、下发至业务系统数据保持一致。

场景分析

我们对于数据质量进行管理主要有两种途径，分别是 数据巡检和数据清洗 。两者的区别在于数据巡检是针对已经存在于MDM中的数据，筛选出相似数据，相似度和相似字段可以在功能建模中进行配置；而数据清洗是在数据进入到MDM之前对数据进行校验，包括重复校验以及基于各种校验规则对数据进行清洗。下面我会对巡检和清洗的模型进行介绍。

1.模型设计

MDM基础数据平台数据质量功能模型设计主要是对数据清洗功能和数据巡检功能相关的数据库表结构以及表与表之间的关联关系的构建。在创建主数据的时候会创建出三个相关的数据表，包括 清洗导入表、错误信息表、重复数据表 。

清洗导入表用于存放所有导入清洗过后的数据，然后通过查询这张表展现所有清洗的数据。

错误信息表与清洗导入表相互关联，通过清洗ID可以在错误表中查到该条数据对应的错误信息。

重复数据表用来储存数据巡检后的巡检数据，与主数据相关联，我们通过在数据巡检点击不同的主数据来查看该主数据下的巡检结果。

2.配置说明

对于数据质量的管理首先要创建主数据，然后在创建主数据的时候可以进行配置是否需要对其进行数据清洗。创建主数据通常分为两个部分， 一个是数据建模，一个是功能建模 ，这两部分中都有数据清洗相关的配置。

配置主数据首先要创建一个基础模型，在创建该模型的时候可以配置是否对其清洗，如下图：

当我们选择了数据清洗，在配置数据建模时，就可以对需要清洗的字段进行配置校验规则。之后的清洗过程就会按照配置的校验规则去执行。

配置好基础数据建模后配置功能建模，功能建模中可以配置数据清洗导出的策略，这个导出策略分为两种，分别为 导出全批次成功和导出单批次全量 。全批次成功导出的是所有批次下清洗成功的数据，单批次全量导出的是最后一个批次下的所有数据，如图所示：

在配置功能建模的时候还可以添加数据清洗的校验字段，该字段也是数据巡检的匹配字段。如下图：

3.实现步骤

数据清洗功能整体实现步骤如下：

1.创建并配置好一个带有数据清洗的主数据，如：是否清洗，导出策略及质量相似字段选择。

2.进行清洗数据导入数据，可分为三部分：常规数据的导入，错误数据的导入和重复数据的导入。

4.导入数据清洗后进行详细信息查看。

5.对清洗数据中的错误数据和重复数据进行调整。

7.完成清洗数据的导出功能，如： 批次导出和导出最终结果 。

数据清洗

数据清洗是对导入进来的数据进行错误数据和重复数据的查看，有详细的错误信息可以查看，能排除重复数据。除此之外还有过滤功能，可以通过字段和校验规则，过滤出相关的数据，下面会对这些功能进行详细介绍。

1.数据导入

数据导入就是我们在对要进行数据清洗的数据进行导入，来查看数据中是否有不符合我们创建主数据时配置的校验规则以及可能出现的重复数据。

首先数据导入主要是 按照清洗导入表的结构进行导入 ，对Excel表格进行数据的读取。通过循环每一行中的每一个单元格将数据存入到大数据字段中，通过调用我们的后台接口去完成一条或多条的数据导入，以此类推，完成清洗导入表的数据新增。然后在数据清洗列表页就能看到我们导入的数据，如下图：

从上图还可以看到我们的导出策略，以及一些不符合我们需要的数据及其错误的信息。下面会对其数据调整进行详细介绍。

2.数据调整

上述进行的数据导入，我们可以看到失败的数据以及错误的原因，我们可以选择失败的数据对其进行数据导出后进行调整，如下图：

然后将错误的数据进行导出到Excel表格中，在表格中会有明确的提示信息，我们根据信息修改以后就可以再次把数据进行导入清洗，查看有没有还是不符合我们配置好规则的数据，如下图：

可以看到错误信息提示名称不能为空，把名称添加上之后再次进行数据清洗导入，然后进行筛选。如果还是有失败的数据就可以继续进行数据的调整，直至没有失败的数据。

3.清洗导出

清洗导出主要分为两种情况， 第一种是选中数据进行批次导出，第二种是导出清洗结果 ，导出功能通过freemarker模板将数据导出到Excel表格中，下面将对这两种清洗导出分别进行说明。

选中数据进行批次导出是为了方便使用者可以根据自己的需要，选择数据进行导出我们的清洗数据。如下图：

导出清洗结果分为两种情况， 第一种是导出全部批次成功的数据 ，是为了方便有多个批次时需要多次导出，节省时间方便实用。 第二种就是导出单个批次的全量数据 ，就是选中进行导出的升级版，可以直接一键导出所选批次的全部数据。

通过上述所介绍的导出方法，就可以把清洗过后合格的数据进行导出，如下图：

结果为导出最终的清洗结果，就可以用它来完成主数据人员的导入或者进行下游系统的分发。

数据巡检

数据巡检功能主要是将导入的或者现有的数据进行重复检查操作，通过配置巡检的字段和相似度得到一系列的重复数据，进行排除操作从而得到高质量的数据。

1.功能说明

在数据巡检功能中支持多条巡检，且巡检过程中就不可再进行巡检，巡检后可以查看相似度，查看巡检源基本信息和它相似的所有数据，双击查看对比度。对比度需要存储到相似度表里。

2.巡检配置

数据巡检主要是查看导入的数据和现有的数据是否有重复的数据，我们在构建主数据的时候可以配置需要巡检的字段，如下图：

可以选择我们需要巡检的任何字段，设置好巡检的匹配度后，在进行巡检的时候就可以通过设置好的巡检字段去进行巡检。

3.数据巡检

数据巡检可以在数据导入时对其进行重复检查，可以在数据质量中的数据巡检选择对应的主数据进行数据巡检，还可以在主数据页面通过选择数据进行重复检查。这三种方式都属于数据巡检。下面我会对每种方式都进行简单介绍。

(1) 数据导入 ：我们以人员为例，通过导入一个批次的人员数据，然后点击重复检查，选择当前批次进行巡检，这里的巡检是必应的当前批次数据和该主数据下的所有真实数据做对比，如下图：

然后进入数据明细页面后就可以进行重复数据的查看，如下图：

(2) 数据巡检 ：是在数据质量功能里的数据巡检功能选择一条主数据进行全量数据巡检，该巡检是主数据自身数据的巡检，如下图：

可以通过双击数据进行巡检也可以点击执行按钮进行巡检，巡检过程中可以手动点击停止按钮，结束巡检。巡检效果查看如上。

(3) 主数据页面 ：在主数据的管理页面选择一条或者多条数据进行重复检查。该巡检是选中的数据与该主数据的全量数据做对比，如下图：

到这里就介绍了数据巡检的三种巡检方式，数据巡检可以找出重复的数据，然后通过数据清洗，可以保证主数据的一致性，准确性，完整性。

总结归纳

现在无论是传统企业和互联网企业，企业内各类庞大的数据都需要一个载体来承接。传统的纸质资料早已被信息化的各类系统所取代，主数据的管理属于时代必须的产物。 MDM的数据质量功能可以很好地完成数据质量的把关 ，保证数据的统一性，完整性，准确性。

1.产品作用

MDM基础数据平台可以 将各类杂乱无章的数据进行筛选、清洗、过滤 ，把最后的高质量数据留下来，保证数据的完整性，统一性。并支持对于其它系统数据与MDM基础数据平台的同步分发，还可以根据需求搭配本公司其它产品进行组合使用，使数据治理变得游刃有余。

MDM可以打通各业务链条，消除不同部门重复录入数据造成的数据冗余。统一数据语言，统一数据标准， 实现数据同源、数据共享 ，最大程度提高数据的权威性。MDM还实现了数据动态自动整理、复制，解决了各部门数据及版本不一致的问题，极大减少了人工整理数据的时间和工作量，提高工作效率。并且MDM可以打通企业业务系统之间的信息孤岛，还能够实现信息集成与共享，提高公司整体的战略协同力。

2.产品应用

MDM基础数据平台侧重于对数据的治理方面，保证主数据在各个系统中的正确性、重用性和通用性。平台具有敏捷性，主数据管理功能配置简单，可根据用户需求自定义设置编码规则、字段校验等。内置BPM工作流功能，允许用户自定义是否绑定工作流程，使主数据的管理维护能够适应各种业务流程审批场景，开发与配置过程可视化。

3.产品发展

平台是保障主数据治理方案落地的重要工具，平台在功能上满足主数据治理需求的同时，具备快速扩展能力，以适应不同业务场景的变化。并根据技术的发展及业务的演变，不断迭代升级。

通常选择的主数据管理平台要预置典型的 模型功能、样例数据 ，这些数据可在项目中复用，节省时间。MDM与数通畅联的其他产品组合、搭配使用，满足绝大多数应用场景，可以更加灵活地适应企业业务需求的变化，解决不同的企业面临的问题，与其他产品组合形成不同的解决方案。

本文由 原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~

关键词：