如何提升MDM数据质量管理

2019/03/05      8894 文章来源:优百

导读:

在MDM项目咨询及实施过程中,质量管理是至为重要的一部分,大多数MDM解决方案中对质量管理的描述往往流于形式和概念性介绍,不成体系,如何在实施过程或软件功能方面加强以提升数据质量,本文仅就这一问题,结合作者从事的MDM项目和经验,谈谈思路和想法,以提供建议和参考。

一.质量管理的内涵及重要性

质量管理的重要性源自于数据,在信息管理层面,数据是对客观事物的性质、状态以及相互关系等进行记载的物理符号或是这些物理符号的组合。

从企业管理的角度而言,数据及数据组合显现为一种信息,企业经营管理人员依据其做出某种安排或决策,这是数据价值的根本所在。简单看一个业务场景:对于一家整车制造厂商而言,经销商的需求预估,安全库存的保有量、工厂产能和可供应劳动量,形成其月度的生产计划安排。在这个业务场景中,决策者一方面要保证将数据因素的全面性,同时也要保证数据的准确性,如果PMC人员将某经销商上月的月度预测数值用到本月,或者将安全库存数据统计错误或张冠李戴,则产品可能出现库存积压或缺货,引发重大损失。

援引上例,数据的重要性显而易见,如何进行数据质量管理则是引申出来的另一个命题。数据质量管理从官方定义来看,是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。作者认为,这样的描述虽然很全面,但过于宽泛,在主数据项目的实施和数据清洗过程中指导意义并不大。

二.质量评估的维度

目前,对数据质量的提升主要体现为通过各种活动或手段提升数据的使用性能,也就是提高数据质量的评估维度,数据性能维度值越高,数据质量越高,一般要求数据质量评估时需要从以下几个维度考虑:

1、完整性:数据是完整的,涵盖所有系统使用要求的,没有缺少。比如,对于某一个描述仓库的数据模型而言,仓库的地点、仓库规格、建造结构、货台数量、仓储能力、建筑交付时间等都是不可缺少的。如仓储能力和现时库存将影响PMC人员是否安排物料的入库,建筑交付时间和建造结构对于后勤人员决定是否维修仓库显得十分重要,那么这一数据的缺少就会导致该数据的质量降低。

另一方面,数据的完整性还表现为某一类数据是否完全、不遗漏的被引入MDM系统,比如某生产部门下属有10名员工,MDM系统中只维护了9名员工,则数据是不完整的。

2、规范性:数据按照一定的要求和标准进入系统。比如:仓库的规格要求按照仓库的长,宽,高来进行描述,以100M*20M*7.5M这样的标准示例字段形式维护,则输入10000CM/200米*7.5m米这样的形式就是不规范的。

3、一致性:为了数据统计分析的考虑,数据在某些方面的度量必要保证延续的标准一致。如对于组织机构视图一直是按照行政权属维护上下级关系的,则某个维护人员按照股权属性维护上下级关系就是对该规则的违反。又如:对于员工主数据是从签订合同就作为维护标准的,则尚未签订劳动合同就进行员工主数据维护也是对数据一致性规则的违反。

4、准确性:是指数据是准确的,没有错误。比如供应商主数据的统一社会信用代码证件号码,开票银行及账号等维护错误,会导致财务人员开出错误的发票,严重的甚至导致错误付款。

5、唯一性:唯一性是指在MDM系统中,对于某一类同样或者某一特定的实体,在系统中必须有唯一的一个编码和其相对应,不能出现两个或两个以上的代码,如物料出现多个代码,但实际上是同一种物料,供应商出现两个代码。两个名称,其实是一家商业实体的情况。

6、及时性:指在MDM系统中,数据被及时的录入,及时的审核和被及时的分发到下游系统。当发生新的业务,如采购新的物料,新引入一家客户,都要求及时的录入数据和发布数据,不能出现延迟审核,延迟分发的情况。及时性在主数据管理系统中十分重要,主数据是各个业务系统共同使用的数据并和其他业务系统集成,共同使用就要求各个业务系统的数据是一致的,避免不一致的情形发生。

需要特别指出的是,主数据质量评估的六个维度是相互联系,互为印证的,相互之间有互通的内容,又有相区别的内容,如及时性相对比较独立,但及时性可以保证一致性。规范性和准确性之间有相通的内容。规范性、完整性、及时性,都能保证数据的准确性。

三.如何提升数据质量管理

提升数据质量的方法有很多,如通过理念宣导、组织保障、考核和评价、设定管理规范等,本文仅从项目实施和系统实现的角度考虑如何提升数据质量。

1、完整性:

在项目实施层面,完整性主要体现为数据范围的完整,一方面,需要纳入主数据管理的数据均需囊括其中,这一点需要和客户保持充分的沟通,考虑业务实际和客户的管理意图,如某煤炭行业,主数据仅考虑物料,客商,组织机构,人员,会计科目,银行账号五大类主数据,但对于从事某水利水电工程设计与建安的公司,公司施行项目制,增加了项目主数据和合同主数据。另一方面数据的完整性还应考虑某一类数据内部的完整性,如对于物料而言,库存管理部门仅考虑现时库存,采购人员考虑采购目录和未执行的采购订单物料,财务人员考虑尚未接收到票据的采购订单物料及有账库存,各个业务部门考虑的数据范围是不一致的,需要实施人员根据项目需要和上线模块的实际情况,圈定数据范围,保证数据的完整性。

在软件应用层面,完整性主要体现为数据模型的完整和数据模型的可拓展性,软件应预置有基本的主数据模型,数据模型中对必需的字段设置为必填项,以保证数据的完整性,如员工主数据对员工姓名,性别,证件类型及证件号码,员工所属法人单位,所属部门,岗位,职级和职等、学历,毕业学校、雇佣状态等设置为必填项,对员工的职称、手机号码,QQ号码,现居住地,工位等字段设置为非必填项。同时系统容许对数据模型进行自定义,可以自行增加字段和自定义字段的可填和可不填。如增加第一联系人字段和联系电话,对毕业学校设置为非必填等。

2、规范性:

在实施层面,规范性需要通过设置管理规定和撰写操作规范来实现,如在某公司物料主数据操作指南中作出规定:进口物资不单独分类,在物料标准描述中增加特征量“-J”作为进口物资的唯一标识;又比如在某公司的客户及供应商维护指引中作出规定:公司发生的零星采购,采购价值不超过200元的,且没有发票的,不用维护供应商信息。会计科目规范中规定,公司发生的电话费用,网费纳入“信息费”科目核算,那么就不需要申请“电话费”这样的会计科目。

在软件应用层面,规范性主要通过元数据和数据字典引用,设置校验规则及字段属性来实现,如MDM系统对物料材质设置为只选,只容许填写某些特定的材质,对管口直径只容许写成DN形式,不容许写成几分管的形式,对汽油只容许填写升和千克的计量单位等。同时系统容许对字段的长度,值,和数据类型进行自定义设置,如对于身份证号码,当用户输入超过18位或者未达到18位时,系统会予以提示。

3、一致性:

一致性和规范性的内涵基本上是相通的,保证了数据的规范性,基本上就能保证数据的一致性,一致性可以参照规范性的要求进行处理。

4、准确性:

在实施层面,准确性和规范性有相通之处,数据规范性做得好,准确性就会提高,同样,准确性也需要加强管理规定和指引的作用,如管理规定中制定,客户类型严格按照统一社会信用代码证中的内容填写。委外加工的物料,必须准确的填写图号等。

在软件应用层面,准确性主要依靠约束规则来予以规范,比如地区选择西北,省份则只容许选择陕西,内蒙,宁夏,甘肃,新疆字段,物料某一特征量选定时,另一特征量只容许选择某一阶段的值,对于比较规范的字段,如身份证号码,统一社会信用代码证号码限定长度且系统能检验数字长度,录入身份证号码,自动提取出生日期等。

5、唯一性:

在实施层面,必须大力宣贯一物一码的原则性规定,在系统上线前,安排客户对原先存在出的一物多码的数据进行清理,将重复的数据清除出去。同时对此物彼物的概念要分清和贯彻到位,如某包装编织袋,材质和大小,装载量都一样,就是包装袋上的文字不同,也应视为不同的物料来申请编码。

在软件应用层面,需要完善两大功能,一是唯一性校验规则的设置及系统可配置,如容许客户自己设置按照单位名称或统一社会信用代码证进行外部单位主数据的唯一性校验等;二是系统提供相似度比对功能,对包括物料,外部单位在内的其它主数据进行相似度比对。在数据的申请,审核,查询操作步骤都能对数据相似度进行比对。

6、及时性:

在数据清洗及实施层面,要求用户及时维护和审核相应主数据。

在软件应用层面,需要提高数据审核的及时性和数据分发的及时性,数据审核设置审核时间和分发时间阀值,超过一定时间不审核,未分发或者分发错误,系统进行提醒及显示未被审核及分发的数据列表或图像化展示,以便相应用户能及时的操作数据及处理系统故障,保证数据能及时的处理并分发至下游业务系统。