目前市场大多数数据质量产品,都是在数据集成产品套件中,开发了一些数据清洗规则校验的工具 ,并宣称为数据质量产品。这在很大程度上误导了大家对数据质量管理的认识,认为数据质量管理就是修改数据中的错误、并对错误数据和垃圾数据进行清理。这的确是数据质量要解决的问题,但跟全面数据质量管理还有相当大的差距。导致企业数据质量问题的原因是涉及企业信息技术和管理的多个方面,要想全面系统的解决企业数据质量问题,仅凭数据清洗和校验处理是远远不够的。实际上,数据质量管理,是指对数据从建模、采集、存储、共享、管理、应用、归档整个生命周期的每个阶段里的各类数据质量问题,进行综合管理的活动。
一,数据缺失:这个问题典型的情形是在进行数据分析和挖掘时,突然发现某些重要的属性,数据记录值缺失,导致分析建模和分析结果误差较大。比如对客户购买预测分析其中年龄是一个重要的分析变量,但是原始客户记录数据的年龄字段绝大多数记录为空。这类问题产生的由于业务系统数据模型设计或者应用校验做的不到位导致,比如数据模型没有对该字段进行强制约束或者数据采集应用未做校验。
二,数据不完整:比如在户购买分析中,发现有的客户没有产品购买记录,有的客户的购买记录找不到对应的客户信息。这类问题产生的原因在于业务系统数据模型没有进行外建约束设计,或者应用校验做的不到位导致。比如数据模型没有对该字段进行强制约束或者数据采集应用未做校验。
三,数据不合理:比如客户年龄200岁,省份证号码位数不正确,造成这类数据质量问题的主要原因是数据采集应用程序没有进行合法性校验。
四,数据冗余:同一数据有多个版本和入口。这既浪费了存储同时产生了不一致。产生这个问题的主要原因是数据模型设计不合理。
五,数据冲突:同一数据有多个系统中有多个不同的内容,莫衷一是,产生混乱。造成这类数据质量问题的主要原因是没有一个统一的规划和冲突解决方案。
傻瓜进销存软件服务中心 好用的汽修软件|药品进销存软件
辛巴软件交流中心 |进销存软件第一品牌
进销存软件 新免费下载中心
辛巴商贸通软件/辛巴软件/辛巴正版软件
为中小企业更有效率的管理提供技术支持
郑州美迪软件科技有限公司
电话:0371-86582855
咨询:0371-53317880
电话:18638605838
网址:http://www.zzysoft.com
QQ支持:1579912417