相机|数据仓库建设 —— 数据质量管理( 二 )


唯一性数据的唯一性是影响数据质量的重要因素 。
想要在数据库海量的数据中寻找某种数据 , 实现相关业务数据的快速查询 , 最关键的就是数据唯一性 , 它不仅可以在数据库中帮助识别重复数据 , 还能轻松获取企业业务的复盘数据 , 帮助管理人员更好决策 。
数据质量分析
不同视角进行数据分析 - 派可数据 BI 可视化分析平台
1.业务视角
一线业务人员一直都是企业中最先接触到业务数据的人员 , 是业务数据的生产者和存储者 。 这些特性都决定了业务人员对数据质量起着关键作用 , 是不容忽视的重要的一环 。

  • 数据指标体系没有和业务紧密结合 , 导致获取数据脱离实际业务需求;
  • 业务需求不够清晰 , 企业没有形成一套固定的业务流程;
  • 业务人员手动录入数据时容易发生错误 , 不能保证业务数据质量;
  • 企业没有规范数据存储规则 , 业务人员在执行一线业务时没有数据意识;
  • 企业业务数据样本量少 , IT人员发现不了业务人员录入的问题数据 。
2.技术视角如果把企业整个数据流程做一个区域划分 , 业务人员执行的是生产和录入 , IT技术人员负责的是存储和输出 。 同样是企业数据体系中重要的一环 , 技术也会深刻影响数据质量 。
  • 数据存储模型设计有问题 , 导致数据库中存在大量重复数据;
  • 没有对数据进行处理 , 排除问题数据 , 导致数据准确性不足;
  • 数据接口配置出现问题 , 数据库获取不到最新业务数据;
  • 系统后台设计有问题 , 高峰期系统崩溃 , 导致数据丢失、错配 。
3.管理视角在整个数据质量管理体系中 , 业务和技术人员负责的都是具体的执行 , 管理人员负责的则是“顶层设计” 。 如果一开始的顶层设计出现了问题 , 那么业务人员、技术人员再努力也会收效甚微 。
  • 管理人员没有数据意识 , 不注重数据质量的培养 , 只能凭借经验做事;
  • 没有统一规划企业各部门业务系统 , 导致数据指标不同 , 业务数据不能通用;
  • 没有处理好业务和技术人员之间的关系 , 导致两者缺少沟通 , 数据不能闭环;
  • 缺少数据质量的KPI指标 , 导致数据质量流程没有分工、责任制度 。
数据质量评估
企业数据闭环 - 派可数据 BI 可视化分析平台
企业的数据有很多种利用方式 , 不同的利用方式有不同的质量评估方式 , 下面我们从目前在主流的用法 , 数据分析的角度来看待数据质量评估 。
从一线业务执行产生数据存储 , 调取数据进行分析 , 再到分析结果对业务执行产生影响 , 这是一个完整的闭环流程 , 不管中间哪个环节出现问题都会影响到全部 , 更别提贯穿前后的数据 , 一旦数据质量出现问题 , 所产生的数据分析将直接影响业务执行 , 进而阻碍企业发展 。
很多数据分析人员应该都遇到过这种情况 , 从数据库以及不同来源辛苦收集来的数据 , 分析了半天怎么都觉得结果有问题 , 研究了半天才发现是业务数据有问题 , 这半天的时间精力全都浪费在错误数据上 。
如果企业数据质量很好 , 数据分析人员可以直接取数据分析 , 结果也可以更好的反馈给企业 。 当业务人员、技术人员、分析人员还有管理人员都信任数据质量及其产生的数据分析结果时 , 那么企业发展时就会降低风险 , 缩短决策流程 , 提升工作效率 。