DAMA DATA PROJECT SKILLSDOCUMENTATION · RELEASE 1.1.0

KNOWLEDGE LIBRARY V1.1.0

数据质量持续改进

核心原则

数据质量由具体用途决定。先确认关键数据、消费者、损害与可测要求,再剖析现状,找出错误进入或传播的位置,设计预防、侦测、纠正和持续运行控制。一次性修复只有在复发原因被控制、例外有责任且趋势稳定时才算有效。

适用边界

  • 准确性、完整性、有效性、一致性、唯一性、及时性、完整关系等质量问题,以及画像、规则、评分卡、问题闭环和根因整改使用本技能。
  • 跨系统共享客户/产品身份、黄金记录、合并/拆分裁决或参考代码权威由 managing-reference-and-master-data 主导;本技能评估其质量并反馈控制缺陷。
  • 仓库/接口内部的装载与发布对账分别由 delivering-data-warehousing-and-biintegrating-data 实施;本技能批准业务适用性、质量规则和问题整改。
  • 仅做一个字段格式转换且没有质量风险、持续控制或责任流程时,由相应实现团队处理。

工作流

  1. 明确消费者、用途、错误后果、关键数据元素、业务 owner 和可接受的风险;按用途定义“适用”而非抽象完美。
  2. 阅读数据质量项目手册,盘点生命周期、来源、转换、消费者、现有控制、基线窗口及投诉/损失。
  3. 为每个关键元素定义维度、可测试业务规则、范围/分母、例外、阈值、owner、版本、生效、回测和发布。
  4. 画像并分层测量存量与增量、输入与输出、错误量与率;将样本和影响映射到业务风险与收益优先级。
  5. 对高影响问题建立根因假设、证据和复发验证;检查录入、流程、接口、处理、模型、监督和激励。
  6. 在产生处预防,在流转/消费点侦测,并对历史错误做可审计纠正;为隔离、降级和恢复设置责任。
  7. 按严重度运行问题、争议、例外/风险接受、SLA、升级和关闭复测;用质量趋势与业务效果持续评估控制。

交付模板

使用 中文交付包English delivery pack 组织输出。叙述性方案和评审记录使用同目录 Word 模板;矩阵、台账和评分卡使用同目录 Excel 模板。模板中的责任、阈值、批准和证据须由实际项目确认。

输出契约

输出用途/关键数据/责任矩阵;维度与版本化规则;画像和基线;业务影响、损失与优先级;根因树/证据;预防—侦测—纠正控制图;问题与例外工作流;评分卡、趋势、SLA 和效益;阶段门、风险、残余例外与验收证据。

常见错误

错误 修正
先清洗再问用途 先定义消费者、损害、关键字段和可接受阈值
“完整率 98%”无分母 写明对象、条件、排除、窗口、源和测点
发现重复就直接合并 MDM 裁决身份;质量团队测量与追踪误差
下游补值掩盖源头错误 找到发生点、修源/流程并标注下游补偿
指标改善就关闭问题 验证根因控制、复发趋势和业务结果
规则静态清单 审批版本、生效、回测、监控和回退
例外永久放行 指定批准人、期限、补偿控制、复核和风险记录