数据质量持续改进
核心原则
数据质量由具体用途决定。先确认关键数据、消费者、损害与可测要求,再剖析现状,找出错误进入或传播的位置,设计预防、侦测、纠正和持续运行控制。一次性修复只有在复发原因被控制、例外有责任且趋势稳定时才算有效。
适用边界
- 准确性、完整性、有效性、一致性、唯一性、及时性、完整关系等质量问题,以及画像、规则、评分卡、问题闭环和根因整改使用本技能。
- 跨系统共享客户/产品身份、黄金记录、合并/拆分裁决或参考代码权威由
managing-reference-and-master-data主导;本技能评估其质量并反馈控制缺陷。 - 仓库/接口内部的装载与发布对账分别由
delivering-data-warehousing-and-bi和integrating-data实施;本技能批准业务适用性、质量规则和问题整改。 - 仅做一个字段格式转换且没有质量风险、持续控制或责任流程时,由相应实现团队处理。
工作流
- 明确消费者、用途、错误后果、关键数据元素、业务 owner 和可接受的风险;按用途定义“适用”而非抽象完美。
- 阅读数据质量项目手册,盘点生命周期、来源、转换、消费者、现有控制、基线窗口及投诉/损失。
- 为每个关键元素定义维度、可测试业务规则、范围/分母、例外、阈值、owner、版本、生效、回测和发布。
- 画像并分层测量存量与增量、输入与输出、错误量与率;将样本和影响映射到业务风险与收益优先级。
- 对高影响问题建立根因假设、证据和复发验证;检查录入、流程、接口、处理、模型、监督和激励。
- 在产生处预防,在流转/消费点侦测,并对历史错误做可审计纠正;为隔离、降级和恢复设置责任。
- 按严重度运行问题、争议、例外/风险接受、SLA、升级和关闭复测;用质量趋势与业务效果持续评估控制。
交付模板
使用 中文交付包 或 English delivery pack 组织输出。叙述性方案和评审记录使用同目录 Word 模板;矩阵、台账和评分卡使用同目录 Excel 模板。模板中的责任、阈值、批准和证据须由实际项目确认。
输出契约
输出用途/关键数据/责任矩阵;维度与版本化规则;画像和基线;业务影响、损失与优先级;根因树/证据;预防—侦测—纠正控制图;问题与例外工作流;评分卡、趋势、SLA 和效益;阶段门、风险、残余例外与验收证据。
常见错误
| 错误 | 修正 |
|---|---|
| 先清洗再问用途 | 先定义消费者、损害、关键字段和可接受阈值 |
| “完整率 98%”无分母 | 写明对象、条件、排除、窗口、源和测点 |
| 发现重复就直接合并 | MDM 裁决身份;质量团队测量与追踪误差 |
| 下游补值掩盖源头错误 | 找到发生点、修源/流程并标注下游补偿 |
| 指标改善就关闭问题 | 验证根因控制、复发趋势和业务结果 |
| 规则静态清单 | 审批版本、生效、回测、监控和回退 |
| 例外永久放行 | 指定批准人、期限、补偿控制、复核和风险记录 |