参考数据与主数据项目手册

1. 业务驱动与目标

参考数据与主数据管理应：

• 为客户、产品、供应商、位置、员工、账户等共享实体建立稳定身份和可解释的最佳当前表示；
• 为国家、状态、单位、分类、层级等共享代码建立受控语义、版本和生效期；
• 让业务流程与分析消费者知道使用哪个标识、属性、代码或层级，以及来源和限制；
• 降低重复实体、冲突值、无效代码、人工对账、错误交易和监管/客户风险；
• 在来源变化、合并、拆分、代码更新和消费者发布中保留审计、回滚与责任。

先写清业务结果，再选择平台。项目目标至少包含：业务域、实体/数据集、法人/地域、用途、消费者、影响流程、基线、目标、期限、风险容忍度与明确不纳入范围。不要用“建立唯一真相”替代可验收结果。

成功标准示例：已确认重复率下降、误合并率低于阈值、共享代码合规率、管家队列 SLA、发布/消费对账通过率、源系统采用率、关键属性冲突率、拆分恢复时间。每个指标明确对象、分母、窗口、来源、owner、目标和升级条件。

2. 原则与关键概念

• 企业资产、业务问责： 主数据和参考数据归组织治理，不归某个应用或实施供应商。业务 owner 批准定义、权威、规则和风险。
• 最佳当前表示： 黄金记录反映现有证据与获批规则；保存所有贡献源值、时间、规则版本和裁决，不抹去不确定性。
• 身份与属性分离： “是否同一实体”和“哪个属性值胜出”是两个决定；匹配成功不自动证明每个属性可信。
• 谨慎且可逆： 误合并通常比漏合并伤害更大。自动阈值须经测试；合并保留源 ID、边、前像、批准和拆分路径。
• 权威具有上下文： system of record 保存正式事实，system of entry 接收变更，system of reference 提供共享视图；可按属性、时点、法人和用途不同。
• 语义先于技术： 实体边界、键、层级、代码含义、有效期和替换关系先经业务裁决，再配置工具。
• 参考数据不是静态附件： 每个数据集都有 owner、来源、版本、生效/失效、映射、变更和消费者；外部标准也需本地采用决策。
• 仅从获批权威发布： 复制和共享必须来自已声明的权威来源或参考视图，消费者不得把本地修改静默回流为企业事实。

关键对象：

3. Plan / Control / Develop / Operate

Plan

1. 建立域章程：业务价值、对象、范围、消费者、质量与风险目标、赞助人、owner、管家和阶段门。
2. 盘点源与消费者：源 ID/键、写入者、字段语义、代码/层级、规模/变更率、接口、质量、下游依赖和法定限制。
3. 剖析真实数据：唯一性、完整性、格式、分布、重复候选、冲突、孤儿关系、代码使用、时间覆盖和历史可追溯性。
4. 定义目标能力与路线：先选择高价值实体/属性/消费者薄切片，再决定 registry、consolidation、coexistence 或 transaction hub。

Control

1. 批准实体/参考模型、全局 ID、权威矩阵、匹配/生存规则、层级、代码和发布契约。
2. 对规则、阈值、模型、参考版本、层级和权威变化执行影响分析、职责分离、版本与审计。
3. 运行管家队列和争议升级；工具只能建议，业务 owner 对高影响身份和语义争议作最终裁决。
4. 在阶段门验证隐私、安全、质量、误合并风险、回滚、消费者兼容和运行接管。

Develop

1. 建立规范化、候选生成、匹配评分、裁决区、交叉引用、黄金记录、合并/拆分和完整谱系。
2. 为每个关键属性定义生存规则：权威源、条件、时效、有效性、空值、人工覆盖、冲突和回退，不用一个全局源优先级覆盖所有属性。
3. 使用已标注数据集测试确定匹配、非匹配、边界、家庭/集团/别名、标识复用、历史变化和负证据；按群体/来源切片评估。
4. 构建参考数据提议、批准、生效、发布、映射、弃用和紧急变更；历史交易引用的旧代码保持可解释。
5. 配置版本化发布、消费者登记、回执、拒绝/隔离、重送和业务对账；不得直接把未决候选发布成权威事实。

Operate

1. 监控新增/变更、重复候选、误合并/拆分、冲突、代码违规、队列年龄、发布差异、消费者版本和源采用。
2. 管家按 SLA 处理常规案件；高价值/高风险/跨域争议、阈值例外和批量动作升级给 owner。
3. 定期回测匹配精确率/召回率与分群差异；数据或业务漂移触发阈值复审，而非自动放宽。
4. 向来源反馈根因并启用源头校验；向消费者通知更正、拆分、代码替换、版本和重算影响。
5. 演练错误批量合并回滚、单实体拆分、参考版本回退、发布中断恢复和消费者重新对账。

4. 上下文与角色

职责分离：提出批量合并或代码变更的人不能独自批准并生产执行；高风险动作至少有业务批准和技术执行复核。平台管理员不能因技术可行性取得业务裁决权。

5. 交付物与验收证据

域章程与来源—消费者—权威矩阵

权威不是只写系统名。对每个关键属性说明适用法人/地域/时间、判定条件、有效性检查、冲突处理、人工覆盖和回退。

黄金记录与生存规则

- 实体/业务边界/全局 ID 规则：
- 源 ID 与交叉引用状态：
- 身份判定所需正证据、负证据、禁止自动合并条件：
- 每个关键属性：权威源、优先条件、时效、有效性、空值、冲突和回退：
- 人工覆盖：授权人、理由、证据、有效期、复审：
- 来源值/时间/规则版本/置信度保留：
- 下游展示、通知、更正和历史解释：

匹配、合并与拆分测试

测试集保存标注人、依据、时间和抽样方法。分别报告自动匹配精确率、召回率、误合并率、漏合并率和人工区比例；按来源、地区、语言、实体类型等切片，防止总体平均掩盖偏差。未经 owner 批准，不因追求召回率而突破误合并上限。

合并执行单至少包含：案件 ID、源与目标全局/本地 ID、前像、匹配特征、规则版本、决定/批准、属性生存结果、关系/交易处理、消费者清单、发布批次、对账、撤销令牌和保留期限。拆分须重建身份、属性、关系和交叉引用，通知消费者并确认其修正。

数据管家工作流

检测/提议 → 候选与证据 → 自动/人工分区 → 调查 → 决定 → 双重批准（适用时） → 执行 → 发布/通知 → 对账 → 关闭/抽检

队列字段：域/实体、风险/金额/消费者影响、来源、冲突类型、证据、规则版本、建议、SLA、管家、决定、批准人、执行批次、回滚状态、关闭证据。超龄、高影响、重复争议、隐私/安全或政策例外按预定路径升级。

参考数据变更控制

变更流程：登记提议 → 查重/语义审查 → 影响分析 → owner 批准 → 分配版本/生效期 → 沙箱与消费者测试 → 发布/回执 → 对账 → 关闭。紧急变更可缩短时限，但不得取消授权、审计、后补影响分析和消费者通知。

分发、回执与业务对账

发布契约写明：数据集/实体版本、增量/全量语义、键、操作（新增/更正/合并/拆分/失效）、有效期、顺序、质量状态、schema、访问、SLA、重送、弃用和联系人。

关键身份或代码版本未批准、已标注测试超出误合并上限、无拆分/回滚、发布无法区分合并与删除、历史代码不可解释、消费者关键对账不通过或无人承接管家队列时 No-Go。

6. 工具与技术

• 数据剖析、标准化、解析、候选生成、概率/确定性匹配和图关系工具；
• MDM registry、consolidation、coexistence 或 transaction hub；RDM/词表/层级管理；
• 工作流、案件管理、规则版本、审计和职责分离；
• API、事件、CDC、批文件和数据产品分发，以及 manifest、回执和重放；
• 元数据目录、业务词汇表、血缘、质量监控、模型与特征评估。

工具选型比较域/实体数量、写入权威、延迟、交互模式、层级、匹配复杂度、工作流、审计、历史、集成、扩展、运行技能与总成本。供应商宣称的“单一真相”不替代业务 owner、规则证据和可逆性。

架构模式：

7. 指标、风险与实施

指标分组：

• 质量与置信： 已确认重复、误合并、漏合并、拆分、关键属性冲突、完整性、有效性、参考代码违规；
• 规则与漂移： 各阈值区数量、匹配精确率/召回率、分群差异、规则/模型版本、漂移和人工覆盖；
• 管家运营： 新增/积压/超龄案件、SLA、一次解决、升级、每管家负载和返工；
• 发布与采用： 源参与率、消费者/版本、发布成功、拒绝、对账、同步延迟、本地未授权代码；
• 价值与成本： 重复录入/对账工时、错误交易、退信/退货、客户体验、接入周期、TCO 和共享复用。

主要风险：错误合并导致账户/账单/权利串联；算法对姓名、语言、地区或弱标识群体表现不均；源 ID 复用；全局 ID 泄露；本地覆盖静默回流；参考代码被重用或历史失义；层级变化破坏汇总；消费者停留旧版本；双向同步回路；管家队列无人处理；平台先行但业务不采用。

控制：保守自动阈值、负证据/禁止项、分群测试、最小权限/用途限制、职责分离、全谱系和前像、可逆合并、版本/有效期、稳定代码、消费者登记/回执、三方对账、源头质量反馈和运行容量计划。

推荐增量实施：

1. 用一个高价值域、有限属性和 1–2 个消费者建立基线与裁决机制；
2. 影子生成候选/黄金视图，不写回，完成标注测试和管家演练；
3. 先发布只读参考视图，再灰度低风险回写/自动动作；
4. 扩展来源、属性、消费者和自动化，每一步保留回滚和对账；
5. 交接持续管家、平台运行、指标评审、规则复测和消费者支持。

8. 依赖与协同

• establishing-data-governance：授予域 owner、管家、决策权、政策、理事会和争议升级。
• modeling-data：定义实体、键、属性、关系和层级；本技能将其转为身份与权威运营。
• improving-data-quality：定义跨域质量规则、根因和整改；本技能处理共享实体/代码的裁决和发布。
• integrating-data：实现来源接入、批流/API、编排、重送和技术对账；本技能批准内容/版本/身份语义。
• managing-metadata：登记定义、owner、schema、规则、血缘、版本和消费者影响。
• securing-data：控制敏感实体、链接攻击、访问、共享、审计、跨境和事故响应。
• designing-data-architecture：决定系统责任、SoR/SoRef、hub 模式、过渡状态和能力路线。
• delivering-data-warehousing-and-bi：消费一致维度、层级和参考代码；更正、拆分或代码变化须评估历史重算。

明确协作边界：MDM/RDM 不替代源业务流程、质量治理、集成编排或元数据平台；它提供可授权、可追溯、可逆且可分发的共享身份和代码决策。