# 参考数据与主数据项目手册

## 1. 业务驱动与目标

参考数据与主数据管理应：

- 为客户、产品、供应商、位置、员工、账户等共享实体建立稳定身份和可解释的最佳当前表示；
- 为国家、状态、单位、分类、层级等共享代码建立受控语义、版本和生效期；
- 让业务流程与分析消费者知道使用哪个标识、属性、代码或层级，以及来源和限制；
- 降低重复实体、冲突值、无效代码、人工对账、错误交易和监管/客户风险；
- 在来源变化、合并、拆分、代码更新和消费者发布中保留审计、回滚与责任。

先写清业务结果，再选择平台。项目目标至少包含：业务域、实体/数据集、法人/地域、用途、消费者、影响流程、基线、目标、期限、风险容忍度与明确不纳入范围。不要用“建立唯一真相”替代可验收结果。

成功标准示例：已确认重复率下降、误合并率低于阈值、共享代码合规率、管家队列 SLA、发布/消费对账通过率、源系统采用率、关键属性冲突率、拆分恢复时间。每个指标明确对象、分母、窗口、来源、owner、目标和升级条件。

## 2. 原则与关键概念

- **企业资产、业务问责：** 主数据和参考数据归组织治理，不归某个应用或实施供应商。业务 owner 批准定义、权威、规则和风险。
- **最佳当前表示：** 黄金记录反映现有证据与获批规则；保存所有贡献源值、时间、规则版本和裁决，不抹去不确定性。
- **身份与属性分离：** “是否同一实体”和“哪个属性值胜出”是两个决定；匹配成功不自动证明每个属性可信。
- **谨慎且可逆：** 误合并通常比漏合并伤害更大。自动阈值须经测试；合并保留源 ID、边、前像、批准和拆分路径。
- **权威具有上下文：** system of record 保存正式事实，system of entry 接收变更，system of reference 提供共享视图；可按属性、时点、法人和用途不同。
- **语义先于技术：** 实体边界、键、层级、代码含义、有效期和替换关系先经业务裁决，再配置工具。
- **参考数据不是静态附件：** 每个数据集都有 owner、来源、版本、生效/失效、映射、变更和消费者；外部标准也需本地采用决策。
- **仅从获批权威发布：** 复制和共享必须来自已声明的权威来源或参考视图，消费者不得把本地修改静默回流为企业事实。

关键对象：

| 对象 | 最小治理内容 |
|---|---|
| 主实体 | 业务定义、范围、全局 ID、源 ID、属性、关系、层级、状态、有效期、来源与敏感级别 |
| 参考数据集 | 稳定代码、名称/描述、语言、定义、层级、owner、版本、生效/失效、替换、来源和映射 |
| 交叉引用 | 全局 ID ↔ 源系统/源 ID、关系状态、置信度、首次/最近确认、规则/裁决版本 |
| 匹配案件 | 候选、特征、正/负证据、分数、阈值区、决定、审核人、时间、理由和后续动作 |
| 合并谱系 | 父/子 ID、前后值、来源、获胜规则、批准、消费者影响、撤销/拆分状态 |

## 3. Plan / Control / Develop / Operate

### Plan

1. 建立域章程：业务价值、对象、范围、消费者、质量与风险目标、赞助人、owner、管家和阶段门。
2. 盘点源与消费者：源 ID/键、写入者、字段语义、代码/层级、规模/变更率、接口、质量、下游依赖和法定限制。
3. 剖析真实数据：唯一性、完整性、格式、分布、重复候选、冲突、孤儿关系、代码使用、时间覆盖和历史可追溯性。
4. 定义目标能力与路线：先选择高价值实体/属性/消费者薄切片，再决定 registry、consolidation、coexistence 或 transaction hub。

### Control

1. 批准实体/参考模型、全局 ID、权威矩阵、匹配/生存规则、层级、代码和发布契约。
2. 对规则、阈值、模型、参考版本、层级和权威变化执行影响分析、职责分离、版本与审计。
3. 运行管家队列和争议升级；工具只能建议，业务 owner 对高影响身份和语义争议作最终裁决。
4. 在阶段门验证隐私、安全、质量、误合并风险、回滚、消费者兼容和运行接管。

### Develop

1. 建立规范化、候选生成、匹配评分、裁决区、交叉引用、黄金记录、合并/拆分和完整谱系。
2. 为每个关键属性定义生存规则：权威源、条件、时效、有效性、空值、人工覆盖、冲突和回退，不用一个全局源优先级覆盖所有属性。
3. 使用已标注数据集测试确定匹配、非匹配、边界、家庭/集团/别名、标识复用、历史变化和负证据；按群体/来源切片评估。
4. 构建参考数据提议、批准、生效、发布、映射、弃用和紧急变更；历史交易引用的旧代码保持可解释。
5. 配置版本化发布、消费者登记、回执、拒绝/隔离、重送和业务对账；不得直接把未决候选发布成权威事实。

### Operate

1. 监控新增/变更、重复候选、误合并/拆分、冲突、代码违规、队列年龄、发布差异、消费者版本和源采用。
2. 管家按 SLA 处理常规案件；高价值/高风险/跨域争议、阈值例外和批量动作升级给 owner。
3. 定期回测匹配精确率/召回率与分群差异；数据或业务漂移触发阈值复审，而非自动放宽。
4. 向来源反馈根因并启用源头校验；向消费者通知更正、拆分、代码替换、版本和重算影响。
5. 演练错误批量合并回滚、单实体拆分、参考版本回退、发布中断恢复和消费者重新对账。

## 4. 上下文与角色

| 角色 | 责任与决策权 |
|---|---|
| 业务赞助人 | 批准业务案例、资金、跨部门范围、阶段门与重大残余风险 |
| 数据域 owner | 批准实体边界、权威、黄金/生存、自动化阈值、层级、例外和最终争议 |
| 参考数据 owner | 批准代码含义、版本、生效/失效、替换、外部标准采用和紧急变更 |
| 数据管家 | 调查候选与冲突、收集证据、执行获授权裁决、维护队列和质量反馈 |
| 源系统 owner | 说明源语义/控制、实施源头修复、提供变更和确认写回/回滚 |
| 消费者 owner | 登记用途/版本、验证发布和更正、处理本地映射并确认对账 |
| 数据架构/建模 | 审查实体、键、关系、层级、系统责任和企业复用 |
| MDM/RDM 工程与运行 | 实现规则、谱系、工作流、发布、监控、恢复；不得自行裁决业务身份 |
| 质量、元数据、集成团队 | 分别提供规则/根因、目录/血缘、分发/重放等协同能力 |
| 安全/隐私/法务/合规 | 按职责批准用途、访问、敏感属性、留存、跨境、解释与证据要求 |

职责分离：提出批量合并或代码变更的人不能独自批准并生产执行；高风险动作至少有业务批准和技术执行复核。平台管理员不能因技术可行性取得业务裁决权。

## 5. 交付物与验收证据

### 域章程与来源—消费者—权威矩阵

| 实体/属性/代码 | 业务定义/粒度 | 来源/入口 | 当前权威 | 目标 SoR/SoRef | 消费者/用途 | 更新时限 | 限制/Owner |
|---|---|---|---|---|---|---|---|

权威不是只写系统名。对每个关键属性说明适用法人/地域/时间、判定条件、有效性检查、冲突处理、人工覆盖和回退。

### 黄金记录与生存规则

```markdown
- 实体/业务边界/全局 ID 规则：
- 源 ID 与交叉引用状态：
- 身份判定所需正证据、负证据、禁止自动合并条件：
- 每个关键属性：权威源、优先条件、时效、有效性、空值、冲突和回退：
- 人工覆盖：授权人、理由、证据、有效期、复审：
- 来源值/时间/规则版本/置信度保留：
- 下游展示、通知、更正和历史解释：
```

### 匹配、合并与拆分测试

| 用例 | A/B 记录及来源 | 预期 | 正证据 | 负证据/禁止项 | 规则/阈值区 | 实际 | 复核/缺陷 |
|---|---|---|---|---|---|---|---|
| 明确同一实体 | 稳定标识一致、名称/地址轻微变化 | 匹配 | | | | | |
| 同名不同实体 | 名称相同、税号/生日/地址冲突 | 不匹配 | | | | | |
| 家庭/集团关系 | 共享地址或电话但业务实体不同 | 关系而非合并 | | | | | |
| 标识复用/错误 | 源标识被重复或重新分配 | 隔离调查 | | | | | |
| 历史名称/地址 | 时间变化且证据连续 | 匹配并保留历史 | | | | | |
| 边界置信度 | 证据不足或冲突 | 人工裁决 | | | | | |
| 合并后发现错误 | 已发布且有下游使用 | 拆分、通知、重对账 | | | | | |

测试集保存标注人、依据、时间和抽样方法。分别报告自动匹配精确率、召回率、误合并率、漏合并率和人工区比例；按来源、地区、语言、实体类型等切片，防止总体平均掩盖偏差。未经 owner 批准，不因追求召回率而突破误合并上限。

合并执行单至少包含：案件 ID、源与目标全局/本地 ID、前像、匹配特征、规则版本、决定/批准、属性生存结果、关系/交易处理、消费者清单、发布批次、对账、撤销令牌和保留期限。拆分须重建身份、属性、关系和交叉引用，通知消费者并确认其修正。

### 数据管家工作流

`检测/提议 → 候选与证据 → 自动/人工分区 → 调查 → 决定 → 双重批准（适用时） → 执行 → 发布/通知 → 对账 → 关闭/抽检`

队列字段：域/实体、风险/金额/消费者影响、来源、冲突类型、证据、规则版本、建议、SLA、管家、决定、批准人、执行批次、回滚状态、关闭证据。超龄、高影响、重复争议、隐私/安全或政策例外按预定路径升级。

### 参考数据变更控制

| 字段 | 要求 |
|---|---|
| 数据集/代码/稳定 ID | 代码不得因显示名称改变而重用；稳定 ID 全生命周期唯一 |
| 定义/描述/语言 | 受控定义、同义词和翻译；区分标签变化与语义变化 |
| 层级/关系 | 父子、类型、排序、有效期和闭环/孤儿校验 |
| 来源/依据/Owner | 外部标准版本或内部政策、提议人、批准人 |
| 版本/生效/失效 | 支持未来生效、历史解释、并行迁移和时区 |
| 替换/映射 | 一对一、一对多、多对一、无替代；含转换/人工规则 |
| 影响/消费者 | 交易、接口、报表、规则、模型和历史数据影响 |
| 发布/弃用/回退 | 通知期、兼容窗口、回执、回退版本和紧急路径 |

变更流程：登记提议 → 查重/语义审查 → 影响分析 → owner 批准 → 分配版本/生效期 → 沙箱与消费者测试 → 发布/回执 → 对账 → 关闭。紧急变更可缩短时限，但不得取消授权、审计、后补影响分析和消费者通知。

### 分发、回执与业务对账

发布契约写明：数据集/实体版本、增量/全量语义、键、操作（新增/更正/合并/拆分/失效）、有效期、顺序、质量状态、schema、访问、SLA、重送、弃用和联系人。

| 对账层 | 检查 | 阻断/容差 | 差异 Owner | 证据 |
|---|---|---|---|---|
| 发布清单 | 批次、版本、水位、对象数、哈希、成功/拒绝 | | | |
| 身份 | 全局 ID、源 ID、交叉引用、合并/拆分边 | | | |
| 内容 | 关键属性、生存来源、代码/层级版本、有效期 | | | |
| 消费 | 接收版本、导入数、拒绝/隔离、本地映射、查询抽样 | | | |
| 业务 | 代表实体/交易/报表可正确解析且无悬挂引用 | | | |

关键身份或代码版本未批准、已标注测试超出误合并上限、无拆分/回滚、发布无法区分合并与删除、历史代码不可解释、消费者关键对账不通过或无人承接管家队列时 No-Go。

## 6. 工具与技术

- 数据剖析、标准化、解析、候选生成、概率/确定性匹配和图关系工具；
- MDM registry、consolidation、coexistence 或 transaction hub；RDM/词表/层级管理；
- 工作流、案件管理、规则版本、审计和职责分离；
- API、事件、CDC、批文件和数据产品分发，以及 manifest、回执和重放；
- 元数据目录、业务词汇表、血缘、质量监控、模型与特征评估。

工具选型比较域/实体数量、写入权威、延迟、交互模式、层级、匹配复杂度、工作流、审计、历史、集成、扩展、运行技能与总成本。供应商宣称的“单一真相”不替代业务 owner、规则证据和可逆性。

架构模式：

| 模式 | 典型写入/用途 | 主要权衡 |
|---|---|---|
| Registry | 源继续维护，中心保存索引/交叉引用 | 快速发现，属性一致性和源可用性依赖较高 |
| Consolidation | 源汇聚到中心参考视图，通常不直接回写 | 适合分析/共享，源端仍可能继续分歧 |
| Coexistence | 中心与源协同维护并同步 | 渐进治理，冲突、延迟和回写复杂 |
| Transaction hub | 中心成为创建/维护权威入口 | 控制最强，流程改造、可用性和迁移风险最高 |

## 7. 指标、风险与实施

指标分组：

- **质量与置信：** 已确认重复、误合并、漏合并、拆分、关键属性冲突、完整性、有效性、参考代码违规；
- **规则与漂移：** 各阈值区数量、匹配精确率/召回率、分群差异、规则/模型版本、漂移和人工覆盖；
- **管家运营：** 新增/积压/超龄案件、SLA、一次解决、升级、每管家负载和返工；
- **发布与采用：** 源参与率、消费者/版本、发布成功、拒绝、对账、同步延迟、本地未授权代码；
- **价值与成本：** 重复录入/对账工时、错误交易、退信/退货、客户体验、接入周期、TCO 和共享复用。

主要风险：错误合并导致账户/账单/权利串联；算法对姓名、语言、地区或弱标识群体表现不均；源 ID 复用；全局 ID 泄露；本地覆盖静默回流；参考代码被重用或历史失义；层级变化破坏汇总；消费者停留旧版本；双向同步回路；管家队列无人处理；平台先行但业务不采用。

控制：保守自动阈值、负证据/禁止项、分群测试、最小权限/用途限制、职责分离、全谱系和前像、可逆合并、版本/有效期、稳定代码、消费者登记/回执、三方对账、源头质量反馈和运行容量计划。

推荐增量实施：

1. 用一个高价值域、有限属性和 1–2 个消费者建立基线与裁决机制；
2. 影子生成候选/黄金视图，不写回，完成标注测试和管家演练；
3. 先发布只读参考视图，再灰度低风险回写/自动动作；
4. 扩展来源、属性、消费者和自动化，每一步保留回滚和对账；
5. 交接持续管家、平台运行、指标评审、规则复测和消费者支持。

## 8. 依赖与协同

- `establishing-data-governance`：授予域 owner、管家、决策权、政策、理事会和争议升级。
- `modeling-data`：定义实体、键、属性、关系和层级；本技能将其转为身份与权威运营。
- `improving-data-quality`：定义跨域质量规则、根因和整改；本技能处理共享实体/代码的裁决和发布。
- `integrating-data`：实现来源接入、批流/API、编排、重送和技术对账；本技能批准内容/版本/身份语义。
- `managing-metadata`：登记定义、owner、schema、规则、血缘、版本和消费者影响。
- `securing-data`：控制敏感实体、链接攻击、访问、共享、审计、跨境和事故响应。
- `designing-data-architecture`：决定系统责任、SoR/SoRef、hub 模式、过渡状态和能力路线。
- `delivering-data-warehousing-and-bi`：消费一致维度、层级和参考代码；更正、拆分或代码变化须评估历史重算。

明确协作边界：MDM/RDM 不替代源业务流程、质量治理、集成编排或元数据平台；它提供可授权、可追溯、可逆且可分发的共享身份和代码决策。