# 数据仓库与商业智能项目手册

## 1. 业务驱动与目标

数据仓库与 BI 的业务目标是让决策者以可信、及时、可解释的信息采取行动，同时满足运营分析、历史比较和合规证据需求。仓库组织来自不同来源、包含时间语境的分析数据；BI 组合报告、查询、仪表板、评分卡和自助分析。并非每个 BI 用例都需要独立仓库，也不是每个仓库数据集都要做仪表板。

从“谁在什么时点做什么决定，可能采取什么行动，错误或延迟的代价是什么”逆推优先级。成功不是发布页面数量，而是获批指标可追溯、数据经业务签收、授权用户能在服务目标内完成任务，反馈能推动下一版本。

需求最小单元：决策/行动、用户群、频率、问题、指标、维度、粒度、过滤、历史跨度、刷新/延迟、钻取/导出、质量容忍、权限、性能、业务 owner、预期价值。逐项标出强制、可延期和不纳入。

## 2. 原则与关键概念

- **业务优先：** 从业务目标和终端消费优先级决定仓库内容；架构面向全局，实施采用有限且可验收的增量。
- **先原子后汇总：** 保留业务所需最低粒度及来源、事件/生效/加载时间；只为查询性能或明确需求建立汇总。
- **语义受控：** 指标不是 SQL 别名。计算、排除项、币种、税费、退款、状态、时间、地区和客户归属由业务 owner 批准。
- **历史可解释：** 区分“当时值”“当前组织重述值”“财务已结值”；是否回算、何时锁账、谁批准由业务政策决定。
- **元数据随产品交付：** 用户可从指标/图表追到数据集、字段、来源、转换、规则与最近合格刷新，并看见限制。
- **透明且有边界的自助：** 提供认证数据集与语义层；沙箱、个人报表、共享/正式报表的权限和质量门不同。
- **分层验收：** 工程装载、数据完整性、指标计算、权限、性能与业务可理解性分别验证，不能互相代替。
- **持续产品：** 仓库、集市和 BI 在发布后仍需需求队列、版本管理、支持、反馈和弃用。

关键结构：来源 → 原始/暂存 → 集成历史层 → 一致维度/事实与数据集市 → 认证语义/指标层 → 报表/仪表板/API/自助工作区。ODS 可能服务低延迟运营分析；虚拟查询减少复制却承接源性能和可用性。架构选择要与实际用途、历史、刷新和运行能力匹配。

## 3. Plan / Control / Develop / Operate

### Plan

1. 访谈赞助人、业务 owner 和用户群；把决策问题、指标/维度、行为、成功条件和风险登记成需求地图。
2. 盘点来源/外部数据、主/参考数据、源时限、质量、历史、权限、已有报表、技术债与用户能力。
3. 对争议指标开展业务裁决，批准语义版本和历史/重述政策；未决项展示并限制首版使用。
4. 评估仓库/集市/ODS/虚拟化、存储与 BI 组合，估算容量、成本、性能、支持和交付节奏。
5. 形成发布路线：以高价值、可解释、可签收的分析切片先行，明确源、规则、用户和支持依赖。

### Control

1. 为指标、事实粒度、一致维度、层级、汇率、日历、时间窗、权限与报表标准设 owner 和版本。
2. 数据源、计算、历史重述、财务锁账、权限、自助共享和导出变更执行影响分析与批准。
3. 以认证/草稿/沙箱状态管理数据集和报表；认证前完成质量、血缘、权限和业务验收。
4. 管理需求队列、发布节奏、配置、弃用与消费者通知，保留回滚及受影响报表清单。

### Develop

1. 用原型与真实数据剖析验证问题、交互和可行性；发现源间语义和质量差异。
2. 建事实/维度与语义模型：业务过程、粒度、键、可加性、缓慢变化、层级、时间与货币处理。
3. 建来源提取、暂存、变换、装载、异常隔离、迟到/更正、幂等重跑与原子发布。
4. 用源控制清单和分层对账验证行数、金额、对象、关键字段与时段；对已结与未结期分别验证。
5. 开发报告、仪表板、钻取、导出、行列级权限、认证数据集和受控自助工作区。
6. 在初装及若干更新周期做业务抽样、UAT、性能、权限负测、可理解性和恢复演练。

### Operate

1. 监控源到达、装载窗口、最近合格版本、质量/对账、报表响应、并发、查询成本和访问。
2. 按服务级别处理数据、指标、权限和性能事件；显示各来源的实际时效与已知缺口。
3. 与用户代表定期复盘反馈、满意度、任务完成、实际使用和未满足决策；据此调整路线图。
4. 维护指标、模型、元数据、血缘、报表和训练材料，审查低使用高成本内容的改进或退役。

## 4. 上下文与角色

| 角色 | 责任与决策权 |
|---|---|
| 业务赞助人/产品 owner | 确定要支持的决策、价值、优先级、范围、阶段门与资源 |
| 指标/数据业务 owner | 批准定义、粒度、历史/重述、来源权威、容差和业务验收 |
| 财务/监管等控制职能 | 对财务月结或监管口径、锁账、追溯与例外作授权决定 |
| 用户代表/分析师 | 验证问题、交互、钻取、解释、自助能力与可用性 |
| 架构/建模团队 | 审查仓库/集市、事实粒度、一致维度、历史、语义和扩展性 |
| 数据工程/集成 | 实现装载、转换、状态、血缘、对账、拒收、重跑和恢复 |
| BI 开发/平台 | 实现认证语义、报表、权限、性能、版本、发布和自助工作区 |
| 数据质量/元数据/主数据 | 提供规则/根因、目录/血缘、共享实体/代码与层级 |
| 安全/隐私 | 审查用途、行列权限、导出、共享、保留和审计 |
| 运行/支持/培训 | 负责 SLA、监控、事件、用户支持、培训与反馈 |

同名指标若在部门间含义不同，可保留清晰命名的多个指标；不能由开发人员隐式选择一个“统一口径”。争议由已授权的业务决策机构裁决并记录适用范围。

## 5. 交付物与验收证据

### 决策—指标—数据—行动追溯

| 决策/行动 | 用户/频率 | 问题 | 指标/版本/Owner | 维度/粒度/过滤 | 源字段→转换→语义→报表 | 时效/质量/权限 | 验收证据 |
|---|---|---|---|---|---|---|---|

每个仪表板视图至少关联一个决策或解释性问题；不能因为源字段可得就默认纳入首版。原型测试记录用户是否能理解图表、发现异常并完成目标任务。

### 指标契约与冲突裁决

```markdown
- 指标 ID/名称/业务目的/适用用户及用途：
- 业务 owner/批准人/版本/生效时间：
- 事实粒度、单位、可加性、维度与允许过滤：
- 分子/分母/公式、状态、税费、退款、折扣、取消、去重：
- 时间口径：事件、交易、入账、加载、财务期间、时区：
- 币种与汇率：来源、日期、精度、重算：
- 地区/组织/客户历史：当时值、当前重述或双视图：
- 来源权威、字段/转换/质量规则与血缘：
- 已结/未结差异、对账基准、容差和例外：
- 刷新/可见延迟、权限/导出限制、已知局限：
- 争议选项、决议/理由、影响报表与再批准条件：
```

销售额、净收入、订单数、客户数等可能分别需要销售、财务和运营口径。对月结指标，定义财务锁账版本、退款/迟到更正的冲销或追溯路径，以及已发布历史何时重述；未经财务授权不得静默改写已结数。

### 分析架构与数据模型

| 层/数据集 | 来源/权威 | 事实粒度/键 | 历史与时间 | 一致维度/代码 | 变换/质量 | 消费者 | SLA/Owner |
|---|---|---|---|---|---|---|---|

模型评审覆盖：交易、快照或累计快照事实；可加/半可加/不可加度量；订单/退款/入账多日期角色；客户和地区缓慢变化；汇率版本；桥接/多对多关系；明细与汇总一致；隐私敏感属性。企业仓库、数据集市、ODS、虚拟化和受控沙箱各有用途，避免产品选型替代模型判断。

### 装载、异常与业务验收

| 检查层 | 输入/基准 | 校验与控制总额 | 容差/阻断 | 异常/修复 Owner | 批次/版本/证据 |
|---|---|---|---|---|---|
| 源→暂存 | 源清单、水位、文件/事件、行数/金额 | 缺口、重复、schema、权限 | | | |
| 暂存→集成历史 | 键、关系、时间、代码、变换 | 记录与分组对账、迟到/删除 | | | |
| 历史→集市/语义 | 事实、维度、汇总、指标 | 分层/指标/期间对账 | | | |
| 语义→BI | 报表/导出/缓存 | 权限、版本、钻取、显示与源一致 | | | |

装载策略记录源批次/水位、时间对齐、延迟、可用窗口、拒收隔离、补载与重跑、恢复、财务锁账和最后合格版本。拒收不得静默丢弃；分层验证应对照来源业务控制清单，避免共同错误在相邻层被复制后假通过。

业务 UAT 至少在初装和多个更新周期执行：用随机与风险样本从 BI 回溯到来源、计算和控制总额；验证已结/未结、迟到退款、汇率、地区重组、权限负测、导出、p95 响应和异常恢复。业务 owner 逐项签收口径、可理解性、质量、血缘及残余例外。关键指标未批准、财务对账失败、来源缺口未知、权限泄露或无恢复路径时 No-Go。

### BI 产品、认证与自助边界

用户群按高管、经理、分析师、开发者、外部用户等区分固定报表、交互钻取、ad hoc 分析和订阅/提醒。对每类明确训练、权限、服务与工具组合。

| 状态 | 可做的事 | 发布门 |
|---|---|---|
| 沙箱/个人探索 | 临时连接、派生、试验；标识未认证与期限 | 用途、访问、留存和隔离约束 |
| 团队共享 | 使用认证数据集/受控派生；可协作 | owner、质量、元数据、权限、成本审查 |
| 认证数据集/正式报表 | 可作为共同指标和管理依据 | 语义批准、血缘、对账、UAT、版本、运行与支持 |

定义允许的字段、过滤、派生计算、连接、导出、再共享、保留与发布审批。对高风险新口径或跨域连接，要求业务/安全审查。个人探索结果进入正式仓库或报表前重新按认证门验收。

### 发布、服务与反馈

发布单：版本/变更、需求和指标批准、受影响数据集/报表/用户、迁移/回算、测试、UAT、权限、回滚、通知、培训、支持联系人和上线门。发布路线按业务价值和依赖拆分，保留需求队列及配置版本。

SLA/SLO 明确：源到达与数据新鲜度、最近合格发布、仓库/集市/报表可用性、查询 p95、刷新窗口、保留、故障响应/恢复、支持时段与升级。对小时和每日源分别显示新鲜度；不以统一“实时”标签掩盖差异。

反馈记录问题/决策、使用者、严重度、指标/数据集/报表版本、影响、调查、owner、计划和关闭证据。定期测量注册与活跃用户、实际查询/订阅、主题域覆盖、任务完成、响应、刷新达标、质量事件、用户满意度和业务行动/效果。低使用高成本报表复审价值、培训或退役。

## 6. 工具与技术

- 仓库、ODS、数据集市、湖仓、列式/关系存储、语义/指标层；
- ETL/ELT、调度、CDC、数据虚拟化、数据质量与对账；
- 维度建模、OLAP、立方体/汇总、查询优化与缓存；
- 报表、可视化、仪表板、评分卡、自助门户、订阅和移动/嵌入分析；
- 元数据/血缘、认证目录、版本/配置管理、监控与使用分析。

工具评估应覆盖现有资产、用户群、用途、历史/粒度、规模/并发、权限、刷新、可解释性、可维护性、支持和总成本。原型应用真实样本和争议指标，避免演示数据掩盖源差异。

## 7. 指标、风险与实施

指标：数据源/主题域覆盖、加载成功与窗口、最近合格版本、对账与拒收、质量/语义例外、血缘覆盖、活跃用户与查询、查询 p95、报表任务完成、支持响应、满意度、业务决策/行动及维护成本。每项定义分母、测点、窗口、来源、基线、目标、owner 与升级。

风险：指标同名异义；财务锁账与实时额混淆；退款/迟到更正使历史漂移；地区/汇率重述争议；先汇总导致不可解释；源质量低却按时发布；缓存/导出绕过权限；自助派生形成影子指标；用户不采用；报表越积越多但无人维护；单一工具套件锁定成本。

实施顺序：需求/争议与来源画像 → 语义批准/模型/架构 → 原型 → 首个原子事实和一致维度 → 装载/历史/对账 → 认证语义与 BI → 多周期 UAT/权限/性能 → 分批发布 → 运行和反馈。每阶段声明 Go/No-Go、批准人、例外和回退。缩短时程可裁剪主题域或用户群，不取消关键口径批准、权限与对账。

## 8. 依赖与协同

- `establishing-data-governance`：授予指标/数据 owner 与跨部门争议裁决权。
- `designing-data-architecture`：确定企业分析平台、来源责任与目标/过渡架构。
- `modeling-data`：定义业务实体、事实粒度、键、维度、关系和历史模型。
- `integrating-data`：实现来源接入、映射、编排、幂等、重放和技术对账。
- `managing-reference-and-master-data`：提供客户、产品、地区等一致身份、代码和层级。
- `managing-metadata`：登记指标、数据集、报告定义、血缘、owner 和影响。
- `improving-data-quality`：评估来源适用性、规则、问题根因与源头整改。
- `securing-data`：控制分析访问、行列权限、导出、共享、审计与隐私。
- `delivering-data-science`：共享可信特征/结果、实验与模型输出；预测模型仍有独立生命周期。
- `leading-data-change`：支持用户培训、沟通、反馈和采用。