# 数据存储与运行项目手册

## 1. 业务驱动与目标

业务连续性是存储与运行的首要驱动。目标是：

- 在数据生命周期内管理可用性，保证数据资产完整性；
- 让交易、装载和查询性能符合业务服务目标；
- 控制数据库/存储技术、环境、变更、备份、恢复、容量、保留和处置；
- 以自动化、可复用对象和清晰责任降低错误、返工、停机和长期成本。

生产就绪必须以可复现证据证明“服务能运行、失败能恢复、变化可控制、责任有人接”，不能只提交架构图、厂商 SLA、备份成功标志或 runbook 文档。

## 2. 原则与关键概念

- **业务目标先于产品参数：** 数据重要性、工作负载、服务时段、增长和风险决定技术与控制。
- **全链路服务：** 数据库实例只是服务的一部分；身份、密钥、网络、DNS、调度、对象存储、目录和消费者同样影响恢复。
- **HA、备份、DR 分离：** HA 降低局部中断；备份恢复误删/损坏/勒索；DR 恢复站点级服务，不能互相替代。
- **RTO/RPO 可测：** RTO 从事件宣布到最低业务服务恢复；RPO 表示可接受的数据损失点，均需业务批准和演练实测。
- **生命周期闭环：** 获取/迁移、维护、归档、保留、法律保全、到期处置覆盖主库、副本、缓存、导出、日志和备份。
- **变更可逆且可审计：** 低环境测试、受控脚本、批准、观测、前滚/回退；紧急变更也要事后补证。
- **容量提前管理：** 为数据、索引、日志、暂存、镜像、快照、恢复副本和峰值预留扩容前置时间。
- **托管不等于转责：** 明确客户/供应商在配置、备份、升级、访问、恢复、事件和证据上的共同责任。

## 3. Plan / Control / Develop / Operate

### Plan

1. 建服务任务书：业务用途、重要性、数据/消费者范围、依赖、工作负载、服务窗口、关键日期和预算。
2. 估算初始规模、增长、查询/装载/维护并发、保留和灾备开销；未知项记录 owner、验证日期和超限动作。
3. 比较数据库/存储能力：处理模式、规模/速度、事务/一致性、可用性、工具、技能、成本、支持和退出路径；必要时 POC。
4. 定义环境、SLO、RTO/RPO、容量、恢复、保留、监控、事件和值班目标。

### Control

1. 维护技术/配置/补丁生命周期、批准标准、例外、供应商支持和资产清单。
2. 所有数据库、模式、配置和数据修复通过可重放脚本或等效受控机制，由服务请求/变更单触发。
3. 在开发→测试→预生产→生产逐级验证；环境差异有明确理由，性能环境具有代表性。
4. 执行访问、审计、备份、恢复、容量、保留、补丁、许可证和 SLO 定期复核。

### Develop

1. 建立实例、存储、网络、身份、密钥、审计、监控和环境隔离；记录配置基线。
2. 把批准的 PDM 实现为物理对象、数据类型、约束、分区/索引/分布、统计和维护策略。
3. 建备份/PITR、复制/故障转移、恢复环境、归档/清理和法律保全；保护恢复凭据。
4. 构建发布流水线、兼容性检查、扩展—迁移—收缩、回填和前滚/回退方案。
5. 以代表性数据测试功能、负载、峰值、耐久、维护竞争、故障、恢复、安全和成本。

### Operate

1. 监控连接、错误、锁、延迟、吞吐、队列、资源、空间、复制、备份、质量、新鲜度、成本、权限异常和审计失效。
2. 按事件级别确认、通知、缓解、恢复和复盘；根因整改回到变更流程。
3. 主动调优查询/批处理、统计、索引/分区、缓存和工作负载隔离；物理重构前先验证较低风险措施。
4. 按风险频率演练恢复/切换、复核访问、容量/成本、保留/处置和供应商升级；更新 runbook 和 SLO。

## 4. 上下文与角色

| 角色 | 责任与决策权 |
|---|---|
| 业务服务负责人 | 批准服务窗口、RTO/RPO、降级、预算、上线和残余业务风险 |
| 数据所有者 | 批准用途、质量、保留、处置、归档和数据例外 |
| DBA/数据库或平台工程 | 对实例、配置、物理运行、性能、容量、备份恢复和技术就绪负责 |
| 数据工程/应用团队 | 对装载、查询、兼容性、重跑、对账和端到端应用验证负责 |
| SRE/基础设施/网络 | 对平台依赖、可观测性、资源、可靠性、故障演练和值班机制负责 |
| 安全/隐私/记录管理 | 决定分类、访问、密钥、审计、保留、保全和销毁控制要求 |
| 变更/发布经理 | 管理窗口、批准、冻结、编排、沟通和回退触发 |
| 运行负责人/值班团队 | 签署接管，执行日常、事件、恢复、容量和供应商升级 |
| 供应商/托管方 | 按合同提供平台、通知与升级支持；不接受内部业务风险 |

每项关键操作必须有主责、替补、值班队列、权限和升级链；“平台团队负责”不构成可执行分工。

## 5. 交付物与验收证据

### 生产就绪清单

| 领域 | 必须定义 | 验收证据 | Owner | 结论/到期 |
|---|---|---|---|---|
| 服务/依赖 | 消费者、窗口、数据流、上下游、降级 | 业务批准；抽样查询可追至源和消费者 | | |
| 环境/配置 | 拓扑、隔离、版本、参数、配额、漂移 | 从空环境重建；差异有批准 | | |
| 物理运行 | 对象、分区/索引、统计、维护 | 代表性查询/装载与设计评审 | | |
| 容量/成本 | 基线、增长、峰值、备份/副本、阈值 | 可复算模型；阈值触发工单 | | |
| 变更/发布 | 版本、兼容、测试、前滚/回退 | 预生产发布和回退演练 | | |
| HA/DR | 故障域、切换、回切、最低服务 | 故障演练及实测恢复时间线 | | |
| 备份/恢复 | 全量/增量/PITR、隔离、密钥、校验 | 从非当前备份隔离恢复并业务对账 | | |
| 生命周期 | 保留、归档、保全、处置、证明 | 全副本范围测试及删除/保全证据 | | |
| 监控/事件 | SLI、阈值、通知、级别、runbook | 告警注入到工单和值班确认 | | |
| 移交 | 手册、培训、资产、支持、日历 | 非项目值班人员独立演练并签署 | | |

### RTO/RPO 与恢复演练

```markdown
- 业务服务、重要性、允许降级与批准人：
- 故障场景和影响范围：
- RTO 起止点、目标；RPO 定义、目标：
- 恢复点/备份、依赖、凭据和责任顺序：
- 宣告、切换、数据校验、应用重连、消费者验证、回切、沟通步骤：
- 实测时间线、实际数据损失、结构/权限/校验和/业务对账结果：
- 与目标差距、缺陷、补偿、owner、复测日期：
```

### 变更与发布记录

```markdown
- 变更 ID、业务理由、配置/模式/数据范围：
- 风险、依赖、锁定/容量/兼容影响：
- 脚本/版本、代码评审、低环境与预生产证据：
- 备份/恢复点、前滚/回退、触发阈值、最后决策时间：
- 窗口、批准人、执行人、观测和沟通：
- 实际结果、验证、事件、残留项和复盘：
```

### 运行手册条目

| 触发/告警 | 业务影响 | 诊断证据 | 安全动作 | 升级/通知 | 恢复验证 | 证据保留 |
|---|---|---|---|---|---|---|

### 六周快速路径与容量/证据模板

六周最小路径：W1 冻结服务范围、依赖、业务影响、SLO 和 RTO/RPO；W2 建可重建环境、身份/审计/监控骨架和发布通道；W3 完成物理运行、兼容变更、容量与生命周期；W4 用代表性负载验证性能、成本、故障和隔离恢复；W5 由未来值班人员完成告警、恢复、回退与供应商升级演练并签署接管；W6 分阶段发布、加强监控并以稳定期证据退出。任何周次都不得把恢复、回退、告警或接管推为“上线后补”。

| 情景 | 初始主数据 | 日/月增长 | 索引/日志/暂存系数 | 副本/时间旅行/备份 | 峰值并发/维护空间 | 恢复副本 | 单价/预算 | 阈值与提前期 |
|---|---|---|---|---|---|---|---|---|
| 基线 | | | | | | | | |
| 峰值/关键周期 | | | | | | | | |
| 12/36 月增长 | | | | | | | | |
| 灾备/恢复并行 | | | | | | | | |

总容量至少按“主数据 + 索引 + 日志 + 暂存/重写 + 副本/时间旅行 + 备份 + 恢复演练空间 + 增长裕度”估算；分别做增长率、压缩率、保留期和单价的敏感性分析，并记录观察/计划/执行/硬限阈值及动作。

| 证据 ID | 阶段门/控制 | 位置/不可变引用 | 配置/数据版本 | 生成时间/环境 | Owner | 审核/批准 | 有效期/复测 |
|---|---|---|---|---|---|---|---|

恢复演练频率按业务重要性和变化风险确定：关键服务至少季度验证关键恢复路径、至少年度完成完整端到端演练；其他服务至少年度验证。发生重大版本/拓扑/地域变更、密钥或身份机制轮换、备份策略变化、实际恢复事件、恢复缺陷修复，或连续失败/未达 RTO/RPO 后，必须触发复测，不等待固定周期。

阶段门：任务书/业务影响批准 → 服务目标/设计批准 → 环境与发布通道就绪 → 数据/变更候选版 → 负载/故障/恢复通过 → 运行接管 → 分阶段发布和稳定期退出。没有成功恢复、关键 SLO 未达、发布不可回退、关键告警无人响应或值班未接管时必须 No-Go。

## 6. 工具与技术

- 数据库/存储原生管理工具：实例、配置、补丁、备份恢复、复制、统计和清理。
- 配置/IaC 与版本控制：重建环境、检测漂移、审查和回退；禁止不留证据的生产手工修补。
- 监控/日志/查询分析：形成趋势、基线、告警和根因证据；仅有仪表盘不算通知。
- 建模/DDL 生成与逆向：同步 PDM 和实际结构；物理运行改变语义时必须回到模型评审。
- 负载/故障注入与恢复环境：验证峰值、耐久、资源竞争、故障域、恢复点和依赖链。
- 数据生成/脱敏：非生产环境优先合成或最小化数据；生产样本须批准、脱敏和受控。

技术选择应验证事务/一致性、容量/速度、工作负载、平台/OS、工具、弹性、错误处理、技能、总拥有成本、厂商支持与退出，不假设一种 DBMS 适合所有用例。

## 7. 指标、风险与实施

| 指标族 | 最低定义 |
|---|---|
| 可用性/新鲜度 | 服务窗口、分母、计划维护、合成查询、数据发布时间和来源 |
| 性能 | 查询等级 p50/p95/p99、吞吐、超时、队列、批窗口、代表性规模 |
| 恢复 | RTO/RPO 目标与实测、恢复成功率、备份年龄/校验、演练间隔 |
| 容量/成本 | 数据/索引/日志/副本/备份使用、增长、阈值、单位成本和预测 |
| 变更/事件 | 部署成功/失败/回退/紧急率、MTTA/MTTR、误报/漏报和复盘行动 |
| 生命周期/控制 | 到期归档/删除成功、保全例外、访问复核、审计覆盖和证据完整 |

每个指标写明目标、测量点、窗口、数据源、频率、owner、豁免和升级条件。容量至少设观察、计划、执行和硬限制阈值，并确保执行提前量大于采购/扩容前置期。

主要风险：平台 SLA 被误当端到端服务；备份不可读或密钥不可用；HA 复制逻辑损坏；负载假设失真；维护与业务争抢资源；破坏性变更无兼容/回退；保留只作用主库；告警无人接；运行知识留在项目团队；技能/供应商支持不足。以依赖模型、代表性测试、隔离恢复、故障注入、生命周期矩阵、值班演练和阶段硬门控制。

## 8. 依赖与协同

- `designing-data-architecture`：提供平台方向、位置、复制和过渡约束；本技能反馈运行事实和技术生命周期。
- `modeling-data`：提供批准 PDM 与语义；本技能验证物理可运行性，不擅自改变业务含义。
- `integrating-data`：负责跨系统装载、接口、重放、错误队列和对账；共同定义批窗口与恢复顺序。
- `securing-data`：定义分类、最小权限、加密、审计和事件要求；本技能落实数据库/存储控制。
- `managing-documents-and-content`：提供适用的记录保留、法律保全和处置规则。
- `managing-metadata`：登记实例、模式、版本、血缘、owner、SLO 和影响关系。
- `improving-data-quality`：定义质量门和问题闭环；本技能运行监控与阻断。
- `delivering-data-warehousing-and-bi`、`delivering-data-science`：提供分析/模型工作负载、刷新和消费者服务目标。