手动故障转移测试步骤
手动故障转移测试可确保您的系统在停机或维护期间切换到备份，而不会中断操作。以下是该过程的简要概述：
- 为什么它很重要：测试恢复步骤、确认备份容量、培训团队并防止将来出现问题。
- 规划：设定目标（例如，停机时间少于 15 分钟）、选择关键系统（数据库、应用程序）并在非高峰时段安排测试。
- 准备：验证系统准备情况、数据同步、备份和网络连接。
- 执行：遵循分步故障转移计划，监控日志并验证备份系统和应用程序功能。
- 恢复：测试后切换回主系统，确认数据一致性，并记录结果以供将来进行改进。
此过程可最大限度地减少停机时间，确保数据完整性，并让您的团队做好应对实际事故的准备。定期测试（每三个月一次）和完善的文档可让您的故障转移策略更加可靠。
测试故障转移工作流
规划故障转移测试
精心规划可确保将中断降到最低，并确认系统在手动故障转移测试期间的弹性。以下是如何设定目标、选择系统、安排测试和准备文档。
设定测试目标
定义灾难恢复的明确目标，例如：
- 故障转移期间允许的最长停机时间（目标是 15 分钟以内）
- 验证跨系统的数据一致性
- 确保故障转移后应用程序功能
- 测量网络性能
- 确认用户访问和身份验证
选择测试系统
重点关注重要系统，包括：
- 主数据库服务器
- 面向客户的应用程序
- 业务运营的内部工具
- 身份验证系统
- 核心网络基础设施
使用依赖关系图来了解系统交互。这可以帮助您决定哪些组件需要一起测试以及哪些组件可以隔离。
测试时间表和团队更新
在非高峰时段计划测试并考虑以下事项：
- 维护时段：将测试与预定的维护时间保持一致。
- 时区：考虑全球团队位置和不同的营业时间。
- 资源可用性：确保关键团队成员能够参与整个测试。
- 商务日历：避开月末处理等繁忙时期。
至少提前两周通知利益相关者测试计划。包括以下详细信息：
- 预计系统停机时间
- 可能的服务中断
- 紧急联系方式
- 回滚程序
编写测试计划
全面的测试计划应包括：
1. 故障转移前检查清单
列出所有准备步骤，例如备份系统、验证数据同步和分配资源。
2. 执行步骤
描述故障转移的确切操作顺序。包括命令、配置更改和验证点。
3. 成功标准
定义衡量成功的指标，例如：
- 系统响应时间
- 数据完整性检查
- 应用程序功能测试
- 用户访问验证
4. 回滚程序
提供发生问题时恢复到主系统的详细步骤。指定触发回滚的条件。
系统就绪检查
在开始故障转移测试之前，确认所有关键组件都已到位至关重要。这有助于创造最佳测试条件并降低意外问题的风险。重点检查系统配置、检查数据同步、确保备份健康以及测试网络连接。
系统设置审查
首先验证当前系统设置：
- 检查 CPU、内存和存储分配。
- 确认所有必要的服务都在运行。
- 验证权限和访问控制。
- 仔细检查安全设置。
- 确保 监控工具 是否设置正确。
记录这些配置，包括版本号、补丁级别和设置，以便在故障转移测试后验证它们。这些步骤可确保系统已准备好进行测试。
数据同步状态
检查系统配置后，确认数据同步是否按预期运行：
- 测量复制滞后。
- 检查数据库一致性。
- 验证文件系统同步。
- 使用校验和验证数据完整性。
关注实时同步指标。对于大多数业务应用程序，复制延迟应低于 60 秒。这可确保数据已准备好进行故障转移测试。
备份系统检查
彻底检查备份系统以确认其已准备就绪：
硬件：
- 检查电力系统和冷却系统。
- 确保存储容量和性能满足要求。
- 验证网络接口卡。
- 检查冗余组件。
软件：
- 评估操作系统的健康状况。
- 确认应用程序依赖关系正在运行。
- 检查备份工具和实用程序。
- 验证监控代理。
访问控制：
- 测试身份验证系统。
- 审查用户权限。
- 确认安全证书有效。
- 验证 VPN 连接。
这些检查确保备份系统完全运行并为故障转移测试做好准备。
网络检查
使用以下标准评估网络连接：
| 测试类型 | 验收标准 | 方法 |
|---|---|---|
| 延迟 | 50毫秒以下 | Ping 测试 |
| 带宽 | 超过 1 Gbps | iperf3 测试 |
| DNS 解析 | 100毫秒以下 | 挖掘/nslookup |
| 负载均衡器 | 主动/被动状态 | 健康检查 |
从不同的网络段运行这些测试，以确保覆盖所有潜在的故障转移路径。记录基线性能指标，以便在故障转移过程中和之后进行比较。
此外，请验证冗余网络路径是否已配置且可用。测试网络组件的自动故障转移（如果适用），并确保主站点和备份站点之间所有必需的端口和协议均已打开。
sbb-itb-59e1987
运行故障转移测试
完成准备情况检查后，请小心进行故障转移过程，以减少任何潜在的中断。
启动故障转移
- 至少提前15分钟通知利益相关者。
- 暂停所有事务并确认没有复制滞后。
- 开始故障转移序列并记录准确的开始时间。
密切关注系统最初的响应情况。故障转移过程通常需要 30-45 秒。如果需要更长时间，请立即调查。一旦过程开始，请将注意力转移到实时日志监控上，以识别出现的任何问题。
查看系统日志
监控系统日志对于及早发现问题至关重要：
| 日志类型 | 警告信号 | 严重警报 |
|---|---|---|
| 应用 | 连接超时 | 服务崩溃 |
| 数据库 | 复制错误 | 数据损坏 |
| 网络 | 数据包丢失 > 1% | 连接失败 |
| 安全 | 身份验证延迟 | 访问冲突 |
保持命令行界面 (CLI) 处于打开状态以跟踪实时消息。特别注意以“FAIL”或“ERR”开头的错误代码，因为这些代码通常表示需要立即关注的紧急问题。
检查备份站点
启动故障转移后，确认备份站点正常运行：
1. 服务可用性
确保备份站点上的所有核心服务在 60 秒内显示“活动”状态。记录任何延迟以供审核。
2. 资源利用
在过渡期间监控这些关键指标：
- CPU 使用率：应保持在 80% 以下。
- 内存使用情况：目标是利用率低于 75%。
- 存储 I/O：保持在 2,000 IOPS 以下。
- 网络吞吐量：预计使用量为 40-60% 的正常水平。
3. 负载分配
验证流量是否正确路由到备份站点。检查负载平衡器指标以确保流量均匀分布在可用资源中。
测试应用程序和数据
立即测试关键应用程序并验证数据完整性：
- 核心应用程序测试：执行基本的 CRUD 操作，测试用户身份验证，检查关键业务工作流程，并确认 API 响应能力。
- 数据验证：确保数据库一致性、验证文件系统完整性、确认最近的交易并测试数据检索速度。
在测试次要系统之前，首先重点测试任务关键型应用程序。记录任何异常情况，例如响应时间与基线测量值偏差超过 20%。
故障转移后测试
一旦备份站点启动并运行，下一步就是确保基本业务功能正常运行。这涉及仔细检查和验证操作，以确认一切正常运行。
业务功能检查
- 运行完整的业务交易周期以无缝确认工作流程和数据流，包括外部集成。
- 测试早期应用程序测试中未涉及的与外部系统的关键连接。
- 确保所有计划的任务都按时执行。
- 检查报告系统的准确性，以避免任何差异。
这些步骤有助于确认备份环境可以不间断地处理关键操作。多次运行这些验证可确保一致的性能，并允许您快速解决任何问题。
切换回主系统
确认备份系统正常运行后，就该转换回主系统了。这涉及逆转先前的步骤以恢复正常运行。
开始退货流程
通知所有相关利益相关者并与技术团队协调。准备一份清单来跟踪流程的每一步，包括数据库同步和应用程序切换时间。
确保：
- 确认所有关键流程均已完成。
- 确保没有剩余未决交易。
- 记录临时路由规则，以供逆转期间参考。
- 验证系统操作是否按预期运行。
验证数据同步
通过检查确保系统之间的数据一致性：
- 准确重播数据库事务日志。
- 完成文件系统变化的同步。
- 跨系统时间戳记录的对齐。
- 删除故障转移期间使用的临时文件。
在进行最终切换之前，使用校验和或比较软件等工具来确认故障转移期间修改的所有数据在系统之间匹配。
检查主系统
进行彻底的健康检查以确认主系统已准备就绪：
- 基础设施状况：验证所有硬件组件是否正常运行。
- 网络连接：检查并确认路由配置正确。
- 应用服务：按正确的顺序启动应用服务。
- 安全系统：确保所有安全措施有效运行。
记录结果
一旦主系统完全恢复，记录结果以改进未来的流程：
- 测试指标
记录关键指标，例如故障转移持续时间、数据同步时间、问题计数和性能比较。 - 问题文档
- 记下所有错误消息及其解决方法。
- 采取的详细故障排除步骤。
- 评估故障转移对业务的影响。
- 改进领域
- 识别流程效率低下或瓶颈。
- 突出沟通方面的差距。
- 指出文档可以改进的地方。
- 解决遇到的任何技术限制。
将所有文档存储在灾难恢复团队可以访问以供将来参考的集中位置。
概括
手动故障转移测试涉及仔细的规划、彻底的检查、精确的执行和平稳的恢复过程。以下是关键阶段的细分：
- 规划：定义目标、映射依赖关系、分配角色并解决潜在风险。
- 确认：确保基础设施准备就绪、数据同步、网络连通且安全性完好。
- 执行：逐步执行故障转移，实时监控，检查应用程序功能并跟踪性能指标。
- 恢复：恢复主系统，确认数据准确，确保服务运行，并记录整个过程。
为了改进故障转移测试：
- 每三个月安排一次测试。
- 保持文档为最新。
- 轮换团队职责以建立专业知识。
- 每次测试后评估并改进您的流程。
执行良好的故障转移测试可增强您在中断期间维持业务运营的能力。在受控环境中模拟真实场景可确保获得可靠的结果，而不会危及您的生产系统。
