Ручное тестирование отказоустойчивости гарантирует, что ваши системы смогут переключаться на резервные копии во время сбоев или обслуживания без прерывания работы. Вот краткий обзор процесса:

• Почему это важно: Тестирование шагов восстановления, подтверждение емкости резервного копирования, обучение персонала и предотвращение будущих проблем.
• Планирование: Установите цели (например, время простоя менее 15 минут), выберите критически важные системы (базы данных, приложения) и запланируйте тестирование на часы наименьшей нагрузки.
• Подготовка: Проверка готовности системы, синхронизации данных, резервного копирования и сетевого подключения.
• Исполнение: Следуйте пошаговому плану аварийного переключения, следите за журналами и проверяйте системы резервного копирования и функциональность приложений.
• Восстановление: После тестирования вернитесь к основной системе, подтвердите согласованность данных и задокументируйте результаты для будущих улучшений.

Этот процесс минимизирует время простоя, обеспечивает целостность данных и готовит вашу команду к реальным инцидентам. Регулярные тесты (каждые три месяца) и уточненная документация могут сделать вашу стратегию отказоустойчивости более надежной.

Тестирование процесса аварийного переключения

Планирование теста на отказоустойчивость

Тщательное планирование обеспечивает минимальное нарушение и подтверждает устойчивость системы во время ручных тестов на отказоустойчивость. Вот как ставить цели, выбирать системы, планировать тест и готовить документацию.

Постановка целей теста

Определите четкие цели восстановления после сбоев, например:

• Максимально допустимое время простоя при аварийном переключении (цель — менее 15 минут)
• Проверка согласованности данных в разных системах
• Обеспечение работоспособности приложения после сбоя
• Измерение производительности сети
• Подтверждение доступа пользователя и аутентификации

Выбор тест-систем

Сосредоточьтесь на основных системах, включая:

• Первичные серверы баз данных
• Приложения, ориентированные на клиентов
• Внутренние инструменты для бизнес-операций
• Системы аутентификации
• Основная сетевая инфраструктура

Используйте карту зависимостей для понимания взаимодействия систем. Это поможет вам решить, какие компоненты нужно тестировать вместе, а какие можно изолировать.

Расписание тестов и обновления команды

Планируйте тестирование в часы наименьшей нагрузки и учитывайте следующее:

• Окна технического обслуживания: Согласуйте испытания с заранее запланированным временем технического обслуживания.
• Часовые пояса: Учитывайте географию расположения команд по всему миру и различные часы работы.
• Доступность ресурсов: Обеспечьте присутствие ключевых членов команды на протяжении всего теста.
• Деловой календарь: Избегайте напряженных периодов, таких как обработка документов в конце месяца.

Уведомите заинтересованные стороны о графике испытаний не менее чем за две недели. Включите такие детали, как:

• Ожидаемое время простоя системы
• Возможные перебои в обслуживании
• Контактная информация для экстренных случаев
• Процедуры отката

Написание плана тестирования

Подробный план испытаний должен включать:

1. Контрольный список перед отказоустойчивостью

Перечислите все подготовительные шаги, такие как резервное копирование систем, проверка синхронизации данных и распределение ресурсов.

2. Этапы выполнения

Опишите точную последовательность действий для аварийного переключения. Включите команды, изменения конфигурации и точки проверки.

3. Критерии успеха

Определите показатели для измерения успеха, такие как:

• Время отклика системы
• Проверка целостности данных
• Тесты функциональности приложения
• Проверка доступа пользователя

4. Процедуры отката

Предоставьте подробные шаги для возврата к основной системе в случае возникновения проблем. Укажите условия, которые вызовут откат.

Проверки готовности системы

Перед началом теста на отказоустойчивость крайне важно убедиться, что все ключевые компоненты на месте. Это помогает создать оптимальные условия тестирования и снижает риск возникновения непредвиденных проблем. Сосредоточьтесь на проверке конфигураций системы, проверке синхронизации данных, обеспечении работоспособности резервных копий и тестировании сетевого подключения.

Обзор настройки системы

Начните с проверки текущих настроек системы:

• Проверьте распределение ресурсов ЦП, памяти и хранилища.
• Убедитесь, что все необходимые службы запущены.
• Проверьте разрешения и контроль доступа.
• Еще раз проверьте настройки безопасности.
• Убеждаться инструменты мониторинга настроены правильно.

Запишите эти конфигурации, включая номера версий, уровни исправлений и настройки, чтобы вы могли проверить их после теста на отказоустойчивость. Эти шаги гарантируют, что система готова к тестированию.

Статус синхронизации данных

После проверки конфигураций системы убедитесь, что синхронизация данных работает должным образом:

• Измерьте задержку репликации.
• Проверьте согласованность базы данных.
• Проверьте синхронизацию файловой системы.
• Проверка целостности данных с помощью контрольных сумм.

Сосредоточьтесь на показателях синхронизации в реальном времени. Для большинства бизнес-приложений задержка репликации должна быть менее 60 секунд. Это гарантирует готовность данных к тесту на отказоустойчивость.

Проверка резервной системы

Тщательно проверьте систему резервного копирования, чтобы убедиться в ее готовности:

Аппаратное обеспечение:

• Проверьте системы питания и охлаждения.
• Убедитесь, что емкость и производительность хранилища соответствуют требованиям.
• Проверьте сетевые интерфейсные карты.
• Проверьте избыточные компоненты.

Программное обеспечение:

• Оцените работоспособность операционной системы.
• Убедитесь, что зависимости приложений функционируют.
• Проверьте инструменты и утилиты резервного копирования.
• Проверка агентов мониторинга.

Контроль доступа:

• Тестовые системы аутентификации.
• Проверьте разрешения пользователя.
• Подтвердите действительность сертификатов безопасности.
• Проверьте VPN-подключения.

Эти проверки гарантируют полную работоспособность резервной системы и ее готовность к тестированию на отказ.

Проверка сети

Оцените сетевое подключение, используя следующие критерии:

Тип теста	Критерии приемки	Метод
Задержка	Менее 50 мс	Пинг-тесты
Пропускная способность	Более 1 Гбит/с	тестирование iperf3
Разрешение DNS	Менее 100 мс	dig/nslookup
Балансировщик нагрузки	Активный/пассивный статус	Проверки здоровья

Запустите эти тесты из разных сегментов сети, чтобы убедиться, что все потенциальные пути аварийного переключения охвачены. Задокументируйте базовые показатели производительности для сравнения во время и после процесса аварийного переключения.

Кроме того, проверьте, что избыточные сетевые пути настроены и доступны. Проверьте автоматическое переключение на резерв для сетевых компонентов, если применимо, и убедитесь, что все требуемые порты и протоколы открыты между основным и резервным сайтами.

sbb-itb-59e1987

Выполнение теста на отказоустойчивость

После завершения проверок готовности осторожно приступайте к процессу аварийного переключения, чтобы свести к минимуму возможные сбои.

Начать отказоустойчивость

• Уведомите заинтересованные стороны как минимум за 15 минут.
• Приостановите все транзакции и убедитесь в отсутствии задержки репликации.
• Начните последовательность аварийного переключения и запишите точное время начала.

Внимательно следите за тем, как система реагирует изначально. Процесс переключения обычно занимает 30–45 секунд. Если он занимает больше времени, немедленно проведите расследование. После запуска процесса переключите внимание на мониторинг журналов в реальном времени, чтобы выявлять любые проблемы по мере их возникновения.

Смотреть системные журналы

Мониторинг системных журналов имеет решающее значение для раннего выявления проблем:

Тип журнала	Предупреждающие знаки	Критические оповещения
Приложение	Тайм-ауты соединения	Сбои в работе сервиса
База данных	Ошибки репликации	Повреждение данных
сеть	Потеря пакетов > 1%	Сбои соединения
Безопасность	Задержки аутентификации	Нарушения доступа

Держите интерфейс командной строки (CLI) открытым для отслеживания сообщений в реальном времени. Особое внимание уделяйте кодам ошибок, начинающимся с «FAIL» или «ERR», поскольку они часто сигнализируют о срочных проблемах, требующих немедленного внимания.

Проверить резервную копию сайта

После запуска аварийного переключения убедитесь, что резервный сайт функционирует правильно:

1. Доступность услуги

Убедитесь, что все основные службы на резервном сайте показывают статус «АКТИВНО» в течение 60 секунд. Отметьте любые задержки для проверки.

2. Использование ресурсов

Во время перехода отслеживайте следующие критически важные показатели:

• использование ЦП: Должен оставаться ниже 80%.
• Использование памяти: Стремитесь к использованию менее 75%.
• Хранилище ввода-вывода: Поддерживайте показатель ниже 2000 IOPS.
• Пропускная способность сети: Ожидается использование при 40-60% нормальных уровней.

3. Распределение нагрузки

Убедитесь, что трафик правильно направляется на резервный сайт. Проверьте показатели балансировщика нагрузки, чтобы убедиться, что трафик равномерно распределен по доступным ресурсам.

Тестовые приложения и данные

Немедленно протестируйте ключевые приложения и проверьте целостность данных:

• Тестирование основных приложений: выполнение базовых операций CRUD, тестирование аутентификации пользователей, проверка критически важных бизнес-процессов и подтверждение работоспособности API.
• Проверка данных: Обеспечение согласованности базы данных, проверка целостности файловой системы, подтверждение последних транзакций и тестирование скорости извлечения данных.

Сосредоточьтесь на тестировании критически важных приложений, прежде чем переходить к вторичным системам. Документируйте любые отклонения, такие как время отклика, которое отклоняется более чем на 20% от базовых измерений.

Тестирование после сбоя

После того, как резервный сайт запущен и работает, следующим шагом будет обеспечение правильной работы основных бизнес-функций. Это включает в себя тщательную проверку и верификацию операций, чтобы подтвердить, что все работает так, как должно.

Проверка бизнес-функций

• Запустите полный цикл бизнес-транзакций, чтобы обеспечить бесперебойную работу рабочих процессов и потоков данных, включая внешнюю интеграцию.
• Проверьте ключевые соединения с внешними системами, которые не были охвачены во время предыдущего тестирования приложения.
• Убедитесь, что все запланированные задачи выполняются вовремя.
• Проверьте точность системы отчетности, чтобы избежать каких-либо расхождений.

Эти шаги помогают подтвердить, что среда резервного копирования может обрабатывать критические операции без перерывов. Многократный запуск этих проверок обеспечивает постоянную производительность и позволяет быстро решать любые проблемы.

Вернуться к основной системе

После подтверждения того, что резервная система функционирует нормально, пора вернуться к основной системе. Это подразумевает отмену предыдущих шагов для восстановления нормальной работы.

Начать процесс возврата

Уведомите всех соответствующих заинтересованных лиц и скоординируйте действия с технической группой. Подготовьте контрольный список для отслеживания каждого шага процесса, включая синхронизацию базы данных и время переключения приложений.

Обязательно:

• Убедитесь, что все критические процессы завершены.
• Убедитесь, что не осталось необработанных транзакций.
• Задокументируйте временные правила маршрутизации для справки при развороте.
• Убедитесь, что системные операции функционируют должным образом.

Проверьте синхронизацию данных

Обеспечьте согласованность данных между системами, проверив:

• Точное воспроизведение журналов транзакций базы данных.
• Полная синхронизация изменений файловой системы.
• Выравнивание записей с метками времени в разных системах.
• Удаление временных файлов, используемых при отказе.

Используйте такие инструменты, как контрольные суммы или программное обеспечение для сравнения, чтобы убедиться, что все данные, измененные во время аварийного переключения, совпадают между системами, прежде чем приступить к окончательному переключению.

Осмотрите первичную систему

Проведите тщательную проверку работоспособности, чтобы убедиться в готовности основной системы:

1. Состояние инфраструктуры: Убедитесь, что все компоненты оборудования работоспособны.
2. Сетевое подключение: Проверьте и подтвердите правильные конфигурации маршрутизации.
3. Службы приложений: Запускайте службы приложений в правильной последовательности.
4. Системы безопасности: Убедитесь, что все меры безопасности активны и функционируют.

Документируйте результаты

После полного восстановления основной системы запишите результаты для уточнения будущих процессов:

1. Метрики теста
   Регистрируйте ключевые показатели, такие как продолжительность переключения при сбое, время синхронизации данных, количество проблем и сравнение производительности.
2. Выпуск документации
   • Запишите все сообщения об ошибках и способы их устранения.
   • Подробное описание предпринятых мер по устранению неполадок.
   • Оцените влияние аварийного переключения на бизнес.
3. Области улучшения
   • Выявите неэффективность или узкие места процессов.
   • Выделите пробелы в общении.
   • Укажите области, где документацию можно улучшить.
   • Устраните любые возникшие технические ограничения.

Храните всю документацию в централизованном месте, к которому группа аварийного восстановления может получить доступ для дальнейшего использования.

Краткое содержание

Ручное тестирование отказоустойчивости включает тщательное планирование, тщательные проверки, точное выполнение и плавный процесс восстановления. Вот разбивка ключевых фаз:

• Планирование: Определите цели, сопоставьте зависимости, распределите роли и устраните потенциальные риски.
• Проверка: Убедитесь, что инфраструктура готова, данные синхронизированы, сети подключены и безопасность надежна.
• Исполнение: Пошаговое выполнение аварийного переключения, мониторинг в режиме реального времени, проверка функциональности приложения и отслеживание показателей производительности.
• Восстановление: Восстановите основные системы, подтвердите точность данных, убедитесь, что службы работают, и задокументируйте весь процесс.

Чтобы улучшить тестирование отказоустойчивости:

• Планируйте сдавать анализы каждые три месяца.
• Поддерживайте документацию в актуальном состоянии.
• Чередуйте обязанности в команде для наращивания экспертных знаний.
• Оценивайте и совершенствуйте свой процесс после каждого теста.

Хорошо выполненный тест отказоустойчивости укрепляет вашу способность поддерживать бизнес-операции во время сбоев. Моделирование реалистичных сценариев в контролируемой среде обеспечивает надежные результаты без риска для ваших производственных систем.

Похожие записи в блоге

• План восстановления после сбоя SOC 2: основные шаги
• 7 шагов для планирования аварийного восстановления в облаке
• Отказоустойчивость и отказоустойчивость: основные различия
• Отказоустойчивое хранилище для потоковых данных: основы