Потоковые данные обеспечивают работу систем реального времени, таких как финансовые рынки, устройства IoT и социальные сети. Для обработки этого непрерывного потока данных без перерывов необходимо отказоустойчивое хранилище. Вот что вам нужно знать:

• Вызовы: Большие объемы данных, жесткие задержки, согласованность данных и сбои системы требуют надежных решений.
• Основные компоненты: Распределенное хранение, репликация данных, секционирование и протоколы согласованности, такие как Paxos и Raft, обеспечивают безопасность и синхронизацию данных.
• Методы отказоустойчивости: Избыточность, автоматизированное резервное копирование, механизмы переключения при сбоях и процессы восстановления обеспечивают минимальное время простоя.
• Производительность и рост: Такие методы, как многоуровневое хранение, кэширование с обратной записью и горизонтальное масштабирование, помогают системам расти, сохраняя при этом скорость и надежность.

Основные компоненты отказоустойчивого хранилища

Как работает распределенное хранилище

Распределенные системы хранения распределяют данные по нескольким узлам, чтобы избежать единой точки отказа. Эти узлы работают вместе, чтобы гарантировать, что данные остаются доступными и нетронутыми, даже если один или несколько узлов выйдут из строя.

Компонент	Функция	Функция отказоустойчивости
Узлы хранения	Хранение и извлечение данных	Может работать независимо
Сетевой уровень	Обеспечивает связь между узлами.	Несколько путей подключения
Плоскость управления	Контролирует и координирует систему	Автоматизирует процессы восстановления после сбоев
Система мониторинга	Отслеживает производительность и здоровье	Обнаруживает проблемы в режиме реального времени

Методы копирования и разделения данных

Для поддержания надежности эти системы используют репликация данных а также разбиение на разделы.

• Репликация обеспечивает хранение копий данных в нескольких местах:
  • Полная репликация: Каждый узел хранит полную копию данных.
  • Частичная репликация: Дублируются только критически важные данные.
  • Географическая репликация: Копии хранятся в разных физических местах для защиты от региональных сбоев.
• Разделение разбивает данные на управляемые разделы:
  • На основе диапазона: Данные разделены на основе определенных диапазонов значений.
  • На основе хэша: Хэш-функция равномерно распределяет данные по узлам.
  • На основе каталога: Таблица поиска отслеживает, где хранятся данные.

Системы обеспечения согласованности данных

Репликация и разбиение на разделы защищают данные, но протоколы согласованности гарантируют, что данные остаются точными и синхронизированными на всех узлах. Эти протоколы опираются на такие методы, как опережающее ведение журнала (WAL) и механизмы консенсуса.

Вот как работает этот процесс:

1. Ведение журнала транзакций

Перед внесением изменений в основное хранилище каждое обновление записывается в журнал транзакций. Это обеспечивает точку восстановления и контрольный след.

2. Достижение консенсуса

Узлы должны согласовывать текущее состояние данных, используя такие протоколы, как:

• Паксос
• Плот
• Двухфазное обязательство (2PC)

3. Государственная проверка

Контрольные суммы используются для подтверждения согласованности данных на всех узлах. Если обнаруживаются какие-либо несоответствия, система запускает автоматические процессы восстановления для устранения проблемы.

Методы обеспечения отказоустойчивости

Системы резервного копирования и избыточности

Отказоустойчивые системы полагаются на несколько уровней защиты для защиты потоковых данных. Активно-активные настройки гарантируют, что системы могут немедленно переключиться в случае сбоя, поддерживая бесперебойную работу операций.

Некоторые ключевые стратегии резервирования включают в себя:

• Аппаратное резервирование: Дублирующие компоненты, такие как блоки питания, сетевые интерфейсы и контроллеры хранения данных.
• Зеркальное отображение: Синхронизация в реальном времени между основной и резервной системами.
• Избыточность сетевого пути: Несколько сетевых маршрутов, соединяющих узлы хранения, чтобы избежать единых точек отказа.

Для дальнейшего повышения надежности эти системы часто поддерживают не менее трех копий данных в разных физических местах. Если происходит сбой, запускаются автоматизированные процессы восстановления, используя эти избыточности для восстановления функциональности.

Процесс восстановления системы

В дополнение к избыточности, мощный процесс восстановления помогает минимизировать время простоя. Автоматизированные механизмы восстановления обеспечивают быстрое восстановление доступности данных после сбоя.

1. Обнаружение отказов

Система непрерывно контролирует свое состояние с помощью:

• Между узлами происходит обмен сигналами сердцебиения.
• Анализ показателей эффективности.
• Мониторинг журналов ошибок на предмет аномалий.
• Проверка целостности данных.

2. Выполнение отказоустойчивости

При обнаружении проблемы система немедленно предпринимает следующие действия:

• Изоляция неисправного компонента.
• Перенаправление трафика на работающие узлы.
• Восстановление данных по мере необходимости.
• Обновление таблиц маршрутизации для отражения изменений.

3. Восстановление обслуживания

Заключительный этап гарантирует, что все вернется на круги своя:

• Проверка согласованности данных.
• Оптимизация производительности системы.
• Документирование обновленного состояния системы.
• Отправка оповещений администраторам для дальнейшего рассмотрения.

Такое сочетание быстрого обнаружения и восстановления гарантирует целостность и доступность потоковых данных.

Точки защиты данных

Согласованные моментальные снимки данных — еще одна важная часть отказоустойчивости, позволяющая быстро восстанавливаться при необходимости. Эти моментальные снимки действуют как безопасные контрольные точки для системы.

Подход включает в себя:

• Ведение журнала с опережающей записью: фиксирует все изменения до их применения.
• Инкрементные снимки: Сохраняет только изменения, внесенные с момента последнего снимка.
• Границы транзакций: Отмечает точки, в которых данные остаются неизменными.
• Целевые точки восстановления (RPO): Определяет максимально допустимую потерю данных.

В потоковых системах точки защиты должны создаваться без нарушения потока данных. Для этого используются следующие методы:

• Раздельно-зеркальные снимки.
• Передвижные контрольно-пропускные пункты.
• Непрерывная защита данных (CDP).

sbb-itb-59e1987

Рост и скорость системы

Варианты роста

Масштабирование систем хранения данных при сохранении производительности требует тщательного планирования, особенно при построении отказоустойчивых практик. Организации часто выбирают между вертикальное масштабирование (обновление существующего оборудования) и горизонтальное масштабирование (добавление дополнительных серверов).

Горизонтальное масштабирование выделяется своей способностью распределять данные и обработку по нескольким узлам. Это снижает риск возникновения отдельных точек отказа и повышает общую пропускную способность системы.

При расширении емкости хранилища следует учитывать следующие факторы:

• Распределение данных: Обеспечьте равномерное распределение данных по узлам.
• Пропускная способность сети: Планируйте расширение коммуникаций между узлами.
• Балансировка хранилища: Поддерживайте оптимальное распределение данных по мере роста системы.
• Накладные расходы на мониторинг: Отслеживайте состояние расширенной инфраструктуры.

По мере роста систем оптимизация производительности записи становится все более важной.

Улучшения скорости записи

Быстрые операции записи необходимы для потоковых систем данных. Несколько методов могут улучшить производительность записи, не жертвуя отказоустойчивостью:

• Кэширование с обратной записью: Временно сохранять записи в памяти перед их сохранением на диске.
• Пакетные записи: Объединить несколько операций записи в одну.
• Параллельные записи: Распределите задачи записи по нескольким узлам хранения.
• Оптимизация SSD-накопителя: Настройте конфигурации хранилища для потоковых рабочих нагрузок.

Задача заключается в поиске баланса между более быстрой записью и сохранением безопасности данных.

Для поддержки этих улучшений эффективная память и стратегии хранения играют решающую роль в обеспечении бесперебойной работы системы.

Эффективность памяти и хранения

Оптимизация использования памяти и применение многоуровневого хранения может значительно повысить производительность. Размещая часто используемые данные на более быстром хранилище и архивируя старые данные экономически эффективно, системы могут более эффективно справляться с рабочими нагрузками. Распространенные методы включают:

• Многоуровневое хранение: Используйте быстрое хранилище для активных данных и более медленные носители для архивных данных.
• Алгоритмы сжатия: Экономьте место для хранения, обеспечивая быстрый доступ.
• Картирование памяти: максимально эффективно используйте оперативную память для часто используемых данных.
• Управление буфером: Избегайте переполнения памяти в периоды высокой нагрузки.

Автоматическое управление жизненным циклом данных может дополнительно повысить эффективность за счет перемещения старых данных в более дешевое хранилище, при этом сохраняя доступность последних данных.

Ниже приведена разбивка уровней хранения, которую следует учитывать:

Уровень хранения	Скорость доступа	Стоимость за ТБ	Типичный вариант использования
Кэш-память	< 1 мс	$$	Активная трансляция
SSD-накопитель	1-5мс	$$	Последние данные
Накопитель на жестком диске	10-20мс	$	Исторические данные
Архивное хранилище	> 100мс	$	Долгосрочное удержание

Такой многоуровневый подход позволяет сбалансировать производительность и стоимость, сохраняя при этом отказоустойчивость на всех уровнях хранения.

Что такое отказоустойчивая система

Резюме и передовой опыт

Ниже приведен краткий обзор ключевых элементов для создания надежных, отказоустойчивых систем потокового хранения данных, а также практические советы по настройке.

Основные моменты

При планировании отказоустойчивого хранилища сосредоточьтесь на следующих основных принципах:

• Избыточность: Используйте многоуровневое хранилище и автоматическое переключение на резервный ресурс для минимизации рисков.
• Защита данных: Внедрить надежные меры защиты и постоянный мониторинг.
• Производительность против надежности: Найдите правильный баланс, чтобы обеспечить эффективность без ущерба для стабильности.
• Масштабируемость: Создайте систему, которая может расти вместе с вашими потребностями.

Эти принципы являются основой надежной и масштабируемой системы.

Руководство по установке

Чтобы воплотить эти идеи в жизнь, выполните следующие действия:

1. Выберите правильную инфраструктуру
   Выбирайте надежного поставщика, такого как Serverion, который предлагает глобальные центры обработки данных, защиту от DDoS и планы VPS, начиная с $10.95/месяц.
2. Настройте уровни хранения
   Настройте уровни хранения (горячий, теплый, холодный) с понятными протоколами резервного копирования и восстановления, соответствующими вашим потребностям.
3. Настроить мониторинг
   Установите систему мониторинга, чтобы следить за емкостью, производительностью, работоспособностью и согласованностью данных.
4. Разработайте стратегию резервного копирования
   Используйте автоматизированное геоизбыточное резервное копирование в нескольких центрах обработки данных для защиты ваших данных.

Настройте свою конфигурацию на основе требований рабочей нагрузки и планов будущего роста. Хорошо спроектированная система обеспечивает высокую доступность и стабильную производительность, даже если ваши потребности в данных расширяются.

Похожие записи в блоге

• Метрики Cloud DR: пояснения RTO и RPO
• Масштабируемость облачного хранилища: основные этапы планирования
• Отказоустойчивость и отказоустойчивость: основные различия
• 5 основных показателей производительности резервного копирования, которые следует отслеживать