В ИИ, кэширование данных может радикально повысить производительность и сократить расходы за счет хранения часто используемых данных для быстрого доступа. Это имеет решающее значение для обработки больших наборов данных и повторяющихся вычислений, особенно в таких приложениях, как чат-боты или инструменты на базе ИИ. Ниже приведены 7 методов кэширования ключей вы должны знать:

• Кэширование в памяти: Хранит данные в оперативной памяти для сверхбыстрого доступа. Идеально подходит для задач ИИ в реальном времени.
• Распределенное кэширование: Распределяет данные по нескольким узлам, обеспечивая масштабируемость и отказоустойчивость. Лучше всего подходит для крупномасштабных систем.
• Гибридное кэширование: Сочетает кэширование в памяти и распределенное кэширование для сбалансированной скорости и масштабируемости.
• Кэширование на границе: Обрабатывает данные локально рядом с пользователем, сокращая задержку. Отлично подходит для IoT и географически распределенных установок.
• Федеративное кэширование: Синхронизирует кэши между локациями, сохраняя конфиденциальность и производительность. Полезно в здравоохранении или многосторонних системах.
• Оперативное кэширование: Оптимизирует производительность LLM, повторно используя предыдущие подсказки и ответы. Сокращает задержку и затраты.
• Автоматическое масштабирование кэширования: Динамически регулирует ресурсы кэша в зависимости от спроса. Идеально подходит для меняющихся рабочих нагрузок.

Быстрое сравнение

Техника	Главное преимущество	Лучший вариант использования
В памяти	Самая высокая скорость доступа	Обработка в реальном времени
Распределенный	Масштабируемость	Масштабные приложения
Гибридный	Сбалансированная производительность	Смешанные нагрузки
Край	Уменьшенная задержка	Географически распределенные системы
Федеративный	Конфиденциальность и сотрудничество	Многопользовательские вычисления
Быстрый	оптимизация LLM	Обработка естественного языка
Автоматическое масштабирование	Динамическое использование ресурсов	Переменные рабочие нагрузки

Эти методы решают общие проблемы ИИ, такие как медленное время отклика, высокие затраты и проблемы масштабируемости. Выбрав правильную стратегию кэширования, вы можете сделать системы ИИ более быстрыми, эффективными и экономичными.

Стратегии кэширования данных для аналитики данных и искусственного интеллекта

1. Кэширование в памяти

Кэширование в памяти ускоряет рабочие нагрузки ИИ, сохраняя данные непосредственно в оперативной памяти, минуя медленный доступ к диску. Этот метод сокращает время извлечения данных и повышает скорость обработки, что делает его идеальным для приложений ИИ в реальном времени.

Отличным примером является Nationwide Building Society. В мае 2022 года они использовали RedisGears и RedisAI с кэшированием в памяти для улучшения своей модели BERT Large Question Answering Transformer. Предварительно токенизировав потенциальные ответы и загрузив модель в сегменты Redis Cluster, они сократили время вывода с 10 секунд до менее 1 секунды.

«С Redis у нас есть возможность предварительно вычислить все и сохранить в памяти, но как это сделать?» – Алекс Михалёв, архитектор ИИ/МО в Nationwide Building Society

Результаты кэширования в памяти во многом зависят от выбранной стратегии. Вот краткое сравнение распространенных подходов:

Стратегия кэширования	Влияние на производительность	Идеально подходит для
Кэширование ключевых слов	Поиск точного соответствия	Простые шаблоны запросов
Семантическое кэширование	В 15 раз более быстрые ответы	Сложные, контекстно-зависимые запросы
Гибридный подход	20-30% разгрузка запроса	Сбалансированные рабочие нагрузки

Чтобы максимально эффективно использовать кэширование в памяти, сосредоточьтесь на следующих ключевых практиках:

• Управление размером кэша: Найдите правильный баланс между использованием памяти и производительностью.
• Свежесть данных: Установите правила истечения срока действия кэша в зависимости от частоты изменения данных.
• Пороги подобия: Отрегулируйте параметры сопоставления, чтобы улучшить показатели попадания в кэш.

Для больших языковых моделей (LLM) кэширование в памяти может сократить время отклика до 80%, что делает его переломным моментом для чат-ботов и систем вопросов и ответов. Однако его более высокая стоимость означает, что вам нужно будет тщательно оценить, подходит ли он для вашего конкретного варианта использования.

Далее давайте углубимся в распределенное кэширование и то, как оно решает проблему масштабируемости для крупномасштабных рабочих нагрузок ИИ.

2. Распределенное кэширование

Распределенное кэширование выводит кэширование в памяти на новый уровень, распределяя данные по нескольким узлам. В отличие от кэширования в памяти на одном сервере, этот подход разработан для более эффективной обработки крупномасштабных задач ИИ.

Отличным примером этого в действии является использование Redis компанией NVIDIA Triton для распределенного кэширования. Во время тестов на Google Cloud Platform с моделью DenseNet Triton в паре с Redis управлял 329 выводов в секунду со средней задержкой 3030 мкс. Без кэширования система достигла только 80 выводов в секунду с гораздо более высокой задержкой 12,680 мкс.

Метод кэширования	Выводы/секунда	Задержка (мкс)
Нет кэширования	80	12,680
Распределенный (Redis)	329	3,030

Почему распределенное кэширование работает

Вот некоторые из основных преимуществ:

• Масштабируемость: Добавляйте больше узлов по мере роста объема данных, обеспечивая стабильную производительность.
• Высокая доступность: Система продолжает работать даже в случае выхода из строя некоторых узлов.
• Эффективное использование ресурсов: Снижает нагрузку на отдельные серверы, делая работу более плавной.
• Сокращение количества холодных запусков: Поддерживает стабильную производительность при перезапусках.

«По сути, переложив кэширование на Redis, Triton может сконцентрировать свои ресурсы на своей основной роли — выполнении выводов». – Стив Лорелло, старший инженер по эксплуатации, Redis; Райан МакКормик, старший инженер-программист, NVIDIA; и Сэм Парти, главный инженер, Redis

Еще одним впечатляющим примером является архитектура децентрализованного репозитория объектов (DORA), которая позволяет обрабатывать до 100 миллиардов объектов на стандартном хранилище. Это особенно критично для рабочих нагрузок ИИ, где графические процессоры могут стоить более $30,000 каждый.

Чтобы сделать распределенное кэширование еще более эффективным, рассмотрите возможность реализации:

• Кластерный режим для лучшей масштабируемости.
• Репликация для обеспечения доступности данных.
• Политики выселения для управления памятью.
• Кэширование на уровне узла для более быстрого доступа.

Хотя распределенное кэширование может вносить незначительные задержки в сеть, такие преимущества, как расширенный доступ к памяти и отказоустойчивость, значительно перевешивают недостатки. Такие инструменты, как AWS Auto Scaling и Azure Autoscale, могут помочь динамически регулировать ресурсы, поддерживая отзывчивость и экономичность кэша.

Далее мы рассмотрим гибридное кэширование и то, как оно обеспечивает баланс между различными потребностями рабочей нагрузки.

3. Гибридное кэширование

Гибридное кэширование сочетает скорость кэширования в памяти с масштабируемостью распределенного кэширования, предлагая сбалансированное решение для требовательных рабочих нагрузок ИИ. Оно решает проблемы задержки распределенных систем и ограниченной масштабируемости установок в памяти, обеспечивая стабильную производительность для сложных задач ИИ.

Преимущества производительности

Использование гибридного кэширования с Redis может повысить скорость вывода до 4xЛокальные кэши обрабатывают часто используемые данные, в то время как распределенные кэши управляют более крупными общими наборами данных.

Тип кэша	Сильные стороны	Лучшие варианты использования
Локальный кэш	Быстрый доступ в процессе	Часто используемые параметры модели
Распределенный кэш	Масштабируемость, высокая доступность	Общие наборы данных, кросс-экземплярные данные
Гибридный комбинированный	Сбалансированная скорость и масштабируемость	Сложные рабочие нагрузки ИИ, масштабные развертывания

Экономия средств

Рассмотрим ИИ-чатбота, обрабатывающего 50 000 ежедневных запросов. Без кэширования ежемесячные затраты на обработку могут достигать $6 750. Благодаря оптимизации ресурсов хранения и обработки гибридное кэширование значительно снижает эти расходы.

Стратегия внедрения

Фреймворк Machine Learning at the Tail (MAT) демонстрирует сложный гибридный метод кэширования, сочетающий традиционное кэширование с принятием решений на основе машинного обучения. Этот подход привел к:

• В 31 раз меньше прогнозов требуется в среднем.
• В 21 раз быстрее создание функций, время резки от 60 мкс до 2,9 мкс.
• Обучение в 9,5 раз быстрее, сократив время с 160 мкс до 16,9 мкс.

Например, чат-боты для обслуживания клиентов, использующие Retrieval Augmented Generation (RAG), могут получить большую выгоду. Применяя гибридное кэширование после процесса RAG, время ответа на общие запросы, такие как сведения о продукте, часы работы магазина или стоимость доставки, сокращается с нескольких секунд до почти мгновенного.

Для эффективной реализации гибридного кэширования:

• Динамически корректируйте пороговые значения кэширования в соответствии с изменениями рабочей нагрузки.
• Используйте семантическое кэширование для обработки запросов на естественном языке, извлекая информацию на основе смысла, а не точных совпадений.
• Размещайте серверы Redis рядом с узлами обработки, чтобы сократить время приема-передачи (RTT).
• Настройте ограничения максимального объема памяти и установите политики вытеснения в соответствии с потребностями вашего ИИ-приложения.

sbb-itb-59e1987

4. Кэширование на границе

Edge кэширование продвигает концепцию гибридного кэширования на шаг дальше, обрабатывая данные локально, прямо у источника. Такой подход сокращает задержки и значительно повышает производительность ИИ.

Влияние на производительность

Edge кэширование дает явные преимущества системам ИИ. Например, процессор Snapdragon 8 Gen 3 демонстрирует В 30 раз более высокая энергоэффективность для генерации изображений по сравнению с традиционной обработкой данных в центре обработки данных.

Аспект	Традиционная облачная обработка	Кэширование на границе
Расстояние передачи данных	Длительные поездки к центральным серверам	Минимальный – обрабатывается локально
Сетевая зависимость	Высокий – необходимо постоянное подключение	Низкий – работает офлайн
Время отклика	Зависит от условий сети	Почти мгновенно
Потребляемая мощность	Высокая из-за интенсивной передачи данных	Оптимизировано для локальной обработки

Реальные приложения

Кэширование на периферии оказалось полезным в нескольких сценариях с использованием ИИ:

• Умное производство: Обрабатывает данные локально, позволяя принимать решения за доли секунды, не полагаясь на облако.
• Мониторинг здравоохранения: Устройства, оснащенные кэшированием по краям, могут принимать автоматизированные решения и непрерывно контролировать пациентов. Такая настройка позволяет быстрее реагировать, что потенциально позволяет выписывать пациентов из больницы раньше, сохраняя при этом надзор.
• Инфраструктура умного города: Системы управления трафиком используют кэшированные на периферии модели искусственного интеллекта для регулирования потока трафика в реальном времени. Избегая задержек облачной обработки, эти системы быстро адаптируются к изменяющимся условиям.

Эти примеры демонстрируют, как кэширование на периферии повышает производительность, концентрируясь на локализованной, немедленной обработке.

Лучшие практики внедрения

Чтобы в полной мере использовать возможности кэширования на границе, рассмотрите следующие стратегии:

• Управление ресурсами: Используйте оркестровку ИИ для динамического согласования ресурсов со спросом.
• Распределение задач: Эффективное распределение рабочих нагрузок между периферийными устройствами и облаком.
• Оптимизация модели: Применяйте такие методы, как квантование и обрезка, чтобы уменьшить размер модели без ущерба для точности.

Например, Fastly продемонстрировала потенциал кэширования ребер на сайте Нью-Йоркского музея искусств Метрополитен. Благодаря предварительной генерации векторных вложений ребер система предоставляла мгновенные персонализированные рекомендации по искусству. Это позволило избежать задержек из-за запросов исходного сервера, продемонстрировав, как кэширование ребер может улучшить персонализацию на основе ИИ.

Энергетические соображения

С прогнозируемым потреблением ИИ 3,5% мировой электроэнергии к 2030 году (по данным Gartner), кэширование на периферии предлагает способ снижения спроса на энергию. Минимизируя зависимость от централизованных центров обработки данных и фокусируясь на локальной обработке, оно помогает оптимизировать использование ресурсов и сократить ненужное потребление энергии.

5. Федеративное кэширование

Федеративное кэширование синхронизирует кэши между глобальными узлами, повышая производительность ИИ и сохраняя конфиденциальность данных.

Производительность и архитектура

Федеративное кэширование использует различные топологии для удовлетворения различных эксплуатационных требований:

Тип топологии	Описание
Активный-Активный	Одновременное кэширование в нескольких местах.
Активный-Пассивный	Обеспечивает надежность благодаря механизму переключения при отказе.
Ступица-спица	Централизованное управление с распределенными удаленными узлами.
Центральная Федерация	Единый глобальный доступ к данным.

Эти гибкие архитектуры позволяют легче найти баланс между скоростью и конфиденциальностью в реальных сценариях использования.

Реальное применение

Этот подход дал результаты в чувствительных областях. Например, Природная медицина Исследование показало, как 20 учреждений здравоохранения использовали федеративное обучение для прогнозирования потребностей в кислороде у пациентов с COVID-19. Система повысила точность прогнозирования, сохраняя при этом безопасность данных пациентов в распределенных системах.

Преимущества для всех отраслей

• Производство: Обеспечивает обработку данных в режиме реального времени, гарантируя локальный контроль данных.
• Автономные транспортные средства: Поддерживает безопасное обучение модели ИИ во всех автопарках.
• Здравоохранение: Способствует совместной разработке искусственного интеллекта без ущерба для конфиденциальности пациентов.

Технические характеристики

Недавние тесты показывают, что одноранговое федеративное обучение достигает показателей точности 79,2–83,1%, превосходя централизованные системы, средний показатель которых составляет около 65,3%.

Советы по оптимизации

Чтобы максимально эффективно использовать федеративное кэширование, попробуйте следующие методы:

• Используйте локальную раннюю остановку, чтобы избежать переобучения.
• Применять FedDF (Федеративная дистилляция) для управления разнообразными распределениями данных.
• Используйте выборку Дирихле для обеспечения справедливого представительства на всех устройствах.

Кроме того, использование расхождения Дженсена-Шеннона может помочь справиться с отказами устройств, поддерживая стабильную производительность.

Федеративное кэширование решает масштабные задачи, обеспечивая баланс между производительностью и конфиденциальностью в распределенных системах ИИ.

6. Оперативное кэширование

Кэширование подсказок — это усовершенствованная технология, которая основывается на более ранних методах кэширования для повышения производительности ИИ. Сохраняя часто используемые подсказки и соответствующие им ответы, она сокращает задержку, устраняет избыточную обработку и помогает сократить расходы.

Показатели производительности

Вот как быстрое кэширование влияет на производительность:

Модель	Сокращение задержки	Экономия средств
OpenAI GPT-4	До 80%	50%
Клод 3.5 Сонет	До 85%	90%

Стратегия внедрения

Успех кэширования подсказок во многом зависит от того, как структурированы подсказки. Чтобы максимизировать эффективность кэширования, размещайте статический контент в начале, а динамический контент в конце. Такой подход улучшает показатели попадания в кэш, особенно для повторяющихся запросов.

«Оперативное кэширование — краеугольный камень оптимизации ИИ, обеспечивающий более быстрое время отклика, повышение эффективности и экономию средств. Используя эту технологию, компании могут масштабировать свои операции и повышать удовлетворенность пользователей».

• Сахил Нишад, автор Future AGI

Реальное применение

Notion представляет собой отличный пример того, как оперативное кэширование может преобразовать пользовательский опыт. Благодаря внедрению кэширования в функции, поддерживаемые Claude, Notion AI обеспечивает практически мгновенные ответы, одновременно снижая затраты.

Разбивка затрат

Разные поставщики предлагают разные модели ценообразования для оперативного кэширования:

• Клод 3.5 Сонет: Запись кэша на $3.75/MTok, чтение на $0.30/MTok
• Клод 3 Опус: Запись кэша на $18.75/MTok, чтение на $1.50/MTok
• Клод 3 Хайку: Запись кэша на $0.30/MTok, чтение на $0.03/MTok

Советы по технической оптимизации

Чтобы максимально эффективно использовать кэширование оперативных данных, рассмотрите следующие стратегии:

• Отслеживайте показатели посещаемости и задержки в часы наименьшей нагрузки для точной настройки производительности
• Используйте последовательные шаблоны запросов, чтобы минимизировать вытеснение кэша
• Отдавайте приоритет запросам длиной более 1024 токенов для повышения эффективности кэширования.
• Настройте автоматическую очистку кэша после 5–10 минут бездействия

Оперативное кэширование особенно эффективно в системах чата, где повторное использование выходных данных приводит к более быстрому времени отклика и лучшей энергоэффективности. Далее мы рассмотрим, как автоматическое масштабирование кэширования регулирует ресурсы для обработки меняющихся рабочих нагрузок ИИ.

7. Автоматическое масштабирование кэширования

Автоматическое масштабирование кэширования выводит эффективность оперативного кэширования на новый уровень, динамически регулируя ресурсы кэша на основе спроса в реальном времени. Такой подход гарантирует, что большие языковые модели (LLM) и сложные системы ИИ могут масштабироваться быстро и эффективно, когда это необходимо.

Например, кэширование контейнеров Amazon SageMaker значительно улучшило время масштабирования для Llama3.1 70B, как показано ниже:

Сценарий масштабирования	Предварительное кэширование	После кэширования	Сэкономленное время
Доступный экземпляр	379 секунд	166 секунд	56% быстрее
Добавление нового экземпляра	580 секунд	407 секунд	30% быстрее

Как это работает

Автоматическое масштабирование кэширования обычно основывается на двух основных методах:

• Реактивное масштабирование: Немедленно регулирует ресурсы кэша на основе показателей в реальном времени, таких как использование ЦП, памяти и задержка.
• Предиктивное масштабирование: использует исторические данные для прогнозирования скачков спроса и предварительной настройки емкости кэша.

Примеры использования в отрасли

NVIDIA интегрировала автоматическое масштабирование кэширования для улучшения возможностей развертывания ИИ. Элиут Триана подчеркивает его влияние:

«Интеграция кэширования контейнеров с сервером вывода NVIDIA Triton на SageMaker представляет собой значительный прогресс в обслуживании моделей машинного обучения в масштабе. Эта функция идеально дополняет расширенные возможности обслуживания Triton, сокращая задержку развертывания и оптимизируя использование ресурсов во время масштабирования. Для клиентов, выполняющих производственные рабочие нагрузки с поддержкой нескольких фреймворков и динамической пакетной обработки Triton, кэширование контейнеров обеспечивает более быструю реакцию на скачки спроса, сохраняя при этом оптимизацию производительности Triton».

• Элиут Триана, глобальный руководитель отдела по связям с разработчиками Amazon в NVIDIA

Ключевые технические факторы, которые следует учитывать

При реализации автоматического масштабирования кэширования необходимо учитывать несколько важных аспектов:

1. Выбор метрики: Выберите правильные показатели, такие как использование ЦП или шаблоны запросов, чтобы определить политики масштабирования, соответствующие вашей рабочей нагрузке.
2. Ограничения ресурсов: Установите четкие минимальные и максимальные пороговые значения для ресурсов кэша, чтобы избежать избыточного или недостаточного выделения ресурсов.
3. Государственное управление: Обеспечьте плавную обработку компонентов с отслеживанием состояния во время событий масштабирования кэша.
4. Время отклика: Постоянно отслеживайте и настраивайте время отклика кэша для поддержания производительности во время операций масштабирования.

Потенциал экономии затрат

Автоматическое масштабирование кэширования также помогает контролировать расходы, особенно в сочетании с такими решениями, как спотовые экземпляры. Например, Google Compute Engine предлагает спотовые экземпляры, которые могут сократить расходы на вычисления до 91%. Филипп Шмид из Hugging Face подчеркивает преимущества:

«Контейнеры TGI Hugging Face широко используются клиентами SageMaker, предлагая мощное решение, оптимизированное для запуска популярных моделей из Hugging Face. Мы рады видеть, что кэширование контейнеров ускоряет автоматическое масштабирование для пользователей, расширяя охват и принятие открытых моделей из Hugging Face».

• Филипп Шмид, технический руководитель Hugging Face

Заключение

Эффективное использование кэширования данных может значительно повысить производительность ИИ, одновременно сокращая расходы. Семь рассмотренных ранее методов подчеркивают, как стратегическое кэширование может повысить эффективность и надежность системы, не опустошая при этом свой бюджет.

Прирост производительности очевиден. Например, распределенное кэширующее решение Hoard обеспечило прирост скорости в 2,1 раза по сравнению с традиционными системами хранения NFS на кластерах GPU во время задач классификации ImageNet. Этот пример подчеркивает, как хорошо спланированное кэширование может иметь измеримое значение.

«Кэширование имеет такое же фундаментальное значение для вычислений, как массивы, символы или строки». – Стив Лорелло, старший полевой инженер Redis

В сочетании с мощным оборудованием эти стратегии становятся еще более эффективными. Высокопроизводительные системы, такие как ServerionСерверы AI GPU от компании позволяют организациям использовать весь потенциал графических процессоров NVIDIA, создавая идеальную конфигурацию для решения сложных задач ИИ.

Кэширование также решает ключевые проблемы, которые мешают многим приложениям ИИ — около 70% — перейти в производство. Приняв эти методы, организации могут достичь:

Метрическая	Улучшение
Время ответа на запрос	Сокращение задержки p50 до 80%
Расходы на инфраструктуру	Сокращение до 95% с высокими показателями попадания в кэш
Коэффициент попадания в кэш	20-30% от общего числа запросов, обработанных из кэша

По мере того, как проекты ИИ становятся все более сложными, эффективное кэширование становится еще более важным. В сочетании с передовым оборудованием эти методы прокладывают путь для масштабируемых, высокопроизводительных систем ИИ, которые обеспечивают результаты без ущерба для стоимости или эффективности.

Похожие записи в блоге

• Лучшие практики оптимизации затрат на хостинг больших данных
• 7 советов по сокращению расходов на хостинг больших данных
• Лучшие практики оптимизации затрат на гибридное облако
• Масштабируемость облачного хранилища: основные этапы планирования