В ШІ, кешування даних може значно підвищити продуктивність і зменшити витрати за рахунок зберігання часто використовуваних даних для швидкого доступу. Це вкрай важливо для обробки великих наборів даних і повторюваних обчислень, особливо в таких програмах, як чат-боти або інструменти на основі ШІ. Нижче 7 ключових методів кешування ти повинен знати:

• Кешування в пам'яті: зберігає дані в оперативній пам’яті для надшвидкого доступу. Ідеально підходить для завдань ШІ в реальному часі.
• Розподілене кешування: розподіляє дані між кількома вузлами, забезпечуючи масштабованість і відмовостійкість. Найкраще підходить для великих систем.
• Гібридне кешування: поєднує в пам’яті та розподілене кешування для збалансованої швидкості та масштабованості.
• Edge Caching: обробляє дані локально поблизу користувача, зменшуючи затримку. Чудово підходить для IoT і територіально розподілених установок.
• Федеративне кешування: синхронізує кеш-пам’ять між місцями, зберігаючи конфіденційність і продуктивність. Корисно в охороні здоров'я або багатопартійних системах.
• Кешування підказок: оптимізує продуктивність LLM шляхом повторного використання попередніх запитів і відповідей. Скорочує затримку та витрати.
• Кешування з автоматичним масштабуванням: Динамічно налаштовує ресурси кешу відповідно до вимог. Ідеально підходить для мінливих навантажень.

Швидке порівняння

Техніка	Ключова перевага	Найкращий варіант використання
В пам'яті	Найшвидші швидкості доступу	Обробка в реальному часі
Розповсюджується	Масштабованість	Масштабні програми
Гібрид	Збалансована продуктивність	Змішані навантаження
Край	Зменшена затримка	Географічно розподілені системи
Федеративні	Конфіденційність і співпраця	Багатосторонні обчислення
Підкажіть	LLM оптимізація	Обробка природної мови
Автоматичне масштабування	Динамічне використання ресурсів	Змінні навантаження

Ці методи вирішують поширені виклики штучного інтелекту, такі як повільний час відгуку, висока вартість і проблеми з масштабованістю. Вибравши правильну стратегію кешування, ви можете зробити системи ШІ швидшими, ефективнішими та економічно ефективнішими.

Стратегії кешування даних для аналізу даних і ШІ

1. Кешування в пам'яті

Кешування в пам’яті прискорює робочі навантаження ШІ, зберігаючи дані безпосередньо в оперативній пам’яті, пропускаючи повільніший доступ до диска. Цей метод скорочує час отримання даних і підвищує швидкість обробки, що робить його ідеальним для додатків ШІ в режимі реального часу.

Чудовим прикладом є Nationwide Building Society. У травні 2022 року вони використали RedisGears і RedisAI із кешуванням у пам’яті, щоб покращити свою модель BERT Large Question Answering Transformer. Завдяки попередній токенізації потенційних відповідей і завантаженню моделі в сегменти Redis Cluster вони скоротили час висновку з 10 секунд до менше 1 секунди.

«З Redis у нас є можливість попередньо обчислити все та зберегти в пам’яті, але як це зробити?» – Алекс Міхалєв, AI/ML архітектор у Nationwide Building Society

Результати кешування в пам'яті значною мірою залежать від обраної стратегії. Ось коротке порівняння поширених підходів:

Стратегія кешування	Вплив на продуктивність	Ідеальний для
Кешування ключових слів	Пошук точної відповідності	Прості шаблони запитів
Семантичне кешування	У 15 разів швидше відповіді	Складні контекстно-залежні запити
Гібридний підхід	Розвантаження запиту 20-30%	Збалансоване навантаження

Щоб отримати максимальну віддачу від кешування в пам’яті, зосередьтеся на цих ключових практиках:

• Керування розміром кешу: знайдіть правильний баланс між використанням пам’яті та продуктивністю.
• Актуальність даних: установіть правила терміну дії кешу залежно від того, як часто ваші дані змінюються.
• Пороги подібності: Налаштуйте відповідні параметри, щоб покращити частоту звернень до кешу.

Для великих мовних моделей (LLM) кешування в пам’яті може скоротити час відповіді до 80%, що змінює правила гри для чат-ботів і систем запитань і відповідей. Однак його вища вартість означає, що вам потрібно ретельно оцінити, чи підходить він вашому конкретному випадку використання.

Далі давайте зануримося в розподілене кешування та те, як воно справляється з масштабованістю для великих навантажень AI.

2. Розподілене кешування

Розподілене кешування виводить кешування в пам’яті на новий рівень, розподіляючи дані між кількома вузлами. На відміну від кешування в пам’яті одного сервера, цей підхід призначений для ефективнішого виконання великомасштабних завдань ШІ.

Чудовим прикладом цього в дії є використання NVIDIA Triton Redis для розподіленого кешування. Під час тестування на Google Cloud Platform з моделлю DenseNet Triton в парі з Redis керував 329 висновків за секунду із середньою затримкою 3030 мкс. Без кешування система тільки досягла 80 висновків за секунду із значно більшою затримкою 12680 мкс.

Метод кешування	Висновки / Друг	Затримка (мкс)
Без кешування	80	12,680
Розповсюджений (Redis)	329	3,030

Чому розподілене кешування працює

Ось деякі з основних переваг:

• Масштабованість: додайте більше вузлів у міру зростання даних, забезпечуючи стабільну продуктивність.
• Висока доступність: система продовжує працювати, навіть якщо деякі вузли виходять з ладу.
• Ефективне використання ресурсів: Зменшує навантаження на окремі сервери, роблячи операції більш плавними.
• Скорочений холодний запуск: Зберігає продуктивність стабільною під час перезапусків.

«По суті, розвантаживши кешування на Redis, Triton може зосередити свої ресурси на своїй фундаментальній ролі — виконанні висновків». – Стів Лорелло, старший польовий інженер, Redis; Раян МакКормік, старший інженер-програміст, NVIDIA; і Сем Парті, головний інженер Redis

Архітектура децентралізованого сховища об’єктів (DORA) є ще одним вражаючим прикладом, який керує до 100 мільярдів об'єктів на стандартному зберіганні. Це особливо критично для робочих навантажень ШІ, де графічні процесори можуть коштувати понад $30 000 кожен.

Щоб зробити розподілене кешування ще ефективнішим, подумайте про впровадження:

• Режим кластера для кращої масштабованості.
• Реплікація для забезпечення доступності даних.
• Політика виселення для управління пам’яттю.
• Локальне кешування вузла для швидшого доступу.

Хоча розподілене кешування може призвести до незначних затримок у мережі, переваги, такі як розширений доступ до пам’яті та відмовостійкість, значно переважують недоліки. Такі інструменти, як AWS Auto Scaling і Azure Autoscale, можуть допомогти динамічно коригувати ресурси, зберігаючи кеш-пам’ять чуйним і економічно ефективним.

Далі ми зануримося в гібридне кешування та те, як воно збалансовує різні робочі потреби.

3. Гібридне кешування

Гібридне кешування поєднує швидкість кешування в пам’яті з масштабованістю розподіленого кешування, пропонуючи збалансоване рішення для вимогливих робочих навантажень ШІ. Він вирішує проблеми затримки розподілених систем і обмежену масштабованість налаштувань у пам’яті, забезпечуючи стабільну продуктивність для складних завдань ШІ.

Переваги продуктивності

Використання гібридного кешування з Redis може підвищити швидкість висновку до 4x. Локальні кеші обробляють дані, до яких часто звертаються, тоді як розподілені кеші керують більшими спільними наборами даних.

Тип кешу	Сильні сторони	Найкращі випадки використання
Локальний кеш	Швидкий доступ до процесу	Параметри моделі, до яких часто звертаються
Розподілений кеш	Масштабованість, висока доступність	Спільні набори даних, міжекземплярні дані
Гібридний комбінований	Збалансована швидкість і масштабованість	Складні робочі навантаження AI, великі розгортання

Економія коштів

Розглянемо чат-бота зі штучним інтелектом, який щоденно обробляє 50 000 запитів. Без кешування щомісячні витрати на обробку можуть досягати $6750. Завдяки оптимізації ресурсів зберігання та обробки гібридне кешування значно скорочує ці витрати.

Стратегія впровадження

Фреймворк Machine Learning at the Tail (MAT) демонструє складний гібридний метод кешування, що поєднує традиційне кешування з прийняттям рішень на основі машинного навчання. Такий підхід призвів до:

• У 31 раз менше прогнозів потрібно в середньому.
• Створення функцій у 21 раз швидше, час різання від 60 мкс до 2,9 мкс.
• У 9,5 разів швидше навчання, зменшивши час зі 160 мкс до 16,9 мкс.

Наприклад, чат-боти обслуговування клієнтів, які використовують Retrieval Augmented Generation (RAG), можуть отримати значну користь. Застосовуючи гібридне кешування після процесу RAG, час відповіді на поширені запити, як-от деталі продукту, години роботи магазину чи вартість доставки, скорочується з кількох секунд до майже миттєвого.

Щоб ефективно реалізувати гібридне кешування:

• Динамічно налаштовуйте порогові значення кешування відповідно до змін робочого навантаження.
• Використовуйте семантичне кешування для обробки запитів природною мовою, отримуючи інформацію на основі значення, а не точних збігів.
• Розмістіть сервери Redis ближче до вузлів обробки, щоб зменшити час зворотного зв’язку (RTT).
• Налаштуйте максимальні обмеження пам’яті та встановіть політику вилучення відповідно до потреб вашої програми ШІ.

sbb-itb-59e1987

4. Граничне кешування

Граничне кешування розширює концепцію гібридного кешування, обробляючи дані локально, безпосередньо в джерелі. Цей підхід зменшує затримки та значно покращує продуктивність ШІ.

Вплив на продуктивність

Граничне кешування приносить очевидні переваги системам ШІ. Наприклад, демонструє процесор Snapdragon 8 Gen 3 У 30 разів краща енергоефективність для створення зображень порівняно з традиційною обробкою в центрі обробки даних.

Аспект	Традиційна хмарна обробка	Edge Caching
Відстань переміщення даних	Довгі поїздки до центральних серверів	Мінімальний – обробляється локально
Залежність від мережі	Високий – потрібне постійне з’єднання	Низький – працює офлайн
Час відгуку	Залежить від умов мережі	Майже миттєво
Споживана потужність	Високий через інтенсивну передачу даних	Оптимізовано для локальної обробки

Програми реального світу

Граничне кешування виявилося корисним у кількох сценаріях, керованих ШІ:

• Розумне виробництво: обробляє дані локально, дозволяючи приймати рішення за частки секунди, не покладаючись на хмару.
• Моніторинг охорони здоров'я: Пристрої, оснащені кешуванням краю, можуть приймати автоматизовані рішення та постійно контролювати пацієнтів. Таке налаштування дозволяє швидше реагувати, потенційно дозволяючи раніше виписуватися з лікарні, зберігаючи нагляд.
• Розумна інфраструктура міста: Системи керування трафіком використовують моделі штучного інтелекту з граничним кешуванням, щоб регулювати потік трафіку в режимі реального часу. Уникаючи затримок хмарної обробки, ці системи швидко адаптуються до мінливих умов.

Ці приклади показують, як периферійне кешування підвищує продуктивність, зосереджуючись на локалізованій миттєвій обробці.

Найкращі практики впровадження

Щоб повністю використовувати крайове кешування, розгляньте такі стратегії:

• Управління ресурсами: Використовуйте оркестровку штучного інтелекту для динамічного узгодження ресурсів із попитом.
• Розподіл завдань: ефективно розподіляйте навантаження між периферійними пристроями та хмарою.
• Оптимізація моделі: застосовуйте такі методи, як квантування та скорочення, щоб зменшити розмір моделі без шкоди для точності.

Наприклад, Fastly продемонстрував потенціал кешування країв на веб-сайті нью-йоркського Метрополітен-музею. Завдяки попередньому створенню вбудованих векторів країв система надала миттєві персоналізовані художні рекомендації. Це дозволило уникнути затримок у запитах вихідного сервера, продемонструвавши, як периферійне кешування може покращити персоналізацію на основі ШІ.

Енергетичні міркування

Оскільки до 2030 року штучний інтелект споживатиме 3,51 TP3T світової електроенергії (за даними Gartner), периферійне кешування пропонує спосіб зменшити потреби в енергії. Зводячи до мінімуму залежність від централізованих центрів обробки даних і зосереджуючись на локальній обробці, це допомагає оптимізувати використання ресурсів і скоротити непотрібне споживання енергії.

5. Федеративне кешування

Об’єднане кешування синхронізує кеші між глобальними вузлами, покращуючи продуктивність ШІ, зберігаючи конфіденційність даних.

Продуктивність і архітектура

Об’єднане кешування використовує різні топології для задоволення різних операційних вимог:

Тип топології	Опис
Активний-Активний	Одночасне кешування в кількох місцях.
Активно-Пасивний	Забезпечує надійність за допомогою механізму відновлення після відмови.
Втулка-спиця	Централізоване управління з розподіленими віддаленими вузлами.
Центральна-Федерація	Уніфікований глобальний доступ до даних.

Ці гнучкі архітектури полегшують баланс між швидкістю та конфіденційністю в реальних випадках використання.

Додаток у реальному світі

Цей підхід дав результати в делікатних сферах. Наприклад, a Природна медицина Дослідження підкреслило, як 20 закладів охорони здоров’я використовували федеративне навчання для прогнозування потреби в кисні для пацієнтів з COVID-19. Система покращила точність прогнозування, одночасно зберігаючи дані пацієнтів у безпеці в розподілених системах.

Переваги в різних галузях

• Виробництво: Дозволяє обробку даних у реальному часі, одночасно забезпечуючи локальний контроль даних.
• Автономні транспортні засоби: підтримує безпечне навчання моделям штучного інтелекту в різних флотах.
• Охорона здоров'я: Сприяє спільній розробці ШІ без шкоди для конфіденційності пацієнта.

Технічна інформація про продуктивність

Останні тести показують, що однорангове інтегроване навчання досягає показників точності 79,2–83,1%, перевершуючи централізовані системи, які в середньому становлять близько 65,3%.

Поради щодо оптимізації

Щоб отримати максимальну віддачу від федеративного кешування, спробуйте ці методи:

• Використовуйте місцеву передчасну зупинку, щоб уникнути переобладнання.
• Застосувати FedDF (Federated Distillation) для керування розподілом різноманітних даних.
• Використовуйте вибірку Діріхле, щоб забезпечити справедливе представлення на різних пристроях.

Крім того, використання дивергенції Дженсена-Шеннона може допомогти впоратися з відключеннями пристрою, підтримуючи стабільну продуктивність.

Об’єднане кешування вирішує масштабні проблеми, збалансовуючи продуктивність і конфіденційність у розподілених системах ШІ.

6. Кешування підказок

Оперативне кешування — це розширена техніка, яка базується на попередніх методах кешування для покращення продуктивності ШІ. Зберігаючи часто використовувані підказки та відповідні відповіді, це зменшує затримку, усуває надлишкову обробку та допомагає скоротити витрати.

Показники ефективності

Ось погляд на те, як оперативне кешування впливає на продуктивність:

Модель	Скорочення затримки	Економія коштів
OpenAI GPT-4	До 80%	50%
Клод 3.5 Сонет	До 85%	90%

Стратегія впровадження

Успіх кешування підказок значною мірою залежить від того, як структуровані підказки. Щоб максимізувати ефективність кешу, розміщуйте статичний вміст на початку, а динамічний – у кінці. Цей підхід покращує показники звернення до кешу, особливо для повторюваних запитів.

«Швидке кешування є наріжним каменем оптимізації штучного інтелекту, що забезпечує швидший час відгуку, підвищення ефективності та економію коштів. Використовуючи цю технологію, компанії можуть масштабувати свої операції та підвищити задоволеність користувачів».

• Сахіл Нішад, автор, Future AGI

Додаток у реальному світі

Notion надає чудовий приклад того, як оперативне кешування може змінити досвід користувача. Використовуючи кешування у своїх функціях на базі Claude, Notion AI забезпечує майже миттєві відповіді, зберігаючи витрати на низькому рівні.

Розподіл витрат

Різні постачальники пропонують різні моделі ціноутворення для швидкого кешування:

• Клод 3.5 Сонет: Запис в кеш $3.75/MTok, читання $0.30/MTok
• Клод 3 Опус: Запис в кеш $18.75/MTok, читання $1.50/MTok
• Клод 3 Хайку: Запис в кеш $0.30/MTok, читання $0.03/MTok

Поради щодо технічної оптимізації

Щоб отримати максимальну віддачу від оперативного кешування, розгляньте такі стратегії:

• Відстежуйте частоту відвідувань і затримку в години непікової навантаження, щоб точно налаштувати продуктивність
• Використовуйте послідовні шаблони запитів, щоб мінімізувати видалення кешу
• Для кращої ефективності кешування встановлюйте пріоритет запитам, довжиною понад 1024 маркери
• Налаштуйте автоматичне очищення кешу після 5–10 хвилин бездіяльності

Швидке кешування особливо ефективне в системах чату, де повторне використання вихідних даних призводить до швидшого часу відповіді та кращої енергоефективності. Далі ми зануримося в те, як кешування з автоматичним масштабуванням налаштовує ресурси для обробки змінних навантажень ШІ.

7. Кешування з автоматичним масштабуванням

Кешування з автоматичним масштабуванням виводить ефективність оперативного кешування на наступний рівень, динамічно регулюючи ресурси кешу на основі потреб у реальному часі. Цей підхід гарантує, що великі мовні моделі (LLM) і складні системи штучного інтелекту можуть швидко й ефективно масштабуватися за потреби.

Наприклад, кешування контейнерів Amazon SageMaker значно покращило час масштабування для Llama3.1 70B, як показано нижче:

Сценарій масштабування	Попереднє кешування	Після кешування	Економія часу
Доступний екземпляр	379 секунд	166 секунд	56% швидше
Додавання нового екземпляра	580 секунд	407 секунд	30% швидше

Як це працює

Кешування автоматичного масштабування зазвичай ґрунтується на двох основних методах:

• Реактивне масштабування: миттєво налаштовує ресурси кешу на основі таких показників у реальному часі, як використання ЦП, пам’ять і затримка.
• Прогнозне масштабування: використовує історичні дані, щоб передбачити стрибки попиту та заздалегідь налаштувати обсяг кешу.

Варіанти використання в галузі

NVIDIA інтегрувала кешування з автоматичним масштабуванням, щоб розширити можливості розгортання AI. Eliuth Triana підкреслює його вплив:

«Інтеграція кешування контейнерів із NVIDIA Triton Inference Server на SageMaker є значним прогресом у обслуговуванні моделей машинного навчання в масштабі. Ця функція ідеально доповнює розширені можливості обслуговування Triton, зменшуючи затримку розгортання та оптимізуючи використання ресурсів під час подій масштабування. Для клієнтів, які виконують виробничі робочі навантаження з підтримкою кількох фреймворків Triton і динамічним пакетуванням, Container Caching забезпечує швидше реагувати на стрибки попиту при збереженні оптимізації продуктивності Triton».

• Елют Тріана, провідний глобальний відділ зв’язків із розробниками Amazon у NVIDIA

Ключові технічні фактори, які слід враховувати

Під час реалізації кешування з автоматичним масштабуванням необхідно звернути увагу на кілька важливих аспектів:

1. Вибір метрики: виберіть правильні показники, як-от використання ЦП або шаблони запитів, щоб визначити політики масштабування, які відповідають вашому робочому навантаженню.
2. Обмеження ресурсів: установіть чіткі мінімальні та максимальні порогові значення для ресурсів кешу, щоб уникнути надмірного або недостатнього надання.
3. Державне управління: Забезпечення плавної обробки компонентів із збереженням стану під час подій масштабування кешу.
4. Час відгуку: Постійно відстежуйте та точно налаштовуйте час відповіді кешу для підтримки продуктивності під час операцій масштабування.

Потенціал економії

Кешування з автоматичним масштабуванням також допомагає контролювати витрати, особливо в поєднанні з такими рішеннями, як точкові екземпляри. Наприклад, Google Compute Engine пропонує точкові екземпляри, які можуть скоротити витрати на обчислення до 91%. Філіп Шмід з Hugging Face підкреслює переваги:

«Контейнери Hugging Face TGI широко використовуються клієнтами висновків SageMaker, пропонуючи потужне рішення, оптимізоване для запуску популярних моделей із Hugging Face. Ми раді бачити, що кешування контейнерів прискорює автоматичне масштабування для користувачів, розширюючи охоплення та впровадження відкритих моделей із Hugging Face».

• Філіп Шмід, технічний керівник Hugging Face

Висновок

Ефективне використання кешування даних може значно підвищити продуктивність ШІ, скоротивши витрати. Сім методів, розглянутих раніше, підкреслюють, як стратегічне кешування може підвищити ефективність і надійність системи, не завдаючи шкоди.

Зростання продуктивності очевидне. Наприклад, рішення розподіленого кешування Hoard забезпечило 2,1-кратне збільшення швидкості порівняно з традиційними системами зберігання даних NFS на кластерах GPU під час завдань класифікації ImageNet. Цей приклад підкреслює, наскільки добре сплановане кешування може зробити вимірну різницю.

«Кешування є таким же фундаментальним для обчислень, як масиви, символи або рядки». – Стів Лорелло, старший польовий інженер Redis

У поєднанні з потужним апаратним забезпеченням ці стратегії стають ще ефективнішими. Високопродуктивні системи, наприклад SerionionСервери GPU зі штучним інтелектом дозволяють організаціям використовувати весь потенціал графічних процесорів NVIDIA, створюючи ідеальні налаштування для виконання складних завдань штучного інтелекту.

Кешування також вирішує ключові проблеми, які заважають багатьом додаткам штучного інтелекту (приблизно 70%) перейти у виробництво. Використовуючи ці методи, організації можуть досягти:

Метрика	Поліпшення
Час відповіді на запит	Скорочення затримки p50 до 80%
Витрати на інфраструктуру	Скорочення до 95% із високою частотою звернень до кешу
Швидкість звернень до кешу	20-30% із загальної кількості запитів, наданих із кешу

Оскільки проекти штучного інтелекту стають все більш складними, ефективне кешування стає ще більш важливим. У поєднанні з передовим апаратним забезпеченням ці методи відкривають шлях для масштабованих високопродуктивних систем ШІ, які забезпечують результати без шкоди для вартості та ефективності.

Пов’язані публікації в блозі

• Найкращі методи оптимізації витрат на хостинг великих даних
• 7 порад щодо зменшення витрат на хостинг великих даних
• Найкращі методи оптимізації витрат на гібридну хмару
• Масштабованість хмарного сховища: основні етапи планування