Швидкість інференсу LLM: H100 vs. A100 GPU Хмарне порівняння

Критична важливість швидкості інференсу LLM у сучасному ШІ

Великі мовні моделі (LLM) трансформують галузі, забезпечуючи роботу всього: від просунутих чат-ботів та інтелектуального пошуку до складної генерації контенту та допомоги у написанні коду. Однак справжня цінність LLM часто обмежується швидкістю її інференсу. Повільний інференс призводить до погіршення користувацького досвіду, збільшення операційних витрат та зниження можливостей роботи в реальному часі. Для таких додатків, як розмовний ШІ в реальному часі, низька затримка є вимогою, що не підлягає обговоренню, в той час як для пакетної обробки висока пропускна здатність безпосередньо впливає на ефективність та економічну вигоду.

Чому швидкість інференсу важлива для ваших робочих навантажень ШІ

• Користувацький досвід: Для інтерактивних додатків важлива кожна мілісекунда. Чуйна LLM забезпечує природний, захопливий користувацький досвід, що критично важливо для прийняття та задоволеності.
• Економічна ефективність: Швидший інференс означає, що ви можете обробляти більше запитів на годину на тому ж обладнанні, скорочуючи загальний час оренди GPU та операційні витрати.
• Масштабованість: Висока пропускна здатність дозволяє вашому додатку обробляти більший обсяг одночасних запитів без шкоди для продуктивності, що важливо для масштабування виробничих систем.
• Додатки реального часу: Багато сучасних додатків ШІ, такі як рекомендаційні системи в реальному часі, виявлення аномалій або динамічна модерація контенту, вимагають негайних відповідей, які може забезпечити лише оптимізований інференс.

Навігація ландшафтом GPU для інференсу LLM

Вибір правильного GPU - це перший критичний крок в оптимізації інференсу LLM. У той час як високопродуктивні GPU NVIDIA для центрів обробки даних, такі як H100 і A100, спеціально створені для робочих навантажень ШІ, споживчі карти, такі як RTX 4090, можуть запропонувати дивовижну цінність для конкретних випадків використання, особливо з огляду на їх нижчі погодинні тарифи. Розуміння їх компромісів у пам'яті, обчисленнях та вартості є ключовим.

NVIDIA H100 проти A100 проти серії RTX: Короткий огляд

• NVIDIA H100: Нинішній король прискорення ШІ, що пропонує безпрецедентну продуктивність, особливо для моделей на основі трансформерів. Його архітектура Hopper, ядра Tensor Cores та величезна пропускна здатність пам'яті роблять його ідеальним для найбільших LLM та найвищих вимог до пропускної здатності. Зазвичай зустрічається в преміальних хмарних пропозиціях.
• NVIDIA A100: Робоча конячка сучасного ШІ, A100 (архітектура Ampere) забезпечує виняткову продуктивність як для навчання, так і для інференсу. Це дуже універсальний GPU з відмінною ємністю пам'яті (варіанти 40 ГБ або 80 ГБ) та потужними можливостями FP16/BF16, що робить його основним елементом у більшості корпоративних хмарних середовищ.
• NVIDIA RTX 4090: Споживча потужна карта, RTX 4090 пропонує неймовірну цінність. З 24 ГБ пам'яті GDDR6X та архітектурою Ada Lovelace вона напрочуд добре справляється з багатьма LLM середнього та великого розміру (особливо з квантованими версіями) на конкурентних швидкостях, часто за частку вартості своїх аналогів для центрів обробки даних. Це фаворит для індивідуальних розробників та невеликих розгортань.

Наша методологія бенчмаркінгу: Суворий підхід

Щоб забезпечити точне та застосовне порівняння, ми розробили надійну методологію бенчмаркінгу, орієнтовану на реальні сценарії інференсу LLM. Наша мета полягала в тому, щоб імітувати типові виробничі робочі навантаження та вимірювати ключові показники продуктивності (KPI), актуальні для ML-інженерів та спеціалістів з даних.

Моделі та набори даних

Для наших тестів ми обрали дві популярні та репрезентативні LLM:

• Llama-2-70B: Велика, потужна модель, що вимагає значної пам'яті GPU та обчислювальної потужності. Ми використовували реалізацію llama.cpp для ефективної квантизації (Q4_K_M), щоб забезпечити інференс на GPU з меншим об'ємом VRAM, та бібліотеку Hugging Face transformers для повного інференсу FP16 на більш потужних GPU.
• Mistral-7B: Менша, високоефективна модель, відома своєю високою продуктивністю відносно свого розміру. Ми протестували як її FP16, так і квантовану версію Q4_K_M.

Для запитів ми використовували різноманітний набір даних зі 100 поширених запитів LLM, від коротких питань до складних задач сумаризації. Кожен запит мав середню вхідну довжину 50 токенів, і ми націлювалися на середню вихідну довжину 150 токенів.

Протестовані хмарні провайдери

Ми зосередилися на провайдерах, популярних у ML-спільноті завдяки їх доступності, конкурентоспроможним цінам та наявності передових GPU:

• RunPod: Відомий своїм зручним інтерфейсом та конкурентоспроможними цінами на ряд GPU NVIDIA.
• Vast.ai: Децентралізований ринок GPU, що пропонує дуже змінні, але часто надзвичайно низькі ціни.
• Lambda Labs: Спеціалізується на інфраструктурі ШІ, пропонуючи виділені GPU-сервери та хмарні інстанси.
• Vultr: Загальний хмарний провайдер, який все більше розширює свої пропозиції GPU.
• Інші згадки: Хоча вони не були частиною основного бенчмарку, ми визнаємо присутність таких провайдерів, як CoreWeave, Google Cloud, AWS та Azure, які також пропонують надійні GPU-інстанси, хоча часто за вищою ціною.

Стек програмного забезпечення та конфігурації

Послідовність у стеку програмного забезпечення має вирішальне значення для справедливих порівнянь. Наша установка включала:

• Операційна система: Ubuntu 22.04 LTS
• Версія CUDA: 12.2
• Драйвер NVIDIA: Остання стабільна версія, сумісна з CUDA 12.2
• Версія Python: 3.10
• Бібліотеки:
  • transformers (v4.36.0)
  • torch (v2.1.0) з підтримкою CUDA
  • llama-cpp-python (остання версія) для моделей GGUF/квантованих моделей
  • vLLM (v0.2.7) для оптимізованого інференсу на A100/H100, де застосовно, з використанням безперервної пакетної обробки та PagedAttention.
• Стратегія інференса: Ми запускали кожен тест 5 разів і усереднювали результати, щоб зменшити вплив тимчасових мережевих або системних коливань. Для пропускної здатності ми імітували одночасні запити, де це можливо, використовуючи vLLM.

Результати продуктивності: Швидкість інференсу LLM

Наші бенчмарки зосередилися на двох основних метриках: Затримка (час до першого токена, критично важливий для інтерактивності) та Пропускна здатність (токени в секунду, життєво важлива для пакетної обробки та економічної ефективності).

Затримка (час до першого токена)

Затримка критично важлива для додатків реального часу, де користувачі очікують негайних відповідей. Менші значення краще.

Пропускна здатність (токени/секунду)

Пропускна здатність вимірює, скільки токенів LLM може генерувати за секунду, що критично важливо для пакетної обробки та обслуговування API. Вищі значення кращі.

Аналіз вартості та продуктивності: Токени за долар

Однієї продуктивності недостатньо; економічна ефективність не менш важлива. Ми розрахували приблизну вартість генерації 1 мільйона токенів, враховуючи середні погодинні тарифи GPU. Менші витрати на мільйон токенів краще.

Глибокий аналіз: Продуктивність та ціноутворення за провайдерами

RunPod

RunPod виділяється своїм збалансованим підходом, пропонуючи хороший вибір GPU (включаючи H100, A100 та RTX 4090) за конкурентоспроможними цінами. Їхня платформа в цілому стабільна, а інстанси швидко надаються. Для Llama-2-70B (FP16) на H100 ми спостерігали близько 118 токенів/секунду при середній вартості $3.00/годину, що становить приблизно $7.05 за мільйон токенів. Для менших, квантованих моделей на RTX 4090, RunPod пропонує надійний варіант за $0.40/годину, забезпечуючи близько $2.65 за мільйон токенів для Llama-2-70B (Q4_K_M). Вони є сильним претендентом на стабільну продуктивність і простоту використання.

Vast.ai

Vast.ai працює за децентралізованою моделлю ринку, що означає, що доступність та ціни на GPU можуть значно коливатися. Однак він часто пропонує найнижчі погодинні тарифи, особливо для споживчих GPU, таких як RTX 4090. Наші тести показали, що RTX 4090 на Vast.ai досягає 45 токенів/секунду для Llama-2-70B (Q4_K_M) за дивовижно низькою ціною $0.35/годину, що призводить до лідируючої на ринку вартості $2.16 за мільйон токенів. Для проєктів, чутливих до вартості, або з гнучким графіком, Vast.ai є незаперечним чемпіоном за співвідношенням ціни та якості, хоча стабільність та доступність інстансів вимагають ретельного моніторингу.

Lambda Labs

Lambda Labs спеціалізується на високопродуктивній інфраструктурі ШІ, і їхні пропозиції H100 та A100 відображають цю спрямованість. Вони постійно демонстрували найвищу продуктивність у наших бенчмарках. H100 на Lambda Labs лідирував з 125 токенами/секунду для Llama-2-70B (FP16) при $2.80/годину, що робить його найбільш економічним варіантом H100 за ціною $6.22 за мільйон токенів. Їхні A100 також показали надзвичайно хороші результати. Lambda Labs — чудовий вибір для вимогливих робочих навантажень, де сира продуктивність та надійність мають першорядне значення, і ви готові платити невелику премію за виділені ресурси.

Vultr

Vultr розширює свої хмарні пропозиції GPU, надаючи більш традиційний хмарний досвід з передбачуваним ціноутворенням. Хоча, можливо, не завжди найдешевший, їхня платформа пропонує хороше глобальне охоплення та інтеграцію з іншими хмарними сервісами. Ми протестували RTX 4090 на Vultr для Mistral-7B (FP16), досягнувши респектабельних 150 токенів/секунду при $0.50/годину, що призвело до дуже конкурентоспроможної ціни $0.93 за мільйон токенів. Vultr — це надійний варіант для тих, хто шукає надійний хмарний досвід корпоративного рівня зі зростаючими можливостями GPU.

Інші примітні згадки

• CoreWeave: Відомий своєю великою пропозицією GPU NVIDIA, включаючи H100 та A100, та конкурентоспроможними цінами для великомасштабних розгортань. Часто є основним вибором для великих ШІ-компаній.
• Великі гіперскейлери (AWS, Google Cloud, Azure): Пропонують найширший спектр послуг та підтримку корпоративного рівня. Хоча вони надають інстанси H100 та A100 (наприклад, інстанси AWS P4d/P5, інстанси GCP A3/A2), їхні погодинні тарифи зазвичай вищі, ніж у спеціалізованих провайдерів, що робить їх більш придатними для організацій, які вже глибоко інтегровані в їхні екосистеми або потребують великих допоміжних послуг.

Реальні наслідки для ML-інженерів

Вибір GPU та хмарного провайдера має прямі наслідки для ваших LLM-додатків.

Інтерактивні додатки (чат-боти, RAG)

Для застосунків, де низька затримка є критично важливою, таких як чат-боти в реальному часі або системи Retrieval Augmented Generation (RAG), віддавайте пріоритет GPU з найменшим часом до першого токена. Наші бенчмарки показують, що H100 від Lambda Labs і RunPod перевершують тут. Навіть A100 або добре квантована модель на RTX 4090 можуть забезпечити прийнятну затримку для багатьох інтерактивних сценаріїв використання, особливо якщо ви оптимізуєте свою стратегію запитів і завантаження моделі.

Пакетна обробка та кінцеві точки API

Для робочих навантажень, таких як автономний аналіз даних, великомасштабна генерація контенту або обслуговування великих обсягів кінцевих точок API, пропускна здатність (токени/секунду) та вартість за мільйон токенів є найважливішими метриками. Тут H100 постійно забезпечує найвищу сиру пропускну здатність. Однак RTX 4090 на Vast.ai або RunPod часто пропонує кращу економічну ефективність для квантованих моделей, що робить його ідеальним для бюджетних пакетних завдань.

Стратегії оптимізації витрат

• Квантування моделі: Значно зменшує обсяг пам'яті та часто покращує швидкість інференсу на менш потужних GPU, різко знижуючи витрати.
• Пакетна обробка: Для кінцевих точок API безперервна пакетна обробка (наприклад, з використанням vLLM) значно збільшує завантаження GPU та пропускну здатність, особливо для H100 та A100.
• Вибір GPU: Зіставте GPU з розміром вашої моделі та вимогами до затримки. Не переплачуйте за H100, якщо A100 або навіть RTX 4090 можуть задовольнити ваші потреби з квантизацією.
• Вибір провайдера: Використовуйте децентралізовані ринки, такі як Vast.ai, для спотових цін на некритичні робочі навантаження, або вибирайте спеціалізованих провайдерів, таких як Lambda Labs, для гарантованої продуктивності.

Аналіз цінності: Пошук оптимальної хмари

Не існує єдиної «найкращої» хмари GPU для інференсу LLM; оптимальний вибір сильно залежить від ваших конкретних вимог, бюджету та толерантності до мінливості.

• Для передової продуктивності та максимальної пропускної здатності (наприклад, обслуговування Llama-2-70B FP16 в масштабі): NVIDIA H100 на Lambda Labs або RunPod пропонує кращу сиру швидкість. Lambda Labs трохи випереджає по економічній ефективності для H100.
• Для збалансованої продуктивності та цінності (наприклад, надійні розгортання A100): RunPod і Lambda Labs надають потужні варіанти A100. Vast.ai може запропонувати привабливі ціни на A100, якщо ви комфортно почуваєтеся з динамікою ринку.
• Для екстремальної економічної ефективності з квантованими моделями (наприклад, Llama-2-70B Q4_K_M або Mistral-7B з обмеженим бюджетом): RTX 4090, особливо на Vast.ai, є неперевершеною пропозицією за співвідношенням ціни та якості. RunPod і Vultr також пропонують конкурентоспроможні варіанти RTX 4090.
• Для надійності корпоративного рівня та інтегрованих послуг: Хоча й дорожче, великі гіперскейлери (AWS, GCP, Azure) залишаються життєздатними для великих організацій з існуючою інфраструктурою та потребами в підтримці.

Завжди враховуйте загальну вартість володіння, включаючи не тільки погодинні тарифи GPU, але й передачу даних, зберігання та потенційні інженерні накладні витрати на управління різноманітними хмарними середовищами.