Розірвати циклічну ілюзію! Одна формула розкладає структуру попиту на HBM: чому попит на пам’ять і надалі лише зростатиме?

AI-хвиля стимулює попит на пам’ять і підштовхує ціни вгору, однак зовнішній світ усе ще хвилюється, чи HBM не повторить «циклічний» сценарій обвалу, як це було з минулим DRAM: після стрибка попиту швидко розвернутися в протилежний бік. Аналітик напівпровідникових архітектур fin зазначає, що логіка попиту на HBM уже відірвалася від закономірностей традиційної індустрії пам’яті й переоцінюється через token.

(Підйом пам’яті сповільнюється? Оцінки інституцій: у Q2 приріст звужується до 30%, у другій половині року ще більше охолодження)

Пам’ять епохи CPU: аксесуар, без якого можна обійтися

fin вказує, що в епоху, коли обчислення домінували CPU, роль DDR пам’яті завжди була допоміжною. Інженери CPU розробили цілий набір технік, які маскують затримки пам’яті: суперскалярні конструкції, багаторівневі кеші, перейменування регістрів тощо — завдяки чому процесор міг підтримувати високу продуктивність без залежності від швидкісної пам’яті:

Промислове правило таке: навіть якщо DDR за шириною пропускання підвоюється напряму, загальне зростання продуктивності CPU зазвичай не перевищує 20%.

Така архітектурна логіка безпосередньо сформувала темп зростання DRAM-індустрії за минулі десятки років. Від DDR3 до DDR5 — минуло цликом 15 років; за останні 10 років обсяги DDR пересічних ПК зросли з 7–8 ГБ до близько 23 ГБ — за десятиліття лише у 3 рази. Основне джерело прибутку виробників DRAM — розмір ємності, а апгрейд пропускної здатності слугує лише способом підвищити ціну за одиницю.

У часи CPU пам’ять — це найдешевший за «граничною корисністю» компонент у ланцюжку прибутків чипової індустрії; циклічні злети й падіння — це норма й неминучість.

Коли настає епоха AI-виведення, пам’ять змінює мірило своєї цінності

Однак коли головний герой обчислень переходить до AI-виведення, змінюються й критерії оцінювання: виробники чипів змагаються за те, скільки операцій із плаваючою комою вони можуть виконати за секунду. Нині єдиний центральний KPI епохи AI — скільки token можна отримати за одиницю витрат і за одиницю енергоспоживання.

Концепція «AI-заводів», запропонована генеральним директором Nvidia Хуангом (Єн Чженьсюн), точно описує цю нову логіку: сенс роботи AI-заводу — виробляти найбільше token із найнижчими витратами, водночас максимально розганяючи швидкість виведення token. Цілі оптимізації виходять за межі одного виміру: потрібно одночасно максимізувати сумарний throughput token і прагнути до максимальної швидкості видачі token для кожного запиту.

Зміна цього KPI стала точкою перелому для долі HBM.

Формула