Конкуренція за AI-чипи впродовж останніх двох років майже повністю крутиться навколо HBM, але зі зсувом AI застосувань від тренування моделей до масштабного інференсу наступна вузька ланка з постачання може бути вже не тільки HBM, а HBF (High Bandwidth Flash, високошвидкісна швидкодіюча флеш-пам’ять). Лауреат премії Тюрінга, професор UC Berkeley Девід Паттерсон 30 квітня у Сан-Франциско заявив, що HBF, ймовірно, стане ключовою технологією пам’яті для зростання попиту в наступному циклі — і навіть сформує нову вузьку ланку.
(Що змінила Vera Rubin від Nvidia? Розбір “війни пам’яті” в епоху SK hynix, Samsung, Micron, SanDisk)
Чому Девід Паттерсон вірить у HBF
Обговорення AI-пам’яті майже повністю зосереджені на HBM (high bandwidth memory), але зі зсувом AI застосувань від тренування моделей до масштабного інференсу наступна вузька ланка з постачання може бути вже не тільки HBM, а HBF (High Bandwidth Flash, високошвидкісна швидкодіюча флеш-пам’ять).
Паттерсон — постать світового рівня в інформатиці, якого вважають одним із важливих дизайнерів RISC-архітектури. Говорячи про наступний етап після HBM, він зазначив, що хоча в HBF ще є чимало технічних викликів, які потрібно вирішити, HBF, який просувають такі компанії, як SK hynix і SanDisk, має характеристику “надавати великі обсяги за нижчого енергоспоживання”. У майбутніх AI-системах ключова змінна буде не лише обчислювальна потужність, а те, чи зможуть дані ефективно зберігатися, плануватися та підводитися до системи.
Що таке HBF? Складати NAND Flash, а не заміняти HBM — це розподіл ролей
Найбільша різниця між HBF і HBM — у типі базового матеріалу пам’яті. HBM — це вертикальне штабелювання DRAM, щоб забезпечити високошвидкісний доступ до даних, потрібний для GPU та AI-акселераторів; вона переважно відповідає за “швидке підживлення даними обчислювальних блоків”. Натомість HBF створюють шляхом штабелювання енергонезалежної пам’яті NAND Flash; його ключова перевага не в граничній швидкості, а в тому, що він забезпечує більші обсяги даних за нижчими витратами та нижчим енергоспоживанням.
Інакше кажучи, HBM вирішує проблему “швидкості” в процесі AI-обчислень, а HBF — проблему “місткості” в міру того, як AI-системи стають дедалі більш масштабними. Саме тому HBF не є простою заміною HBM, а формує новий розподіл ролей у пам’яті. HBM відповідає за негайний швидкісний обмін даними; HBF — за потреби в зберіганні великих обсягів проміжних даних, контексту та даних, які багаторазово викликаються під час інференсу.
Ринок AI-інференсу розширюється — і попит на HBF виходить на перший план
Причина, чому до HBF у 2026 році прикута більше уваги, у тому, що центр ваги AI-ринку поступово зміщується з тренування в бік інференсу. AI-тренування — це коли великі масиви даних подають моделі, щоб вона вивчила параметри й закономірності; AI-інференс — коли після завершення тренування модель на основі введення користувача дає відповіді, виконує задачі, “пам’ятає” попередні репліки та безперервно ухвалює рішення.
У сценаріях інференсу AI має не лише разово відповідати на запитання, а зберігати попередні діалоги, робочий контекст, результати оцінок, журнали викликів інструментів і навіть проміжні дані, що виникають між різними задачами. Ці дані великі за обсягом і їх потрібно багаторазово читати та оновлювати.
Проблема в тому, що якщо тримати всі ці дані в HBM, це занадто дорого, а місткість — нереалістична. HBM підходить для обробки високошвидкісних даних, які потрібні негайно, але не підходить для того, щоб нести на собі весь обсяг контексту й проміжних станів, що з’являються в процесі інференсу. Коли AI Agent, довгі контекстні моделі, мультимодальний інференс і корпоративні AI-воркфлоу стають поширеними, системі потрібні не просто швидші типи пам’яті, а більший пул високошвидкісних даних. Саме тому HBF і розглядають як перспективний варіант.
SK hynix і SNDK просувають стандартизацію — до 2038 року попит на HBF може перевищити HBM
Прагнучи збільшити пропускну здатність, SK hynix і SanDisk співпрацювали над розробкою HBF. Це різновид 3D-штабелювання технології, схожої на HBM, але із використанням NAND-кристин; її мета — забезпечити пропускну здатність у рази вищу, ніж у традиційних SSD, і спеціально орієнтована на AI-інференс.
Професор електротехніки та електроніки KAIST у Кореї Кім Чон Хо також зазначав на технічному брифінгу з HBF у лютому, що в епоху ПК головним був CPU, у смартфонну епоху — низьке енергоспоживання, а в епоху AI — пам’ять. Він чітко розділив ролі HBM і HBF: HBM визначає швидкість, HBF визначає місткість. Кім Чон Хо також спрогнозував, що з 2038 року попит на HBF може перевищити попит на HBM.
Логіка цього прогнозу така: чим більшим стає ринок AI-інференсу, тим більшими стають потреби в обробці негайного контексту, історичних даних і станів задач. Якщо розширювати лише HBM, це не тільки дорого, а й змусить загальні енергозатрати системи та навантаження на корпус/упаковку зростати далі. Якщо HBF зможе досягти прориву в пропускній здатності, компонуванні/упаковці, довговічності та стандартизації, він може стати новим ключовим рівнем пам’яті для AI-центрів обробки даних.
Від HBM до HBF: перегони за AI переходять від “рахувати швидко” до “пам’ятати й керувати”
Раніше, коли ринок обговорював AI-півпровідники, фокус здебільшого був на GPU, передових технологіях виробництва та постачанні HBM. Особливо після різкого зростання попиту на AI-сервери Nvidia HBM певний час була ключовим індикатором для оцінки конкурентоздатності виробників пам’яті на кшталт SK hynix, Samsung і Micron. Але застереження Паттерсона нагадують ринку, що вузькі місця AI-інфраструктури стають складнішими.
Коли AI ще перебуває на стадії перегонів за тренування великих моделей, головне — “накачати” GPU високою пропускною здатністю пам’яті. Але коли AI переходить до масштабного інференсу та застосувань Agent, питання стають такими: як модель довго утримує контекст? як зберігати стан задач із низькими витратами? як зробити потік даних між GPU, HBM, SSD, Flash і мережевим сховищем більш ефективним?
Тому наступний етап перегонів у AI-пам’яті може бути вже не лише боротьбою за потужності HBM, а переформатуванням усієї ієрархії пам’яті. HBM усе ще важлива, бо саме вона визначає, чи зможуть AI-чипи швидко виконувати обчислення; але поява HBF означає, що AI-системам починає потрібна нова “шарова” технологія даних між традиційним зберіганням і високошвидкісною пам’яттю. Вона не обов’язково буде найшвидшою, але може знайти новий баланс між місткістю, енергоспоживанням і вартістю.
Це також означає, що наступним ключовим словом у ланцюгу постачання AI може стати не лише “high bandwidth memory”, а “high bandwidth flash”. HBM вирішує вузькі місця для негайних обчислень AI, тоді як HBF може вирішити більш “ненажерливі” вузькі місця з пам’яті для епохи інференсу.
Ця стаття: після HBM який саме вузький бік AI-пам’яті — це HBF? Лауреат премії Тюрінга Девід Паттерсон: інференс переозначить архітектуру зберігання
Вперше опубліковано на: 鏈新聞 ABMedia.
