Нещодавно я помітив, що NVIDIA зробила дуже важливий стратегічний крок на ринку інференції. У грудні минулого року вона придбала відділ інференційних чипів компанії Groq за 20 мільярдів доларів, засновник Groq Джонатан Росс разом із командою приєдналися до NVIDIA, тоді як сама Groq залишилася незалежною компанією з іншими напрямками діяльності.

Цікаво, що Хуанг Реншон щойно пояснив справжню причину цього рішення. Мотивація полягає не лише у здобутті технології, а у повній переоцінці ринку інференції. Раніше всі зусилля зосереджувалися лише на одному аспекті: підвищенні продуктивності. Але ситуація кардинально змінилася.

Зараз різні користувачі готові платити зовсім різні ціни залежно від швидкості відповіді. Якщо я інженер-програміст і хочу отримати токени (tokens) з більш швидкою відповіддю, що дозволить мені працювати ефективніше, я готовий платити премію за це. Такий ринок раніше не існував, але тепер він з’явився з силою.

На конференції GTC у березні NVIDIA представила перший чип після придбання: Groq 3 LPU, виготовлений за технологією 4 нм від Samsung. Вражаюча продуктивність — інференційна продуктивність на кожен мегават для моделей з трильйонами параметрів досягає 35-кратного порівняно з Blackwell NVL72.

Що робить NVIDIA — це додавання абсолютно нового сегмента до карти ринку: низька затримка і високі ціни. Архітектура LPU від Groq відома своєю низькою і передбачуваною затримкою, що ідеально доповнює існуючу високопродуктивну лінійку NVIDIA. Хоча продуктивність може бути нижчою, ціна за одиницю легко компенсує це. Придбання Groq дійсно заповнило відсутню прогалину у продуктах інференції.