Huang Jen-hsun оголосив на CES, що «момент ChatGPT для фізичного AI вже близько». NVIDIA випустила платформу Vera Rubin з продуктивністю, що зросла в 5 разів, та відкрила вихідний код платформ Alpamayo для автономного керування, світової моделі Cosmos та робота Groot. Наголошено, що відбуваються два одночасних переходи на нові платформи: AI переробляє застосунки, а Physical AI переробляє реальність.
Три великі досягнення апаратної революції Vera Rubin
Huang Jen-hsun розпочав свою промову на CES зі слів: «У нас є 15 кілограмів вмісту, щоб втиснути в цю сьогоднішню промову, в залі сидить 3000 людей, на дворі ще 2000 дивляться, на четвертому поверсі також хтось дивиться онлайн, мільйони людей по всьому світу спостерігають». Однак він швидко повернув розмову до апаратного забезпечення та оголосив, що Vera Rubin повністю перейшла у виробництво.
V назва Vera Rubin походить від астрономині XX століття, яка спостерігала, що швидкість обертання галактик на краю майже така ж, як у центрі, що суперечило фізиці Ньютона, якщо тільки не існувала невидима матерія — темна матерія. NVIDIA назвала свою платформу обчислення нового покоління Vera Rubin, оскільки «невидима річ», з якою вони стикаються, також розширюється: потреба в обчислювальній потужності.
Huang Jen-hsun описав божевільне зростання потреб в обчислювальній потужності. Розмір моделей щороку зростає в 10 разів, після o1 міркування стають «процесом думання», посттренування вводить вибухове зростання обчислень за допомогою навчання з підкріпленням; test-time scaling призводить до 5-кратного зростання кількості токенів на кожне виведення; і щоразу, коли досягається новий рубіж, витрати на токен попередньої ітерації падають в 10 разів щороку. Це свідчить про надзвичайно жорстку конкуренцію, NVIDIA повинна «щороку просуватися вперед на державному рівні обчислювальних мереж, не можна відставати навіть на один рік».
Архітектура шести ядер Vera Rubin
Користувацький CPU Vera: Продуктивність подвоєна, обидва напрямки послідовності спільного доступу до даних з GPU Rubin з самого початку
GPU Rubin: Одна обчислювальна плата досягає 100 PFLOPS штучного інтелекту, що в 5 разів більше, ніж попереднього покоління
Мережа та безпека: ConnectX-9 забезпечує 1,6 Tbps поперечної пропускної здатності, BlueField-4 DPU розвантажує сховище та безпеку
На одній обчислювальній платі розташовується 17000 компонентів, обчислювальні лотки були переробленні до конфігурації «без проводів, без трубопроводів, без вентиляторів». NVLink шостого покоління з’єднує 18 вузлів в один, потім розширюється до 200G із спільно упакованою оптикою, поєднуючи тисячі стійок у «AI фабрику». У завданнях тренування з 10 трильйонами параметрів та 100 трильйонами токенів Rubin потребує лише чверті розміру системи Blackwell, щоб завершити тренування у тому ж місячному вікні.
Huang Jen-hsun також згадав про практичні промислові проблеми. У NVIDIA внутрішньо існують правила, згідно яких нове покоління продукції змінює максимум один-два чипи, щоб не зруйнувати ланцюг постачання. Однак після сповільнення закону Мура зростання транзисторів не встигає за 10-кратним зростанням моделі, 5-кратним зростанням токенів та 10-кратним падінням вартості, неможливо встигти без «co-design (спільного проектування)», тому на цьому поколінні кожен чип довелося переробити заново. Плаваюча точка продуктивності GPU Rubin в 5 разів більша за Blackwell, але транзисторів лише в 1,6 рази більше, що означає, що просто накопичення електроніки на основі технологічного процесу досягло стелі, необхідне системне та архітектурне спільне проектування для досягнення продуктивності.
Стратегія колективного прогресу відкритих моделей
Протягом минулого року те, що насправді хвилювало Huang Jen-hsun, це не прогрес якої-небудь закритої моделі, а колективний прогрес відкритого режиму. Huang Jen-hsun сказав, що відкриті моделі зараз відстають від передових моделей приблизно на «шість місяців», але кожні шість місяців з’являється нова розумніша модель, тому завантаження вибухають, оскільки стартапи хочуть брати участь, великі компанії хочуть брати участь, дослідники хочуть, студенти хочуть, майже кожна країна хочуть брати участь.
Багато людей неправильно розуміють NVIDIA, кажучи, що вона просто «продає GPU», а Huang Jen-hsun повторив на сцені CES, що NVIDIA стає конструктором передових відкритих моделей і це абсолютно відкрито. Він перелічив купу відкритих моделей NVIDIA: від змішаного Transformer-SSM Nemotron, світової моделі Cosmos, до гуманоїдного робота Groot. Навіть у галузі автономного керування Alpamayo не тільки відкриває вихідний код моделей, але й відкриває вихідний код даних тренування.
Huang Jen-hsun оголосив, що Alpamayo це «перший у світі штучний інтелект автономного керування, що розмірковує і міркує». Він працює наскрізь від камери до виконавчого механізму, навчився на великій кількості «людських демонстрацій» реальних пробігів, а також навчився на пробігах, створених Cosmos, плюс «сотні тисяч» дуже ретельно помічених зразків. Ключовим є те, що він не тільки видає керування рулем і гальма/акселератор, але й повідомляє вам, які дії він збирається зробити, чому він це робить, і яка буде траєкторія.
Huang Jen-hsun сказав, що вони розпочали автономне керування вісім років тому, тому що рано судили, що глибоке навчання переробить весь стек обчислень. Alpamayo оголосили «відкритим сьогодні», цей інженерний масштаб величезний, Huang Jen-hsun сказав, що їхня команда AV налічує «кілька тисяч» людей, і Mercedes-Benz співробітничає з ними вже п’ять років. Він передбачає, що в майбутньому можливо буде 10 мільярдів машин з автономним керуванням, «кожна машина матиме здатність розмірковувати, кожна машина буде керована штучним інтелектом».
Архітектура трьох комп’ютерів для фізичного AI
Huang Jen-hsun витратив дуже багато часу на одне питання: дозволяти AI розуміти здоровий глузд світу набагато складніше, ніж розуміти мову. Постійність об’єктів, причинно-наслідкові зв’язки, інерція, тертя, гравітація - для людського немовляти це інтуїтивно, але для AI це абсолютно незнайоме. І дані про реальний світ ніколи недостатні. Він сказав, що для створення фізичного AI вам потрібні «три комп’ютери»: один для тренування моделей, один для виведення на краю у автомобілях/роботах/фабриках, і один для моделювання.
Omniverse це цифровий двійник світу моделювання, Cosmos це світова базова модель, а моделі роботів включають Groot та Alpamayo. Звідки беруться дані тренування? Мовні моделі мають багато тексту, у реальному світі багато фізичних відеороликів, але цього далеко недостатньо для покриття різноманітних взаємодій. Тому вони використовують синтетичні дані, які відповідають законам фізики, щоб генерувати вибірково створені зразки тренування.
Cosmos може генерувати реалістичні відео з однієї зображення, створювати узгоджені рухи з описів 3D сцен, генерувати всесвітні відеокліпи з журналів датчиків, створювати «граничні випадки» з підказок сцен. Він також може виконувати замкнене моделювання, дія виконується, світ реагує, Cosmos знову аналізує наступний крок. Huang Jen-hsun визначає автономне керування як перший «великомасштабний основний ринок» фізичного AI і стверджує, що «переломний момент саме сейчас», у найближчі десять років значна частина машин світу буде мати високий ступінь автоматизації.
Huang Jen-hsun вважає, що AI майбутнього буде не тільки мультимодальною, але й «мультимодельною». Найрозумніші системи повинні викликати найбільш відповідні моделі для різних завдань, найреалістичніші системи природно є мультхмарними, гібридними хмарними, граничними обчисленнями. Це означає, що суть застосувань AI - це архітектура розклад та виведення, агент, který може судити про намір, вибирати моделі, викликати інструменти, комбінувати результати. Huang Jen-hsun вважає, що такі агенти стають новим «користувацьким інтерфейсом», більше не Excel, більше не форми, більше не командний рядок.
NVIDIA переживає суперечливий момент. Це виглядає як найнебезпечніша з усіх розповідей про бульбашки, її ринкова вартість досягла безпрецедентної висоти. Але одночасно це виглядає як найсильніша з усіх акцій штучного інтелекту, з квартальних доходів та чистого прибутку в сотні мільярдів доларів США, рентабельність валової продукції може досягати 70%. Коли компанія одночасно контролює технологічну розповідь, важливу позицію в ланцюзі виробництва та увагу фінансового ринку, вона стає тотемом. Вигода тотема в тому, що віра дає надбавку, недоліком є те, що надбавка означає, що ви не можете помилитися.
