Marvell Technology привертає увагу інвесторів, оскільки криза енергоспоживання ШІ стимулює гонку за ефективність чіпів

Marvell Technology привертає увагу інвесторів з Волл-стріт на тлі зміни ринку напівпровідників у бік енергоефективності через кризу енергоспоживання, спричинену ШІ. Згідно з повідомленням Bloomberg, вартість електроенергії поблизу центрів обробки даних у США зросла на 267% за останні п'ять років, що впливає на 13 із 50 штатів США, оскільки робочі навантаження ШІ споживають величезну кількість енергії. Великі технологічні компанії, які купують електроенергію оптом, отримують знижки, тоді як побутові споживачі несуть вищі витрати, що спонукає галузь віддавати перевагу енергоефективним архітектурам чіпів. Професор Кім Хак-джу з кафедри конвергенції штучного інтелекту Університету Хандонг Глобал пояснює, що поглинання Marvell компанії Inphi у 2021 році — лідера у сфері з'єднання сигналів між чіпами — ставить компанію в позицію для вирішення основної проблеми ШІ: передачі даних між пам'яттю та обчислювальними блоками, на яку припадає 40% енергоспоживання ШІ.

Енергоспоживання ШІ спричиняє зростання вартості електроенергії на 267% у регіонах із центрами обробки даних у США

Bloomberg повідомляє, що вартість електроенергії в районах поблизу центрів обробки даних у США зросла на 267% порівняно з п'ятьма роками тому, причому наразі це впливає на 13 із 50 штатів США, а географічне охоплення продовжує розширюватися. Великі технологічні компанії, які керують центрами обробки даних, купують електроенергію оптом, отримуючи знижки, що перекладає витрати на побутових споживачів. Енергоспоживання ШІ поділяється на чотири категорії: передача даних (40%), розсіювання тепла та охолодження (35%), обчислення (15%) та підтримка зберігання даних (10%). Головний науковий співробітник NVIDIA Білл Даллі заявив, що ШІ споживає набагато більше енергії для передачі даних із зовнішніх напівпровідників пам'яті (HBM) до обчислювальних блоків (GPU), ніж для виконання самих обчислень.

Галузь напівпровідників переходить до архітектур SRAM та CIM для енергоефективності

Галузь рухається до ширшого використання SRAM — пам'яті, розташованої всередині обчислювальних блоків GPU, — замість зовнішньої пам'яті HBM для зменшення відстані передачі даних. Коли споживання енергії для обчислень дорівнює 1, отримання даних із внутрішньої пам'яті SRAM потребує 5-10 одиниць енергії, тоді як отримання даних із зовнішньої пам'яті HBM споживає 100-1000 одиниць через опір сигналу на довших відстанях мідних проводів та необхідність підсилення сигналу. Компанії, зокрема Groq та Cerebras, спроектували чіпи, щільно заповнені SRAM, усунувши зовнішні з'єднання HBM, незважаючи на обмеження SRAM за об'ємом, фізичними розмірами та вартістю. Галузь також розробляє архітектури Chip-in-Memory (CIM), які інтегрують обчислювальні блоки безпосередньо в пам'ять, щоб ще більше мінімізувати відстань передачі.

Marvell Technology отримує конкурентну перевагу завдяки поглинанню Inphi

Marvell Technology придбала Inphi у 2021 році, отримавши доступ до передового світового досвіду в галузі з'єднання сигналів між напівпровідниками. Inphi займала домінуючі позиції як у з'єднаннях сигналів на мікрорівні в обмеженому просторі чіпів, так і в рішеннях для оптичних комунікаційних мереж. Великі технологічні компанії, включно з Google, Microsoft та Amazon, потребують інтелектуальної власності Inphi для проектування мереж зв'язку між чіпами (ASIC), що дає Inphi значну переговорну силу навіть із найбільшими технологічними фірмами. Галузь переходить від мідних проводів до лазерного оптичного зв'язку як середовища передачі даних для зменшення енергоспоживання та тепловиділення під час отримання великих обсягів даних із зовнішньої пам'яті HBM — сфера, де Inphi підтримує рішення найвищого рівня.

FAQ

Що спричинило зростання вартості електроенергії поблизу центрів обробки даних у США на 267%? Згідно з Bloomberg, вартість електроенергії в регіонах із центрами обробки даних у США зросла на 267% за п'ять років через величезне енергоспоживання ШІ, що наразі впливає на 13 із 50 штатів США з розширенням географічного охоплення.

Чому Marvell Technology придбала Inphi у 2021 році? Marvell придбала Inphi у 2021 році, щоб отримати доступ до передової технології з'єднання сигналів між чіпами та оптичних комунікаційних мереж — можливостей, необхідних для енергоефективних архітектур ШІ-чіпів, оскільки передача даних становить 40% енергоспоживання ШІ.

Як SRAM зменшує енергоспоживання ШІ порівняно з пам'яттю HBM? SRAM, розташована всередині обчислювальних блоків GPU, потребує 5-10 одиниць енергії для отримання даних, коли обчислення використовує 1 одиницю, тоді як зовнішня пам'ять HBM споживає 100-1000 одиниць через більшу відстань передачі даних та необхідність підсилення сигналу по мідних проводах.