Повідомлення AIMPACT, 27 квітня (UTC+8): Google Cloud випустила восьме покоління чипів TPU — TPU 8t, оптимізоване для великомасштабного попереднього навчання та робочих навантажень із щільними вбудовуваннями. Цей чип використовує топологію 3D кільцевої сітки (torus) та дозволяє масштабувати один суперкомп’ютерний кластер до 9600 чипів. Ключові інновації включають: спеціалізований акселератор SparseCore для обробки розріджених патернів пам’яті при пошуку вбудовувань; накладання та збалансоване масштабування VPU/MXU для підвищення утилізації FLOPs; нативну підтримку FP4, яка подвоює пропускну здатність MXU, зберігаючи точність великої мовної моделі. Мережева архітектура Virgo забезпечує до 4 разів пропускної здатності мережі дата-центру, застосовуючи високопотужні (high-radix) комутатори для плоскої дворівневої безблокувальної топології. За допомогою JAX і Pathways один кластер навчання може бути масштабований до понад 1 мільйона чипів TPU; мережа Virgo може з’єднувати понад 134 000 чипів TPU 8t, забезпечуючи до 47 Pb/s неблокувальної двонаправленої пропускної здатності. TPU 8i створено спеціально для оптимізації реального часу в інференсі та наступного (post-training) навчання; обидва системи інтегрують Arm-based Axion CPU, щоб усунути вузьке місце на стороні хоста. Ці системи є ключовими компонентами суперкомп’ютера Google Cloud AI. (Джерело: InFoQ)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
GUSDYieldRisesto3.8%
155,45K Популярність
#
EventContractsLive
71,97K Популярність
#
IsraelStrikesIranBTCPlunges
72,6K Популярність
#
ETHBreaks1900
118,24M Популярність
#
SummerCreationCamp
1,19M Популярність

Закріплено

карта сайту

Google випустила восьме покоління чипів TPU — TPU 8t — для великомасштабного попереднього навчання та інтенсивних навантажень, що потребують вбудовувань

Популярні теми

GUSDYieldRisesto3.8%

EventContractsLive

IsraelStrikesIranBTCPlunges

ETHBreaks1900

SummerCreationCamp

Закріплено