На конференции re:Invent в Лас-Вегасе Amazon Web Services представила Trainium3 — новое поколение собственных специализированных ASIC-ускорителей, созданных для обучения крупных моделей и предназначенных как для внутренних нужд компании, так и для ограниченного числа внешних клиентов. Чип, изготовленный по 3-нм техпроцессу TSMC N3, обеспечивает до 2,52 петафлопса FP8-производительности, получил увеличенный до 144 ГБ объём памяти HBM3E и полосу пропускания 4,9 ТБ/с. Кроме того, он поддерживает как плотные, так и expert-parallel топологии моделей и вводит новые компактные форматы данных MXFP8 и MXFP4, которые призваны улучшить соотношение вычислительной мощности и памяти для задач реального времени, мультимодальных систем и моделей с длинным контекстом.
Trainium3 стал основой новых инстансов Amazon EC2 Trn3 UltraServer, которые могут масштабироваться до 144 чипов в одной системе. Такой сервер способен достигать около 362 FP8 петафлопс суммарной вычислительной мощности, располагает примерно 20,7 ТБ HBM3E-памяти и совокупной пропускной способностью около 706 ТБ/с. Для связи ускорителей используется новая межчиповая архитектура NeuronSwitch-v1, удваивающая пропускную способность относительно поколения UltraServer на базе Trainium2. AWS отмечает, что новый ASIC обеспечивает до 4,4 раза более высокую производительность, почти четырёхкратный рост энергоэффективности и почти четырёхкратное увеличение полосы памяти по сравнению с предшественником. Улучшения затронули и инференс, включая скорость генерации токенов в сервисах Amazon.
Запуск Trainium3 усиливает стратегию AWS по диверсификации вычислительного стека, снижая зависимость клиентов от классических GPU NVIDIA и AMD. Компания уже применяет Trainium3 для обучения собственных моделей и предоставляет эту инфраструктуру ведущим AI-лабораториям. Одним из ключевых партнёров остаётся Anthropic, в которую Amazon инвестировала почти 8 млрд долларов и которая активно использовала мощности Trainium2. Появление Trainium3 обещает существенный прирост эффективности, что может привлечь к AWS ещё больше крупных разработчиков ИИ-моделей, ищущих альтернативу традиционным GPU-кластером.
Об авторе
