В мире, где искусственный интеллект (ИИ) растет беспрецедентными темпами, главный вызов для дата-центров — это энергопотребление. Чем сложнее ИИ-модели, тем больше энергии они требуют, ставя под угрозу концепцию устойчивого развития. Именно в этот момент на сцену выходит оперативная память, играющая критически важную роль в архитектуре ИИ-систем. Компания Micron Technology сделала решающий шаг к более «зеленым» вычислениям, объявив о начале поставок образцов своей новой низкопотребляющей памяти: модулей 192 ГБ SOCAMM2.
От Мобильных Телефонов — К Сердцам ИИ-Серверов
Эта инновационная память по сути «переносит» преимущества LPDDR5X — архитектуры, изначально разработанной для смартфонов, где каждый милливатт на счету, — прямо в дата-центры. Используя компактный форм-фактор SOCAMM2, Micron смог упаковать на 50% больше емкости в тот же объем, что и в предыдущем поколении. Для конечного пользователя это означает фантастическое сокращение времени ответа ИИ: в реальных задачах инференса (работы обученной модели) время до получения первого ответа (TTFT) может сократиться более чем на 80%. Представьте, насколько быстрее сможет работать ваш любимый чат-бот или как мгновенно будет генерироваться изображение!
Экономия Энергии в Масштабе Стойки
Модули 192 ГБ SOCAMM2 построены на передовой технологии 1-gamma DRAM от Micron, которая сама по себе обеспечивает более чем 20% повышение энергоэффективности. В масштабе целого дата-центра, где стойки могут содержать более 40 терабайт такой памяти, экономия становится колоссальной. Радж Нарасимхан, старший вице-президент Micron, подчеркивает ключевую идею: серверы должны выдавать больше токенов на каждый потребленный ватт. SOCAMM2 успешно решает эту задачу, предлагая качество, емкость и надежность, необходимые для ИИ-серверов нового поколения.
Новый Стандарт и Задел на Будущее
Уникальный модульный дизайн SOCAMM2 не только обеспечивает высокую пропускную способность для сложных ИИ-нагрузок, но и упрощает обслуживание серверов. Фактически, по сравнению с традиционной серверной памятью RDIMM, SOCAMM2 повышает энергоэффективность более чем на две трети, занимая при этом в три раза меньше места. Это критически важно для оптимизации пространства в дата-центрах и даже для более эффективного внедрения систем жидкостного охлаждения.
Этот запуск является кульминацией пятилетнего сотрудничества Micron с NVIDIA по внедрению низкопотребляющей серверной памяти. Сегодня Micron активно участвует в разработке стандарта JEDEC SOCAMM2, стремясь ускорить повсеместное внедрение этой энергоэффективной технологии в индустрии. Образцы SOCAMM2 емкостью до 192 ГБ и скоростью до 9.6 Гбит/с уже отправлены ключевым заказчикам, а массовое производство стартует в ближайшее время. Micron устанавливает новый стандарт для систем обучения и инференса ИИ, делая их мощнее и при этом значительно «чище» с точки зрения энергопотребления.
Об авторе
