Компания Micron Technology объявила о поставках заказчикам образцов 256-гигабайтного модуля SOCAMM2 — на сегодняшний день самого ёмкого решения в сегменте низкопотребляющей серверной памяти LPDRAM. Новинка построена на первом в отрасли монолитном кристалле 32 Гбит LPDDR5X и ориентирована на архитектуры дата-центров нового поколения, где требования к энергоэффективности и плотности размещения становятся критически важными на фоне стремительного роста нагрузок, связанных с искусственным интеллектом.
Современные инфраструктуры объединяют обучение и инференс ИИ-моделей, агентные системы и традиционные вычислительные задачи, что радикально увеличивает объёмы данных, параметры моделей и размеры контекстных окон, а также требует постоянного хранения и обработки KV-кэшей. В этих условиях пропускная способность памяти, задержки, энергоэффективность и физический форм-фактор оказывают прямое влияние на производительность, масштабируемость и совокупную стоимость владения. LPDRAM благодаря сочетанию высокой плотности и низкого энергопотребления становится фундаментальным элементом архитектуры серверов, особенно в средах с жёсткими ограничениями по теплу и мощности. Micron ведёт совместную работу с NVIDIA над проектированием памяти для перспективных ИИ-платформ.
Новый модуль SOCAMM2 объёмом 256 ГБ обеспечивает на треть большую ёмкость по сравнению с прежними 192-гигабайтными решениями и позволяет формировать до 2 ТБ LPDRAM в конфигурации с восьмиканальным CPU. Это открывает возможности для расширенных контекстных окон и сложных сценариев инференса. При этом энергопотребление модуля примерно втрое ниже по сравнению с сопоставимыми RDIMM-решениями, а занимаемая площадь также сокращена примерно на две трети, что повышает плотность размещения серверов в стойке и снижает эксплуатационные расходы.
В унифицированных архитектурах памяти использование 256 ГБ SOCAMM2 для выгрузки KV-кэша позволяет более чем в 2,3 раза сократить время до генерации первого токена при инференсе крупных языковых моделей с длинным контекстом. В конфигурациях с автономными CPU LPDRAM демонстрирует более чем трёхкратное преимущество по производительности на ватт по сравнению с традиционными серверными модулями памяти в задачах высокопроизводительных вычислений. Модульная конструкция SOCAMM2 повышает удобство обслуживания, совместима с жидкостным охлаждением и предусматривает дальнейшее масштабирование ёмкости по мере роста требований к ИИ-нагрузкам.
Micron подчёркивает, что активно участвует в разработке спецификации JEDEC SOCAMM2 и тесно сотрудничает с производителями серверных систем для ускорения внедрения энергоэффективной памяти в индустрии. В настоящее время компания поставляет заказчикам образцы 256-гигабайтных SOCAMM2 и предлагает один из самых широких портфелей LPDRAM для дата-центров — от отдельных компонентов объёмом 8–64 ГБ до модулей SOCAMM2 ёмкостью от 48 до 256 ГБ.