SK hynix представила улучшенную плату ускорителя AiMX, основанную на технологии Accelerator-in-Memory, на Саммите по Оборудованию для ИИ и Edge AI 2024, который проходил с 9 по 12 сентября в Сан-Хосе, Калифорния. Саммит, ежегодно организуемый Kisaco Research, собирает представителей экосистемы искусственного интеллекта и машинного обучения для обмена отраслевыми прорывами и достижениями. В этом году мероприятие было посвящено изучению стоимости и энергоэффективности по всей технологической цепочке. В четвертый раз участвуя в саммите, SK hynix подчеркнула, как продукты AiM могут повысить производительность ИИ в дата-центрах и на периферийных устройствах.
Основные мо моменты выставки: Знакомство с обновленным AiMX В эпоху ИИ высокопроизводительные устройства памяти имеют решающее значение для бесперебойной работы LLM (больших языковых моделей). Однако по мере того, как эти LLM обучаются на все более крупных наборах данных и продолжают расширяться, растет потребность в более эффективных решениях.
SK hynix удовлетворяет этот спрос своим продуктом PIM AiMX, картой ускорителя ИИ, которая объединяет несколько GDDR6-AiM для обеспечения высокой пропускной способности и исключительной энергоэффективности. На Саммите по Оборудованию для ИИ и Edge AI 2024 SK hynix представила свой обновленный прототип AiMX объемом 32 ГБ, который предлагает вдвое большую емкость по сравнению с оригинальной картой, представленной на прошлогоднем мероприятии. Чтобы подчеркнуть передовые возможности обработки нового AiMX в многопакетной среде, SK hynix провела демонстрацию прототипа платы с моделью Llama 3 70B, открытым LLM. В частности, демонстрация подчеркнула способность AiMX служить высокоэффективным ускорителем внимания в дата-центрах. AiMX решает проблемы стоимости, производительности и энергопотребления, связанные с LLM, не только в дата-центрах, но и на периферийных устройствах и в приложениях ИИ на устройствах. Например, при применении к мобильным приложениям ИИ на устройствах AiMX повышает скорость LLM втрое по сравнению с мобильной DRAM при сохранении того же энергопотребления.
Представленная презентация:
Ускорение сервисов LLM от дата-центров до периферийных устройств В последний день саммита SK hynix выступила с презентацией, подробно рассказывающей о том, как AiMX является оптимальным решением для ускорения сервисов LLM в дата-центрах и на периферийных устройствах. Euicheol Lim, научный сотрудник и руководитель группы передовых технологий решений, поделился планами компании по разработке продуктов AiM для ИИ на устройствах на основе мобильной DRAM и раскрыл будущее видение AiM. В заключение Lim подчеркнул важность тесного сотрудничества с компаниями, занимающимися разработкой и управлением дата-центрами и периферийными системами, для дальнейшего развития продуктов AiMX.
Взгляд в будущее: Видение SK hynix для AiMX в эпоху ИИ Саммит по Оборудованию для ИИ и Edge AI 2024 предоставил SK hynix платформу для демонстрации приложений AiMX в LLM в дата-центрах и на периферийных устройствах. Как низкоэнергетическое, высокоскоростное решение для памяти, способное обрабатывать большие объемы данных, AiMX призван играть ключевую роль в развитии LLM и приложений ИИ.
Об авторе
