Компания AMD анонсировала выход ROCm 7.0, масштабного обновления своей открытой программной платформы для работы с искусственным интеллектом. Этот релиз — не просто шаг вперед, а настоящая революция, которая призвана раскрыть весь потенциал новых ускорителей Instinct MI350, построенных на архитектуре CDNA 4.
ROCm 7.0 — это ключевой инструмент для разработчиков, который значительно повышает производительность в задачах, связанных как с обучением, так и с инференсом (работой готовых моделей). AMD утверждает, что это обновление позволяет достичь многократного прироста скорости по сравнению с предыдущей версией ROCm 6.0 в ряде сложных задач. Благодаря этому, ROCm 7.0 становится гибким решением для предприятий любого масштаба, от отдельных серверов до огромных кластеров.
Что же нового внутри? Обновленная платформа получила ряд серьезных улучшений. В ROCm 7.0 появились новые алгоритмы, которые оптимизируют работу с большими моделями, а также поддержка новых форматов точности FP4, FP6 и FP8. Использование этих форматов позволяет пожертвовать небольшой долей точности ради колоссальной экономии памяти, что критически важно для работы с гигантскими моделями.
Кроме того, ROCm 7.0 значительно упрощает масштабирование и управление системами. Платформа поддерживает прямую связь между GPU, а также распределенный инференс по нескольким узлам, используя такие инструменты, как vLLM-d и DeepEP. Управление кластерами теперь стало удобнее благодаря новым инструментам, включая AMD Resource Manager и AI Workbench. Чтобы ускорить внедрение, AMD предоставляет готовые образы Docker с примерами моделей и стеками для самых популярных фреймворков.
ROCm 7.0 также расширяет спектр поддерживаемых устройств, включая процессоры Ryzen AI и видеокарты Radeon RX. Это позволяет разработчикам создавать единые рабочие процессы, которые будут одинаково хорошо работать как на периферийных устройствах, так и в облачных центрах обработки данных.
Новая версия ROCm 7.0 уже доступна на официальном сайте AMD, где разработчики могут найти всю необходимую документацию, примеры и корпоративную поддержку.
Об авторе
