Intel продолжает активно развивать свою стратегию в области искусственного интеллекта. Сегодня компания объявила о выпуске значительного обновления для своего проекта Battlematrix, о котором впервые стало известно на выставке Computex 2025. Эта инициатива призвана упростить и ускорить внедрение ИИ в рабочие процессы, делая высокопроизводительные вычисления доступными для разработчиков и корпоративных клиентов.
В основе Battlematrix лежит специальный программный стек, оптимизированный для работы с ИИ-моделями и созданный для работы с видеокартами Intel Arc Pro B-series «Battlemage». Главная цель — обеспечить высокую производительность при обработке запросов, или, как говорят специалисты, инференсе. Разработчики с самого начала стремились сделать решение максимально интуитивным, следуя при этом всем отраслевым стандартам. Особенно важным шагом стало создание контейнерного решения, разработанного специально для операционной системы Linux. Благодаря этому подходу достигается не только впечатляющая производительность, но и возможность масштабирования системы с использованием нескольких видеокарт. Помимо этого, в Battlematrix предусмотрены функции корпоративного уровня, такие как исправление ошибок в памяти (ECC), виртуализация I/O, мониторинг состояния системы и возможность удаленного обновления прошивки, что делает его надежным инструментом для бизнеса.
Самым заметным достижением в рамках проекта стал выпуск LLM Scaler 1.0 — ключевого компонента для работы с большими языковыми моделями. Этот релиз стал важным шагом для раннего тестирования и внедрения в бизнес-среду. Разработчики существенно доработали фреймворк vLLM, добившись впечатляющего прироста производительности. Например, при работе с длинными последовательностями (более 4 тысяч токенов) на моделях KPI 32B скорость обработки выросла до 1,8 раза, а для моделей KPI 70B с последовательностью в 40 тысяч токенов — в целых 4,2 раза. Также общая пропускная способность для моделей от 8B до 32B KPI увеличилась примерно на 10% по сравнению с предыдущими версиями.
Новое обновление также включает в себя и другие полезные функции, такие как квантование на лету для экономии видеопамяти, экспериментальная поддержка распараллеливания задач (PP), интеграция с torch.compile и спекулятивное декодирование. Кроме того, Battlematrix теперь поддерживает большее количество моделей, включая эмбеддинги и модели переранжирования, улучшенную работу с мультимодальными данными и автоматическое определение максимальной длины. Для управления видеокартами был представлен XPU Manager — инструмент, позволяющий контролировать питание, обновлять прошивку, проводить диагностику и отслеживать пропускную способность памяти.
Intel подтвердила, что все эти шаги соответствуют ранее заявленному графику. К концу третьего квартала этого года ожидается выпуск более стабильной версии LLM Scaler, а полноценный релиз со всеми запланированными функциями намечен на конец четвертого квартала. Таким образом, Intel планомерно укрепляет свои позиции на рынке ИИ-решений, предлагая мощный и доступный инструмент для работы с искусственным интеллектом.
Об авторе
