В мире, где каждая миллисекунда имеет значение, борьба за скорость становится главным полем битвы. Искусственный интеллект, который сегодня используется повсеместно — от систем безопасности до высокочастотного трейдинга, — требует не только вычислительной мощи, но и минимальной задержки при обработке данных. Именно на эту проблему нацелилось новое партнерство между компаниями Myrtle.ai и Napatech.
Myrtle.ai, признанный лидер в области ускорения машинного обучения, анонсировала поддержку своего ускорителя VOLLO на серии сетевых карт SmartNIC NT400D1x от Napatech. Главная особенность этого решения — невероятно низкая задержка, которая может составлять менее одной микросекунды. Это открывает двери для принципиально новых сценариев использования, где выводы ИИ-моделей выполняются прямо «на входе» в сеть, минуя долгий путь до центрального процессора.
ИИ-выводы на скорости света
Что это значит на практике? Если говорить простыми словами, стандартный путь обработки данных выглядит так: информация поступает в сетевую карту, затем передается на ЦП, обрабатывается, и результат возвращается обратно. Это занимает время, измеряемое в миллисекундах. Решение Myrtle.ai и Napatech меняет этот подход: специальная SmartNIC, по сути, становится миниатюрным, но очень быстрым процессором, который выполняет выводы машинного обучения (ML inference) на лету, прямо в сетевой карте. Это существенно сокращает задержку, так как данные не нужно гонять по всей системе.
Ускоритель VOLLO способен работать с широким спектром моделей, включая LSTM, CNN, MLP, а также с Random Forests и Gradient Boosting — популярными алгоритмами для работы с табличными данными. Такая универсальность делает его привлекательным для множества сфер, где скорость реакции критически важна.
Генеральный директор Myrtle.ai Питер Болдуин с гордостью отметил: «Мы рады сотрудничать с мировым лидером по продажам SmartNIC, чтобы достичь беспрецедентно низких задержек для выводов ML. Наши клиенты постоянно стремятся к максимальной скорости, и это решение позволит им в полной мере использовать все преимущества лидерства VOLLO».
Для кого это важно?
Данная разработка напрямую нацелена на рынки, где каждая доля секунды может принести миллионы долларов или спасти жизни.
Финансовый трейдинг. В мире высокочастотных торгов, где алгоритмы совершают тысячи сделок за секунду, преимущество в микросекунду может стать решающим фактором для получения прибыли. Запуск ML-моделей прямо в SmartNIC позволит анализировать рыночные данные и принимать решения быстрее, чем конкуренты.
Кибербезопасность. Системы обнаружения аномалий и вредоносной активности, работающие с минимальной задержкой, смогут выявлять и блокировать угрозы ещё до того, как они успеют нанести ущерб.
Телекоммуникации и управление сетями. Ускоренная обработка данных позволяет оптимизировать маршрутизацию трафика, повысить эффективность сетей и обеспечить стабильное соединение для критически важных сервисов.
Джаррод Дж. С. Сикет, директор по продуктам и маркетингу в Napatech, подчеркнул: «Мы понимали, что лидер в области низких задержек на тестах STAC ML может принести реальную ценность нашим клиентам в финансовом секторе, которые всё активнее внедряют машинное обучение для автоматизированной торговли. Компилятор VOLLO очень прост в использовании для ML-разработчиков, что значительно укрепляет наше продуктовое портфолио».
Для всех, кто заинтересован в этих технологиях, компилятор VOLLO уже доступен для скачивания на сайте myrtle.ai. Это даёт возможность самостоятельно оценить потенциал решения и проверить, какие задержки можно достичь с собственными моделями на серии SmartNIC NT400D1x от Napatech. Это событие знаменует собой новый виток в развитии ИИ-вычислений, где фокус смещается с грубой вычислительной силы на скорость и эффективность, открывая новые горизонты для применения искусственного интеллекта.
Об авторе
