После череды задержек компактная система NVIDIA DGX Spark, позиционируемая как ультимативная машина для локального и сверхбыстрого прототипирования искусственного интеллекта, наконец-то попала в руки разработчиков. Однако первые отзывы и тесты выявили серьезную проблему: «коробка» для ИИ работает примерно на половине от ожидаемого уровня производительности и энергопотребления.
Об этом, в частности, заявил Джон Кармак, основатель Keen Technologies и бывший технический директор Oculus VR, известный своим опытом в высокопроизводительных вычислениях. По его замерам, мини-ПК DGX Spark не соответствует заявленным характеристикам. NVIDIA оценивает системную мощность DGX Spark в 240 Вт, однако бенчмарки Кармака показывают, что система потребляет всего около 100 Вт, фактически вдвое снижая как энергопотребление, так и общую производительность.
Снижение мощности напрямую влияет на заявленную вычислительную способность. Например, при работе с половинной точностью BF16 система должна выдавать 125 ТераФЛОПС, но по факту демонстрирует лишь около 60 ТераФЛОПС. В формате пониженной точности NVFP4 ожидаемый пик в 1000 TOPS оказался на уровне 480 ТераФЛОПС.
Эти проблемы могут быть связаны сразу с несколькими факторами. Разработчики сообщают о программных и микропрограммных ошибках со стороны NVIDIA. Кроме того, существует серьезное подозрение на термальный троттлинг, из-за которого чип вынужден снижать частоту и напряжение во избежание перегрева. В некоторых случаях система даже самопроизвольно перезагружалась, что может указывать на недостаточную эффективность охлаждения.
Сам чип GB10 SoC, лежащий в основе DGX Spark, имеет расчетный теплопакет 140 Вт (TDP), а 128 ГБ быстрой памяти LPDDR5X добавляют еще несколько десятков ватт. В этом свете энергопотребление в 100 Вт выглядит крайне нелогичным и, вероятно, является следствием программного ограничения или борьбы с перегревом. Пока неясно, удастся ли NVIDIA решить эти проблемы с помощью простого обновления софта или же компании придется предоставлять дополнительное охлаждение для своей машины стоимостью $3999.
Существует еще один нюанс, касающийся заявленной NVIDIA пиковой производительности в один FP4 ПетаФЛОП: эта цифра достигается только при использовании структурированной разреженности (sparsity) — метода, который игнорирует нулевые значения в нейронной сети. Если отключить эту функцию, что является стандартом для большинства моделей, производительность системы падает примерно вдвое, что соответствует наблюдаемым низким показателям.
Напомним, что DGX Spark построен на 3-нанометровом техпроцессе TSMC, объединяя в одном 2.5D-корпусе Arm-процессор от MediaTek и графический чип Blackwell. Центральный процессор включает 20 ядер Arm v9.2, а подсистема памяти представлена унифицированным блоком LPDDR5X-9400 объемом до 128 ГБ с пропускной способностью около 301 ГБ/с.
Об авторе
