Intel выбирает другой путь со своими ускорительными чипами Gaudi 3. Компания отказывается от высококонкурентного рынка обучения больших моделей ИИ, который принес NVIDIA такой успех.
Вместо этого Intel хочет помогать компаниям, которым нужны более дешевые решения ИИ для обучения и запуска более мелких специализированных моделей и вариантов с открытым исходным кодом.
На недавнем мероприятии Intel хвалила “преимущество соотношения цены и производительности” Gaudi 3 по сравнению с GPU H100 от NVIDIA для задач вывода.
Intel утверждает, что Gaudi 3 быстрее и более экономически эффективна, чем H100 при запуске моделей Llama 3 и Llama 2 разных размеров.
Intel также утверждает, что Gaudi 3 так же энергоэффективна, как H100 для вывода больших языковых моделей (LLM) с небольшим количеством токенов на выходе, и показывает еще лучшие результаты с большим количеством токенов на выходе.
Компания даже предполагает, что Gaudi 3 превосходит более новый H200 от NVIDIA по пропускной способности вывода LLM для больших токенов на выходе.
Однако Gaudi 3 не соответствует H100 по общей пропускной способности операций с плавающей запятой для 16-битного и 8-битного форматов.
Для матричной математики с плавающей запятой bfloat16 и 8 бит Gaudi 3 достигает 1835 Тфлопс в каждом формате, в то время как H100 достигает 1979 Тфлопс для BF16 и 3958 Тфлопс для FP8.
В интервью CRN Анил Нандури, глава отдела ускорения ИИ Intel, заявил, что решения о покупке инфраструктуры обучения ИИ в основном основывались на производительности, а не на стоимости.
“И если вы думаете в этом контексте, есть преимущество действующего игрока, где все исследования передовых моделей, все возможности разрабатываются на фактической платформе, где вы ее создаете, исследуете и, по сути, неосознанно оптимизируете. А потом перенести это [на другую платформу] – это работа.
Начиная замечать, что люди ставят под сомнение [рентабельность инвестиций], стоимость, энергопотребление и все остальное. Вот где – у меня нет хрустального шара – но мы думаем об этом так: хотите ли вы одну гигантскую модель, которая все знает?”, – сказал Анил Нандури, глава отдела ускорения ИИ Intel.
Intel считает, что для многих предприятий ответ “нет”, и они вместо этого выберут более мелкие модели, основанные на задачах с меньшими требованиями к производительности.
Нандури сказал, что, хотя Gaudi 3 не может “догнать” новейшие GPU от NVIDIA с точки зрения производительности, чипы Gaudi 3 идеально подходят для создания правильных систем для запуска задач и моделей с открытым исходным кодом.
В другой области Intel объявила о крупных сокращениях штата в нескольких штатах в рамках своего более широкого плана по сокращению рабочей силы.
Компания сократит 1300 рабочих мест в Орегоне, 385 в Аризоне, 319 в Калифорнии и 251 в Техасе.
У Intel работает более 23 000 сотрудников в Орегоне, 12 000 в Аризоне, 13 500 в Калифорнии и 2100 в Техасе.
Сокращения должны произойти в течение 14 дней, начиная с 15 ноября.