«Если говорить по существу, результаты демонстрируют очень и очень значительный прирост производительности по сравнению с современным уровнем технологий, — заявил Ричард Хо, глава аппаратного подразделения OpenAI, в ходе пресс-конференции. — Jalapeño может выполнять больше задач ИИ на единицу мощности, одновременно выдавая ответы быстрее. Он очень эффективен для обслуживания большого числа клиентов, но также может обеспечивать крайне низкую задержку».
Примечательно, что это сравнение проводилось с системой Nvidia Blackwell, однако к моменту полного развертывания Jalapeño конкуренты могут значительно продвинуться вперед. Хо оценил, что Jalapeño будет развернут «в очень небольших объемах» в конце 2026 года, а более масштабное внедрение начнется в 2027 году.
Впервые анонсированный в октябре прошлого года, Jalapeño был разработан OpenAI в тесном сотрудничестве с Broadcom, причем собственные модели OpenAI помогали в процессе разработки. Компания планирует сделать Jalapeño многопоколенческой платформой, позволяющей разрабатывать продукты ИИ, модели, чипы и память в единой связке.
Благодаря такому комплексному подходу OpenAI смогла решить проблемы на конкретных этапах процесса вывода, которые часто вызывают задержки. В частности, Jalapeño спроектирован так, чтобы минимизировать задержки на этапах предварительного заполнения и коммуникации, которые, по словам OpenAI, часто становятся узкими местами.
«Мы разработали Jalapeño, чтобы минимизировать перемещение данных и задержки при коммуникации, — говорится в сообщении компании, представляющем результаты. — Это означает, что состояние модели, включая KV-кэш, используемый при генерации ответа, может быть явно размещено и сохранено локально, в то время как система активирует правильную комбинацию вычислительных мощностей, памяти и сетевых ресурсов для каждого этапа вывода».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Russell Brandom
