Новости: инференс

OpenAI инвестирует более $10 млрд в чипы Cerebras для ускорения инференса: сделка предусматривает развертывание 750 МВт вычислительных мощностей к 2028 году. Использование архитектуры SRAM позволит добиться рекордной скорости обработки запросов, что критически важно для интерактивных ИИ-агентов и более длительных рассуждений моделей.

OpenAI заключает многомиллиардную сделку с Cerebras на поставку вычислительной мощности. Это расширяет портфель чипов компании, включая GPU и TPU, для поддержки масштабирования ИИ в реальном времени, как того требует растущий спрос на ChatGPT.

OpenAI приобретает вычислительные мощности у стартапа Cerebras за более чем $10 млрд для ускорения ответа моделей ИИ. Сотрудничество обеспечит более быструю обработку сложных задач, что преобразует взаимодействие с пользователями в режиме реального времени.

Стек Phison aiDAPTIV+ позволяет запускать большие модели ИИ типа “Смесь экспертов” и агентные рабочие нагрузки на клиентских системах с ограниченной памятью, ускоряя инференс до 10 раз за счет использования флеш-памяти.

NVIDIA и SK hynix разрабатывают революционный “AI SSD” на базе NAND-чипов для задач инференса. Новое решение Storage Next обещает производительность до 100 млн IOPS, оптимизацию для ИИ-нагрузок и повышение энергоэффективности, что может кардинально изменить рынок хранения данных.

Apple разрабатывает собственный ИИ-серверный чип Baltra, который ожидается в 2027 году. Он будет использоваться для инференса, а не для обучения моделей. Компания также расширяет линейку собственных процессоров, включая модемные чипы C1.