Новости: инференс

Стартап Neurophos привлек $110 млн на разработку прорывных фотонных чипов с использованием метаповерхностных модуляторов. Технология обещает колоссальный скачок в энергоэффективности и скорости вычислений для задач ИИ-инференса, превосходя кремниевые аналоги, включая продукты Nvidia.

Компания Quadric стремится помочь производителям чипов и правительствам создавать программируемые чипы ИИ для устройств, способные локально запускать быстро меняющиеся модели. Обсуждаются рост выручки, привлечение инвестиций Серии C и переход от автомобильной сферы к рынку суверенного ИИ.

Стартап RadixArk, выросший из проекта SGLang Иона Стоики в UC Berkeley, привлек значительное финансирование от Accel, оценив компанию в $400 млн. Проект, фокусирующийся на оптимизации инференса ИИ-моделей, следует по стопам vLLM, демонстрируя тренд перехода открытых ИИ-разработок в коммерческие структуры.

OpenAI инвестирует более $10 млрд в чипы Cerebras для ускорения инференса: сделка предусматривает развертывание 750 МВт вычислительных мощностей к 2028 году. Использование архитектуры SRAM позволит добиться рекордной скорости обработки запросов, что критически важно для интерактивных ИИ-агентов и более длительных рассуждений моделей.

OpenAI заключает многомиллиардную сделку с Cerebras на поставку вычислительной мощности. Это расширяет портфель чипов компании, включая GPU и TPU, для поддержки масштабирования ИИ в реальном времени, как того требует растущий спрос на ChatGPT.

OpenAI приобретает вычислительные мощности у стартапа Cerebras за более чем $10 млрд для ускорения ответа моделей ИИ. Сотрудничество обеспечит более быструю обработку сложных задач, что преобразует взаимодействие с пользователями в режиме реального времени.

Стек Phison aiDAPTIV+ позволяет запускать большие модели ИИ типа “Смесь экспертов” и агентные рабочие нагрузки на клиентских системах с ограниченной памятью, ускоряя инференс до 10 раз за счет использования флеш-памяти.

NVIDIA и SK hynix разрабатывают революционный “AI SSD” на базе NAND-чипов для задач инференса. Новое решение Storage Next обещает производительность до 100 млн IOPS, оптимизацию для ИИ-нагрузок и повышение энергоэффективности, что может кардинально изменить рынок хранения данных.

Apple разрабатывает собственный ИИ-серверный чип Baltra, который ожидается в 2027 году. Он будет использоваться для инференса, а не для обучения моделей. Компания также расширяет линейку собственных процессоров, включая модемные чипы C1.