Новости: инференс

Ищите альтернативы Nvidia? Кредит под залог чипов на $400 млн от Upper90 финансирует недорогой инференс на чипах SambaNova. Узнайте, как General Compute строит неоклауд для открытых моделей, бросая вызов монополии. Откройте для себя фрагментацию рынка ИИ-инфраструктуры.

Запускайте ИИ-модели прямо в браузере без сервера: LiteRT.js (9 июля 2026) ускоряет вывод до 3× быстрее TensorFlow.js и до 60× на GPU — без затрат на облако и без утечки данных с устройства. Используйте WebGPU, WebAssembly и XNNPACK для vision, аудио и эмбеддингов. Начните с @litertjs/core на npm.

Узнайте, как Furiosa AI готовится удвоить производство чипов до 50 000 единиц и выпустить 2-нм чип «Stork», чтобы бросить вызов доминированию NVIDIA в инференсе. Читайте о планах, характеристиках и сроках.

SambaNova привлекла $1 млрд в раунде Серии F. JPMorganChase развернет аппаратное обеспечение RDU для локального инференса.

Французский ИИ-стартап ZML, поддержанный Янном ЛеКуном, выпустил ZML/LLMD — ПО, которое может сделать запуск ИИ менее затратным, позволяя использовать разные чипы на максимальной скорости.

Ведущая китайская ИИ-фирма DeepSeek работает над собственным чипом — ускорителем инференса, что может снизить зависимость от NVIDIA и Huawei. Китай стремится к отечественным ИИ-решениям, несмотря на ограничения на импорт GPU.

DeepSeek и Zhipu AI присоединяются к OpenAI и Anthropic в разработке собственных чипов для инференса, что сигнализирует о структурном сдвиге, когда ведущие ИИ-лаборатории стремятся к созданию собственного кремния для снижения затрат и уменьшения зависимости от GPU.

Китайский стартап DeepSeek разрабатывает собственные AI-чипы. Это ранний этап, но план состоит в снижении зависимости от Nvidia и Huawei.

Модель NVIDIA Nemotron TwoTower на основе диффузии достигает 2,42-кратного увеличения пропускной способности LLM без полного переобучения, сохраняя 98,7% качества авторегрессионного базиса путем разделения моделирования контекста и шумоподавления токенов на две специализированные башни, построенные на одном замороженном базисе. Веса и код обучения открыты.

Возможно грядущее разделение уровня ChatGPT Pro: в геномной статье OpenAI от 30 июня перечислены GPT-5.6 Luna Pro, Terra Pro и Sol Pro — впервые в официальном документе названо более одной конфигурации Pro. Это будет самое большое изменение в плане за $200/мес с момента запуска. OpenAI не подтвердила.