Новости: квантование

Сравните новую открытую модель Qwen3.8-27B с DeepSeek. Она набрала миллион загрузок за два дня, получила 52 балла от Artificial Analysis и умещается в 24GB GPU после 4-битного квантования. Узнайте, почему kill line теперь у Qwen, а не у DeepSeek. Читайте о техническом прорыве: гибридная архитектура и плотная модель на 27B параметров.

Платформа ИИ Volcano Engine от ByteDance начала массовое производство моделей, сопоставимых с Opus 4.6 Anthropic, но по значительно более низкой цене. Представлены новые модели, включая Doubao 2.1 Pro, и продемонстрирована быстрая интеграция в экосистему.

Bingbi AI открыла исходный код BitCPM-CANN — фреймворка для обучения с точностью 1,58 бита на отечественных ускорителях ИИ, что снижает требования к памяти при инференсе до шести раз по сравнению с полной точностью. — pandaily.com

Модель Bonsai 8B от PrismML конкурентоспособна с другими моделями 8B, но при этом в 14 раз меньше и в 5 раз энергоэффективнее. — theregister.com

TurboQuant делает модели ИИ более эффективными, но, в отличие от других методов, не снижает качество выходных данных. — arstechnica.com

В тестах на GPU Nvidia H100 4-битный TurboQuant обеспечил прирост производительности до восьми раз при вычислении логитов внимания по сравнению с неквантованными 32-битными ключами, сократив память KV-кэша в шесть раз. — tomshardware.com

LLM на 400 млрд параметров обычно требуют 200 ГБ ОЗУ, но энтузиаст смог запустить такую модель на iPhone 17 Pro, используя проект Flash-MoE и SSD для потоковой передачи данных на GPU. Скорость генерации — всего 0,6 токена/с. — wccftech.com