Новости: квантование
Volcano Engine ставит на поток модели уровня Opus 4.6: «AI-фабрика» ByteDance работает на пределе возможностей
Платформа ИИ Volcano Engine от ByteDance начала массовое производство моделей, сопоставимых с Opus 4.6 Anthropic, но по значительно более низкой цене. Представлены новые модели, включая Doubao 2.1 Pro, и продемонстрирована быстрая интеграция в экосистему.

Bingbi AI открывает исходный код BitCPM-CANN: 1,58-битное обучение стало возможным на отечественных вычислительных мощностях
Bingbi AI открыла исходный код BitCPM-CANN — фреймворка для обучения с точностью 1,58 бита на отечественных ускорителях ИИ, что снижает требования к памяти при инференсе до шести раз по сравнению с полной точностью. — pandaily.com

TurboQuant от Google сокращает требования к объему кэш-памяти AI LLM минимум в шесть раз
В тестах на GPU Nvidia H100 4-битный TurboQuant обеспечил прирост производительности до восьми раз при вычислении логитов внимания по сравнению с неквантованными 32-битными ключами, сократив память KV-кэша в шесть раз. — tomshardware.com

На iPhone 17 Pro успешно запустили LLM на 400 млрд параметров: для этого нужно минимум 200 ГБ памяти
LLM на 400 млрд параметров обычно требуют 200 ГБ ОЗУ, но энтузиаст смог запустить такую модель на iPhone 17 Pro, используя проект Flash-MoE и SSD для потоковой передачи данных на GPU. Скорость генерации — всего 0,6 токена/с. — wccftech.com

Самое просматриваемое:
- Вот как использовать новую кнопку “Плюс”…
- Bitcoin Depot оштрафован на $18,5 млн – сталкивается…
- WatchGuard бьёт тревогу: критическая уязвимость…
- Как настроить ComfyUI для генерации изображений ИИ…
- ECARX берет управление бизнесом Flyme OS в свои руки…
- Результаты еженедельного опроса: Samsung Galaxy Z…
- Исследователи из MIT возродили 40-летнюю концепцию…
- США прикрыли платформу для хранения паролей, которой…
- Новейший датчик присутствия от Aqara определяет,…
- Представитель сервисного центра Google сообщил…

