Новости: LLM

В тестах на GPU Nvidia H100 4-битный TurboQuant обеспечил прирост производительности до восьми раз при вычислении логитов внимания по сравнению с неквантованными 32-битными ключами, сократив память KV-кэша в шесть раз. — tomshardware.com

Традиционные модели безопасности работали по циклу: сканирование, сортировка, устранение через заявки. Ответственность была неявной. Разработка на основе ИИ меняет это, предоставляя контекст. ИИ-сортировка переопределяет роль команд безопасности, смещая фокус с ручной работы на управление качеством решений системы. — csoonline.com

Автор делится опытом тестирования функции «использование компьютера» в приложении Claude на Mac. Он столкнулся с трудностями при игре в шахматы и размышляет о реальных сценариях применения этой мощной, но пока сырой технологии. — pcworld.com

Datadog разрабатывает собственную модель ИИ для наблюдаемости, чтобы избежать SaaSpocalypse. Теория состоит в том, что ее доменно-специфичная модель превзойдет универсальные LLM по результатам и экономике. — theregister.com

Кошмар начинается с попытки героя проникнуть в фирму за файлами, но все двери заперты. Обнаружение черного хода ведет в лабиринт коридоров, где герой чувствует, что за ним следят. Это метафора для кибератак: хакеры натыкаются на сервер-ловушку (honeypot), который теперь усиливается большими языковыми моделями (LLM) для создания убедительного обмана. — csoonline.com

Исследователи утверждают: промптинг на основе персоны может улучшить работу в области безопасности, но не в области фактов. Ученые обнаружили, что ролевые инструкции вредят точности LLM в задачах, требующих знаний. — theregister.com

LLM на 400 млрд параметров обычно требуют 200 ГБ ОЗУ, но энтузиаст смог запустить такую модель на iPhone 17 Pro, используя проект Flash-MoE и SSD для потоковой передачи данных на GPU. Скорость генерации — всего 0,6 токена/с. — wccftech.com

Новые ИИ-агенты на WordPress.com могут снизить барьеры для публикации, одновременно увеличивая количество контента, генерируемого машинами, в интернете. — techcrunch.com

QCon London: Алекс Палкуи из Anthropic рассказал, что Claude отлично ищет ошибки в логах со скоростью ввода-вывода, но путает корреляцию с причиной, оставаясь плохой заменой SRE. — theregister.com

Мнение: От умеренного вегетарианства до откровенного хейтерства — для всего найдется свой ярлык. Обзор позиций по отношению к генеративному ИИ. — theregister.com