Новости: безопасность ИИ

Anthropic предупреждает о приближении к рекурсивному самосовершенствованию ИИ (RSI). RSI — это точка, в которой ИИ становится настолько хорош в самообучении, что вызывает резкое ускорение его возможностей. Для скептиков ИИ RSI представляет собой необратимый катаклизм.

Разберитесь в сложной структуре управления Anthropic. Узнайте, как компания балансирует миссию по безопасности ИИ с интересами акционеров и как распределяется контроль.

Оцените надежность тестов ИИ-моделей. Узнайте о проблемах воспроизводимости и сравнения результатов. Ирэн Солайман из Hugging Face обсуждает необходимость стандартизации в оценке ИИ.

Предложение Anthropic требует от оценщиков сообщать о любом неминуемом риске Министерству торговли в течение 72 часов, после чего Министерство должно представить доказательства федеральному судье и дождаться приказа.

Компания-разработчик LMArena привлекла $200 млн от Lightspeed и Khosla. Теперь она измеряет согласованность ИИ-моделей, включая ложь.

Требуйте от Кремниевой долины мудрости в вопросах безопасности ИИ! Эксперт OpenAI призывает к внешнему опыту для построения надежной культуры. Узнайте, как избежать катастроф в разработке ИИ.

OpenAI уволила трех сотрудников за утечку данных. Узнайте, почему это произошло и какие риски несет развитие ИИ. Ознакомьтесь с последними инцидентами и расследованиями.

Обнаружена критическая уязвимость в Unsloth Studio: произвольное выполнение кода при выборе модели. Узнайте, как защитить свои ИИ-разработки и рабочие процессы от атак через цепочку поставок. Обновитесь немедленно!

Лидеры крупнейших ИИ-лабораторий — Google, Anthropic, *Meta, OpenAI, SpaceXAI и Nvidia — посетили Вашингтон и подписали «Совместное обязательство по ответственности на передовых рубежах», пообещав безопасно разрабатывать свои модели. Трамп считает, что это лучший способ продвижения ИИ, поскольку он уравновешивает прогресс и безопасность.

Reco привлек $55 млн на безопасность ИИ-агентов. Увеличьте защиту ваших систем!