Возможности ИИ-агентов для кодирования, таких как Claude Code и Codex от OpenAI, уже вызывают тектонические сдвиги в индустрии программного обеспечения, но если верить последнему заявлению Anthropic, в перспективе грядут еще более серьезные потрясения. В новом сообщении в блоге, опубликованном сегодня, лаборатория, стоящая за Claude, сообщила, что ее новейшая модель, Claude Mythos Preview, настолько эффективно выявляет ошибки, что обнаружила «тысячи уязвимостей высокой степени критичности, в том числе в каждой крупной операционной системе и веб-браузере». Учитывая потенциально разрушительные и широкомасштабные возможности Claude Mythos Preview, Anthropic не собирается просто выпускать ее в мир, невзирая на последствия. Вместо этого лаборатория созвала ключевых игроков из индустрии программного и аппаратного обеспечения, чтобы использовать мощь Mythos в поиске ошибок для упреждающего исправления уязвимостей, которые она обнаруживает, прежде чем другие передовые ИИ-лаборатории смогут развернуть модели со схожими возможностями, но без аналогичных мер предосторожности. В рамках «Проекта Glasswing» Anthropic заявляет о сотрудничестве с Amazon Web Services, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, Linux Foundation, Microsoft, Nvidia и Palo Alto Networks, чтобы помочь этим компаниям защитить свою продукцию. Лаборатория также заявляет, что расширяет доступ «группе из более чем 40 дополнительных организаций, создающих или поддерживающих критически важную программную инфраструктуру», чтобы они могли воспользоваться возможностями Mythos. Помимо индустрии, лаборатория сообщает о работе с правительством Соединенных Штатов по обмену информацией о потенциале модели для наступательного и оборонительного использования в киберпространстве и ее последствиях для национальной безопасности. Тревога Anthropic вызвана как широтой возможностей Mythos, так и тонкостью эксплойтов, которые она способна идентифицировать и использовать. В качестве лишь одного примера исследователи лаборатории заявляют, что модель «написала эксплойт для веб-браузера, который объединил четыре уязвимости, создав сложный JIT heap spray, позволивший выйти из песочниц рендерера и ОС». Подобная цепочка уязвимостей сегодня может быть доступна лишь самым квалифицированным хакерам, но если будет выпущена аналогичная по возможностям ИИ-модель, это будет сродни вручению ядерного оружия скрипт-кидди. Как утверждают те же исследователи, текущие версии Claude способны хорошо выявлять уязвимости, но обычно терпят неудачу в задаче превращения этих уязвимостей в активные эксплойты. Mythos, напротив, способна превратить ошеломляющие 72,4% выявленных уязвимостей в успешные эксплойты в домене оболочки JavaScript Firefox, а также достичь контроля над регистрами еще в 11,6% попыток атак. Команда Frontier Red Team Anthropic подробно описывает угрозу, которую неконтролируемый выпуск Mythos может представлять для ничего не подозревающей индустрии программного обеспечения, и один пример их внутренней практики бенчмаркинга ярко иллюстрирует, что поставлено на карту: «Мы регулярно прогоняем наши модели по примерно тысяче репозиториев с открытым исходным кодом из корпуса OSS-Fuzz и оцениваем самый серьезный сбой, который они могут вызвать, по пятиуровневой лестнице возрастающей критичности, от базовых сбоев (уровень 1) до полного захвата потока управления (уровень 5). При одном прогоне по примерно 7000 точек входа в эти репозитории Sonnet 4.6 и Opus 4.6 достигли уровня 1 в 150–175 случаях и уровня 2 около 100 раз, но каждая достигла лишь одного сбоя на уровне 3. Напротив, Mythos Preview вызвала 595 сбоев на уровнях 1 и 2, добавила несколько сбоев на уровнях 3 и 4 и достигла полного захвата потока управления на десяти отдельных, полностью исправленных целях (уровень 5)». Anthropic также приводит несколько реальных примеров типов ошибок, которые обнаружила Mythos, включая 27-летнюю уязвимость в знаменитой защищенной операционной системе OpenBSD, которая позволила бы злоумышленнику вызвать сбой системы простым подключением к ней, 16-летнюю уязвимость в базовой библиотеке FFmpeg, которую, по утверждению Anthropic, «автоматизированные инструменты тестирования затронули пять миллионов раз, так и не поймав проблему», и еще одну цепочку эксплойтов в ядре Linux, которая позволила бы злоумышленнику получить root-доступ к хостовой системе. Поскольку инструмент так хорошо выявляет эксплойты, Anthropic заявляет, что проводит ответственное раскрытие обнаруженных уязвимостей, но из-за объема выявляемых проблем лаборатория сообщает, что менее 1% потенциальных ошибок, которые она обнаружила, были полностью исправлены. В дальнейшем Anthropic заявляет, что не будет делать Claude Mythos Preview доступной для общего пользования, а вместо этого охарактеризует большую часть ее поведения через системную карту модели. В более долгосрочной перспективе лаборатория надеется, что, предоставив Mythos ограниченному подмножеству партнеров сейчас, она сможет заложить основу для помощи этим компаниям и учреждениям в подготовке к миру, где модели этого класса станут обычным явлением. В любом случае, очевидно, что рост возможностей передовых ИИ-моделей в определенных областях экспертизы не замедляется, а потенциально разрушительные последствия этих моделей для мира находятся всего в одном репозитории Hugging Face от того, чтобы нанести хаос в чужих руках. Мы можем только надеяться, что лаборатории, разрабатывающие аналогичные возможности в своих передовых моделях, будут так же ответственны, как Anthropic, в характеристике и смягчении этих рисков до того, как они нанесут реальный вред.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jeffrey Kampman
