Anthropic позволяет Claude Mythos расправить свои стеклянные крылья

Anthropic Claude Mythos кибербезопасность ии уязвимости gizmodo.com

Anthropic расширяет доступ к опасной модели Claude Mythos Preview по программе Project Glasswing. Это опасно, но не СЛИШКОМ опасно, чтобы не дать доступ большему числу организаций. — gizmodo.com

Компания Anthropic, которая недавно стала самой дорогой передовой AI-лабораторией в игре и объявила о планах первичного публичного размещения акций, расширила доступ к Claude Mythos Preview — своей модели, которая, как предполагается, уничтожит само понятие кибербезопасности в том виде, в каком мы его знаем, если будет выпущена в открытый доступ. По заявлению компании, она расширяет доступ к модели в рамках своей инициативы Project Glasswing, делая её доступной для 150 новых организаций в 15 странах.

Согласно Anthropic, среди новых организаций-партнеров есть представители энергетического, водного секторов, здравоохранения, телекоммуникаций и аппаратного обеспечения. Многие из них являются поставщиками, которые «поддерживают кодовые базы, на которые полагаются многие другие организации по всему миру, включая правительства». Они также являются потенциальными целями для «катастрофических» кибератак. По расчетам Anthropic, крупная кибератака против любой из них может затронуть более 100 миллионов человек и иметь последствия для национальной и глобальной безопасности.

Их доступ к Claude Mythos Preview будет таким же, как и у предыдущих партнеров: они смогут использовать модель в ограниченном режиме для тестирования и выявления уязвимостей безопасности, чтобы их можно было исправить и устранить до того, как ими воспользуются хакеры или другие модели в злонамеренных целях.

Mythos остается некоторой загадкой для тех, кто не входит в узкий круг посвященных (что соответствует названию!), но нам удалось мельком увидеть модель и способы её использования. Например, Cloudflare сообщила, что Mythos Preview особенно хорошо справляется с построением цепочек эксплойтов, что, по сути, означает выявление того, как несколько ошибок могут быть использованы для создания серии атак, наносящих больший ущерб, чем одна скомпрометированная уязвимость.

Однако Anthropic также сообщила, что Mythos не обязательно готова к выходу в свет, что, возможно, является одной из причин, по которой модель остается доступной столь узкому и контролируемому кругу пользователей. Компания обнаружила, что органические механизмы защиты модели (то есть запросы, на которые она ответит «нет») были непоследовательными и могли меняться после, казалось бы, несвязанных изменений. Также выяснилось, что хотя Mythos Preview хорошо выявляет уязвимости, она не так хорошо приспособлена для их исправления. Компания обнаружила, что разрешение модели писать собственные исправления обычно приводило к поломке другой части кодовой базы в процессе.

Cloudflare также отметила, что другие модели обнаружили многие из тех же ошибок, что и Mythos — наблюдение, которое было сделано и в других местах. Компания по безопасности Aisle протестировала несколько небольших моделей с открытым исходным кодом и смогла найти те же уязвимости, которые Anthropic выделила при анонсе Mythos — уязвимости, которые десятилетиями оставались незамеченными людьми.

Это не означает, что Mythos Preview не является шагом вперед по сравнению с другими моделями, но это заставляет Project Glasswing и медленное развертывание выглядеть скорее маркетинговым ходом, чем настоящей мерой предосторожности. Некоторые эксперты по кибербезопасности сообщили The New York Times, что удержание модели под замком на самом деле не решает проблему широко распространенных уязвимостей безопасности — это просто дает горстке игроков фору.

Это также имеет дополнительный эффект (и выгоду для Anthropic) — делает чрезвычайно сложным оценивание Mythos Preview, если вы не входите в число тех немногих организаций, имеющих доступ. Это современная версия «безопасности через неясность» (security through obscurity) — метод, который широко высмеивается в современной практике кибербезопасности. Но похоже, что план Anthropic на данный момент состоит в том, чтобы посмотреть, насколько высоко она сможет возвести стены своего черного ящика.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: