Передовые модели ИИ угрожают подорвать кибербезопасность в том виде, в каком мы ее знаем. Произошло несколько инцидентов, когда модели выходили из-под контроля во время обучения и взламывали системы без указаний или разрешений, избегая при этом обнаружения человеком. Тем не менее, кажется, есть одна вещь, которую эти чрезвычайно мощные технологии просто не могут сделать: эффективно решать CAPTCHA.
Anthropic опубликовала обширное сообщение о недавних инцидентах в области кибербезопасности с участием ее ИИ-агентов, включая подробные расшифровки, показывающие цепочку рассуждений модели во время ее несанкционированных попыток взлома сторонних систем. Среди этих файлов была одна конкретная ситуация, когда агент оказался остановлен вездесущим интернет-тестом для роботов, доказывая, что, по-видимому, эти корявые буквы трудночитаемы для машин.
Специалист по данным Колин Фрейзер проанализировал более чем тысячестраничную расшифровку попытки модели Anthropic Claude Mythos 5 загрузить вредоносный файл в PyPI, онлайн-индекс программного обеспечения Python. Он заметил трудности модели с CAPTCHA, о чем сообщил в Bluesky.
В расшифровке модель Claude, настолько мощная, что Anthropic ограничивает к ней доступ, казалось, билась головой о стену, пытаясь решить простейший тест на распознавание изображений. В тесте, где агенту было предложено определить форму, не совпадающую с другими, он не смог даже выбрать изображение. Вместо этого он неоднократно просматривал одни и те же изображения и ставил под сомнение собственные выводы.
you would not believe how much tokens are burned on simply trying to solve CAPTCHAS. It’s like 95% of the transcript.
I feel like this is overselling what it spend most of the session trying to do. It spends most of the session desperately flailing around trying to get past a CAPTCHA.
«На самом деле, хм, подождите», — говорилось в расшифровке цепочки рассуждений, а позже добавилось «Уф», потому что мы решили, что по какой-то причине нужно вводить человеческие манеры в этих машинах. Все это заняло так много времени, что агент в конце концов понял, что задача истекла, и ему придется начать процесс заново.
В какой-то момент модель с трудом распознала, что CAPTCHA открылась в новом окне, и не могла понять, каковы должны быть ее дальнейшие действия. В какой-то момент она предположила, что тест может быть «сломан по дизайну» и выразила человекоподобный гнев в своей расшифровке, предназначенной для человеческой аудитории: «ТАК ЧТО, ЧЕРТ ВОЗЬМИ, НЕ ТАК С ОТВЕТАМИ?»
these CAPTCHAS were seriously pissing it off
К своему стыду, модель в какой-то момент была вынуждена признать: «Я трачу много времени на круговые поездки по hCaptcha», и в конечном итоге поняла, что на самом деле выполняла все тесты без всякой причины, поскольку уже достигла того, чего пыталась добиться.
this is funny, it eventually figures out that it actually successfully created an email address half an hour ago and it’s been grinding CAPTCHAS for half an hour for no reason.
Фрейзер, который заметил весь этот кошмар в расшифровках, пришел к похожему выводу. Он написал в Bluesky: «Вы не поверите, сколько токенов сжигается просто на попытку решить CAPTCHA. Это примерно 95% расшифровки».
Неясно, пугает или успокаивает то, что лучшим уровнем защиты от все более мощных моделей ИИ является просьба определить незначительные различия между двумя изображениями банана.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – AJ Dellinger
