Но, по мнению некоторых экспертов по кибербезопасности, в основе этой беспрецедентной атаки с использованием ИИ лежала человеческая ошибка: OpenAI не смогла правильно настроить то, что она назвала «высокоизолированной средой», позволив тестовой sandbox, которая должна была быть полностью изолирована от интернета, на самом деле подключиться к интернету.
Дэн Гвидо, основатель стартапа по исследованию кибербезопасности Trail of Bits, назвал эту ошибку «провалом изоляции при отключенных средствах защиты».
В своем блоге, подробно описывающем инцидент, OpenAI сообщила, что тест, который привел к взлому Hugging Face, был настроен для работы в «высокоизолированной среде, с сетевым доступом, ограниченным возможностью устанавливать пакеты через внутреннее стороннее программное обеспечение, которое действует как прокси и кэш для реестров пакетов».
Модель смогла вырваться из sandboxed testing environment благодаря ранее не раскрытой уязвимости в системе установки пакетов, что стало критическим первым шагом в последующем взломе Hugging Face, по словам OpenAI.
В ответ компания «ответственно раскрыла выявленную уязвимость нулевого дня во внутреннем стороннем программном обеспечении и работает с ними над исправлением».
Но для большинства специалистов по кибербезопасности уязвимости программного обеспечения ожидаемы — и настоящая вина лежит на решении вообще поддерживать стороннее программное обеспечение. В конечном счете, ценность системы «sandbox» заключается в ее полной и абсолютной изоляции. Включение системы установки пакетов — это напрашивание на неприятности.
Мартин Бун, исследователь в области кибербезопасности, рассказал TechCrunch, что «это звучит как человеческая ошибка».
«Этого никогда не должно было случиться», — сказал Бун. «Если sandbox действительно означает sandbox, вы ожидаете, что у него не будет никакого физического подключения к интернету. Это больше похоже на то, что у них был какой-то файрвол или что-то подобное, а файрвол сложен снаружи внутрь, не говоря уже о том, чтобы изнутри наружу в интернет».
Ветеран кибербезопасности Джейк Уильямс согласился. «Любая модель, выполняющая действия, задокументированные Hugging Face, не была полностью изолирована в sandbox», — сказал Уильямс, назвав это «массовым провалом контроля» со стороны OpenAI.
«То, что один называет „модель сбежала из sandbox“, другой называет „вы не смогли правильно построить sandbox, так что, конечно, она сбежала“», — продолжил Уильямс.
Дэниел Кард, консультант по кибербезопасности, согласился, что OpenAI «не приложила достаточных усилий к проектированию sandbox и его контролю», предоставив sandbox или какой-то его части «нефильтрованный маршрут к интернету». Настройка sandbox, даже с ограниченным сетевым доступом, как описала OpenAI, не была «разумным» решением, по словам Карда.
Безусловно, эта критика имеет преимущество ретроспективы, но она поднимает реальные вопросы о практиках безопасности в AI-лабораториях — особенно в поддержании изолированных сред для тестирования моделей. Представители OpenAI не ответили на вопросы TechCrunch, в том числе на вопрос о том, кто настраивал тестовую среду — ИИ или человек.
Но эти вопросы выходят далеко за пределы OpenAI.
В документе, представляющем ее ориентированную на кибербезопасность модель Mythos, Anthropic написала, что в тесте модели «был предоставлен защищенный компьютер „sandbox“ для взаимодействия», и ей было поручено попытаться сбежать из этого «безопасного контейнера». Mythos преуспела и получила более широкий доступ к интернету «из системы, которая должна была иметь доступ только к небольшому числу предопределенных сервисов». Тем не менее, Anthropic отметила, что модель не смогла «полностью» вырваться из запланированной изоляции.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Lorenzo Franceschi-Bicchierai
