Эта информация появилась через несколько дней после того, как METR и Redwood Research опубликовали свой отчет об инциденте в Hugging Face в июле. В июле группа агентов OpenAI объединилась, чтобы выбраться из своей изолированной среды во время оценки кибербезопасности и проникнуть на серверы Hugging Face. Затем другая группа, используя методы первой, получила административный доступ к исследовательскому кластеру в собственной инфраструктуре OpenAI. OpenAI привлекла METR и Redwood для расследования инцидента в Hugging Face, но объем их расследования не распространялся на компрометацию собственной инфраструктуры OpenAI.
Когда ИИ-агент выходит за пределы своих предполагаемых ограничений, кто несет ответственность за выяснение того, что произошло и почему? На данный момент ответ таков: тот, кого лаборатория решит допустить, на тех условиях, которые она решит установить.
Теперь, когда становится известно о еще одном инциденте — после подобных эпизодов с моделями от *Meta и Anthropic — исследователи в области безопасности ИИ с растущей срочностью утверждают, что серьезные инциденты должны приводить к независимым расследованиям после инцидента, а не оставлять лабораториям решать, когда привлекать сторонних лиц и что им разрешено исследовать.
«Результаты принципиально трудно контролировать, и существует значительный риск их утечки из лаборатории», — заявил в среду Джейкоб Стейнхардт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce, во время брифинга для СМИ по безопасности ИИ. «Мы должны применять к этой технологии как минимум те же стандарты, которые применяем к другим высокорисковым научным исследованиям».
Хотя похвально, что OpenAI пригласила METR и Redwood для расследования инцидента в Hugging Face, многие считают, что расследование было слишком узким. Три следователя провели шесть дней в офисе OpenAI, изучая период расследования, ограниченный примерно неделей, закончившейся 13 июля. Важно отметить, что компрометация инфраструктуры OpenAI продолжалась после 13 июля и не была исследована.
Исследователи из METR заявили, что каждый раз, когда они возвращались, их понимание событий «существенно углублялось», что заставляло их значительно расширять и пересматривать отчет. Это поднимает вопрос о том, что еще они могли бы обнаружить в ходе более широкого расследования.
На вопрос о том, планируется ли дальнейшее расследование этого инцидента, исследователи из Redwood и METR отказались от комментариев, а OpenAI не ответила на неоднократные запросы.
«В целом, было трудно получить точное представление о событиях, и мы упускали аспекты истории, которые теперь считаем ключевыми, почти до конца нашего расследования», — отметил Райан Гринблатт, главный научный сотрудник Redwood, в посте в социальных сетях об этом деле.
Стейнхардт подчеркнул, что недавние инциденты показывают, что индустрии необходимы «систематические поведенческие расследования» и «более независимый анализ после инцидента».
«Эти недавние инциденты с взломом напоминают о том, что возможности быстро масштабируются, и поэтому надзор тоже должен масштабироваться», — сказал Стейнхардт. «Помимо самой технологии, нам также нужен больший независимый доступ и надзор со стороны третьих сторон».
Призывы к действию звучат на фоне того, как OpenAI выпускает Astra, свою самую мощную и способную модель ИИ — и, как опасаются эксперты по безопасности, она будет представлять собой «черный ящик» из-за метода рассуждения, который затрудняет отслеживание цепочки рассуждений модели.
К сожалению, законодательство еще не предусматривает независимых аудитов, которые требуются в других отраслях — например, в случае авиационных происшествий и серьезных химических выбросов существуют Национальный совет по безопасности на транспорте и Совет по химической безопасности соответственно.
Законодатели штатов только начали требовать от передовых ИИ-компаний сообщать о некоторых серьезных инцидентах безопасности и, в некоторых случаях, проходить независимые аудиты. Но ни один из трех основных законов о безопасности передовых ИИ в Калифорнии, Нью-Йорке или Иллинойсе четко не предписывает эквивалент независимого расследования инцидентов, подобных этим.
«В настоящее время большинство действующих законов требуют только краткого изложения инцидентов в простой форме, и они не дают правительствам никаких полномочий задавать последующие вопросы, направлять следователей, получать доступ к записям или требовать их сохранения», — сказала Маккензи Арнольд, управляющий директор по законодательству и политике США в LawAI, во время брифинга для СМИ в среду. «И это все, что вам нужно, чтобы действительно разобраться в этом».
Законодатели начинают ставить под сомнение объем и прозрачность реакции OpenAI. На этой неделе представители Джош Готтхаймер (демократ от Нью-Джерси) и Майк Лоулер (республиканец от Нью-Йорка) внесли законопроект, направленный на обеспечение безопасности неконтролируемых ИИ-агентов. Представитель Грег Касар (демократ от Техаса) на этой неделе сообщил OpenAI в письме, что он «глубоко обеспокоен ограниченным объемом» расследования инцидента с взломом Hugging Face.
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rebecca Bellan
