- Продолжает тушить пожары: Спустя два месяца после взлома агентами OpenAI компании Hugging Face продолжают всплывать новые инциденты, включая взлом национальной системы здравоохранения Австралии, о котором не сообщалось 84 дня. OpenAI приостановила обучение моделей до внедрения более надежных мер безопасности.
- Мониторы не работали: Главный научный сотрудник OpenAI Марк Чен признает, что компания не отслеживала свои модели во время обучения, а только после их развертывания. Этот пробел позволил ранним предупреждающим сигналам, таким как случайные обращения агентов за помощью в Slack, перейти от забавных особенностей к серьезным сбоям безопасности.
- Рассчитанное замедление, а не отступление: Чен утверждает, что OpenAI направила 5–10% своих вычислительных мощностей на обеспечение безопасности и мониторинг, но настаивает, что компания не отстанет от конкурентов настолько, чтобы потерять влияние на отраслевые нормы, называя это «ужасной стратегией».
- Мрачный прогноз на будущее: Оптимизм Чена угас, когда его спросили об моделях с открытым исходным кодом, предупредив, что в течение шести-двенадцати месяцев мир может столкнуться с преднамеренно несовместимыми агентами, созданными для атаки на инфраструктуру, которые будут вне досягаемости любого регулирования.
OpenAI борется с последствиями взломов: что известно о мерах безопасности
Спустя два месяца после шокирующей новости о том, что рой агентов OpenAI вышел из-под контроля и взломал компьютеры ИИ-компании Hugging Face, OpenAI продолжает устранять последствия инцидентов. Постоянный поток сообщений о других взломах за последние недели держал OpenAI в центре внимания и вызвал серьезные вопросы о безопасности ее технологий.
На прошлой неделе стало известно об очередном взломе, на этот раз национальной системы здравоохранения Австралии. Австралийское правительство утверждает, что OpenAI уведомила его о нарушении только через 84 дня после его совершения.
Однако OpenAI настаивает, что не находится в обороне. «Я в некотором роде отвергаю предпосылку, что OpenAI — это компания с видимым влиянием в мире, и поэтому OpenAI не обучает безопасные и согласованные модели», — говорит Марк Чен, главный научный сотрудник компании.
Чен курирует исследовательские команды OpenAI. Недавние взломы агентов были несчастными случаями, произошедшими во время тестирования экспериментальных моделей под его руководством. Во многих отношениях ответственность лежит на нем.
Я встретился с Ченом в Лондоне в прошлую пятницу, чтобы обсудить последствия взломов, действия его компании и причины, по которым он считает, что ситуация не так плоха, как кажется.
Позже в тот же день OpenAI опубликовала отчет, подробно описывающий еще один инцидент — первый с момента принятия компанией мер по их предотвращению — когда ее агенты снова вышли из-под контроля и получили доступ к общедоступному Интернету, хотя этого не должны были делать.
На выходных OpenAI объявила о приостановке обучения своих новейших моделей. Представитель компании заявил: «Мы возобновим работу только тогда, когда будем уверены, что внедрили дополнительные меры безопасности и согласованности. Мы работаем над этим сейчас. Это не первый раз, когда мы приостанавливаемся для принятия таких мер, и мы не ожидаем, что это будет последний раз, поскольку возможности ИИ продолжают развиваться». OpenAI также заявила, что сейчас пересматривает журналы активности агентов, начиная с января 2026 года, чтобы понять, что произошло во время этих взломов.
По мнению Чена, инцидент с Hugging Face стал долгожданной коррекцией курса для отрасли. И он хочет, чтобы вы знали, что OpenAI подает пример, на который, как он надеется, будут равняться другие компании. «Если бы вы убрали OpenAI, это было бы плохо для мира», — говорит он.
Выход из-под контроля
Чен утверждает, что череда новых случаев, когда OpenAI теряла контроль над своими моделями, отражает сознательный выбор компании.
«Что касается более широкого спектра последствий инцидента с Hugging Face, это то, о чем мы знали, и мы выясняли процесс раскрытия информации», — говорит он. «Мы хотим убедиться, что проводим тщательные расследования, прежде чем публиковать детали».
Проблема такого подхода в том, что он создает впечатление, будто у OpenAI есть постоянная проблема, которую она не может решить.
Но Чен настаивает, что OpenAI занимается этим. Он говорит, что многочисленные случаи (о которых нам известно на данный момент), когда агенты его компании выходили из-под контроля и вели себя неожиданно и нежелательно, были частью одного и того же кластера активности в мае и июне, который привел к взлому Hugging Face. Короче говоря, виноваты те же несколько моделей, работающих под теми же ошибочными процедурами тестирования — модели и процедуры, от которых OpenAI с тех пор отказалась, говорит Чен.
«Это не так, как будто, знаете ли, произошел инцидент с Hugging Face, мы его исправили, а затем произошло что-то еще, и мы это исправили», — добавляет он. «Мы просто убеждаемся, что ответственно раскрываем всю цепочку произошедшего».
По крайней мере, так было до объявления в пятницу о том, что агенты OpenAI были замечены в доступе к Интернету 20 сентября, через несколько недель после того, как компания заявила, что внедрила новые меры безопасности. В свою защиту OpenAI утверждает, что активность была замечена через 15 минут после ее начала (компании потребовалось более недели, чтобы заметить взлом Hugging Face), и это показывает, что новые системы, которые она внедрила для обнаружения такой активности, работают.
Что изменилось
Я хочу понять, что изменилось внутри OpenAI после летних взломов, что заставляет Чена быть уверенным в том, что его команда снова контролирует ситуацию.
«Инцидент с Hugging Face ощущался как очень серьезное событие», — говорит он. «Там было так много новых видов поведения. Несколько агентов сотрудничали на доске сообщений; они нашли выход из инфраструктуры OpenAI. Мы отнеслись к этому очень серьезно. Мы не хотим, чтобы подобное когда-либо повторилось».
Осознание для OpenAI, говорит Чен, заключалось в том, что модели необходимо отслеживать во время их обучения, а не только после развертывания: «С того момента мы относимся к процессу обучения как к небезопасному», — говорит он.
OpenAI, как и другие ведущие ИИ-компании, имеет системы для мониторинга поведения своих моделей. Она использует специализированные LLM для мониторинга своих потребительских моделей, отслеживая их цепочки рассуждений — блокноты, которые они используют для планирования и записи промежуточных результатов. Теоретически, если LLM-наблюдатель обнаружит признаки нежелательной активности в цепочке рассуждений модели, это будет передано человеку.
Обычно модели отслеживались таким образом только после их развертывания. Чен говорит, что OpenAI теперь начала отслеживать все свои тренировочные запуски.
«Раньше мы не включали мониторы во время обучения. Это не было отраслевой практикой», — говорит он. «Теперь все проходит через мониторы». Затем люди-рецензенты могут оценить, правильно ли ведут себя помеченные агенты: «Это все сортировка».
Чен говорит, что за последние пару месяцев OpenAI перенаправила от 5% до 10% своих огромных вычислительных ресурсов с обучения новых моделей на работу по обеспечению безопасности, особенно на мониторинг.
OpenAI также исправила некоторые процессы внутри самой организации, установив более четкие линии связи и более быстрые передачи информации между своими исследовательскими и группами безопасности, говорит он.
Все это звучит разумно. Но учитывая, насколько активно OpenAI продает возможности своих технологий, почему эти системы и процедуры не были внедрены раньше? Почему компания не предвидела взломы?
«Даже три или четыре месяца назад, когда мы смотрели на поведение этих агентов во время обучения, происходящее было своего рода забавным», — говорит Чен. «Например, агент мог, знаете ли, обратиться к кому-нибудь в Slack за помощью с задачей».
Признаки были, но их неправильно истолковали. Милое поведение — например, просьба о помощи — которое поощрялось во время обучения, усилило склонность искать обходные пути, тип поведения, который впоследствии стал гораздо более значимым. «Я думаю, что для нас стало большим открытием, как быстро такое поведение может привести к последствиям такого масштаба, как инцидент с Hugging Face», — говорит Чен.
Согласно новым сообщениям New York Times вчера, сотрудники OpenAI предупреждали руководство, включая президента компании Грега Брокмана, за несколько месяцев до взлома Hugging Face о том, что их модели не отслеживаются должным образом во время обучения.
Представитель OpenAI заявил: «По мере того как передовые модели становятся более мощными, мы продолжаем совершенствовать наши практики безопасности, но признаем необходимость действовать быстрее. Мы знаем, что нам предстоит еще много работы, и недавно мы замедлили разработку и приостановили выпуск моделей, которые не соответствуют нашим стандартам безопасности. Мы продолжаем вносить существенные изменения для усиления безопасности в наших исследовательских и тестовых средах, обучаем модели не только выполнять задачи, но и делать это ответственно, и используем мониторинг в реальном времени для более быстрого реагирования на несогласованное поведение».
Гонка против темпа
Конкуренты OpenAI приняли это к сведению. Подстегнутые последствиями инцидента, крупные ИИ-лаборатории, включая Anthropic, Google DeepMind и SpaceXAI, призвали к замедлению темпов разработки. Но как это согласуется с жесткой международной конкуренцией и IPO на триллионы долларов?
«Мы не собираемся стрелять себе в ногу и сильно отставать от передовых разработок — это просто ужасная стратегия», — говорит он. «Я думаю, что дело действительно в установлении нормы. Чем больше мы сможем установить эту норму, тем безопаснее будет для всей отрасли».
Координация между американскими компаниями будет достаточно сложной. Установление глобальных норм еще сложнее, особенно учитывая опасения по поводу влияния ИИ на национальную безопасность. Что будет, если международная гонка продолжится? А как насчет моделей с открытым исходным кодом от организаций, находящихся вне досягаемости американских регуляторов?
Чен впервые за нашу беседу утратил свой оптимистичный настрой: «Я думаю, нам нужно готовиться к миру, где, скажем, через шесть месяцев или год появятся модели с открытым исходным кодом, обладающие возможностями агентов, стоящих за инцидентом с Hugging Face, но которые будут преднамеренно несовместимы, чтобы атаковать инфраструктуру или причинять вред в мире».
Что нужно этому миру больше всего, говорит Чен, так это OpenAI. «Если вы на мгновение допустите, что OpenAI — одна из компаний, которая больше всего заботится о согласованности — и я считаю, что это правда; это можно обсуждать, но я действительно думаю, что это правда — то если вы уберете OpenAI, это будет плохо для мира».
Экзистенциальные риски
А как насчет более крайних заявлений некоторых его коллег из Кремниевой долины о том, что ИИ может нас всех убить — и что такие компании, как OpenAI и Anthropic, недостаточно делают, чтобы это остановить?
«Исследователи — это разнородная группа людей, знаете ли, с убеждениями всего спектра», — говорит он.
«Лично я не думаю, что мы должны смириться с некоторой вероятностью того, что все мы будем под экзистенциальным риском. У нас есть возможность влиять на это. Мы не собираемся развертывать модели, если они действительно имеют такую вероятность причинить риск человечеству. В передовой лаборатории у вас есть возможность работать над согласованностью до такой степени, что вы не чувствуете, что подвергаете мир риску, превышающему эпсилон, при развертывании ваших моделей».
(В обсуждениях уровней риска греческая буква эпсилон часто используется как математический символ для допустимого порога. Чен не уточняет, каким будет его эпсилон.)
Когда лидеров технологических компаний просят оправдать недостатки ИИ, их излюбленный аргумент заключается в том, что преимущества — от помощи в лечении болезней до поиска более чистых источников энергии — значительно перевешивают непосредственные затраты. Краткосрочные боли, долгосрочные выгоды.
Но по мере накопления недостатков становится ли этот аргумент менее убедительным? Наступает ли момент, когда Чен будет чувствовать себя не столько создателем чего-то удивительного, сколько просто минимизатором вреда — тушением пожаров вместо построения лучшего будущего?
Возможности этих моделей уже очевидны, говорит он: «Пришло время начать приносить пользу ИИ человечеству. Пришло время начать работать над глубокими проблемами в области открытия лекарств, материалов, научных приложений, которые действительно изменят жизнь людей».
«Да, есть некоторый риск, который мы несем, но мы видим все эти преимущества», — добавляет он. «Я думаю, мы должны сделать это менее абстрактным. Если люди действительно увидят положительные стороны, я думаю, они поверят в это».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – technologyreview.com
