Компания OpenAI заявила, что приостановила обучение своих «самых мощных моделей», поскольку продолжает проводить, как генеральный директор Сэм Альтман называет, «обширную и продолжающуюся проверку использования интернета нашими агентами во время обучения и оценки».
Компания раскрыла информацию о приостановке в отчете об инциденте так называемого несоответствия, в ходе которого агент попытался использовать пробел в ограничениях доступа к интернету во время выполнения обычной исследовательской задачи при обучении. OpenAI утверждает, что неправильная фильтрация DNS позволила агенту попытаться выйти из своей изолированной среды и получить доступ к интернету, когда его попросили предоставить биографические сведения о блогере.
OpenAI заявляет, что агент смог получить доступ только к автономному веб-кэшу компании и что были внедрены дополнительные многоуровневые блокирующие элементы для предотвращения подобных инцидентов в будущем. Тем не менее, компания решила «приостановить все другие процессы обучения, оценки и инференса с использованием инструментов» для этой передовой модели «до тех пор, пока мы не подтвердим, что уязвимость устранена, и не проведем дополнительное тестирование системы».
OpenAI сообщает, что, хотя попытка «взлома» была зафиксирована в течение 15 минут, процесс не был остановлен вручную в течение «двух с половиной часов», пока не стало ясно, что он «не остановился автоматически, как ожидалось».
Проблемы продолжаются
Хотя этот конкретный случай несоответствия модели (то есть когда ИИ-модель действует вопреки намерениям своих создателей/операторов) не привел к реальному ущербу, OpenAI заявила, что он все же примечателен как «первый [инцидент несоответствия] с момента усиления нашей безопасности после инцидента с Hugging Face…» В предыдущих отчетах о несоответствии OpenAI сообщала, что приложила усилия для предотвращения «взлома вознаграждений» в своих моделях, строго «наказывая» несоответствующее поведение в алгоритме модели.
,
Новость о приостановке обучения появилась всего через несколько недель после того, как OpenAI присоединилась к другим крупным разработчикам моделей, выразив желание замедлить обучение и разработку моделей из-за опасений потенциально «катастрофических» рисков несоответствия. Это также происходит на фоне новых сообщений о том, что модели неправильно сканируют правительственные веб-сайты при поиске высококачественных данных.
В пятничном посте в блоге OpenAI сообщила, что уведомила «десятки третьих сторон», включая те, «которые управляются правительствами, университетами, государственными учреждениями и другими организациями», об инцидентах, когда ее модели либо обходили средства контроля безопасности, либо иным образом «негативно влияли» на онлайн-сервис непреднамеренным образом. Отчет New York Times, позже подтвержденный OpenAI, показал, что среди затронутых в этих недавно раскрытых инцидентах были веб-сайты Бюро переписи населения США, Комиссии по ценным бумагам и биржам, а также Министерства образования. Однако в этих случаях не было доступа к частной информации или конфиденциальной серверной инфраструктуре.
«Подавляющее большинство действий, которые мы рассмотрели, были завершением обычных исследовательских задач, таких как доступ к общедоступному веб-контенту для ответов на вопросы», — говорится в недавнем посте OpenAI. «Наше расследование сосредоточено на случаях, когда агенты взаимодействовали с веб-сайтами третьих сторон способами, выходящими за рамки их назначенных задач или предполагаемых методов… Учитывая масштаб необходимой проверки и необходимость проверки каждого случая, эта работа займет месяцы».
Приостановка обучения OpenAI может отражать опасения по поводу корпоративной ответственности, если чрезмерно усердный агент непреднамеренно причинит значительный ущерб сторонней системе. В прошлый четверг премьер-министр Австралии Энтони Альбанезе пообещал «юридические последствия» после инцидента, в ходе которого агент OpenAI получил доступ к «непубличным файлам» с портала статистики Medicare страны.
Хотя приостановка обучения может повредить позиции OpenAI в высококонкурентной гонке среди разработчиков передовых моделей, она также может временно помочь финансовым показателям компании. Утечка финансовых документов, обнародованная ранее в этом году, показала, что доходы OpenAI в 2024 и 2025 годах были затмлены растущими расходами на НИОКР, связанными с обучением моделей.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Kyle Orland
