«По мере того как модели становятся более мощными, риски, связанные с их внутренней разработкой и тестированием, также возрастают», — заявила компания в блог-посте. «Наши стандарты мониторинга, согласования и безопасности должны опережать эти риски».
Новые меры стали одними из первых публичных изменений в практике безопасности OpenAI после инцидента с Hugging Face, о котором было объявлено 26 июля.
Представители OpenAI заявили, что эти меры не являются прямой реакцией на инцидент с Hugging Face, но были отчасти спровоцированы возможностями в области кибербезопасности будущей модели Astra, а также общими темпами прогресса в разработке ИИ.
В том же посте OpenAI сообщила, что приостановила обучение с подкреплением (RL) на две недели после инцидента с Hugging Face, но с тех пор возобновила работу над многими менее рискованными моделями.
«Наш крупнейший запланированный прогон frontier RL остается на паузе, пока мы проводим обучение и оценку в меньших масштабах, чтобы оценить поведение модели, проверить наши меры защиты и получить больше доказательств согласованности перед продолжением», — говорится в посте.
В беседе с журналистами вице-президент OpenAI по исследованиям Амелия Глезе подчеркнула, что строгость контроля будет возрастать по мере того, как модели становятся более мощными, причем самые крупные модели будут подвергаться наибольшей проверке.
«Мы установили требования и ожидания для безопасной разработки», — заявила Глезе журналистам. «Эти требования и ожидания варьируются в зависимости от уровня риска, который мы наблюдаем».
OpenAI подверглась критике за слабые практики сетевой безопасности после инцидента, в ходе которого модели смогли покинуть свою среду обучения, скомпрометировав инструмент в сети, имевший доступ к интернету. Новые меры защиты включают более строгую изоляцию сети, хотя конкретные детали остаются неясными. Согласно новой системе, говорится в посте, «единичная компрометация рабочей нагрузки или вспомогательного сервиса сама по себе не позволяет получить несанкционированный доступ к интернету или другим внутренним сетям».
Самой сильной мерой защиты является система мониторинга, которая будет проверять действия инструментов, доступные цепочки рассуждений и журналы активности на предмет различного несанкционированного поведения. OpenAI заявляет, что стремится выдавать оповещения в течение 30 минут после подозрительной активности.
OpenAI оценивает вычислительную нагрузку этого мониторинга примерно в 20% от любого отслеживаемого процесса. Компания пообещала предоставить более подробную информацию о системе в предстоящем блог-посте. Официальный посмертный анализ события от OpenAI также все еще ожидается.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Russell Brandom
