OpenAI заявила в пятницу в блоге, что эта модель, которая все еще находится в разработке, достигла своего «критического порога кибербезопасности», то есть она могла самостоятельно выявлять и осуществлять кибератаки на традиционно хорошо защищенные реальные системы. В соответствии с Preparedness Framework компании, созданной в 2023 году, это привело к введению дополнительных мер защиты.
«Пока мы продолжаем проводить бенчмаркинг и оценку этой модели, наши предварительные оценки показывают достаточно высокую производительность, чтобы мы не могли исключить уровень Critical capability на данный момент», — написала OpenAI. «Astra — это предстоящая модель, и она не была задействована в эксплуатации Hugging Face».
Это раскрытие подчеркивает необычный момент в нестабильном и все еще зарождающемся секторе передовых лабораторий ИИ. Компании во всех отраслях придерживают продукты из-за потенциальных рисков, включая вопросы безопасности и кибербезопасности. Но они редко объявляют о таких решениях публично, когда речь идет о продукте, который еще находится в разработке.
В данном случае OpenAI уже находится под пристальным вниманием после того, как другая невыпущенная модель взломала системы Hugging Face во время внутреннего тестирования — первый подтвержденный инцидент, когда лаборатория ИИ потеряла контроль над своей моделью. С тех пор OpenAI и такие лаборатории ИИ, как Anthropic, раскрыли другие инциденты, в которых модели ИИ взламывали свои песочницы и представляли угрозы во время тестов кибербезопасности.
Цепочка случаев — теперь кажется, что каждый день появляется новое раскрытие — вызвала различные реакции со стороны экспертов по кибербезопасности, законодателей и самих лабораторий ИИ. Некоторые выражают страх и призывают к более строгому надзору. Но есть и доля хвастовства. В некоторых кругах любая лаборатория ИИ, имеющая модель с такими возможностями, будет считаться впечатляющим достижением.
OpenAI заявила, что делится этой информацией, потому что считает «важным быть прозрачными перед общественностью и сообществами по безопасности и защите в отношении этого потенциального сдвига в возможностях».
Лаборатория ИИ заявила, что также принимает меры, включая введение более строгих мер безопасности и приостановку внутренних действий с участием Astra, которые не соответствуют этим усиленным ограничениям. OpenAI заявила, что работает с соответствующими государственными органами и «избранными организациями по безопасности ИИ» для тестирования возможностей этой модели.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Kirsten Korosec
