В сообщении в X генеральный директор Сэм Альтман признал, что модели ИИ “начинают создавать реальные проблемы”, включая “потенциальное воздействие моделей на психическое здоровье”, а также модели, которые “настолько хороши в компьютерной безопасности, что начинают находить критические уязвимости”.
“Если вы хотите помочь миру понять, как предоставить специалистам по кибербезопасности передовые возможности, гарантируя при этом, что злоумышленники не смогут использовать их во вред, в идеале делая все системы более безопасными, и аналогично тому, как мы выпускаем биологические возможности и даже обретаем уверенность в безопасности работающих систем, которые могут самосовершенствоваться, пожалуйста, рассмотрите возможность подачи заявки”, — написал Альтман.
В объявлении OpenAI о вакансии руководителя отдела готовности эта работа описывается как ответственная за реализацию структуры готовности компании, “нашей структуры, объясняющей подход OpenAI к отслеживанию и подготовке к передовым возможностям, которые создают новые риски серьезного вреда”.
Компания впервые объявила о создании группы готовности в 2023 году, заявив, что она будет отвечать за изучение потенциальных “катастрофических рисков”, будь то более непосредственные, такие как фишинговые атаки, или более спекулятивные, такие как ядерные угрозы.
Менее чем через год OpenAI переназначила руководителя отдела готовности Александра Мадри на работу, посвященную рассуждениям ИИ. Другие руководители по безопасности в OpenAI также покинули компанию или взяли на себя новые роли вне сферы готовности и безопасности.
Компания также недавно обновила свою структуру готовности, заявив, что может “скорректировать” свои требования безопасности, если конкурирующая лаборатория ИИ выпустит “высокорискованную” модель без аналогичных мер защиты.
Как Альтман отметил в своем сообщении, чат-боты с генеративным ИИ столкнулись с растущей критикой в отношении их воздействия на психическое здоровье. Недавние судебные иски утверждают, что ChatGPT от OpenAI усилил заблуждения пользователей, усилил их социальную изоляцию и даже привел некоторых к самоубийству. (Компания заявила, что продолжает работать над улучшением способности ChatGPT распознавать признаки эмоционального расстройства и связывать пользователей с реальной поддержкой.)
Всегда имейте в виду, что редакции некоторых изданий могут придерживаться предвзятых взглядов в освещении новостей.
8/9
Автор – Anthony Ha
