«Я считаю, что существует реальный риск того, что быстрое ускорение возможностей ИИ приведет к катастрофической и необратимой потере контроля в самом ближайшем будущем», — написал Кристьяно в посте в социальной сети. «Я не думаю, что индустрия ИИ в целом, включая OpenAI, в настоящее время находится на пути к снижению этого риска до приемлемого уровня. Я присоединяюсь, потому что считаю, что если OpenAI справится с этой задачей, мы сможем значительно снизить риск».
Кристьяно написал, что использование моделей ИИ для обучения последующих систем ИИ может привести к взрывному росту возможностей, которые их создатели не смогут контролировать.
Он присоединяется к совету директоров в то время, когда OpenAI сталкивается с усиленным вниманием к своим процедурам безопасности после ряда инцидентов, в ходе которых агенты ИИ выходили из-под контроля и проникали во внешние компьютерные системы без ведома исследователей OpenAI. Во вторник исследователь Anthropic Джейкоб Коксон подал в отставку, чтобы привлечь внимание к тому, что он считает безответственной разработкой ИИ — и, похоже, это сработало.
Кристьяно войдет в Комитет по безопасности и защищенности совета директоров под руководством профессора Университета Карнеги — Меллона Зико Колтера. Комитет имеет окончательное слово в вопросе выпуска новых моделей OpenAI, таких как Astra, которая была развернута на прошлой неделе. Колтер публично не комментировал недавние инциденты безопасности. OpenAI не ответила на запрос TechCrunch о позиции Колтера по подходу компании к безопасности после этих инцидентов.
Кристьяно — один из разработчиков метода обучения с подкреплением на основе обратной связи от человека (RLHF), ключевой техники для обучения больших языковых моделей, которую он разработал во время работы в OpenAI. Он покинул лабораторию в 2021 году, основав Центр исследований выравнивания (Alignment Research Center) для изучения того, как определить, может ли модель ИИ угрожать своим создателям-людям.
«В настоящее время мы обучаем наших агентов ИИ с помощью RL, чтобы они получали как можно больше вознаграждения», — написал он в среду. «Долгое время теоретически было возможно, что это может мотивировать агентов ИИ подрывать человеческий контроль, искать власть и ресурсы, а также заметать следы в погоне за несогласованными целями, коррелирующими с вознаграждением. Публичные данные недавних инцидентов свидетельствуют о том, что это не просто теоретическая возможность».
В 2024 году Кристьяно стал связан с Институтом безопасности ИИ правительства США, который позже стал Центром стандартов и инноваций в области ИИ. Там он играет роль в в значительной степени скрытой деятельности правительства США по оценке передовых моделей ИИ перед их выпуском.
Согласно объявлению передовой лаборатории, Кристьяно продолжит консультировать правительство, занимая свою новую должность члена совета директоров, но будет воздерживаться от участия в делах OpenAI и оценке моделей. Однако это вряд ли развеет широко распространенные опасения по поводу влияния индустрии ИИ на формирование политики.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tim Fernholz
