В эссе, опубликованном в The Atlantic, Робинсон заявил, что руководил написанием отчетов по безопасности, сопровождавших крупные запуски продуктов OpenAI. Он также отметил, что проработав в OpenAI три с половиной года, он «среди самых долгосрочных сотрудников компании». Теперь он уходит, потому что, по его мнению, «культура компании сломана».
В некотором смысле комментарии Робинсона перекликаются со словами Джейкоба Коксона, который работал исследователем как в OpenAI, так и в Anthropic, прежде чем уйти и заявить, что эти компании «играют с нашими жизнями». Заявления Коксона вызвали более широкую дискуссию о безопасности ИИ, в результате чего генеральный директор Anthropic Дарио Амодеи представил план более осторожной разработки ИИ; на этой неделе руководители ИИ встретились с президентом Дональдом Трампом и подписали представлявшееся поспешно написанным, необязывающее обязательство по внедрению дополнительных мер безопасности.
Однако, по мнению Робинсона, дебаты должны выходить за рамки «конкретных правил или новых законов», затрагивая общую культуру в этих компаниях. И хотя большая часть сообщений об OpenAI была сосредоточена на том, как генеральный директор Сэм Альтман потерял доверие бывших коллег, эссе Робинсона предполагает, что проблемы культуры OpenAI такие же, как и у Кремниевой долины в целом.
«OpenAI добивалась успеха методом проб и ошибок (что она называет «итеративным развертыванием»), выявляя проблемы и улучшая свои защитные механизмы в ответ», — написал он. «Но такой подход по своей природе гарантирует периодические сбои, и масштаб этих сбоев растет по мере повышения возможностей систем».
Указывая на недавнюю утечку данных из систем Hugging Face агентами OpenAI, а также на продолжающиеся разоблачения о том, что OpenAI обнаруживает все больше неконтролируемых агентов, Робинсон утверждал: «Среда, в которой могут происходить подобные вещи, не подходит для выращивания искусственных разумов, которые могут превзойти нас по интеллекту и могут не делать того, чего мы от них хотим».
Учитывая возросший риск, Робинсон утверждал, что передовые ИИ-компании должны начать работать «как атомные электростанции или оживленные аэропорты, с уровнями резервирования и тщательным, трудоемким планированием, чтобы случайная и неизбежная человеческая ошибка не открывала дверь к катастрофе».
Однако Робинсон отметил, что за время своей работы в OpenAI он «никогда не встречал коллег, имевших опыт безопасного пилотирования самолетов, безаварийной работы ядерных реакторов или помощи финансовой системе в росте без коллапса».
В ответ на эссе Робинсона представитель OpenAI Дрю Пусатери заявил, что компания продолжает совершенствовать свои меры безопасности.
«Мы гарантируем, что наши модели не станут более мощными, чем мы можем безопасно управлять и обеспечивать их безопасность, и мы приостанавливаем обучение или откладываем выпуск моделей, когда нам нужно замедлиться», — заявил Пусатери. «Мы вносим существенные изменения для усиления безопасности в наших исследовательских и тестовых средах, обучаем модели не только выполнять задачи, но и делать это ответственно, расширяем нашу работу с внешними оценщиками и улучшаем мониторинг в реальном времени, чтобы мы могли обнаруживать и реагировать на тревожное поведение на более ранних этапах процесса обучения».
Помимо призывов к изменениям в культуре OpenAI, Робинсон также заявил, что пора задать более глобальные вопросы о согласовании (alignment) — то, что он признал, может звучать «сентиментально», но, по его словам, это критически важно, поскольку текущие «меры того, насколько хорошо» ИИ-системы «соответствуют человеческим ценностям, являются грубыми».
«Чем больше индустрия позволяет моделям развиваться, пока эти проблемы остаются нерешенными, тем опаснее становится наша ситуация», — сказал он.
Об уходе Робинсона первым сообщило издание Business Insider. В своем эссе он также признал, что следует, по-видимому, распространенному шагу в «исследовательском репертуаре» об ИИ: он нанял PR-агентство. Но он настаивал: «Решение высказаться — это мое личное решение».
«Возможно, мне следовало остаться и бороться за фундаментальные изменения в нашем кадровом составе и культуре, но на практике мы с коллегами так усердно работали, что редко имели возможность обдумать серьезные изменения, не говоря уже о том, чтобы их осуществить», — сказал Робинсон. «Вот почему я пришел к выводу, что более сильные стимулы для безопасности, исходящие извне компании, являются важной частью решения этой проблемы».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Anthony Ha
