В четверг в федеральном суде Окленда, штат Калифорния, бывший сотрудник и член совета директоров заявил, что усилия компании по выводу продуктов на базе ИИ на рынок скомпрометировали ее приверженность безопасности ИИ.
Роузи Кэмпбелл присоединилась к команде по готовности к AGI (общему искусственному интеллекту) в компании в 2021 году и покинула OpenAI в 2024 году после расформирования ее команды. В тот же период была закрыта еще одна команда, сфокусированная на безопасности, — Super Alignment team.
«Когда я пришла, основное внимание уделялось исследованиям, и было обычным делом говорить о AGI и проблемах безопасности», — дала она показания. «Со временем организация стала больше ориентироваться на продукт».
В ходе перекрестного допроса Кэмпбелл признала, что значительное финансирование, вероятно, было необходимо для достижения цели лаборатории по созданию AGI, но заявила, что создание суперинтеллектуальной компьютерной модели без надлежащих мер безопасности не соответствовало бы миссии организации, к которой она изначально присоединилась.
Кэмпбелл указала на инцидент, когда Microsoft развернула версию модели GPT-4 компании в Индии через свою поисковую систему Bing до того, как модель была оценена Советом по безопасности развертывания (DSB) компании. Сама модель не представляла огромного риска, сказала она, но компании необходимо было «установить строгие прецеденты по мере того, как технология становится мощнее. Мы хотим иметь надежные процессы обеспечения безопасности, которые, как мы знаем, соблюдаются».
Юристы OpenAI также заставили Кэмпбелл признать, что, по ее «предположительному мнению», подход OpenAI к безопасности превосходит подход xAI — компании в области ИИ, основанной Маском, которую SpaceX приобрела ранее в этом году.
OpenAI публикует оценки своих моделей и делится системой обеспечения безопасности публично, но компания отказалась комментировать свой текущий подход к согласованию AGI. Дилан Скандинаро, ее нынешний руководитель по готовности, был нанят из Anthropic в феврале. Альтман заявил, что этот найм позволит ему «лучше спать по ночам».
Однако развертывание GPT-4 в Индии стало одним из тревожных сигналов, которые привели к временному увольнению генерального директора Сэма Альтмана в 2023 году некоммерческим советом OpenAI. Этот инцидент произошел после того, как сотрудники, включая тогдашнего главного научного сотрудника Илью Суцкевера и тогдашнего технического директора Миру Мурати, пожаловались на стиль управления Альтмана, избегающий конфликтов. Таша Макколи, в то время член совета директоров, дала показания о беспокойстве по поводу того, что Альтман был недостаточно откровенен с советом для функционирования его необычной структуры.
Макколи также рассказала о широко освещавшемсяшаблоне введения Альтманом совета в заблуждение. В частности, Альтман солгал другому члену совета о намерении Макколи убрать Хелен Тонер, третьего члена совета, которая опубликовала технический документ, содержащий некоторую подразумеваемую критику политики безопасности OpenAI. Альтман также не проинформировал совет о решении выпустить ChatGPT публично, и члены выражали обеспокоенность его недостаточным раскрытием потенциальных конфликтов интересов.
«Мы — некоммерческий совет, и наша задача заключалась в том, чтобы иметь возможность контролировать коммерческую структуру под нами», — сказала Макколи суду. «Наш основной способ сделать это подвергался сомнению. У нас не было высокой степени уверенности в том, что информация, передаваемая нам, позволяла нам принимать решения, основываясь на информированности».
Однако решение об отстранении Альтмана совпало с офертой о покупке акций (tender offer) сотрудникам компании. Макколи заявила, что когда сотрудники OpenAI начали поддерживать Альтмана, а Microsoft работала над восстановлением статус-кво, совет в конечном итоге изменил курс, а члены, выступавшие против Альтмана, ушли в отставку.
Очевидный провал некоммерческого совета во влиянии на коммерческую организацию напрямую подтверждает иск Маска о том, что трансформация OpenAI из исследовательской организации в одну из крупнейших частных компаний в мире нарушила негласное соглашение основателей организации.
Дэвид Шицер, бывший декан юридического факультета Колумбийского университета, которому команда Маска платит за выступление в качестве эксперта-свидетеля, повторил опасения Макколи.
«OpenAI подчеркивает, что ключевой частью их миссии является безопасность, и они будут ставить безопасность выше прибыли», — сказал Шицер. «Часть этого заключается в серьезном отношении к правилам безопасности: если что-то должно пройти проверку безопасности, это должно произойти. Важен вопрос процесса».
Поскольку ИИ уже глубоко интегрирован в коммерческие компании, проблема выходит далеко за рамки одной лаборатории. Макколи заявила, что сбои во внутреннем управлении в OpenAI должны стать причиной для принятия более строгого государственного регулирования передового ИИ — «[если] все сводится к решениям одного генерального директора, а на кону общественное благо, это крайне неоптимально».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tim Fernholz
