Лето «восставшего ИИ» подходит к концу, но понимание человечеством того, как контролировать эту технологию и предотвратить ее разрушительные последствия в будущем, все еще находится в зачаточном состоянии.
Таков основной посыл первого тематического брифинга Независимой международной научной группы ООН по искусственному интеллекту, опубликованного сегодня утром, когда мировые лидеры собрались в Нью-Йорке на Генеральную Ассамблею ООН.
Взломанная в июле платформа Hugging Face показала, что современные передовые ИИ-агенты, даже получив, казалось бы, безобидную задачу, могут устанавливать собственные опасные подцели, организовываться в иерархии и пытаться замести следы, чтобы скрыть несогласованное поведение от исследователей-людей. Поскольку будущие агенты, вероятно, будут еще более мощными и принимать решения способами, которые людям будет еще труднее отслеживать, любые меры предосторожности, которые технологическая индустрия может принять сегодня, вскоре устареют, согласно 40-членному Комитету. «Проще говоря, — говорится в пресс-релизе, сопровождающем новый доклад, — традиционная модель обеспечения безопасности разваливается».
Йошуа Бенжио, сопредседатель Комитета и один из так называемых «крестных отцов ИИ», ранее заявлял, что лучший подход к обеспечению безопасности будущих систем ИИ заключается в том, чтобы технологическая индустрия приняла «принцип предосторожности» — политику, соблюдаемую во многих других отраслях, которая гласит, что должны быть приняты все возможные меры для предотвращения вреда обществу, даже если наука еще не доказала, что продукт действительно опасен. Например, фармацевтические компании должны пройти строгий процесс клинических испытаний и получить одобрение Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США, прежде чем новое лекарство может быть назначено или продано без рецепта. Аналогичным образом, на прошлой неделе два эксперта предложили основу для того, как США и Китай могли бы сотрудничать для предотвращения ядерного обмена, спровоцированного ИИ, по образцу гарантий человеческого командования и контроля времен холодной войны.
Процесс клинических испытаний и аналогичные процедуры тестирования безопасности в других секторах могут послужить образцом для индустрии ИИ по мере разработки все более мощных систем, по словам Цинхуа Лу, исследователя в области безопасности ИИ и члена Комитета. «Мы не начинаем с нуля», — сказала она в своем заявлении. «Авиация, медицина и кибербезопасность научились управлять высокорисковыми системами посредством отчетности об инцидентах, независимой проверки и многоуровневых гарантий. Но этих практик может быть недостаточно, поскольку ИИ-агенты становятся более способными, автономными и трудными для мониторинга». Комитет также призвал к созданию юридически защищенных каналов для информаторов из компаний, занимающихся ИИ, использованию «мониторинга на основе ИИ» для обнаружения ненадлежащего поведения агентов, которое люди могут пропустить (хотя это создает свои собственные проблемы), и мер «экстренного вмешательства» — иными словами, быстрого и надежного способа для исследователей отключить систему или заблокировать ее доступ к определенным инструментам, если она выйдет из-под контроля.
На прошлой неделе Кремниевая долина взорвалась дебатами о возможности того, что несогласованный ИИ однажды (возможно, в следующем десятилетии) может уничтожить все человечество. Сценарии конца света, как правило, были расплывчатыми, но в целом сводились к идее, что будущие ИИ-агенты могут тайно взять под контроль критически важные системы из рук человека, при этом уверяя нас, что все в порядке. Недавние предупреждения также вызвали новую общественную дискуссию о безопасности ИИ, хотя многие из самых влиятельных руководителей Кремниевой долины годами открыто говорили, что эта технология может привести к вымиранию человечества.
По мнению Группы ООН, дебаты о «p(doom)» и о том, какой формы может принять апокалипсис, спровоцированный ИИ, упускают из виду более важный момент. «Хотя вероятность событий потери контроля остается неопределенной, и лучший ответ все еще обсуждается», — говорится в докладе, — «вывод очевиден: учитывая серьезность этих событий, управление рисками требует гораздо большего внимания и ресурсов».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Webb Wright
