Компания Anthropic призывает к одностороннему замедлению разработки новых моделей ИИ до тех пор, пока не будут внедрены надежные меры безопасности, хотя и с некоторыми оговорками.
В записи в блоге, опубликованной в четверг, компания привела собственные внутренние данные как свидетельство того, что современные системы ИИ приближаются к точке «рекурсивного самосовершенствования» — то есть способности улучшать свои возможности без участия человека. «ИИ, способный создавать себя сам, станет важнейшим событием в истории технологий — событием, которое может принести огромную пользу миру в науке, здравоохранении и за их пределами», — говорится в сообщении, написанном соучредителем компании Джеком Кларком и руководителем Института Anthropic Мариной Фаваро. «Однако полное рекурсивное самосовершенствование также может увеличить риск того, что люди потеряют контроль над системами ИИ».
Далее в сообщении предполагается, что лучший способ избежать подобных рисков — это всемирная пауза, аналогичная договорам времен Холодной войны о разоружении и нераспространении, в рамках которых такие страны, как США и Россия, согласились ограничить свои ядерные арсеналы, чтобы избежать того, что стало известно как Взаимное гарантированное уничтожение (MAD). «Если бы можно было эффективно замедлить развитие этой технологии, чтобы дать нам больше времени для решения ее огромных последствий, мы считаем, что это, вероятно, было бы хорошим делом», — написали авторы.
Если все это кажется знакомым, вы не галлюцинируете. Еще в начале 2023 года некоммерческая организация Future of Life Institute опубликовала открытое письмо с призывом ко всем передовым лабораториям ИИ ввести шестимесячную паузу в разработке мощных новых моделей. Его подписали Илон Маск, пионер исследований в области ИИ Йошуа Бенжио, соучредитель Apple Стив Возняк и десятки тысяч других. Хотя это письмо и его блестящий список подписантов во многом способствовали началу публичной дискуссии о рисках индустрии ИИ, движимой слепой капиталистической логикой, никаких реальных политических мер для осуществления этой шестимесячной паузы принято не было. Всего через несколько месяцев после публикации Маск публично запустил собственный стартап в области ИИ, чтобы конкурировать с OpenAI, Anthropic, Google и другими крупными лабораториями.
Перекресток
Стоит отметить крайне осторожный язык, который Anthropic использует в своем блоге: Если бы это было возможно…мы считаем…вероятно…. Это звучит скорее как предложение, чем как полностью обдуманный призыв к действию. Возможно, это связано с перекрестком, на котором сейчас находится компания.
С момента своего основания Anthropic заняла позицию своего рода морального компаса для отрасли, единственного крупного игрока, который стремится создавать ИИ осторожно и, при необходимости, медленно, чтобы предотвратить сценарий неконтролируемого ИИ, которого давно опасались авторы научной фантастики, философы и многие руководители самих крупных лабораторий ИИ. Этот подход, ориентированный на безопасность, явно окупился. Хотя ее чат-боты Claude все еще отстают от ChatGPT от OpenAI по количеству загрузок приложений, ее инструменты стали чрезвычайно популярны среди веб-разработчиков и корпоративных клиентов, которые являются ключевыми демографическими группами для отрасли. Это один из главных факторов недавнего превосходства над OpenAI в качестве самой дорогой компании-стартапа в мире.
Но впереди также ожидается IPO, после которого она будет юридически обязана — как и все публичные компании — действовать в интересах своих акционеров. А по крайней мере на данном этапе бума ИИ замедление не рассматривается как выигрышная долгосрочная финансовая стратегия.
Критики аргумента о замедлении обычно утверждают, что, учитывая огромные финансовые и геополитические ставки в гонке ИИ, крайне маловероятно, что США, Китай и другие страны согласятся приостановить разработку, и даже если бы они согласились, такое прекращение было бы невозможно обеспечить. Что еще хуже, если бы разработчики из США договорились о паузе, это могло бы открыть двери для менее этически настроенных разработчиков в других местах, что было бы невыгодно для всех. Как Кларк и Фаваро отметили в своем сообщении: «если замедление просто позволит наименее осторожным игрокам наверстать упущенное в технологическом плане, это может сделать всех менее защищенными».
Чтобы быть эффективным, утверждают Кларк и Фаваро, замедление потребует не только одностороннего согласия разработчиков ИИ по всему миру, но и некоего глобального механизма, который мог бы проверить, что каждая лаборатория действительно приостановила разработку, и который бы подал сигнал тревоги, если бы эта пауза была нарушена.
Это порождает больше вопросов, чем дает ответов, поскольку неясно, как такая система надзора могла бы выглядеть на практике. Опять же, соглашения времен Холодной войны по ядерным вопросам могут служить грубым шаблоном, но это далеко не прямое соответствие. «Тренировочные запуски гораздо легче скрыть, чем шахты для ракет», — признается в сообщении. (Не следует также забывать, что, несмотря на послевоенные международные соглашения о нераспространении ядерного оружия, ядерные державы, такие как США, Китай и Россия, снова наращивают свои ядерные арсеналы.)
В новом сообщении в блоге отмечается, что в ближайшие месяцы Anthropic планирует встретиться с политиками, своими конкурентами в отрасли и другими заинтересованными сторонами для обсуждения этих проблем и, надеюсь, работы над созданием систем надзора, которые сделали бы глобальную паузу реально осуществимой. Опять же, возможно, с учетом своих будущих акционеров, компания дала то, что кажется половинчатым обязательством: «Если бы такие системы существовали, мы ожидаем, что мы бы замедлились или временно приостановили работу, если бы другие разработчики на передовой или близко к ней сделали то же самое проверяемым образом».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Webb Wright
