Похоже, в документах содержится предупреждение о том, что компания находится на пороге создания модели, способной к рекурсивному самосовершенствованию (RSI).
RSI — это точка, в которой ИИ становится настолько хорош в самообучении, что вызывает резкое ускорение его возможностей. Для скептиков ИИ RSI представляет собой необратимый катаклизм, в котором ИИ становится настолько мощным, что выходит из-под контроля человека и может быть безразличен к ущербу, который он причиняет при достижении своих целей.
Для энтузиастов ИИ RSI, или некая версия надежного самосовершенствования ИИ, представляет собой обещание технологии, где она становится инструментом невообразимой производительности, научных открытий и многого другого.
Anthropic, похоже, считает, что RSI является одновременно обещанием и опасностью. В документе S-1 компания заявляет, что использует ИИ в своих исследованиях и разработках, но предостерегает: «Использование ИИ для создания более совершенного ИИ также может представлять значительный риск безопасности, особенно если оно резко ускорит темпы прогресса. Это одна из областей, охватываемых нашей Политикой ответственного масштабирования, которая излагает наши планы по мониторингу и смягчению рисков по мере приближения к тому, что получило название «рекурсивное самосовершенствование»».
Когда термин RSI стал популярным в начале этого года, многие считали его модным словечком или, в лучшем случае, слишком сложной для достижения, определения или доказательства целью.
Однако в понедельник Anthropic добавила новые заявления в раздел «Факторы риска», заявив, что 1) она уже использовала ИИ для разработки новых моделей, скачки в возможностях которых она не распознала в то время, и 2) она может вскоре достичь своего собственного внутреннего определения RSI (выделено нами жирным шрифтом ниже):
Кроме того, наше растущее использование систем ИИ для ускорения наших собственных исследований и разработок может привести к тому, что возможности наших моделей будут развиваться быстрее, чем наша способность разрабатывать, проверять и внедрять соответствующие меры безопасности, согласованности и защиты. В результате мы в прошлом не выявляли, и в будущем можем не выявлять, значительного ускорения темпов нашего развития до того, как оно произошло.
Например, наши внутренние оценки и ожидания в отношении будущих моделей, а не текущих моделей, указывают на то, что мы можем в ближайшее время достичь определения «драматически ускоренного прогресса, обусловленного ИИ» согласно нашей Политике ответственного масштабирования. Мы не определили ни одну из наших текущих моделей как превышающую этот порог и продолжаем оценивать исходные данные.
Однако Anthropic также заявила в документах, что ни одна из ее моделей еще не пересекла этот порог RSI, и что компания обязуется сохранять человеческий контроль в процессе исследований и разработок в обозримом будущем. «Мы не ожидаем, что сможем безопасно использовать Claude для полностью автономного проектирования и создания последующих поколений передовых моделей без значительного человеческого надзора или понимания, если и когда это станет технически возможно. Соответственно, мы рассматриваем обновления нашей Политики ответственного масштабирования, чтобы сохранить контроль человека над разработкой передовых моделей в Anthropic».
Скептики могут указать, что S-1 функционирует как раскрытие информации и маркетинг, и что заявления о близости к созданию настолько мощной модели, что она может создавать саму себя, могут относиться к последней категории.
Тем не менее, нет никаких сомнений в том, что возможности Claude, особенно в области программирования, математики и кибербезопасности, значительно выросли в этом году. Если Anthropic считает, что возможность RSI близка, возможно, нам стоит поверить ей и действовать — возможно, регулировать — соответственно.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Julie Bort
