Исследования в области искусственного интеллекта (ИИ) вступают в критическую фазу, по мнению ведущей фирмы по безопасности ИИ Anthropic, которая настоятельно призывает мировых игроков пересмотреть текущие темпы развития.
В недавней дискуссии по вопросам политики компания предупредила, что передовые системы ИИ могут вскоре достичь точки, когда они смогут автономно улучшать свои собственные возможности без контроля со стороны человека. Это развитие, если оно будет реализовано слишком быстро, может создать серьезные риски для глобальной стабильности, управления и безопасности.
Michael M. Santiago/Getty Images
Основная обеспокоенность, высказанная Anthropic, связана с ускоряющимся прогрессом передовых систем ИИ. Как заявлено в блоге компании, разработка движется быстрее, чем способность общества понимать, регулировать и безопасно интегрировать эти технологии.
Исследователи предупреждают, что без вмешательства отрасль может пересечь порог, за которым системы ИИ обретут способность итеративно совершенствовать себя.
Ключевым понятием в дискуссии является «рекурсивное самосовершенствование» (recursive self-improvement) — сценарий, при котором системы ИИ улучшают собственную архитектуру, код или производительность без прямого участия человека.
По данным The Wall Street Journal, исследователи Anthropic предполагают, что ранние формы этой способности могут проявиться в течение нескольких лет, если текущие тенденции сохранятся.
Хотя это пока теоретически, компания предупреждает, что даже частичное самосовершенствование может привести к непредсказуемым последствиям, особенно если механизмы безопасности окажутся недостаточно зрелыми, чтобы идти в ногу с этим процессом.
Обеспокоенность носит не только технический, но и общественный характер. Если системы ИИ начнут самостоятельно дорабатывать свой дизайн, это может ускорить рост их возможностей за пределы регуляторного надзора, что затруднит эффективное реагирование правительств и институтов.
Призыв к глобальной паузе в развитии ИИ
Для устранения этих рисков Anthropic предложила глобально скоординированное замедление или временную паузу в разработке самых передовых моделей ИИ.
Компания сравнивает эту идею с историческими соглашениями по контролю над вооружениями, предполагая, что международное сотрудничество может помочь предотвратить бесконтрольную эскалацию. Однако она также признает сложности обеспечения соблюдения такой паузы, особенно учитывая, что разработка ИИ может вестись в частной инфраструктуре и в юрисдикциях разных стран.
Для достижения сколь-нибудь значимого эффекта крупные державы в области ИИ, включая Соединенные Штаты и Китай, должны будут участвовать в установлении общих стандартов безопасности и ограничений на разработку.
Без глобального согласования конкурентное давление может продолжать стимулировать быстрое развитие, несмотря на опасения по поводу рисков.
Дебаты в отрасли и противодействие
Критики утверждают, что замедление прогресса в области ИИ может снизить инновации, отсрочить экономические выгоды и ослабить глобальную конкурентоспособность.
В быстро меняющихся отраслях даже временные паузы могут привести к смене лидеров и перераспределению инвестиционных потоков.
Другие считают это предложение непрактичным, отмечая, что механизмы контроля за разработкой ИИ гораздо сложнее тех, что использовались в традиционном контроле над вооружениями.
Поскольку модели ИИ могут обучаться в распределенных средах, обеспечение соблюдения потребует беспрецедентного уровня международной прозрачности.
В то же время некоторые аналитики полагают, что призывы к осторожности могут отражать стратегическое позиционирование самой индустрии ИИ.
Баланс между инновациями и регулированием в разработке ИИ
Несмотря на противоречия, Anthropic продолжает выступать за структурированный глобальный диалог по управлению ИИ. Компания подчеркивает, что инновации и безопасность не обязательно должны исключать друг друга, но они должны развиваться параллельно.
Эксперты утверждают, что задача состоит в поиске баланса между содействием технологическому прогрессу и предотвращением непреднамеренных последствий. Это включает укрепление исследований в области согласования целей (alignment research), улучшение стандартов прозрачности и создание международных рамок, которые смогут адаптироваться по мере развития возможностей ИИ.
Критический момент для управления ИИ
Дебаты вокруг рекурсивного самосовершенствования и безопасности передовых систем ИИ подчеркивают поворотный момент в технологическом развитии.
Когда системы ИИ становятся более мощными, вопрос заключается не только в том, что они могут делать, но и в том, насколько быстро им следует позволять развиваться.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Glanze Patrick
