На прошлой неделе генеральный директор Anthropic Дарио Амодеи призвал ведущие ИИ-лаборатории «сбавить темп развития», и его призывы к осторожности нашли отклик у других влиятельных фигур в сфере технологий. Сэм Альтман и Илон Маск согласились с оценкой Амодеи о том, что пауза в развитии ИИ необходима для предотвращения вымирания человечества. Амодеи перечислил несколько потенциальных катастроф, которые могут возникнуть в результате неконтролируемого развития ИИ, включая усиление биотерроризма и угроз кибербезопасности, потерю контроля над критически важными системами ИИ, а также значительные финансовые и экономические последствия.
Хотя эти сценарии действительно находятся в пределах возможного, вскоре наметились противоборствующие стороны. Помимо публичной поддержки со стороны Альтмана и Маска, позиция Амодеи получила дополнительное подтверждение в связи с отставкой бывшего исследователя Anthropic Джейкоба Коксона, чье сообщение в социальных сетях с обвинением Anthropic (и OpenAI) в безответственности быстро стало вирусным. Через несколько дней бывший исследователь безопасности DeepMind Джош Энгельс ушел со своей должности, сославшись на аналогичные опасения по поводу безопасности, связанные с якобы безрассудным стремлением передовых лабораторий к созданию сверхинтеллекта.
Несмотря на широкую обеспокоенность негативным потенциалом ИИ-технологий, многие лидеры в области кибербезопасности расходятся во мнениях относительно масштаба этих угроз и способов их смягчения. Амодеи не помог своим аргументам, приведя невыполнимый пример роя ИИ-агентов, «способных захватить весь интернет с помощью устойчивой ботсети», чтобы проиллюстрировать свои опасения. Проблема, однако, заключается в том, что, хотя пример Амодеи может быть фантастическим, существуют законные причины для беспокойства, которые затмеваются дискуссиями о регуляторном захвате и вопросами о приверженности передовых лабораторий ответственному развитию ИИ.
Ни одна другая современная технология не вызывает такого катастрофического сенсационализма, как ИИ. Возможно, это связано с тем, что мы годами смотрели, как герои боевиков сражаются со зловещим машинным интеллектом, подобным Скайнету из франшизы «Терминатор» — сравнение, которое сам Коксон сделал в интервью CBS News, — но большинство страхов, связанных с ИИ, сопротивляются рациональности. Существуют веские аргументы в пользу взвешенного, скоординированного развития ИИ-технологий, но меньше объяснений того, почему передовые лаборатории, такие как Anthropic, приветствовали бы и даже приглашали бы усиленный регуляторный надзор, который стал бы подарком для конкурирующих компаний и государств, разрабатывающих собственные ИИ-технологии, например, Китая.
Коллективный надзор, к которому призвал Амодеи в своем эссе, является в первую очередь геополитической, а не технической проблемой. Это также почти невероятно маловероятно. Президент Трамп отверг призывы Амодеи к усилению надзора как часть «больного заговора», который принесет пользу только Китаю, и заявил, что США уже обладают «огромной уголовной и регуляторной властью над этими компаниями». Объявление Трампа последовало вскоре после того, как Чэнь Исинь, министр государственной безопасности Китая, сделал необычное публичное предупреждение о рисках для информационной инфраструктуры Китая, исходящих от передовых моделей, и призвал к созданию совместных рамок предотвращения рисков и скоординированному глобальному управлению ИИ-технологиями.
Хотя эссе Амодеи было встречено скептицизмом в сообществе специалистов по безопасности, оно вновь подняло вопросы о приверженности передовых лабораторий кибербезопасности как операционному принципу. Задача как для разработчиков ИИ, так и для отраслевых регуляторов заключается в согласовании того, как именно замедлить темпы развития ИИ, не уступая критически важные экономические преимущества и преимущества национальной безопасности. В какой степени бремя таких мер ляжет на частный бизнес по сравнению с государственными или правительственными структурами? Как будут участвовать поставщики инфраструктуры и безопасности, такие как AWS, Cloudflare или CrowdStrike? Кто заплатит за такое дорогостоящее глобальное предприятие? Даже если бы каждая передовая лаборатория согласилась и выполнила призыв Амодеи к паузе, как будут регулироваться технологии с открытым исходным кодом?
Ни на один из этих вопросов нельзя ответить, пока мы, как отрасль, не согласимся с наиболее вероятными, ощутимыми угрозами, исходящими от быстрого развития ИИ, вместо невозможных вымышленных сценариев, и не будем рассматривать серьезные инциденты в области кибербезопасности как инженерные сбои, а не как PR-возможности. Это требует от нас признания значительного разрыва между негативным потенциалом ИИ-технологий и реальностью рисков, с которыми сталкиваются организации сегодня. Среди наиболее насущных рисков — развертывание непроверенных агентивных технологий в производственных средах без адекватного тестирования, а не легионы злонамеренных ИИ-агентов, стремящихся уничтожить весь интернет.
Слишком многие организации лихорадочно внедряют ИИ в свои сети в надежде получить преимущество в постоянно эскалации гонке вооружений между атакующими и защитниками. Эта срочность понятна, хотя и ошибочна; каждый сенсационный заголовок о выходе из-под контроля вышедших из-под контроля моделей создает дополнительное давление на руководителей служб безопасности, заставляя их смягчать последствия угроз, которых никогда раньше не видели, с помощью инструментов, которые остаются в значительной степени недоказанными. Но срочность не является оправданием для небрежности, а ставки не могут быть выше.
Как показали недавние громкие инциденты, такие как OAI-HF, руководители служб безопасности не могут полагаться на то, что передовые лаборатории внедрят адекватные меры защиты в свои модели. ИИ-технологии могут — и все чаще должны — играть роль в ответственной оборонной работе, но только при условии надлежащего тестирования. Агентивное поведение должно быть проверено перед развертыванием в производственной среде, и крайне важно, чтобы руководители служб безопасности точно знали, как их операторы работают совместно с агентивными решениями в условиях высокого давления.
Исследователи, разработчики и политики должны признать значительный потенциал вреда, исходящий от агентивного ИИ, не антропоморфизируя программное обеспечение и не поддаваясь фантастическим гипотезам о событиях вымирания. Поскольку агентивный ИИ становится все более распространенным, кажется неизбежным, что потребуется более пристальный надзор в той или иной форме, но темпы развития, к которым призвал Амодеи, кажутся значительно менее вероятными. Настоящий вопрос заключается в том, будет ли регуляторный надзор наложен на ИИ-индустрию, или передовым лабораториям будет доверено контролировать свои собственные модели. Если инцидент с OAI-HF является каким-либо показателем, я подозреваю, что нам не придется долго ждать, чтобы узнать ответ.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Lee Rossey
