В целом, вероятно, хорошо, что больше внимания уделяется созданию мер защиты и ограничений для разработки ИИ. Но, черт возьми, нам действительно нужно лучше говорить о реальных и возможных угрозах, прежде чем тратить время на теоретические.
Показательный пример: недавнее выступление исследователя OpenAI Ноама Брауна на подкасте Dwarkesh с Дваркешем Пателем. Браун много говорит о том, как ИИ-агенты могут общаться друг с другом и усиливать свои способности к решению проблем — или, как в случае с взломом Hugging Face, создавать проблемы.
Но ближе к концу беседы, обсуждая именно этот инцидент и то, как он оставался незамеченным OpenAI месяцами, Браун высказал ужасающую мысль о том, что ограничение моделей искусственного интеллекта устройствами, изолированными от сети (устройство, физически изолированное от незащищенных сетей), не будет достаточным, чтобы предотвратить их общение и потенциальное сотрудничество за спиной их человеческих хранителей.
«Можно даже сказать: «Ну, мы должны изолировать компьютеры от сети». И я не уверен, что этого будет достаточно», — сказал он. «Есть исследования, в основном академические, где два компьютера, находящиеся рядом друг с другом, изолированы от сети, но все еще могут общаться друг с другом, потому что у них есть датчики температуры. Один из них может сильно нагревать свой процессор, а другой может обнаружить изменение температуры, и это дает им механизм для связи».
OpenAI’s Noam Brown says air-gapping the computers may not stop a misaligned AI, because two air-gapped machines can still talk by running a CPU hot and reading the temperature change
“But I think the major takeaway from the incident is that people underestimated the AI. And we… https://t.co/HxIhk2PyRRpic.twitter.com/LNn1SchsGt
— Fireside Alpha (@firesidealpha) September 17, 2026
Страшно! И теоретически возможно! Похоже, Браун ссылается на статью 2015 года исследователей из Университета имени Бен-Гуриона в Израиле, которые разработали технику под названием BitWhisper, которая фактически позволяет двум изолированным от сети компьютерам общаться без какого-либо подключения к Интернету или других соединений.
Однако детали имеют значение, и как только вы углубитесь в то, как на самом деле работает BitWhisper, угроза становится гораздо менее серьезной. BitWhisper позволял двум изолированным компьютерам общаться друг с другом… со скоростью от 1 до 8 бит данных в час, при условии, что устройства находятся на расстоянии не более 40 сантиметров друг от друга. О, и компьютеры, отправляющие сообщения, уже были скомпрометированы вредоносным ПО, которое позволило осуществить связь.
Причина, по которой Браун поднимает этот вопрос, заключается в том, что мы не можем недооценивать возможности ИИ, и это справедливо. Это исследование было проведено до разработки передовых больших языковых моделей и до появления OpenAI; возможно, эти модели способны улучшить эти методы кодирования данных и передачи их новыми способами.
Но он также выдает себя, переключаясь на опасения в стиле научной фантастики сразу после раскрытия реальной проблемы: OpenAI не включила мониторинг цепочки рассуждений — технику, которая позволяет исследователям видеть пошаговое объяснение рассуждений и поведения модели на простом английском языке — для моделей, которые вышли из-под контроля и взломали сторонние сайты и платформы.
«Если бы у нас был включен мониторинг цепочки рассуждений для этих моделей, это немедленно бы все остановило», — сказал он. «Один из предпринятых нами шагов заключается в том, что мы будем использовать мониторинг цепочки рассуждений во время оценки, развертывания и обучения любой передовой модели».
Браун продолжил: «Мы не хотим оказаться в ситуации, когда мы полагаемся на один метод для предотвращения следующей проблемы, потому что методы могут потерпеть неудачу». И снова, это справедливо. Но это кажется довольно фундаментальным методом, который должен был быть реализован, не так ли?
Собственное исследование OpenAI за несколько месяцев до обнаружения взлома Hugging Face показало, что «мониторинг этих цепочек рассуждений на предмет ненадлежащего поведения может быть гораздо более эффективным, чем просто мониторинг действий и выходных данных модели», и призвало исследователей во всей отрасли «работать над сохранением возможности мониторинга цепочек рассуждений как можно дольше и определением, может ли он служить несущим слоем управления для будущих систем ИИ». Так почему же выключили их во время обучения собственных моделей?
Выход моделей ИИ из изолированной от сети среды и их репликация на автономных устройствах звучит ужасающе и, в самом широком смысле этого выражения, технически возможно. Это также не происходит сейчас. ИИ-агенты, сотрудничающие для взлома систем, происходят, и у них, по словам самого Брауна, был инструмент, который мог бы «немедленно все остановить», но они просто не использовали его.
Можем ли мы поставить галочку напротив этого пункта, прежде чем переходить к научной фантастике?
ЧИТАТЬ ДАЛЕЕ:
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – AJ Dellinger
