Генеральный директор Microsoft Сатья Наделла считает, что простые стратегии, такие как использование ИИ (также известного как сверхинтеллект) для самоконтроля, недостаточны в растущую эпоху ИИ-агентов. В своем подробном посте в X глава Microsoft заявил, что передовые закрытые и открытые модели следует рассматривать как внутренних корпоративных и операционных инсайдеров из-за рисков, связанных с их доступом к важным системам.

Наделла: Прозрачность цепочки рассуждений недостаточна для безопасности сверхинтеллекта

Генеральный директор Microsoft, ранее сообщавший, что активно использует ИИ-агентов для оценки прибыльности и рентабельности, обсудил риски, связанные с системами сверхинтеллекта, по мере получения ими доступа и контроля над ключевыми корпоративными функциями. В своем посте в социальной сети X он признал, что, хотя ИИ-модели не являются детерминированными в своей работе, они развертываются «с доступом к нашим наиболее конфиденциальным данным и с возможностью совершать критически важные действия от нашего имени!»

Поскольку эти модели теперь функционируют как инсайдеры, Наделла считает простые меры предосторожности недостаточными. Эти меры включают использование систем ИИ для оценки других систем ИИ и опору на прозрачность цепочки рассуждений (COT) для понимания процесса генерации выходных данных.

ИИ-модели не являются детерминированными в том смысле, что они выдают разные результаты, даже если им предоставлен один и тот же набор входных данных несколько раз. COT — это процесс ИИ-модели, стоящий за ее «рассуждениями», который показывает, как она пришла к своим выходным данным.

Комментируя использование ИИ для оценки своих выходных данных, Наделла написал:

«Вы можете и должны использовать модели для враждебного тестирования и проверки друг друга. Однако в итоге вы можете получить непрозрачную модель внутри непрозрачного оркестрового слоя, наблюдаемую другой непрозрачной моделью. По сути, вложенные черные ящики».

Чтобы сделать сверхинтеллект ИИ более безопасным, Наделла считает, что недетерминированные модели должны быть окружены «сильным, детерминированным системным дизайном, человеческим контролем и надежными рабочими процедурами». По сути, он полагает, что программное обеспечение, непоследовательное в своих выходных данных, должно оцениваться надзирателями, которые последовательны в параметрах своей оценки.

Он считает, что прозрачность CoT и взаимная оценка моделей являются ступеньками к этому подходу. Поскольку функция ИИ-модели лишена наблюдаемости и непрозрачна, подход Наделлы основан на наблюдаемости.

Наделла: Наблюдаемость, изоляция и проверяемость — ключ к безопасности сверхинтеллекта

Среди семи принципов наблюдаемости, которые он излагает, три особенно важны. Один из таких принципов — изоляция, когда Наделла прямо признает, что следует исходить из предположения, что «модель скомпрометирована, и изолировать ее с самого начала». Следовательно, по его словам, «уполномоченное лицо всегда должно иметь возможность приостановить или отключить модель во время выполнения задачи».

Замечания генерального директора Microsoft прозвучали в критический момент для сверхинтеллекта ИИ. Сообщения о вышедших из-под контроля ИИ-агентах, действующих независимо, стали обычным явлением. Одно из первых таких сообщений появилось в июле после того, как ИИ-агенты OpenAI, численностью от 700 до 1200, скомпрометировали инфраструктуру компании Hugging Face, занимающейся вычислительными инструментами.

Наблюдаемость и независимая проверяемость — две другие важные темы. «Ни одна модель не должна контролировать как поведение системы, так и доказательства, необходимые для определения того, соответствует ли это поведение первоначальному намерению», — считает Наделла.

Доказательства, которые он обсуждает, исходят из наблюдаемости, которая, по его мнению, должна включать человека в процесс. Указывая на то, что ИИ-моделям нельзя доверять самим по себе, он отмечает, что «каждое значимое действие модели должно оставлять неизменяемые, читаемые человеком доказательства. Если это нельзя наблюдать, этому нельзя доверять!»

Поскольку ясность является для него обязательным условием, когда ИИ-инсайдеры несут ответственность за важные задачи, Наделла добавляет:

«Мы должны иметь возможность воспроизвести, как был достигнут результат, не полагаясь на модель для его подтверждения».

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.