Стартап Vera Platforms, основанный исследователями Мичиганского университета, считает, что существует способ сделать ИИ-агентов достаточно надежными для выполнения задач DevOps.
DevOps, который фокусируется на развертывании и эксплуатации программного обеспечения, является особенно не прощающей ошибок областью. В то время как ИИ-агенты имеют некоторую свободу действий для исправления ошибок при генерации кода и работе с запросами, совершенно другое дело, когда они вносят изменения в реальную инфраструктуру, обрабатывающую рабочие нагрузки в производственной среде.
«Рабочая инфраструктура не прощает ошибок», — заявил Ан Чен, генеральный директор Vera Platforms и доцент Мичиганского университета, в интервью The Register. «Некорректное изменение может привести к сбою сервиса, открыть уязвимость в системе безопасности или привести к потере данных. Ошибки часто необратимы, и нет безопасного способа экспериментировать: запуск кода на производственной инфраструктуре только для того, чтобы посмотреть, что произойдет, не является вариантом».
В течение последних нескольких лет Чен и его коллеги работали над способом тестирования ИИ-агентов для DevOps и создали симулятор — среду моделирования — чтобы помочь ИИ-моделям улучшить свои навыки в задачах DevOps.
«На основе проведенных нами исследований мы выявили различные слабые стороны ведущих моделей», — сказал Чен. «Например, Claude от Anthropic, хотя и очень силен в генерации кода на Python, имеет фундаментальные ограничения, которые не позволяют ему правильно выполнять задачи DevOps».
В качестве примера Чен привел случай, когда они попросили Claude или Codex от OpenAI вывести из эксплуатации ресурсы в облаке AWS, но модели не учли регионы, отличные от стандартного.
«Стандартный регион — us-east-1», — пояснил он. «В AWS есть различные регионы, но Claude не осознает, что облачные ресурсы могут существовать в нескольких регионах, поэтому он вывел из эксплуатации только часть ресурса».
Основная причина, по его словам, заключается в том, что эти модели видели много общедоступного кода, но гораздо меньше операционных трассировок.
Vera Platforms стремится исправить ситуацию с помощью трех продуктов: vera-gym — среда для экспериментов, имитирующая производственную инфраструктуру; vera-bench — тест для измерения того, насколько хорошо ИИ-агенты справляются с задачами DevOps; и vera-agents — ИИ-агенты, обученные в vera-gym и готовые к развертыванию для задач DevOps.
Представленный тест CloudOpsBench основан на работе, выполненной в 2024 году и представленной на NeurIPS. По словам Чена, Claude и Codex показывают лишь около 50% успешных прохождений. «Это очень, очень сложный набор задач», — сказал он.
Тест охватывает такие задачи, как удаление выведенных из эксплуатации S3-бакетов, восстановление конвейера обработки событий соответствия требованиям и восстановление автоматического масштабирования записи DynamoDB. «Задачи разработаны старшими операторами инфраструктуры с многолетним опытом и прошли строгую экспертную оценку», — сказал Чен.
Преимущество этого бенчмарка заключается в том, что он не требует реального развертывания в облаке.
«У нас есть высокоточный симулятор, который имитирует поведение Amazon», — сказал Чен. «Таким образом, развертывание и производительность агента в реальном облаке и производительность агента в нашем эмуляторе абсолютно идентичны. Для каждого API у нас есть это сравнение, и агент видит то же самое».
По словам Чена, vera-agents должны быть доступны в первом квартале 2027 года.
В своей академической работе исследователи описывают облачную инфраструктуру как «критически важную, но утомительную работу». Возможно, с дополнительным обучением ИИ-агенты смогут взять на себя эту работу и сделать ее менее напряженной. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Thomas Claburn
