OpenAI объявила о планах приобрести стартап Promptfoo, занимающийся тестированием ИИ. Этот шаг направлен на усиление проверок безопасности для ИИ-агентов, поскольку предприятия переходят к развертыванию автономных систем в рабочих процессах.
Инструменты Promptfoo позволяют разработчикам проверять приложения на основе больших языковых моделей (LLM) на устойчивость к враждебным промптам, включая попытки внедрения промптов (prompt injection) и обхода ограничений (jailbreak), а также оценивать, соответствуют ли модели руководящим принципам безопасности и надежности.
В заявлении OpenAI сообщила, что технология Promptfoo будет интегрирована в OpenAI Frontier — платформу компании для создания и эксплуатации ИИ-коллег.
OpenAI добавила, что команда Promptfoo разработала инструменты, которыми пользуются более 25% компаний из списка Fortune 500, включая интерфейс командной строки с открытым исходным кодом и библиотеку, предназначенную для оценки и проведения “красного” тестирования (red-team) приложений на базе больших языковых моделей. OpenAI планирует продолжать развитие проекта с открытым исходным кодом, одновременно расширяя корпоративные возможности в рамках своей платформы Frontier.
Аналитики считают, что приобретение отражает более широкий переломный момент в развертывании ИИ-агентов: предприятия смещают фокус с чистых возможностей моделей на создание безопасных и управляемых ИИ-систем.
Отраслевые исследования подтверждают эти опасения. Исследование IDC 2025 Asia/Pacific Security Study показало, что среди главных проблем организаций — фишинговые атаки и атаки с выдачей себя за других, усиленные ИИ, такие как дипфейки и клонирование голоса, программы-вымогатели на базе ИИ, а также внедрение промптов или манипуляции моделями LLM.
Дополнительные риски включают автоматизированное создание вредоносного ПО с использованием ИИ, атаки на бизнес-логику, управляемые ИИ, и кампании по дезинформации, а также отравление моделей во время обучения, — отметила Сакши Гровер (Sakshi Grover), старший менеджер по исследованиям в области кибербезопасности IDC Asia Pacific.
«Это отражает то, что предприятия рассматривают ИИ не только как инструмент повышения производительности, но и как расширяющуюся поверхность атаки», — сказала Гровер. «В этом контексте способность систематически тестировать ИИ-системы на наличие уязвимостей, таких как внедрение промптов, утечка данных и небезопасное поведение модели, становится необходимой».
Тестирование ИИ становится базовым требованием
LLM создают новые типы уязвимостей, которые традиционные инструменты тестирования приложений не были предназначены для обнаружения. Компании, переносящие проекты генеративного ИИ из пилотных стадий в производство, все чаще вынуждены рассматривать инструменты оценки и “красного” тестирования как основную часть своих конвейеров разработки ИИ.
«Инструменты для “красного” тестирования, управления и оценки становятся новым стандартом», — заявил Нил Шах (Neil Shah), вице-президент по исследованиям в Counterpoint Research. «Безопасность должна быть многоуровневой: сначала интегрироваться на этапе разработки для симуляции уязвимостей, а затем — во время мониторинга в реальном времени и выполнения промптов».
По словам Кейта Прабху (Keith Prabhu), основателя и генерального директора Confidis, многие организации теперь внедряют методы тестирования ИИ, аналогичные традиционным процессам безопасности приложений.
«Этот подход “сдвига влево” (shift-left) широко используется сегодня для тестирования безопасности приложений», — сказал Прабху. «Этот проверенный подход помог повысить безопасность конечного результата. Логично, что модели и инструменты ИИ также последуют аналогичному подходу “сдвига влево” в тестировании».
Системные интеграторы и поставщики управляемых услуг безопасности также все чаще включают инструменты тестирования ИИ в свои предложения, особенно по мере того, как организации начинают развертывать центры операций безопасности с поддержкой ИИ.
«В автономных средах SOC, где ИИ-системы могут выполнять первичную сортировку оповещений, генерировать ответы или запускать сценарии (playbooks), непрерывная оценка поведения модели имеет решающее значение для предотвращения неправомерного использования или операционных сбоев», — отметила Гровер. «Предприятия все чаще встраивают платформы оценки ИИ в рабочие процессы DevSecOps, чтобы модели, промпты и поведение агентов можно было непрерывно тестировать до и после развертывания».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Prasanth Aby Thomas
