Попытки оценить производительность агентов, выполняющих сложные задачи, показывают, что они, как правило, недостаточно надежны для работы без пристального надзора. LiveBench 2.0 демонстрирует, что Claude Fable 5.2 и ChatGPT-6 Astra успешно справляются с 82,9 и 75,6 задачами из 100 соответственно, а исследование компании EON, специализирующейся на ИИ-инфраструктуре, по тестированию агентов в симулированной корпоративной среде выявило, что наиболее успешная протестированная модель, Claude Opus 4.8, выполняла задачи с точностью 76,8%.
Теперь стартап Plurai намерен повысить эти показатели, используя те же методы, которые позволили вывести на дороги беспилотные автомобили: симуляции с использованием синтетических данных, основанных на собственных цифровых системах компании, предназначенные для подготовки моделей к решению сложных пограничных случаев.
Соучредители Илан Кадар и Элад Леви ранее работали в Nexar, компании, разрабатывающей технологии автономного вождения. Кадар сотрудничал с Waymo в области моделирования и оценки их комплексного программного обеспечения для глубокого обучения вождению.
«В тот момент, когда мы увидели волну ИИ-агентов, мы увидели ту же закономерность: очень легко создать демоверсию, но [сложно] получить что-то надежное и экономически эффективное», — сказал Кадар TechCrunch. «Поскольку мы увидели ту же закономерность, то же предложение заключалось в том, что мы хотим создать этот слой симуляции».
В среду стартап объявил о привлечении 13 миллионов долларов начального финансирования для реализации этой цели. Раунд возглавила компания Team8 при участии U&I, Velocity и Mercer.
Подобно комплексным моделям, обученным для управления автомобилями, ИИ-агенты являются вероятностными системами, действующими в непредсказуемых средах. При давлении со стороны клиентов агенты, которым поручено бронирование поездок, могут игнорировать политики расходов. Или, когда агенту поручено выполнить запрос к одной базе данных, он может надежно предоставить ответ, но объединение информации из нескольких наборов данных, как правило, затрудняет работу. Длительный разговор с ботом службы поддержки клиентов может перегрузить агента избыточным контекстом и привести к неверным действиям.
Чтобы исправить это, Plurai создает цифровой двойник электронных систем компании, включая базу знаний и инструменты, к которым агент будет иметь доступ в производственной среде. Затем он отображает все возможные потоки агентов и использует этот граф для подготовки модели с оценками и исправлениями для возможных пограничных случаев. Платформа работает совместно с существующими инструментами для агентов, такими как Claude Code, Codex, Copilot и Cursor.
Однако, по словам Кадара, настоящее преимущество компании заключается в использовании собранных данных для последующего обучения небольших моделей с открытым весом, адаптированных к индивидуальным потребностям клиентов. Тесты, проведенные в сотрудничестве с Nvidia и Nebius, показали, что модели компании превосходят по производительности среднеуровневые передовые модели при более низких затратах.
«Мы можем взять большую языковую модель, взять задачу, разбить ее на более мелкие задачи с помощью симуляции, обучить [модель с открытым весом] и, используя симуляцию, проверить, что качество выше или сопоставимо с передовой моделью, и добиться снижения затрат на один или два порядка», — сказал он.
Риа Мияра, исследователь Google DeepMind, которая поддержала Plurai в качестве ангельского инвестора, заявила, что преимущество компании заключается в понимании режимов сбоев в производственной среде и генерации синтетических данных для настройки моделей. Поскольку компании пытаются оптимизировать свои расходы на ИИ, подход Plurai может оказаться реальным преимуществом, поскольку ИТ-руководители видят, что «модели, способные работать на передовом уровне, находятся вне распределения моих конкретных данных, и стоимость этих вещей не является устойчивой в долгосрочной перспективе», — сказала Мияра.
Plurai надеется, что аналогии между ИИ-агентами в физической и цифровой средах окажутся прогностическими: в то время как мощные универсальные ИИ-модели наделяют роботов увлекательными возможностями, они еще недостаточно надежны для широкого развертывания. Тем временем роботы, работающие на ИИ-моделях, созданных для конкретных задач, уже работают с клиентами и собирают ценные данные из реального мира.
«Я считаю, что независимо от того, насколько умными будут модели OpenAI и Anthropic — а они будут намного умнее — они не будут знать ваш бизнес и вашу политику», — сказал Кадар.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tim Fernholz
