Компания UniPat AI представила Science Prediction Universe (SPU) — эталонный тест, в котором агентам ИИ предлагается предсказать результаты реальных лабораторных экспериментов до получения данных. По данным компании, лучшие из 13 протестированных конфигураций агентов показали средний результат ниже 0,5 по шкале, где идеальное предсказание оценивается в 1 балл, а случайное угадывание — в 0.

SPU включает 116 задач, охватывающих 4207 экспериментов в области химии, материаловедения, биологии и медицины, проведенных в мокрых лабораториях. Согласно UniPat AI, 100 общедоступных задач были составлены на основе 85 статей, опубликованных в 11 журналах Nature Portfolio в период с января 2025 по август 2026 года. Еще 16 закрытых задач основаны на неопубликованных экспериментах, проведенных с партнерскими лабораториями по нанотелам VHH, условиям реакций, электролитам и вариантам антитела Magrolimab. Закрытые задачи не публикуются.

Каждая задача фиксирует кандидатов, материалы, условия и метод измерения реального эксперимента. Агент получает восемь часов в контейнере с 8 ядрами ЦП, 16 ГБ ОЗУ и одним графическим процессором NVIDIA H20. Он может искать в Интернете и устанавливать научное программное обеспечение, после чего должен ранжировать кандидатов по измеренному результату. Отдельный офлайн-контейнер оценивает ранжирование с использованием корреляции Спирмена, а выходные данные инструментов проверяются на наличие идентификаторов исходных статей, чтобы ограничить поиск ответов.

Первый раунд охватил 12 передовых моделей в 13 конфигурациях. UniPat AI сообщает, что Claude Opus 5.5 показал наивысшее среднее значение — 0,486, хотя большинство его запусков завершились отказом по соображениям безопасности, и он был оценен по меньшему количеству задач. В различных конфигурациях только 34–52% задач превзошли пороговое значение случайности. Компания относит шесть конфигураций к ведущему уровню, который показывает примерно на 0,15 балла выше остальных по тем же задачам.

Анализ указывает на то, что узким местом является суждение, а не использование инструментов. В статье агенты гораздо чаще соглашались друг с другом, чем с экспериментальной реальностью: 0,52 против 0,33. Другие выводы включают:

• Увеличение вычислительных усилий GPT-6 Astra с среднего до максимального увеличило медианное время выполнения в 4,8 раза и стоимость API в 5,3 раза, практически не изменив оценку.
• Для одного набора электролитов ранжирование ионной проводимости показало от 0,89 до 0,95, в то время как ранжирование электрохимического окна составило от -0,55 до 0,07.
• Успешные вычисления на ГП были выполнены всего 255 раз, что составляет менее одной пятой всех запусков.

Консультантами выступили представители Стэнфордского, Корнеллского, Гарвардского университетов, Пекинского университета, HKUST и FutureHouse, а также партнеры по мокрым лабораториям. 100 общедоступных задач размещены на Hugging Face как задачи Harbor под лицензией CC BY 4.0, а код — на GitHub под лицензией Apache 2.0.

Источники: Официальный блог UniPat AI · Официальный репозиторий GitHub · Статья SPU на arXiv · Официальная страница проекта SPU · Отчет QbitAI.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.