Исследователи из Лаборатории науки о данных и интеллекта Департамента электронной инженерии Университета Цинхуа представили две связанные работы в области ИИ для науки: SRHarness, фреймворк времени выполнения для агентной символьной регрессии, и MechBench, бенчмарк, который проверяет, может ли ИИ восстановить механизмы, лежащие в основе формулы, а не только саму формулу.
Команда иллюстрирует свою работу историческим примером. Кеплер вывел законы движения планет из наблюдений, описав, как движутся планеты; ньютоновская механика объяснила, почему. Большие языковые модели и научные агенты теперь могут анализировать данные, использовать инструменты и итеративно проверять гипотезы, поэтому исследователи решили протестировать оба этапа.
SRHarness не предписывает стратегию поиска. Вместо этого он превращает среду выполнения, на которую полагаются агенты, в многоразовую инфраструктуру, состоящую из трех частей: многоразовые научные действия, которые объединяют инструменты анализа, подгонки, поиска и оценки под единым интерфейсом; постоянное научное состояние, которое хранит кандидатные формулы и их доказательства вне контекста чата; и управление жизненным циклом траектории, которое обрабатывает продолжение, ветвление, перезапуск и остановку длительных поисков. Код является открытым исходным кодом на GitHub, устанавливается из PyPI и имеет онлайн-демо.
Согласно статьям, с той же базовой моделью DeepSeek-v4-flash SRHarness достигает 93,69% точности восстановления символов на бенчмарке LSR-Transform по сравнению с 62,16% для предыдущего лучшего метода SR-Scientist. Когда научный контекст и значения переменных удаляются из задач, он по-прежнему восстанавливает 72,97% целевых уравнений по сравнению с 39,64% для SR-Scientist и 20,72% для Codex, работающего на той же базовой модели. Авторы сообщают, что это также превосходит Codex в сочетании с GPT-5.5, который показывает 68,47%.
MechBench разделяет две способности: восстановление наблюдаемого закона и восстановление лежащего в его основе механизма, который его порождает. Он использует зонды механизмов для проверки внутренних величин, которые одна формула определить не может, и отбирает конкурирующие механизмы, которые могли бы привести к идентичным наблюдениям. Согласно результатам, представленным в статье, даже Codex с GPT-5.6-sol восстанавливает механизмы только в 13,75% случаев из основного набора данных, в то время как для восстановления самих законов этот показатель составляет 35%.
Исследователи заявляют, что этот разрыв показывает, что современные научные агенты гораздо лучше находят закономерности, чем понимают их, и позиционируют MechBench как эталон для следующего шага.
СМОТРИТЕ ТАКЖЕ:Tsinghua AIR Zeva повышает успешность воплощенной манипуляции с 26% до 73% без переобучения
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
