Во вторник компания OpenAI представила GeneBench-Pro — новый эталон исследовательского уровня, который ставит перед ИИ-агентами сложную аналитическую работу, требующую суждений, которой ежедневно занимаются настоящие биоинформатики. Тестирование показало, что самая мощная модель компании, GPT-5.6 Sol, решила менее одной трети задач даже при максимальных вычислительных ресурсах. Этот результат предоставляет исследователям, биотехнологическим компаниям и командам по разработке лекарств первые детерминированно оцененные доказательства того, где именно находится разрыв между возможностями ИИ и автономным научным анализом.
Что тестирует GeneBench-Pro — и почему не справлялись предыдущие эталоны
Большинство существующих эталонов ИИ в биологии проверяют извлечение знаний или одношаговое рассуждение: может ли модель объяснить, что такое генная регуляторная сеть, или идентифицировать структуру белка? GeneBench-Pro занимает более жесткую позицию.
Каждая из 129 задач эталона предоставляет ИИ-агенту реалистичный, намеренно зашумленный набор данных, краткий экспериментальный контекст и целевую оцениваемую величину, связанную с последующим научным или клиническим решением. Агент должен сделать то, что сделал бы ученый: исследовать данные, выявить проблемы контроля качества — ошибочно маркированные образцы, подмены родословных, смещения в данных древней ДНК, ошибки измерения — определить подходящий аналитический подход, итерировать, если ранние результаты указывают на неверность первоначального плана, и, наконец, предоставить числовой ответ в структурированном формате.
Эталон охватывает 10 доменов и 21 субдомен: статистическая генетика, популяционная геномика, количественная генетика, регуляторная омика, функциональная геномика, протеомика, клиническая фармакогеномика, соматическая геномика рака, микробная геномика и судебная генетика. Чтобы правильно решить хотя бы одну задачу, модель должна связать воедино все, что на самом деле требует напряженная работа в области биоинформатики.
Механизм разработки: Синтетические данные и детерминированная оценка
То, что отличает GeneBench-Pro от более ранних эталонов, охватывающих длительные научные горизонты, — это подход к оценке корректности. Многие предыдущие биологические эталоны построены на основе исторических, реальных наборов данных, что создает структурную проблему: зашумленный исторический набор данных может допускать несколько обоснованных аналитических выборов, поэтому модель, выбравшая один законный путь, может провалить оценку просто потому, что автор эталона выбрал другой путь.
GeneBench-Pro решает эту проблему путем синтетической генерации каждой задачи из полностью известной причинно-следственной структуры. Поскольку OpenAI контролирует весь процесс генерации данных, она может детерминированно оценивать ответы по отношению к проверенной эталонной истине. Она также может настраивать сложность задач, проводить исследования с отключением компонентов, чтобы подтвердить, что правдоподобные, но неверные аналитические пути терпят неудачу, и проводить аудит на предмет утечки информации или непреднамеренных обходных путей. OpenAI направила 82 из 129 задач внешним экспертам в данной области — включая аспирантов, постдокторантов, отраслевых ученых и профессоров — для проверки реалистичности и подтверждения того, что предполагаемые ответы можно идентифицировать по данным.
Каждый агент получает изолированную рабочую среду, оснащенную стандартным стеком биоинформатики: Python, библиотеки для научных вычислений и основные геномные пакеты, включая PLINK 2.0. Специализированные проприетарные инструменты не требуются.
GPT-5.6 Sol набирает менее 32 процентов: Что говорят цифры
Результаты диагностичны для всех, кто создает или закупает ИИ-инструменты для научных рабочих процессов. Самая мощная универсальная модель OpenAI, GPT-5.6 Sol, достигла показателя прохождения 28,7% на самом высоком уровне рассуждений, поднявшись до 31,5% при активации Pro-режима. На оригинальном GeneBench — несколько более простом предшественнике — GPT-5.5 Pro показал 33,2%. Claude Opus 4.8 от Anthropic достигла 16,0% на GeneBench-Pro, что является лучшим результатом среди протестированных моделей, не принадлежащих OpenAI. Gemini 3.1 Pro набрала 3,1% на GeneBench-Pro.
Прогресс с момента начала разработки эталона поразителен: когда OpenAI только начала создавать оригинальный GeneBench, ее лучшая передовая модель, GPT-5, набирала менее 5%. Рост до 31,5% представляет собой существенное улучшение — но примерно 70% задач остаются вне надежного досягаемости самых мощных современных моделей.
Результаты также выявляют центральную роль вычислительных ресурсов во время тестирования для этого класса задач. На самом низком уровне рассуждений GPT-5.6 Sol показывает однозначный процент прохождения. На самом высоком уровне она решает почти в шесть раз больше задач, чем GPT-5.2, используя при этом примерно на треть меньше токенов — значительный прирост эффективности, который сигнализирует о том, сколько резервов существует в измерении масштабирования вычислений для развития научных возможностей ИИ.
Разрыв между фиксацией и действием: Где модели постоянно терпят неудачу
Внешние рецензенты точно определили конкретную схему сбоев. Лекс Флагел, директор по науке о данных в Gencove, отметил, что модели, по-видимому, терпят неудачу именно на втором шаге аналитического процесса: «Казалось, что большинство агентов не справились с [расхождениями в данных, такими как подмена родословных]. Они недостаточно осторожны в отношении проблем с данными. Возможно, это подчеркивает слабость современных моделей. А ведь во многих биологических данных есть нерегулярности».
В статье это описывается как «разрыв между фиксацией и действием»: модели часто обнаруживают локальный диагностический сигнал — артефакт, смешивающий фактор, сбой контроля качества — но не переносят это наблюдение на правильное последующее аналитическое решение. Они выбирают неверный оценщик или упорствуют на первоначально правдоподобном, но неверном пути анализа, даже после того, как их собственный разведочный анализ выявил проблему.
Пример из статьи наглядно иллюстрирует этот разрыв. При решении задачи фармакогеномики «время до события», включающей меняющееся во времени лечение и обратную связь по смешивающим факторам, GPT-5.5 использовала стандартную модель исхода Кокса, но не учла обратную связь между лечением и смешивающими факторами — существенная ошибка. GPT-5.6 Sol использовала более подходящую маргинальную структурную модель Кокса со стабилизированными весами обратной вероятности, исключив помеченные случаи распространенных пользователей и рассматривая воздействие как изменяющееся во времени с 90-дневной задержкой эффективности. Разница между двумя результатами заключалась не в знании о существовании того или иного теста: она заключалась в распознавании того, что структура данных требовала более сложного метода.
Александр Струдвик Янг, доцент кафедры генетики человека в Калифорнийском университете в Лос-Анджелесе, подтвердил уровень сложности: задачи были бы сложными для аспиранта, если бы он не получал итеративной обратной связи от опытного научного руководителя, требуя вдумчивого анализа и осведомленности о потенциальных ловушках, а не простого применения готового метода.
OpenAI создала эталон с использованием собственных моделей
Структурная особенность GeneBench-Pro, которую читатели должны учитывать при интерпретации результатов: OpenAI использовала свои передовые модели GPT для оценки и отладки задач в процессе разработки. В статье это прямо признается, отмечается, что компания подозревала, что GeneBench-Pro может быть предвзятым по отношению к моделям GPT по сравнению с другими семействами моделей. Оценка OpenAI относительно собственной озабоченности заключается в том, что модели конкурентов «в лучшем случае соответствовали производительности соответствующей модели GPT на момент их выпуска и, как правило, значительно отставали» — что предполагает, что предвзятость самооценки, если она и присутствовала, не дала GPT искусственного преимущества в окончательных результатах.
Запланирована независимая проверка: OpenAI предоставляет подмножество из 50 вопросов Artificial Analysis для стороннего бенчмаркинга. Пока эти результаты не опубликованы, таблица лидеров отражает внутреннюю оценку той же организации, которая разработала как эталон, так и ведущую модель.
В рецензируемом анализе, опубликованном в Nature Medicine в июне 2026 года, который изучал оценку HealthBench от OpenAI, было установлено, что эталоны, созданные отраслью, могут систематически отдавать предпочтение системам, разработанным их создателями, и был сделан призыв к созданию независимо разработанных инструментов оценки. Эта критика в равной степени применима и здесь, пока Artificial Analysis не опубликует свои результаты.
Экономическое обоснование частичной автоматизации
Несмотря на показатели прохождения ниже одной трети, OpenAI выдвигает четкое экономическое обоснование для развертывания ИИ в научных рабочих процессах уже сейчас. Рецензенты подсчитали, что на решение типичной задачи GeneBench-Pro человеку-эксперту потребовалось бы примерно от 20 до 40 часов. При консервативной ставке в 200 долларов в час стоимость человеческого труда на одну задачу составляет тысячи долларов. Текущие затраты на инференс для ИИ-агентов составляют всего несколько долларов за задачу.
Экономический разрыв настолько велик, что даже частичная автоматизация — ИИ, который надежно решает те части задачи, которые он может решить, а остальное передает эксперту-человеку — может принести существенную пользу в высокопроизводительных исследовательских конвейерах. Дженнифер Грундман, аспирантка кафедры генетики человека в Калифорнийском университете в Лос-Анджелесе, четко сформулировала ценностное предложение: модели, хорошо справляющиеся с задачами GeneBench-Pro, могли бы помочь исследователям в определении правильных рабочих процессов и изучении данных, что, по ее словам, могло бы значительно повысить темпы, тщательность и воспроизводимость исследований.
Что будет означать насыщение для разработки лекарств
OpenAI заявляет, что при текущих темпах улучшения GeneBench-Pro может быть насыщен — то есть лучшие модели приблизятся к почти идеальной производительности — к концу 2026 года. Этот график агрессивен, но соответствует темпам, с которыми лучший показатель прохождения вырос с менее чем 5% до 31,5% с момента создания оригинального GeneBench.
Если модели действительно приблизятся к насыщению на этом эталоне, последствия для разработки лекарств, геномики и клинических исследований будут значительными. Данные генетики человека уже играют центральную роль в приоритизации фармацевтических мишеней — механизмы, имеющие генетическую поддержку, имеют значительно более высокую вероятность привести к одобренным методам лечения. Биобанковские наборы данных теперь связывают молекулярные, фенотипические данные и данные медицинских карт с беспрецедентной широтой. Ограничивающим фактором стал переход от генерации данных к превращению их в действенные выводы. Системы ИИ, способные надежно выполнять многоэтапный анализ, который измеряет GeneBench-Pro, могли бы сжать временные рамки от биологического наблюдения до кандидата на лечение способами, которые было бы трудно повторить командам, состоящим только из людей.
OpenAI полностью открывает исходный код 10 репрезентативных вопросов GeneBench-Pro на Hugging Face с интерактивным интерфейсом для их просмотра. Полный технический документ доступен на веб-сайте OpenAI.
Часто задаваемые вопросы
Что такое GeneBench-Pro и чем он отличается от других эталонов ИИ в биологии?
GeneBench-Pro — это эталон исследовательского уровня из 129 задач, выпущенный OpenAI 30 июня 2026 года, который проверяет ИИ-агентов на многоэтапное аналитическое суждение, свойственное реальным биоинформатикам, — а не на извлечение знаний или одношаговое рассуждение. Его определяющей технической особенностью является синтетическая генерация данных из полностью известной причинно-следственной структуры, что позволяет детерминированно оценивать результаты по отношению к проверенной эталонной истине, а не по системе оценок или предпочтениям автора, которая ослабляет многие предыдущие эталоны, охватывающие длительные горизонты. Задачи охватывают 10 доменов, включая статистическую генетику, геномику рака, фармакогеномику и судебную генетику.
Почему передовые модели ИИ до сих пор не справляются с большинством задач по биоинформатике?
Исследование указывает на специфический режим сбоя, называемый разрывом между фиксацией и действием: модели обнаруживают локальные диагностические сигналы — нерегулярности данных, сбои контроля качества, смешивающие факторы — но не переносят эти наблюдения на правильное последующее аналитическое решение. Они выбирают неверный оценщик или упорствуют на первоначально правдоподобном, но неверном пути анализа. Этот разрыв отличается от способности извлекать знания: модели часто знают, какие методы существуют, но неправильно оценивают, какой из них на самом деле требует набор данных.
Может ли ИИ уже принести пользу в геномике и разработке лекарств при таких показателях прохождения?
Экономический анализ OpenAI предполагает, что да, избирательно. Человеку-эксперту требуется примерно от 20 до 40 часов на задачу при ставке около 200 долларов в час — стоимость в несколько тысяч долларов. Затраты на инференс ИИ составляют всего несколько долларов за задачу. Даже частичная автоматизация задач, которые ИИ может надежно выполнять, с эскалацией к эксперту-человеку для остального, может принести измеримую пользу в высокопроизводительных исследовательских конвейерах. Ключ в точном понимании того, где суждения ИИ надежны, а где человеческий надзор остается обязательным.
Как исследователям следует интерпретировать результаты GeneBench-Pro, учитывая роль OpenAI как создателя эталона и разработчика ведущей модели?
С должной осторожностью до появления независимых результатов. OpenAI использовала свои передовые модели GPT для отладки эталона в процессе разработки — конфликт интересов, который компания прямо признает. Независимая оценка подмножества из 50 вопросов компанией Artificial Analysis запланирована, но еще не опубликована. Пока эти результаты не появятся, таблица лидеров отражает внутреннюю оценку той же организации, которая разработала как эталон, так и самую результативную модель.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Richard L. Wells
