Удручающий анализ: Искусственный интеллект подрывает доверие к научным публикациям

Arxiv ии препринты наука Llm модерация

Надёжность науки под угрозой: репозиторий препринтов ArXiv захлёстывает волна низкокачественных статей, сгенерированных ИИ. Анализ показывает рост публикаций с использованием LLM на 33%. Учёные предупреждают, что традиционные метрики качества становятся ненадёжными, а случай с профессором Бухером демонстрирует опасность чрезмерной зависимости от ИИ.

Трудно переоценить важность и влияние arXiv — научного репозитория, который на некоторое время почти в одиночку обосновал само существование интернета. ArXiv (произносится «архив» или «Ар-экс-ай-ви», в зависимости от того, кого вы спросите) — это репозиторий препринтов, где с 1991 года учёные и исследователи заявляют научному сообществу: «Эй, я это написал». Рецензирование (peer review) движется медленно, но оно необходимо. ArXiv требует лишь быстрой проверки модератором, а не скрупулёзного анализа, поэтому он добавляет удобный промежуточный этап между открытием и рецензированием, где все новейшие открытия и инновации могут — с осторожностью — рассматриваться с тем уровнем срочности, которого они заслуживают, практически мгновенно.

Однако использование искусственного интеллекта (ИИ) нанесло удар по ArXiv, и он истекает кровью. И неясно, удастся ли когда-либо остановить это кровотечение.

Как отмечается в недавней статье в The Atlantic, создатель ArXiv и профессор информационных наук Корнеллского университета Пол Гинспарг с момента появления ChatGPT обеспокоен тем, что ИИ может быть использован для преодоления небольших, но необходимых барьеров, препятствующих публикации научного мусора на ArXiv. В прошлом году Гинспарг участвовал в анализе, посвящённом выявлению вероятного использования ИИ в материалах, представленных на ArXiv. Ужасающе, но учёные, очевидно использующие большие языковые модели (LLM) для генерации правдоподобных статей, оказались более плодовитыми, чем те, кто ИИ не задействовал. Количество работ авторов, использовавших сгенерированный или дополненный ИИ контент, было на 33 процента выше.

ИИ может использоваться на законных основаниях, говорится в анализе, например, для преодоления языкового барьера. Далее отмечается:

«Однако традиционные показатели научного качества, такие как сложность языка, становятся ненадежными индикаторами ценности именно в тот момент, когда мы наблюдаем рост объёма научной работы. По мере развития систем ИИ они будут бросать вызов нашим фундаментальным представлениям о качестве исследований, научной коммуникации и природе интеллектуального труда».

Проблемы не только у ArXiv. В целом сейчас непростое время для надёжности научных знаний. Поразительный провал, опубликованный на прошлой неделе в Nature, описал злоключения с ИИ незадачливого учёного из Германии по имени Марсель Бухер, который использовал ChatGPT для составления электронных писем, учебных материалов, лекций и тестов. Как будто этого было недостаточно, ChatGPT также помогал ему анализировать ответы студентов и был интегрирован в интерактивные части его преподавания. Однажды Бухер попытался «временно» отключить опцию, которую он назвал «согласием на данные», и когда ChatGPT внезапно удалил всю информацию, которую он хранил исключительно в приложении — то есть на серверах OpenAI, — он пожаловался на страницах Nature, что «исчезли два года тщательно структурированной академической работы».

Широкомасштабная, вызванная ИИ, лень, проявляющаяся именно в той области, где ожидается и предполагается строгость и внимание к деталям, вызывает отчаяние. Было безопасно предполагать, что возникла проблема, когда количество публикаций резко возросло всего через несколько месяцев после первого выпуска ChatGPT, но теперь, как указывает The Atlantic, мы начинаем понимать детали фактического содержания и масштаба этой проблемы — не столько о «пилюлях от ИИ» вроде Бухера, испытывающих тревогу «публикуйся или умри» и спешащих выпустить быструю фальшивую статью, сколько о мошенничестве в промышленных масштабах.

Например, в онкологических исследованиях недобросовестные авторы могут запрашивать скучные статьи, в которых якобы документируются «взаимодействия между опухолевой клеткой и лишь одним белком из тысяч существующих», отмечает The Atlantic. Если в статье утверждается, что она новаторская, это вызовет подозрения, а значит, такой трюк с меньшей вероятностью заметят, но если ложный вывод фальшивого онкологического эксперимента окажется посредственным, этот научный мусор с большей вероятностью будет опубликован — даже в авторитетном издании. Ещё лучше, если к нему прилагаются сгенерированные ИИ изображения пятен гель-электрофореза, которые тоже скучны, но на первый взгляд добавляют дополнительную правдоподобность.

Короче говоря, в науку хлынул поток низкокачественных материалов, и всем придётся стать менее ленивыми: от занятых академиков, планирующих свои занятия, до рецензентов и модераторов ArXiv. В противном случае хранилища знаний, которые когда-то были одними из немногих оставшихся надёжных источников информации, рискуют быть переполненными болезнью, которая, возможно, уже необратимо их заразила. А кажется ли 2026 год временем, когда кто-либо, где-либо, становится менее ленивым?

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: