После взрывного роста популярности генеративного ИИ несколько лет назад, помощники и агенты для кодирования стали довольно распространенным применением этой технологии. Хотя с этим, несомненно, связаны ощутимые преимущества, у этого есть и несколько недостатков. Недавно команда RPSC3 также запретила автономным ИИ-агентам участвовать в проекте. Теперь бесконтрольное количество «мусорных ИИ-отчетов» вынудило еще один open-source проект закрыть программу вознаграждений за найденные ошибки (bug bounty).
Turso, довольно популярная in-process SQL база данных, совместимая с SQLite и написанная на Rust, имела программу вознаграждений, по которой авторам сообщений о любой ошибке, способной привести к повреждению памяти, выплачивалось 1000 долларов. Хотя эта программа выполняла свою функцию в течение того времени, пока она действовала, недавно ее закрыли после наплыва мусорных ИИ-отчетов.
В посте в блоге команда Turso объясняет, что, несмотря на доверие к своим механизмам тестирования, они создали программу вознаграждений, чтобы покрыть сценарии, где автоматизированное тестирование не справлялось, и стимулировать пользователей находить проблемы, которые можно исправить. Несколько человек получили вознаграждения, прежде чем люди, располагающие автономными агентами, поняли, что «просто направить LLM на Turso» и заставить его найти ошибку стало слишком легко.
Это привело к массовому увеличению мусорных ИИ-отчетов, при этом Turso отмечала сообщения о «КРИТИЧЕСКОЙ ошибке», которые не имели абсолютно никакого смысла. Когда разработчики пытались разобраться с авторами pull request (PR), они получали бессмысленные ответы, что еще больше подтверждало, что человек, отправивший PR, на самом деле не разбирался в коде или архитектуре.
Поскольку время разработки тратилось на проверку этих PR, Turso создала систему, которая автоматически закрывала PR при подозрении на отправку ботом. Однако это привело к тому, что боты начали открывать новые обращения (issues) с требованием ручной проверки.
Это стало последней каплей для программы вознаграждений, поскольку тратить часы на проверку и взаимодействие с PR, сгенерированным за минуту, просто нецелесообразно. Хотя Turso пока не прекращает прием вкладов в проект, она решила отказаться от вознаграждений, чтобы у людей с ИИ-агентами было меньше стимулов искать ошибки.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Usama Jawad
