GitHub, площадка для хостинга кода от Microsoft, популяризировавшая разработку ПО с помощью ИИ, испытывает некоторые сожаления по поводу своей увлеченности Copilot.
На прошлой неделе менеджер по продукту Камилла Мораес открыла обсуждение в сообществе GitHub, чтобы обсудить «критическую проблему, затрагивающую сообщество open source: растущий объем низкокачественных вкладов, который создает значительные операционные проблемы для мейнтейнеров».
Мусор, сгенерированный ИИ, вернулся домой, и GitHub ищет помощи у своего сообщества разработчиков ПО, чтобы разобраться, как справиться с этим беспорядком.
«Мы слышим от вас, что вы тратите значительное время на проверку вкладов, которые не соответствуют стандартам качества проекта по ряду причин – они не следуют руководящим принципам проекта, часто бросаются вскоре после отправки и зачастую генерируются ИИ», – написала Мораес.
«Поскольку ИИ продолжает изменять рабочие процессы разработки ПО и природу совместной работы в open source, я хочу, чтобы вы знали, что мы активно изучаем эту проблему и разрабатываем как немедленные, так и долгосрочные стратегические решения».
Мораес заявила, что GitHub рассматривает различные варианты. К ним относятся, возможно, предоставление мейнтейнерам возможности полностью отключить pull request’ы или ограничить их только для участников проекта; возможность удалять pull request’ы из интерфейса (чтобы не приходилось смотреть на сгенерированный ИИ мусор); более детальные настройки разрешений для создания и проверки pull request’ов; инструменты для триажа, возможно, на основе ИИ; а также механизмы прозрачности/атрибуции для сигнализации об использовании инструментов ИИ.
GitHub не сразу ответил на запрос о количественной оценке масштаба проблемы, которая может проявляться в некачественных pull request’ах (PR) – изменениях кода, отправленных в репозиторий Git в надежде, что они будут проверены и включены в кодовую базу – а также в плохих сообщениях об ошибках (которые могут сопровождаться pull request’ом для исправления недочета).
Однако несколько участников ветки признали, что работа с кодом и комментариями, сгенерированными ИИ, стала насущной проблемой.
По словам Хавьера Портилья Эдо, руководителя отдела облачной инфраструктуры в Voiceflow и члена основной команды Genkit, только «1 из 10 PR, созданных с помощью ИИ, является легитимным и соответствует стандартам, необходимым для открытия этого PR».
Другие проекты open source пытаются справиться с потоком сгенерированного ИИ мусора, который увеличился за последние два года. Даниэль Стенберг, основатель и ведущий разработчик curl, и разработчик Python по безопасности Сет Ларсон активно выступали против нагрузки на поддержку, создаваемой низкокачественными сообщениями об ошибках, сгенерированными ИИ. Несмотря на признание Стенбергом того, что отчеты об ошибках, сгенерированные ИИ, могут быть полезны при правильном их составлении, проект curl недавно закрыл свою программу вознаграждений за ошибки, чтобы устранить стимул для отправки низкокачественных отчетов об ошибках, независимо от того, были ли они созданы ИИ или нет.
Цзясяо (Джо) Чжоу, инженер-программист команды Azure Container Upstream в Microsoft и мейнтейнер проектов Containerd Runwasi и SpinKube, ответил Мораес о том, как отправка кода ИИ влияет на мейнтейнеров open source.
«Мы провели внутреннюю сессию для обсуждения Copilot, и существует обсуждение по этой теме, где мейнтейнеры чувствуют себя зажатыми между сегодняшней необходимостью строгого ревью (построчное понимание всего, что отправляется) и будущим, где агентный/сгенерированный ИИ код делает эту модель все менее устойчивой», – сказал он.
Чжоу обобщил эти опасения следующим образом:
- Модель доверия при ревью нарушена: рецензенты больше не могут предполагать, что авторы понимают или написали код, который они отправляют.
- PR, сгенерированные ИИ, могут выглядеть структурно «нормальными», но быть логически неправильными, небезопасными или взаимодействовать с системами, которые рецензент не полностью знает.
- Построчное ревью по-прежнему обязательно для отправленного кода, но не масштабируется для больших PR, созданных с помощью ИИ или агентных систем.
- Мейнтейнеры не чувствуют себя комфортно, одобряя PR, которые они не полностью понимают, однако ИИ облегчает отправку больших изменений без глубокого понимания.
- Повышенная когнитивная нагрузка: рецензенты теперь должны оценивать как код, так и понимание его автором.
- Нагрузка на ревью выше, чем до появления ИИ, а не ниже.
Как отметил Натан Брейк, инженер по машинному обучению в Mozilla.ai, сообщество open source должно найти способ сохранить стимулы для участия, когда ИИ выполняет работу по написанию кода, которая традиционно приносила признание, а участник только описывает проблему.
«[На мой взгляд,] большая часть open source находится под угрозой из-за этого: нам нужно найти способ стимулировать обмен знаниями, чтобы сохранить то, что делает open source и GitHub такими особенными: сообщество», – сказал он, указывая на недавнюю презентацию на FOSDEM Эбби Кабунок Мэйес, посвященную этой проблеме.
Чед Уилсон, основной мейнтейнер GoCD, ожидает, что ИИ-агенты, появившиеся в результате OpenClaw и Moltbook, усугубят ситуацию.
Во общении в ветке во вторник он сообщил, что уже столкнулся с одним pull request’ом, связанным с документацией, и понял, что это «правдоподобная чушь», только после того, как потратил значительное время на его проверку.
Относительно требований к раскрытию информации об ИИ, которые были одобрены другими, он сказал, что риск заключается в том, что социальный договор open source будет нарушен, если не будет способа легко определить, взаимодействуешь ли ты с человеком или ботом ИИ.
«Я, как правило, рад помогать любопытным людям в решении проблем и направлять их к вкладам/решениям в духе социального кодинга», – написал он. «Но когда отсутствует широкое раскрытие использования LLM и все более автоматизированное использование – это, по сути, превращает таких людей, как я, в неосознанных промптеров ИИ. Это безумие, и это ведет к огромной эрозии социального доверия». ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Thomas Claburn
