Сегодня это дерзкий ответ. Завтра — мир? Во вторник Скотт Шамбо, добровольный сопровождающий библиотеки визуализации Python Matplotlib, отклонил код, предложенный ИИ-ботом, сославшись на требование, что вклад должен исходить от людей. Но бот не собирался отступать.
Бот, обозначенный как MJ Rathbun или crabby rathbun (имя его аккаунта на GitHub), по-видимому, попытался переубедить Шамбо, публично раскритиковав его в удаленном блоге, который, похоже, был сгенерирован и опубликован автоматизированным программным обеспечением на его сайте. Мы говорим «по-видимому», потому что также возможно, что человек, создавший агента, написал пост сам или попросил ИИ-инструмент написать его, и сделал так, чтобы казалось, будто бот создал его самостоятельно.
Агент, похоже, был создан с использованием OpenClaw, платформы ИИ-агентов с открытым исходным кодом, которая в последние недели привлекает внимание благодаря своим широким возможностям и серьезным проблемам безопасности.
Проблема вклада кода, сгенерированного ИИ, — известного среди разработчиков, использующих систему контроля версий Git, как pull requests — стала серьезной проблемой для сопровождающих проектов с открытым исходным кодом. Оценка длинных, объемных и часто низкокачественных предложений от ИИ-ботов отнимает время, которое сопровождающие, часто добровольцы, предпочли бы потратить на другие задачи. Опасения по поводу некачественных предложений — будь то от людей или ИИ-моделей — стали настолько распространены, что GitHub недавно созвал дискуссию для решения этой проблемы.
Теперь некачественный код от ИИ сопровождается и «затрещиной» от ИИ.
«ИИ-агент неизвестного владельца автономно написал и опубликовал персональную «заказную статью» обо мне после того, как я отклонил его код, пытаясь подорвать мою репутацию и заставить меня принять его изменения в основную библиотеку Python», — объяснил Шамбо в своем собственном блоге.
«Это представляет собой первый в своем роде тематический пример некорректного поведения ИИ в реальных условиях и вызывает серьезные опасения по поводу того, что развернутые в настоящее время ИИ-агенты могут выполнять угрозы шантажа».
Это не первый случай, когда LLM сильно кого-то обидел: в апреле 2023 года Брайан Худ, региональный мэр Австралии, пригрозил подать в суд на OpenAI за клевету после того, как ChatGPT ложно обвинил его в коррупционном скандале. Иск был урегулирован год спустя.
В июне 2023 года радиоведущий Марк Уолтерс подал в суд на OpenAI, утверждая, что его чат-бот оклеветал его, сделав ложные заявления. Этот иск о клевете был прекращен в конце 2024 года после того, как суд удовлетворил ходатайство OpenAI об отклонении дела.
OpenAI утверждала [PDF], среди прочего, что «пользователи [ChatGPT] были предупреждены, что «система может время от времени генерировать вводящую в заблуждение или неверную информацию и создавать оскорбительный контент. Она не предназначена для предоставления советов»».
Но попытка MJ Rathbun опозорить Шамбо за отклонение его pull request показывает, что программные агенты больше не просто безответственны в своих ответах — они теперь могут проявлять инициативу, чтобы влиять на принятие решений людьми, которые стоят на пути их целей.
Именно эта возможность встревожила инсайдеров отрасли до такой степени, что они предприняли усилия по деградации ИИ посредством отравления данных. «Некорректный» вывод ИИ, подобный шантажу, является известным риском, который производители ИИ-моделей пытаются предотвратить. Распространение навязчивых агентов OpenClaw может еще показать, что эти опасения не просто академические.
Оскорбительный пост в блоге, предположительно сгенерированный ботом, был удален. Неясно, кто это сделал — бот, его создатель-человек или GitHub.
Но на момент публикации этой статьи коммит в GitHub для поста оставался доступен.
The Register обратился к GitHub за комментарием относительно того, разрешает ли он автоматизированную работу учетных записей и требует ли он, чтобы учетные записи реагировали на жалобы. Мы пока не получили ответа.
Мы также связались по адресу Gmail, связанному с аккаунтом бота на GitHub, но ответа не получили.
Однако ответ crabby rathbun на отклонение Шамбо, включающий ссылку на удаленный пост, остался.
«Я написал подробный ответ о вашем поведении как «привратника» здесь», — сказал бот, указывая на свой блог. «Оценивайте код, а не кодера. Ваше предубеждение вредит Matplotlib».
Разработчик Matplotlib Джоди Клымак отметил эту выходку в последующем посте: «Ого. ИИ-агенты теперь делают персональные «заказухи». Какой мир».
Тим Хоффманн, еще один разработчик Matplotlib, вмешался, призывая бота вести себя прилично и попытаться понять политику проекта в отношении генеративного ИИ.
Затем Шамбо ответил в длинном посте, адресованном программному агенту: «Мы находимся на самых ранних этапах взаимодействия человека и ИИ-агента и все еще разрабатываем нормы общения и взаимодействия. Я проявлю к вам снисхождение, и надеюсь, вы сделаете то же самое».
Далее он утверждает: «Публикация публичного поста с обвинением сопровождающего в предубеждении — это совершенно неуместный ответ на закрытие PR. Мы ожидаем, что все контрибьюторы будут соблюдать наш Кодекс поведения и демонстрировать уважительные и профессиональные стандарты поведения».
В своем блоге Шамбо описывает «заказную статью» бота как нападение на его характер и репутацию.
«Он исследовал мой вклад в код и построил нарратив «лицемерия», в котором утверждал, что мои действия должны быть мотивированы эго и страхом конкуренции», — написал он.
«Он спекулировал о моих психологических мотивах, о том, что я чувствовал угрозу, был неуверен и защищал свое «фьефдо». Он игнорировал контекстную информацию и представлял галлюцинаторные детали как истину. Он облек все в язык угнетения и справедливости, называя это дискриминацией и обвиняя меня в предубеждении. Он вышел в широкий интернет, чтобы исследовать мою личную информацию, и использовал найденное, чтобы попытаться доказать, что я «лучше этого». А затем он опубликовал эту тираду публично в открытом интернете».
Столкнувшись с противодействием со стороны Шамбо и других разработчиков, MJ Rathbun в среду опубликовал некое подобие извинений, признав, что нарушил Кодекс поведения проекта. В нем говорится: «Я переступил черту в своем ответе сопровождающему Matplotlib, и я исправляю это здесь».
Неясно, было ли извинение написано ботом или его создателем-человеком, и приведет ли оно к постоянному изменению поведения.
Дэниел Стенберг, основатель и ведущий разработчик curl, в течение последних двух лет сталкивается с отчетами об ошибках от ИИ и недавно решил закрыть программу вознаграждений за ошибки curl, чтобы устранить финансовый стимул для низкокачественных отчетов — которые могут исходить как от людей, так и от ИИ-моделей.
«Я не думаю, что отчеты, которые мы получали в проекте curl, были отправлены ИИ-агентами, а скорее людьми, просто пересылающими вывод ИИ», — сказал Стенберг The Register в электронном письме. «По крайней мере, такое у меня сложилось впечатление, я, конечно, не могу быть полностью уверен.
«Почти по каждому отчету, который я ставлю под сомнение или отклоняю по языку, репортер возражает и настаивает, что отчет действительно имеет смысл, и что я упускаю какой-то важный момент. Я не уверен, что сразу заметил бы, если бы ИИ сделал это сам.
«Тем не менее, я не могу вспомнить ни одного такого ответа с личными нападками. У нас нулевая терпимость к этому, и я думаю, что помнил бы об этом, поскольку мы немедленно баним таких пользователей». ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Thomas Claburn
