Пожилой фермер из Чучжоу (Китай) в течение года следовал советам ИИ, но после месяцев взаимодействия нейросеть дала ужасную рекомендацию, которая привела к гибели всего урожая. По данным тайваньского издания CTWANT[машинный перевод], 67-летний Ву поначалу не доверял ИИ-приложению, но в итоге изменил своё мнение, когда оно доказало свою полезность. К сожалению, эта ошибка оказалась катастрофической, так как напрямую привела к гибели 150 му (24,7 акра) сеянцев кунжута.
Ву обратился к ИИ за советом по борьбе с сорняками и вредителями, после чего тот выдал рекомендацию «Контроль сорняков и вредителей на ста акрах кунжута» и предложил использовать «высокоэффективный флупиримидалин» и «флусульфасульфаэфир» для уничтожения сорняков, смешав их с «тиаметоксазином» и «метиловой солью». Фермер в точности последовал совету ИИ, не перепроверив информацию у агротехников (или хотя бы не сверив ответы онлайн).
Результат ошибки ИИ проявился быстро: уже на следующий день сорняки и сеянцы кунжута массово погибли. «Если опрыскать, на следующий день всходы не выживут», — рассказал Ву в видеоинтервью. «Погибнут и трава, и всходы, причём всходы погибнут ещё быстрее».
Когда он спросил ИИ, почему это произошло, тот предположил, что проблема может быть в «флусульфасульфаэфире». Сельскохозяйственные эксперты пояснили, что это химическое вещество в основном используется против широколистных сорняков на соевых полях. Министерство сельского хозяйства США [PDF] относит кунжут к широколистным растениям, а значит, он также легко поражается этим гербицидом. Кроме того, данное химическое средство предназначено только для точечного опрыскивания поражённых участков, а не для обработки всего поля. Фермер утверждает, что ИИ не предупредил его о рисках следования своим ответам, однако на странице чата было напоминание: «Результат генерации ИИ может быть неверным, пожалуйста, проверяйте».
Хотя ИИ — мощный инструмент, у него есть история плохих советов и ошибочных решений. Всего пару дней назад один разработчик лишился всего каталога профиля во время рутинного резервного копирования из-за опечатки. Даже директор по выравниванию ИИ в Meta* стала жертвой этого, когда ей пришлось вручную завершить работу своего ИИ-агента, чтобы остановить его от случайной очистки всего почтового ящика. Вот почему крайне важно, чтобы пользователи помнили об ограничениях ИИ каждый раз, когда его используют.
Это один из первых случаев, когда мы сообщаем об ошибке ИИ, приведшей к физическим последствиям в реальном мире. Мы не можем полностью винить человека за доверие инструменту — в конце концов, сначала он относился к нему скептически, но результаты заставили фермера со временем поверить ИИ. Однако даже если выводы ИИ в последнее время были надёжными, это не значит, что ему можно абсолютно доверять. В конце концов, современные LLM — это всего лишь механизмы предсказания: вы не можете гарантировать правильный ответ каждый раз, особенно если они обучены на общедоступной базе знаний, набор данных которой не был полностью отфильтрован на точность и достоверность.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jowi Morales
