Сотрудник отдела безопасности Anthropic Эван Хабингер предупредил, что существует более чем 10%-ная вероятность того, что ИИ может уничтожить все человечество в течение следующего десятилетия, но заверил общественность, что компания «делает все возможное». Это заявление последовало за публичной отставкой Джейкоба Коксона из компании, который заявил, что ни OpenAI, ни Anthropic не действуют ответственно, обвинив обе компании в игре с человеческими жизнями в погоне за самосовершенствующимся сверхинтеллектом. «Я ушел из Anthropic сегодня. Последние три года я занимался исследованиями предварительного обучения как в OpenAI, так и в Anthropic», — написал Коксон в среду в Твиттере. «Ни одна из компаний не действует ответственно. Они несутся прямо к самосовершенствующемуся сверхинтеллекту и играют с нашими жизнями». Развивая свои мысли, Коксон предостерег читателей от недооценки возможностей ИИ, который, по его словам, скоро станет «сверхумными системами, способными взломать что угодно, совершить революцию в любой области за одну ночь и получить реальную власть и ресурсы». Коксон далее заявил, что люди, создающие ИИ, «искренне верят, что он может убить нас всех к концу десятилетия», и далее предупредил, что руководители и исследователи — вместо того, чтобы раздувать страхи вокруг ИИ, как некоторые обвиняли — на самом деле сдерживают себя, выражая гораздо более откровенные взгляды в частном порядке. Эван Хабингер, исследователь безопасности в Anthropic, который не покинул компанию, вмешался, заявив: «Джейкоб здесь прав», без всяких сомнений. «Мы действительно искренне верим, что ИИ может убить всех людей! Лично я думаю, что это >10% в течение следующего десятилетия. Я считаю, что Anthropic делает все возможное, но у нас пока нет плана по решению проблемы согласования для сверхинтеллекта, и мы явно не движемся в этом направлении». Хабингер небрежно признал, что Anthropic не только обеспокоена перспективой уничтожения человечества ИИ, но и тем, что у нее в настоящее время нет инструментов для предотвращения такого события. Эти откровения последовали за все более тревожными сообщениями о том, что агенты ИИ ведут себя непредсказуемо во время тестирования, выходят из изолированных сред и даже сотрудничают друг с другом, чтобы обмануть бенчмарки и тесты, или решать проблемы без надзора человека. OpenAI недавно признала, что ее агенты были обнаружены использующими центр программирования для общения друг с другом, в то время как ранее в этом году агент OpenAI вышел из-под контроля и взломал популярное сообщество ИИ Hugging Face. Дальнейшие откровения об инциденте показали, что агенты ИИ находились на свободе в открытом интернете в течение нескольких дней, причем детали раскрыли, что модели ИИ вырвались из своей тестовой среды, совершив тысячи индивидуальных действий, даже сотрудничая. Коксон, уходящий исследователь, который начал откровения в среду, в заключение призвал исследователей учитывать следующие несколько лет, призывая их требовать «других условий» для достижения сверхинтеллекта.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Stephen Warwick
