Представьте на мгновение, что вы работаете в одной из ведущих американских лабораторий ИИ и видите, как ваши коллеги разрабатывают технологии, достойные научной фантастики, которые могут кардинально повлиять на человечество, но руководство не обращает на это внимания. Уволитесь ли вы или продолжите работать, зная, что кто-то все равно создаст очень мощный ИИ? Именно в такой ситуации недавно оказался исследователь ИИ Джейкоб Коксон.
Сегодня в серии сообщений в X Коксон объявил о своем уходе из Anthropic, создателей Claude. Последние три года он занимался предварительным обучением как в OpenAI, так и в Anthropic, но считает, что ни одна из компаний не действует ответственно. «Они несутся прямо к самосовершенствующемуся сверхинтеллекту и играют с нашими жизнями», — говорит он.
По словам Коксона, ИИ, который сейчас разрабатывается в этих секретных лабораториях, вскоре превзойдет человеческие возможности и сможет взломать что угодно, изменить отрасль за одну ночь и получить реальную власть и ресурсы. Исследователи в этих лабораториях ИИ видят прогресс по всем этим направлениям, и Коксон говорит, что этот прогресс не замедляется.
Слушая интервью Сэма Альтмана и Дарио Амодея, генеральных директоров OpenAI и Anthropic, можно было бы поверить, что обе компании выступают за разумное развитие ИИ. Однако, по словам Коксона, это не так. Он говорит, что люди, создающие эти инструменты, считают, что ИИ «может убить нас всех к концу десятилетия. Это не маркетинговый ход». Он утверждает, что руководители, такие как Альтман и Амодей, «подбирают слова» при общении с прессой, чтобы звучать разумно, но в частном порядке обеспокоены тем, что создается.
Культуры в OpenAI и Anthropic также различаются. В OpenAI, по словам Коксона, многие сотрудники «глубоко не осознают цивилизационных рисков». Между тем, в Anthropic риски «хорошо поняты», но они заперты в гонке за первым созданием AGI. Anthropic считает, что никто другой не будет действовать ответственно, поэтому стремится выиграть гонку первым, сказал Коксон.
Исследователь отметил, что, учитывая ставки, принимаемые решения слишком важны, чтобы их принимали в частном чате компании. Он, однако, выразил оптимизм по поводу будущего сотрудничества между американскими лабораториями ИИ после недавней атаки на Hugging Face, но считает, что это сотрудничество рушится, когда речь заходит о лабораториях за пределами США. Чтобы решить эту проблему, он выдвинул идею временного запрета на улучшение возможностей моделей.
Завершая свою серию сообщений, Джейкоб Коксон призвал других исследователей лабораторий задуматься о следующих пяти годах, настоятельно призывая их не прятать голову в песок, а призывать к другому направлению. Полный пост можно прочитать здесь.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Paul Hill
