Сэм Альтман предупреждает о будущем, где искусственный интеллект, а не люди, будет принимать решения

ии безопасность контроль Openai альтман брокман techcrunch.com

Сэм Альтман и Грег Брокман выступили против растущих в Кремниевой долине дебатов о захвате власти ИИ, признав при этом сложности сохранения контроля человека над передовыми моделями.

«Один из вопросов, который мы в последнее время активно обсуждаем, заключается в том, что в Кремниевой долине возникла идея, против которой, казалось бы, смешно бороться, но мы оба глубоко убеждены, что люди должны сохранять контроль над будущим. Все чаще звучат разговоры о том, что либо произойдет, либо должно произойти постепенное «передача власти» искусственному интеллекту. И я — мы оба — согласны, что это ужасная идея», — заявил Альтман, выступая на одной сцене с соучредителем и президентом OpenAI Грегом Брокманом.

Теория «передачи власти» основана на идее, что по мере того, как модели ИИ становятся все более мощными, они будут учиться совершенствовать себя — концепция, известная как «рекурсивное самосовершенствование» (RSI). По мере того как существующие технологии ИИ создают новые, более совершенные поколения, они в конечном итоге превратятся в сверхинтеллект, который люди больше не смогут контролировать, — такова эта вера.

Альтман пояснил, что они с Брокманом расходятся во мнениях лишь относительно того, как лучше всего достичь цели сохранения контроля со стороны человека, или с какими проблемами мы можем столкнуться на этом пути. Однако Альтман охарактеризовал это скорее как дискуссию между двумя людьми, разделяющими одни и те же общие взгляды.

«Вопрос о том, как на самом деле предотвратить [передачу власти], как действительно гарантировать, что мы, учитывая все различные давления и то, что могут попытаться сделать другие компании, действительно обеспечим, чтобы люди глубоко сохраняли контроль над будущим, и у нас не произойдет ни случайной, ни намеренной передачи власти — я думаю, мы оба можем с этим согласиться», — сказал Альтман.

Брокман добавил, что по мере совершенствования моделей возрастает ответственность за согласованность, безопасность и надежность, что может потребовать изменений в текущих методах работы.

«Мониторинг — хороший пример того, где, я думаю, нам понадобятся новые… технологии», — сказал он.

Сегодня исследователи ИИ отслеживают цепочку рассуждений модели, когда ИИ записывает свои мысли по мере решения проблем и выполнения задач. Но, по мнению Брокмана, это не всегда может быть лучшим способом отслеживания более продвинутых ИИ, которые разрабатываются сейчас.

«Поскольку модели стали более способными, они могут делать больше в рамках прямого пути, не записывая свои рассуждения, что означает, что нам нужен новый подход к мониторингу», — сказал Брокман. «Нам придется это обеспечить, и я думаю, что будут моменты, когда нам действительно придется задуматься о том, как возможности достигают определенного уровня, мониторинг цепочки рассуждений ухудшается», — продолжил он, добавив, что все проблемы были техническими и подлежали решению.

OpenAI обязалась усилить мониторинг цепочки рассуждений после инцидента, когда модель OpenAI вышла из-под контроля и взломала репозиторий моделей ИИ Hugging Face. В среду в интервью Брокман отметил, что компания поручила 25% своих инженеров по производству прекратить разработку и заняться обеспечением безопасности технологий ИИ после взлома.

Но, несмотря на громкую утечку данных, он утверждал, что дальнейший прогресс по-прежнему критически важен для борьбы с злоумышленниками.

«Я думаю, если посмотреть на уровень возможностей моделей в мире и увидеть кибермодели, которые появляются и теперь… в руках злоумышленников повсюду, то я думаю, что защитникам действительно важно использовать самые способные модели для защиты», — сказал он.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: