В последнем выпуске подкаста TechCrunch’s Equity Кирстен Корошек, Шон О’Кейн и я обсудили, что комментарии Альтмана, вероятно, были вызваны недавним взломом, в ходе которого агент OpenAI проник в системы Hugging Face. Шон отметил, что хотя взлом, выполненный ИИ-агентом, является новшеством, сам взлом не был «каким-то новым продвинутым достижением».
«Это было больше похоже на взлом Уотергейта людьми Никсона, чем на какую-то настоящую скрытную кибероперацию, потому что в этом не было необходимости, и агенту не было дано такой инструкции», — сказал Шон. «Надеюсь, это знак того, что компании учтут это и будут более осторожны с такими вещами».
Комментарии Альтмана также дали мне возможность задуматься о полезности всей дискуссии между акселерационизмом и децелерационизмом, потому что (да, я собираюсь процитировать самого себя) такая постановка вопроса «как бы предполагает, что есть только один путь» и «все, что мы можем решить — насколько мы вообще можем что-то решать — это ускориться мы или замедлиться?».
Читайте далее, чтобы ознакомиться с превью нашего разговора, отредактированного для краткости и ясности.
Шон О’Кейн: Возможно, мы наконец достигли переломного момента. Я думаю, что главной движущей силой этого стало то, о чем мы говорили на прошлой неделе: одна из моделей OpenAI проникла в данные Hugging Face и, судя по всему, взломала еще несколько ресурсов в интернете.
[Альтман] не призывает к паузе, как некоторые в техиндустрии пытались делать раньше. Он очень тщательно подбирал слова, говоря: «Задайте темп». И мы посмотрим, как это будет соблюдаться. Любая осторожность, которую мы видим со стороны этих лабораторий, часто сходит на нет, когда стимулы толкают их вперед, на полной скорости. Так что я остаюсь скептиком, вот сюрприз.
Кирстен Корошек: Теперь я скажу вот что — [Альтман] возможно, тщательно подбирал слова, но OpenAI и Anthropic действительно [поддержали] петицию, которая отражает то, о чем он говорил.
И я согласна с тобой, я думаю, что многое из этого было спровоцировано именно инцидентом с Hugging Face. Вероятно, это напугало его и, безусловно, многих в индустрии. Сложность здесь в том: как пройти по лезвию ножа или как OpenAI может продолжать генерировать доход, привлекать средства или провести успешное IPO и, так сказать, «задавать темп развития».
Я не знаю, смогут ли они это сделать. Мне будет любопытно посмотреть, удастся ли им совместить и то, и другое.
Энтони Ха: Один из вопросов, который меня мучает, это также: является ли противопоставление ускорения и замедления правильной основой для размышлений? Потому что это как бы предполагает, что есть только один путь, и мы все застряли на этом пути. Все, что мы можем решить — насколько мы вообще можем что-то решать — это ускориться мы или замедлиться? В отличие от — опять же, я сейчас сильно измучаю эту метафору — но, может, построить другие барьеры? Выбрать другие пути?
Я просто очень сопротивляюсь этой схеме. Вместо того чтобы говорить: «Ладно, если нас не устраивает то, что делают модели прямо сейчас, что еще мы можем сделать? Является ли замедление, пауза, остановка единственным вариантом?» И я так не думаю.
Одна вещь, которую я хотел бы подчеркнуть снова, потому что было очень интересно наблюдать за уровнем тревоги вокруг этого — за этим ощущением: «А что, если у нас будут эти автономные агенты и модели, которые просто бегают и взламывают друг друга, пытаясь предотвратить взломы, и все это выходит из-под нашего контроля», что приводит к более широким дебатам о согласовании, о которых Ребекка Беллан написала отличную статью.
Но стоит вернуться к одному из моментов, о которых мы также писали в TechCrunch: этот конкретный взлом — да, он был вызван моделью OpenAI, но похоже, они просто не обеспечили должную безопасность тестового сайта. Теоретически, эта модель не должна была иметь возможность выйти в онлайн. Теперь, конечно, если у вас есть мощный несогласованный ИИ, риски такой человеческой ошибки резко возрастают. Но все началось с того факта, что они не обеспечили безопасность так, как следовало.
Шон: Я думаю, это верно. Я считаю, твоя мысль правильна в том смысле, что мы не должны думать об этом только линейно, ускоряется что-то или замедляется. Можно и нужно многое сказать о том, насколько ответственно эти компании себя ведут. Лоренцо, один из наших коллег, также написал очень хорошую статью, разбирающую, насколько серьезным, по мнению экспертов по безопасности, которые следят за этим, был этот взлом. Действительно похоже, что с обеих сторон этого взлома были шаги, которые, вероятно, следовало предпринять, чтобы его предотвратить.
И одна из вещей, которая показалась мне наиболее интересной в этой истории, это то, что некоторые исследователи указывали на то, что эта модель не сделала ничего нового и продвинутого. То, как она думала о попытке взлома — не буду антропоморфизировать, но то, как она думала о взломе Hugging Face, было очень по-человечески, и она также была очень шумной, грязной и не особо пыталась скрыть свои следы. Это было больше похоже на взлом Уотергейта людьми Никсона, чем на какую-то настоящую скрытную кибероперацию, потому что в этом не было необходимости, и агенту не было дано такой инструкции.
Это должно было быть легче предотвратить. И, надеюсь, это знак того, что компании учтут это и будут более осторожны с такими вещами.
Я скажу еще кое-что по поводу [дискуссии] об ускорении и замедлении. Я не знаю, является ли это мотивацией, но ты упомянула IPO, Кирстен. Я думаю, что Альтман поступает умно, используя преимущество, которое у них сейчас есть: [OpenAI] не выходит на рынки в следующем месяце или через два месяца. Он даже высказывал идею провести IPO в 2027 году и что они подали конфиденциальную заявку только для того, чтобы иметь готовый вариант, когда будут готовы.
Так что, если верить всему этому, у него есть возможность говорить так, как Anthropic не может, потому что Anthropic уже ведет переговоры со многими банкирами и движется к более краткосрочному IPO, и поэтому более ограничен в том, что может сказать и как это следует говорить, и как рынок на это отреагирует.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Anthony Ha
