К Сочеру в новом предприятии присоединилась группа выдающихся исследователей в области ИИ, включая Питера Норвига и соучредителя Cresta Тима Ши. Вместе они работают над созданием рекурсивно самосовершенствующейся модели ИИ, способной автономно выявлять собственные недостатки и перестраивать себя для их устранения без участия человека — это давняя заветная цель современных исследований в области ИИ.
После запуска я поговорил с ним в Zoom, углубившись в уникальный технический подход Recursive и в то, почему он не считает этот новый проект «неолабом» — неофициальным термином для нового поколения стартапов в сфере ИИ, которые отдают приоритет исследованиям, а не созданию продуктов.
Это интервью было отредактировано для сокращения и ясности.
В последнее время мы много слышим о рекурсии! Кажется, это очень распространенная цель в разных лабораториях. В чем, по вашему мнению, заключается ваш уникальный подход?
Наш уникальный подход заключается в использовании открытости (open-endedness) для достижения рекурсивного самосовершенствования, чего еще никому не удавалось. Это неуловимая цель для многих. Многие уже считают, что это происходит, когда вы просто занимаетесь автоисследованиями. Знаете, вы можете взять ИИ и попросить его улучшить что-то другое, будь то система машинного обучения или просто письмо, которое вы пишете, или, знаете, что угодно, верно? Но это не рекурсивное самосовершенствование. Это просто улучшение.
Наш основной фокус — создание по-настоящему рекурсивного, самосовершенствующегося суперинтеллекта в масштабе, что означает, что весь процесс выдвижения, реализации и проверки исследовательских идей будет автоматическим.
Сначала [это будет автоматизировать] исследовательские идеи ИИ, в конечном итоге любые исследовательские идеи, даже в физических доменах. Но это особенно мощно, когда ИИ работает над собой и развивает новое чувство самосознания о собственных недостатках.
Вы использовали термин «открытость» (open-endedness) — имеет ли это специфическое техническое значение?
Имеет. Фактически, Тим Роккташель, один из наших соучредителей, руководил командами по открытости и самосовершенствованию в Google DeepMind и особенно работал над моделью мира Genie 3, которая является отличным примером открытости. Вы можете задать ей любую концепцию, любой мир, любого агента, и она просто создает это, и это интерактивно.
В биологической эволюции животные адаптируются к окружающей среде, а затем другие контр-адаптируются к этим адаптациям. Это просто процесс, который может развиваться миллиарды лет, и продолжают происходить интересные вещи, верно? Так у нас появились глаза в [голове].
Другой пример — rainbow teaming, из другой статьи Тима. Вы слышали о red teaming?
В кибербезопасности это означает—
Итак, red teaming также необходимо проводить в контексте LLM. По сути, вы пытаетесь заставить LLM рассказать вам, как собрать бомбу, и вы хотите убедиться, что она этого не сделает.
Теперь люди могут долго сидеть и придумывать интересные примеры того, чего ИИ не должен говорить. Но что, если вы протестируете этот первый ИИ со вторым ИИ, и задача этого второго ИИ будет заключаться в том, чтобы заставить первый ИИ [попытаться] сказать все возможные плохие вещи. И тогда они смогут обмениваться данными миллионы итераций.
Вы можете фактически позволить двум ИИ сосуществовать. Один продолжает атаковать другого, а затем находит не просто один угол, а множество разных углов, отсюда и аналогия с радугой. А затем вы можете привить первому ИИ иммунитет, и он становится все более и более безопасным. Это была идея Тима Роккташеля, и сейчас она используется во всех крупных лабораториях.
Как вы узнаете, когда это закончено? Я полагаю, это никогда не заканчивается.
Некоторые из этих вещей никогда не будут закончены. Вы всегда можете стать умнее. Вы всегда можете стать лучше в программировании и математике и так далее. Существуют некоторые пределы интеллекта; я сейчас пытаюсь их формализовать, но они астрономические. Мы очень далеки от этих пределов.
Поскольку вы неолаб, кажется, вы должны делать то, чего не делают крупные лаборатории. Так что часть вывода здесь в том, что вы не думаете, что крупные лаборатории достигнут RSI [рекурсивного самосовершенствования], делая то, что они делают. Справедливо ли это?
Я не могу комментировать то, что они делают, но я думаю, что мы подходим к этому по-другому. Мы действительно принимаем концепцию открытости, и наша команда полностью сосредоточена на этом видении. И команда исследовала это и публиковала статьи в этой области в течение последнего десятилетия. И у команды есть послужной список реального значительного продвижения области вперед и выпуска реальных продуктов. Знаете, Тим Ши превратил Cresta в единорога. Джош Тобин был одним из первых людей в OpenAI, а затем возглавлял их команды Codex и команды глубоких исследований.
Я на самом деле иногда немного борюсь с этой категорией неолаба. Мне кажется, что мы не просто лаборатория. Я хочу, чтобы мы стали по-настоящему жизнеспособной компанией, чтобы у нас были по-настоящему потрясающие продукты, которые люди любят использовать, которые положительно влияют на человечество.
Итак, когда вы планируете выпустить свой первый продукт?
Я много об этом думал. Команда добилась огромного прогресса, мы, возможно, даже ускорим сроки по сравнению с тем, что предполагали изначально. Но да, продукты будут, и вам придется подождать кварталы, а не годы.
Одна из идей, связанных с рекурсивным самосовершенствованием, заключается в том, что, как только у нас появится такая система, вычислительные мощности станут единственным важным ресурсом. Чем быстрее вы запускаете систему, тем быстрее она будет совершенствоваться, и никакая внешняя человеческая деятельность не будет иметь реального значения. Таким образом, гонка просто сводится к тому, сколько вычислительной мощности мы можем на это направить? Вы думаете, что мы движемся к такому миру?
Вычислительные мощности нельзя недооценивать. Я думаю, в будущем действительно важным вопросом будет: сколько вычислительных мощностей человечество хочет потратить на решение каких проблем? Вот это рак, а вот этот вирус — что вы хотите решить в первую очередь? Сколько вычислительных мощностей вы хотите ему выделить? В конечном итоге это станет вопросом распределения ресурсов. Это будет один из самых больших вопросов в мире.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Russell Brandom
