Hexo Labs три года работала в закрытом режиме над новым проектом с открытым исходным кодом под названием SIA. Это такое объявление, которое заставит журналиста вздрогнуть, и не потому, что это очередной блестящий релиз модели, а из-за смелых заявлений, которые здесь делаются. В пресс-релизе Hexo заявляет, что их проект SIA «ускоряет путь к суперинтеллекту в 350 раз, согласно эталонному тесту, разработанному OpenAI».
По словам компании, это стало возможным благодаря тому, как они построили агент SIA для самосовершенствования. Он генерирует гипотезы, проводит эксперименты, оценивает результаты, обновляет свой подход и повторяет цикл. Забавная метафора, которую любит использовать генеральный директор, — представить Майкла Фелпса на пике формы, соревнующегося с тысячей других Майклов Фелпсов, вместо того чтобы соревноваться и учиться у других, менее одаренных пловцов.
Существует прецедент самоуправляемого улучшения в узких областях, например, самообучение AlphaGo, оптимизация, управляемая поиском, в шахматных движках… но SIA заявляет о генерализации этой модели на различные области и о том, что делает это прозрачно через открытый исходный код. Компания утверждает, что SIA превзошел ожидания в MLE‑Bench от OpenAI и что он ускоряет прогресс в направлении суперинтеллекта в 350 раз. Независимо от того, принимаете ли вы этот точный множитель как должное или рассматриваете его как провокационный результат бенчмарка, более важным является практический аспект: системы, которые приумножают собственные достижения, могут устранить узкое место «человек в цикле», которое долгое время замедляло исследовательские циклы.
При оценке такого заявления важны два контекстуальных факта. Во-первых, ИИ уже меняет экономические прогнозы: по оценкам нескольких отраслевых анализов, к 2030 году ИИ может добавить триллионы к мировому ВВП, что подчеркивает высокие ставки более быстрого прогресса. Во-вторых, метрики исследовательских возможностей, такие как вычислительные мощности, наборы данных и публикации, в последние годы быстро росли (AI Index и аналогичные трекеры фиксируют резкий рост потребления вычислительных ресурсов и масштабов моделей), а это означает, что любой метод, умножающий отдачу от этих инвестиций, может иметь непропорционально большое влияние.
Hexo Labs выбирает открытость в качестве предохранителя: выпуская SIA как open source и запуская программу грантов для предоставления ученым и лабораториям доступа к коду и инфраструктуре. Это отрадный шаг. Если самосовершенствующиеся агенты станут центральными для ИИ следующего поколения, прозрачность и широкое участие будут необходимы для раннего выявления ограничений, проблем согласования и рисков неправомерного использования.
Тем не менее, остаются важные вопросы. Насколько надежен SIA при плохо определенных целях? Как он избегает обратных связей, которые закрепляют узкие или вредные эвристики? Насколько прозрачны его внутренние гипотезы и критерии оценки для внешних аудиторов? Открытый исходный код помогает ответить на эти вопросы, но не устраняет их. Рекурсивное самосовершенствование, даже если оно представлено как прагматичные экспериментальные циклы, вызывает опасения по поводу согласования и безопасности, которые заслуживают постоянного междисциплинарного изучения.
В конечном счете, станет ли SIA шагом к полезным, хорошо управляемым агентам или ускорителем, который опережает практики обеспечения безопасности, будет зависеть от реакции сообщества. Партнерства лаборатории с университетами и программа грантов позволяют независимым исследователям тестировать, критиковать и расширять SIA, что является именно тем типом реакции экосистемы, который мы должны поощрять, если мощные самосовершенствующиеся агенты будут разрабатываться ответственно.
Я не вправе судить, является ли SIA тем поворотным моментом, который представляет компания. Но выбор Hexo Labs открыть свою работу и пригласить к академическому сотрудничеству — это правильный шаг для технологии, последствия которой могут быть столь же преобразующими, как утверждают ее сторонники.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Carl Williams
