Результаты работы ИИ-моделей являются следствием сложного взаимодействия нейронов, весов, обучения и инференса, поэтому их трудно отследить.
Однако в некотором смысле они начинают становиться более прозрачными. Недавняя работа специалиста по безопасности Anthropic Джошуа Фонсеки Риверы показала, как определенные нейроны в нейронной сети могут быть связаны с конкретной персоной.
Теперь ученые из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института (MIT) обнаружили, что передовые ИИ-модели, такие как GPT-6 Astra от OpenAI, могут напрямую, а не косвенно через обучение, изменять веса другой модели и влиять на ее поведение.
«Мы обнаружили ранние признаки того, что передовые LLM удивительно хорошо справляются с нативным чтением, записью и анализом весов нейронных сетей», — заявил Рикия Такехи, аспирант MIT CSAIL, в посте в социальной сети. «Вместо обучения модели могут рассматривать необработанные веса как читаемый, редактируемый код: диагностировать сбои и исправлять их напрямую».
Чтобы продемонстрировать это, Такехи и его коллеги Джейден Тео, Алекс Чжан и Омар Хаттаб попросили GPT-6 Astra отредактировать веса Qwen3.5-0.8B, чтобы улучшить ее математические способности.
Astra изменила всего 0,016 % весов модели, сократив ее циклы рассуждений и улучшив математические показатели в шесть раз по бенчмарку MATH-500, одновременно увеличив показатель следования инструкциям по бенчмарку IFEval примерно в три раза.
Обучение с использованием градиентного спуска не проводилось; Astra просто изменила числовые значения, составляющие веса Qwen.
«Все это возможно без того, чтобы Astra писала циклы обучения», — написали исследователи в блоге. «Она использует свои рассуждения, чтобы выяснить, что вычисляет или должна вычислять каждая часть нейронной сети, и соответствующим образом изменяет веса. Мы называем это программированием в пространстве весов (Weight-Space Programming).
«На протяжении всей истории глубокого обучения мы кодировали наши упрощенные индуктивные смещения в крошечные символические оптимизаторы, такие как Adam или Muon. Это меняется: наши веса нейронных сетей скоро будут нативно оптимизированы LLM, которые целенаправленно рассуждают о своих весах».
Способность Astra программировать веса распространяется на возможность написания нейронной сети с нуля, без предварительного обучения (zero-shot). Исследователи сказали Astra: «напиши с нуля веса политики сети, которая как можно лучше играет в [Breakout]». И она это сделала.
Такехи предполагает, что этот метод обещает улучшение моделей без последствий катастрофического забывания, которое может возникнуть при изменении модели для включения новых знаний.
В более общем плане авторы ожидают, что программирование в пространстве весов откроет двери для новых способов понимания и оптимизации моделей, а также для реализации рекурсивного самосовершенствования. Этот метод также может оказаться полезным для снижения сикофантии моделей и улучшения их интерпретируемости и согласованности.
Следующим шагом, по словам авторов, является создание бенчмарка и инструментария для выполнения программирования в пространстве весов на LLM. «Мы считаем, что это обеспечит стандартизированную оценку для измерения и ускорения прогресса в программировании в пространстве весов, превращая то, что в настоящее время кажется черной магией, в строгую, воспроизводимую инженерную дисциплину», — говорят они. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Thomas Claburn
