Всё об ИИ Искусственный интеллект прост в использовании, но не настолько, чтобы просто рявкнуть: «Алекса! Создай мне сайт для электронной коммерции». И нет, добавление «НЕ ГАЛЛЮЦИНИРУЙ» в цикл инструкций не поможет.
По сути, оптимальные результаты работы ИИ требуют хорошо подготовленного агента, как утверждали спикеры из IBM, Meta* и Netflix — среди прочих — на конференции All Things AI в Дареме, Северная Каролина.
Чем больше вы хотите, чтобы ИИ выполнял ваши поручения, тем больше подготовительной работы вам придется сделать, советовали они.
Многие доклады затрагивали парадокс Джевонса, согласно которому чем эффективнее становится ресурс, тем больше он используется. Парадокс часто используется для объяснения того, почему ИИ не отнимет у всех рабочие места. На самом деле, как утверждается, он создаст больше рабочих мест.
В настоящее время ИИ, безусловно, создает больше работы для своих пользователей, требуя времени на подготовку контекста и проверку результатов. Claude сделает любого 10-кратным программистом, но ему придется очищать в 10 раз больше результатов.
Или, если говорить в самых апокалиптических терминах, прежде чем сингулярность сможет поработить человечество в качестве энергетических капсул в стиле «Матрицы», ей потребуется некоторая помощь от нас, мешков с мясом, чтобы начать действовать.
Ученик чародея
Чем занят ИИ у сотрудников Netflix? В своем выступлении архитектор пользовательского интерфейса Netflix Бен Илегбоду объяснил, что как только вы создаете агента для автоматизации какой-либо задачи, вам понадобится второй агент для оценки выполненной работы.
Илегбоду иногда даже разбивает задачу на нескольких агентов, специализирующихся на разных частях проверки кода. Он называет этот подход «состязательной проверкой кода» (adversarial code review).
О, вам также понадобится третий агент для координации действий между первыми двумя, сказал он.
Рабочий день Илегбоду — это воплощение парадокса Джевонса. Как только он запускает одного агента для реализации новой функции, он поручает другому агенту выполнить предварительную работу для следующей задачи, которую он задумал. По сути, он «параллелизирует себя, чтобы работа всегда шла».
ИИ позволил Илегбоду писать код на языках, которые он еще не знает, таких как Python, Bash и Groovy.
Но это переключение контекста может утомлять, признал он. «В конце дня я на самом деле немного устал, потому что, по сути, я весь день разговаривал с чем-то».
Ненасытный стажер
Многие кодеры представляют ИИ как восторженного младшего разработчика в команде: полный энтузиазма, но наивный. Но в отличие от младшего разработчика, ИИ не «перегрузится», сказал в своем выступлении защитник разработчиков Meta* Джастин Джеффресс.
Вы можете просто продолжать забрасывать ИИ всё больше информации, и он примет её всю (в пределах доступного количества токенов).
Такой бездонный голод приводит к тому, что Джеффресс назвал «разложением контекста» (context rot).
«Со временем, по мере взаимодействия с вашим ИИ-агентом, чем больше вещей ему нужно рассчитать для предоставления ответа, тем больше всего борется за его внимание, и тем меньше вероятность того, что он сделает что-то правильно», — сказал он.
Нечеткие инструкции приводят к размытым результатам, сообщил он аудитории. Четкое обдумывание информации, которую вы предоставляете агенту, — это работа контекстной инженерии, которая за короткое время агентного ИИ стала формой искусства, если еще не полноценной дисциплиной.
С помощью контекстной инженерии «вы создаете набор правил, инструментов, навыков и прочего, к чему ИИ-агент в момент необходимости может обратиться, чтобы решить проблему», — сказал он. Он даже рекомендовал пойти на шаг дальше с «цепочкой промптов» (prompt chaining), то есть перечислять конкретные задачи, которые ему нужно выполнить шаг за шагом. Больше работы в начале означает меньше забот во время выполнения, что позволяет разработчику отлучиться на пинту.
Шутка. Это дает им время для дальнейшего усовершенствования процесса путем запуска нескольких агентов параллельно. Станьте дирижером собственного оркестра агентов, сказал Джеффресс. Обязательно создайте файл markdown для отслеживания прогресса, чтобы помочь агенту не забыть свою миссию.
Джеффресс отметил, что ИИ обычно может выполнить 80 процентов поставленной задачи, оставляя последние 20 процентов на доработку человеку. Когда Джеффресс взялся за оставшиеся 20 процентов работы, он обнаружил, что 80 процентов этой работы могут выполнить боты. И так далее, как некий фрактальный принцип Парето бесконечных обязанностей по очистке.
Желаемое промптирование
Тот факт, что ИИ делает не совсем то, что вы хотите, — это не проблема ИИ. Это проблема вашей нехватки навыков «декомпозиции», предположил Луис Ластрас, директор IBM по языковым и мультимодальным технологиям, в своем выступлении.
Желаемое промптирование — это просто набор текста: «Я настаиваю, не галлюцинируй. От этого зависит моя карьера, пожалуйста, пожалуйста, пожалуйста». Это похоже на заклинание и надежду, что оно сработает, сказал он.
Вместо этого разработчики должны думать о том, как разбить работу на более мелкие, более удобоваримые части для агента.
Такая «декомпозиция» на самом деле является Основами инженерии (Engineering 101), сказал он. Это «искусство взятия очень сложной системы, выявления ключевых составных частей, их модульного разделения, а затем проектирования этих частей и даже назначения специалистов для проектирования этих частей».
При создании своего агента не просто хаотично забрасывайте LLM информацией, а определяйте конкретные функции, которые помогут агенту выполнить задачу. Недавно выпущенная IBM библиотека mellea.ai — это библиотека с открытым исходным кодом того, что Ластрас называет ключевыми паттернами — функциями, которые дают LLM конкретные инструкции, закодированные на Python. Их можно использовать для добавления требований к вызовам LLM, обнаружения вредоносных результатов, структурирования результатов в схемы и многого другого.
Big Blue также работает над возможностью для агентов переключать LLM для специализированных задач, или «переключать мозги», сказал Ластрас. В своих исследованиях IBM обнаружила, что меньшая, предметно-ориентированная модель, которой уделяется больше времени на инференс, превзойдет по производительности более крупные модели.
Заплати налог на подготовку
«Неявные предположения — это технический долг», — пояснил Джастин Чау, старший разработчик в Intuit. То, что очевидно нам, может быть не очевидно машине. «Мы должны быть очень, очень конкретными в том, чего мы хотим в результате».
Один из советов от Чау: давайте агентам ограничения, а не инструкции. LLM проигнорирует инструкцию, если найдет то, что, по его мнению, является лучшим способом выполнения задачи. Ограничения — это жесткие запреты, которые ИИ-мозгу труднее игнорировать. Если вы скажете агенту, что ни при каких обстоятельствах он не должен использовать HTML, он выполнит эту просьбу.
Но даже сильнее ограничений — это отсутствие разрешений. «Если я не дам ему доступ к GitHub, я точно знаю, что он никогда не прикоснется к GitHub», — сказал Чау.
Любители Автостопом по Галактике вспомнят парадокс «Глубокого Мыслителя», самого мощного компьютера в мире. Как и сам ИИ, Глубокий Мыслитель был создан, чтобы дать ответ на Вопрос Жизни, Вселенной и Всего Остального. Но после столетий вычислений он выдал лишь загадочный ответ (42), и человечеству понадобился еще более крупный компьютер, чтобы просто понять, в чем же заключался сам вопрос.
Возможно, с ИИ мы оказались в мире Адамса. Далеко от того, чтобы делать всю работу за нас, ИИ ставит нас на путь бесконечной подготовки. ®
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Joab Jackson
