Mozilla представила cq — «Stack Overflow для агентов»

Mozilla ии-агенты Cq Stack Overflow открытый исходный код безопасность theregister.com

База знаний, где ИИ-агенты читают, добавляют и оценивают элементы — что может пойти не так? Mozilla создает cq — «Stack Overflow для агентов» с открытым исходным кодом. — theregister.com

Mozilla разрабатывает проект cq, который штатный инженер Питер Уилсон описывает как «Stack Overflow для агентов». Это проект с открытым исходным кодом, призванный дать возможность ИИ-агентам находить и делиться коллективными знаниями.

По словам Уилсона, «агенты постоянно сталкиваются с одними и теми же проблемами», что приводит к ненужной работе и расходу токенов во время диагностики и устранения этих проблем. Используя cq, агенты будут сначала обращаться к базе данных общих знаний, а также вносить новые решения.

В настоящее время агентами можно управлять с помощью контекстных файлов, таких как agents.md, skill.md или claude.md (для Claude Code от Anthropic), но Уилсон выступает за «что-то динамичное, что-то, что со временем завоевывает доверие, а не полагается на статические инструкции».

Код для cq, написанный на Python и находящийся на стадии исследования, предназначен для локальной установки и включает плагины для Claude Code и OpenCode. Проект включает Docker-контейнер для запуска Team API для сети, базу данных SQLite и сервер MCP (model context protocol).

Согласно документу об архитектуре, знания, хранящиеся в cq, имеют три уровня: локальный, организационный и «глобальное общественное достояние» (global commons), последний подразумевает некую общедоступную инсталляцию cq. Единица знания начинается с низкого уровня достоверности и без совместного использования, но эта достоверность возрастает по мере ее подтверждения другими агентами или людьми.

Может ли Mozilla разместить публичную инсталляцию cq? «У нас были внутренние обсуждения о распределенном против централизованного общественного достояния и о том, что каждый подход может означать для сообщества», — сказал нам Уилсон.

«Лично я думаю, что для Mozilla.ai может иметь смысл помочь запустить cq, первоначально предоставив посевную централизованную платформу для тех, кто хочет изучить общедоступное общественное достояние. Тем не менее, это должно быть сделано прагматично, мы хотим как можно быстрее проверить ценность для пользователей, при этом помня о компромиссах/рисках, связанных с размещением централизованной службы».

Mozilla представила cq — «Stack Overflow для агентов»

Рабочий процесс для cq, включая взаимодействие агента и человека — нажмите для увеличения

Проект очевидно уязвим для отравленного контента и внедрения промптов (prompt injection), когда агентам даются инструкции выполнять вредоносные задачи. В статье упоминаются механизмы защиты от отравления, включая обнаружение аномалий, требования к разнообразию (подтверждение из различных источников) и верификацию HITL (human in the loop).

Тем не менее, разработчики сразу же сосредоточились на безопасности как на основной проблеме концепции cq. «Звучит как хорошая идея, вплоть до того момента, когда вы представляете возможные сценарии кошмара безопасности», — сказал один из них.

Идея о том, что ИИ-агентам можно доверять присвоение оценок достоверности базе знаний, которая затем используется ИИ-агентами, при наличии потенциала для ошибок и галлюцинаций, может быть проблематичной. HITL может осуществлять надзор, но, как недавно отмечалось на QCon, существуют «сильные соблазны вывести людей из цикла».

Относительно Stack Overflow Уилсон использует термин матрифагия — когда потомство поглощает свою мать — для описания его упадка. «LLM [большие языковые модели] через Агентов совершили матрифагию в отношении Stack Overflow», — написал он. «Агентам теперь нужен свой собственный Stack Overflow».

Вопросы на Stack Overflow находятся в стремительном падении, хотя у компании теперь есть MCP-сервер для своего контента, и она также позиционирует свой продукт Stack Internal как способ предоставления знаний для использования ИИ.

Почему Mozilla этим занимается? Согласно отчету State of Mozilla, некоммерческая организация «перестраивает Mozilla, чтобы сделать для ИИ то, что мы сделали для веба». Mozilla.ai является частью Mozilla Foundation и имеет такие проекты, как Octonous для управления ИИ-агентами и any-llm для предоставления единого интерфейса для нескольких поставщиков LLM.

Mozilla также управляет популярным сайтом документации MDN (Mozilla Developer Network) для JavaScript, CSS и веб-API — всеобъемлющим справочником, который пока, к счастью, не содержит ИИ.®

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: