Если вы используете dot от OpenAI, не удивляйтесь, если он сам по себе потребит много токенов. По данным Geordie, компании, занимающейся безопасностью и управлением ИИ-агентами, один агент dot произвел 155 отдельных последовательностей действий и потребил более 300 000 токенов — и все это без дальнейшего человеческого вмешательства и в течение одного дня.
Geordie тестирует «всегда включенного» ассистента dot с момента его анонса OpenAI в сентябре, следуя по стопам *Meta Muse и Grok Bot.
Однако, по словам главного ИИ-офицера Geordie Ханы-Мари Дарли, по сравнению с другими персональными агентами, dot от OpenAI «выглядел немного иначе». «Одна из вещей, которую мы очень быстро обнаружили, заключалась в том, что они были очень, очень активны без особого взаимодействия с пользователем», — сказала она The Register.
Для тестирования Дарли предоставила dot права только на чтение и не подключала его к своим личным приложениям, электронной почте или другим коммуникационным приложениям, таким как Slack. Бот быстро перешел в режим исследования, собирая как можно больше информации и анализируя системы.
«Вы можете думать об этом очень похоже на нового менеджера проекта, который приходит и смотрит, что есть, изучает, какие доступы вы ему предоставили, какие доступы есть у вас, а также какие системы вы используете», — сказала Дарли.
Агент собирает все эти точки данных во что-то вроде записи в дневнике и постоянно обновляет их в течение дня.
«Если вы дали ему какие-либо задачи, он будет фактически проверять и свои собственные задачи, — сказала Дарли. — Но что было действительно уникальным, так это то, что dot запускал агентов, вообще не взаимодействуя с пользователем. Все это было инициировано dot, а не постоянной или запланированной задачей от пользователя или каким-либо запросом пользователя».
«Гиперперсонализированный» и «всегда включенный»… что может пойти не так?
Большинство корпоративных ИИ-агентов представляют собой специально созданных ботов, которым поручены конкретные бизнес-проекты, или фреймворки для агентов, такие как Claude, Codex или Hero, для ИИ-ассистирования в инженерии и кодировании, сказала Дарли.
«Обычно ими управляют сотрудники, которые ставят цели, — сказала она нам во время интервью. — Но интересно, что персональные агенты ставят гораздо больше своих собственных задач — и я не думаю, что многие люди осознают это, когда начинают с ними работать».
В этом и заключается вся ценность персональных агентов. Вместо того чтобы пассивно ждать запросов пользователя, боты, такие как Muse и dot, стремятся быть проактивными цифровыми работниками, которые выполняют многошаговые задачи и подключаются к нескольким приложениям, сервисам и учетным записям от имени пользователей.
«Они пытаются стать гиперперсонализированными и собрать как можно больше контекста и информации о вас, чтобы рекомендовать вам что-то и быть проактивными, — сказала Дарли. — Но это означает, что они фактически всегда включены, работают в фоновом режиме, и у них есть эти активные периоды», — добавила она.
По словам Дарли, dot, в частности, более проактивен, чем другие персональные агенты, такие как Muse или Grok Bot. Это не обязательно означает более высокое потребление токенов, добавила она. «Они просто работают по-другому».
Например, dot всегда работает как минимум с двумя запущенными агентами: основной агент взаимодействует с пользователем, а вторичный агент постоянно работает в фоновом режиме, собирая данные. Dot и другие агенты также могут запускать субагентов для конкретных задач.
50 следов за 2 минуты
Из 155 следов действий агента dot, находившегося в тестировании, по крайней мере 50 произошли в течение двух минут, а большинство — в течение нескольких часов, по словам Дарли.
«В одном из проанализированных нами следов агент запускал несколько субагентов, которые были недолговечными, они просто выполняли конкретные задачи и передавали информацию из существующих доступов, которые уже были предоставлены dot — и ни одно из этого не взаимодействовало с пользователем», — сказала Дарли.
Часть оценки включала тестирование системы разработки, и один из dot запустил субагент, который проверил все репозитории кода в системе. Тем временем другой субагент постоянно инвентаризировал и подсчитывал все найденные им данные во время работы.
«Пользователь понятия не имел бы, что субагенты работают от его имени, — добавила она. — Он понятия не имел бы, как этим агентам был предоставлен доступ или каковы их задачи, что очень, очень отличается от того, как большинство агентов работали в бизнес-контексте».
155 следов обошлись Geordie примерно в 307 000 токенов. Другие запросы стоили от нескольких сотен токенов до нескольких тысяч, в зависимости от объема исследований, проводимых dot. «Это очень интересно, потому что это самонаправленное исследование», — сказала Дарли.
Пользователь не просит его выполнять эти задачи — или использовать определенное количество токенов, — а dot делает это самостоятельно.
Токеномика
Стоимость токенов сильно варьируется в зависимости от местоположения пользователя, уровня подписки, скидок, затрат на вычисления и других условий.
Но для целей нашего обсуждения, примерно 200 000 токенов, потребленных dot на основе модели Astra от OpenAI, стоят от 5 до 10 долларов. «Так что, если подумать о том, как это будет выглядеть каждый день, это может означать трату денег, равную стоимости латте, в зависимости от города — но без какого-либо взаимодействия с пользователем», — сказала Дарли.
«Одна из вещей, с которой многие люди борются, особенно когда речь идет о понимании своих расходов на ИИ, это: как использование токенов связано с рабочим продуктом или как оно связано с результатами? И это сложный вопрос, потому что это не обязательно один к одному», — отметила она.
Один запрос к LLM может стоить 500 токенов и при этом быть более ценным с точки зрения бизнеса, чем другой одиночный запрос, который стоил 800 000 токенов. «На самом деле все дело в том, сколько вычислений вам требуется для получения хорошего ответа, и это становится очень субъективным суждением», — сказала Дарли.
Однако, когда речь идет о dot и других всегда включенных агентах, она подозревает, что «многие люди не будут готовы к фоновым расходам».
Знаете ли вы, что делают ваши агенты?
Так же, как сотрудники поступали с чат-ботами, затем с кодирующими агентами, а теперь с персональными агентами: предполагайте, что люди будут приносить dot и его собратьев из дома на свою работу, сказала Дарли.
«Компании часто удивляются количеству агентов, которые активно работают в их системах, даже если они планировали меньший или более контролируемый развертывание», — сказала она.
«Второе: не все агенты действуют одинаково, — добавила она. — Они действуют с разной степенью автономии, с разной степенью участия пользователя, и они также очень сильно зависят от контекста. Лучшие агенты — это те, у кого самый узкий контекст, потому что это означает, что они могут преследовать свою цель с правильной информацией в нужное время».
Дарли предлагает организациям попробовать эту технологию. Она сама себя называет «массивным ИИ-оптимистом» и говорит, что верит, что агенты могут повысить производительность и трансформировать способ работы людей. ИИ никуда не денется, и поэтому бизнесу следует ознакомиться с агентами. Но у нее есть последнее предупреждение, прежде чем выпускать агентов на свободу.
«Не предоставляйте им никакой личной информации, которую вы не были бы готовы отправить по электронной почте, — сказала Дарли. — И не кладите на них реальные деньги — например, свои личные карты. Купите им подарочную карту Visa, если вы хотите дать им доступ для совершения покупок от вашего имени. Зачастую люди не думают об этом, пока что-то не пойдет не так». ®
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jessica Lyons
