В мире ИИ, где постоянно появляются новые модели, время от времени случаются настоящие прорывы. На прошлой неделе дебютировала модель Jev от TypeSafe AI — первая модель класса “System One”. В отличие от обычных LLM, которые общаются с пользователями, Jev предназначена исключительно для оценки утверждений и принятия решений в целях программирования.
Jev — детище бывшего инженера OpenAI Диогу Алмейды, одного из авторов основных методов обучения ChatGPT. Согласно расчетам TypeSafe, Jev должна быть значительно быстрее и эффективнее передовых ИИ-моделей, таких как GPT-6 Astra, на несколько порядков: до 194 раз быстрее и в 445 раз дешевле. Компания заявляет, что “интеллект Jev на доллар зашкаливает”, хотя это покажет только практическое применение.
TypeSafe называет две основные причины такой эффективности. Во-первых, модели System One обучаются с использованием технологии обучения с подкреплением для калиброванных решений (RLCD) и ориентированы на получение структурированных ответов, а не на создание прозы. Во-вторых, поскольку предыдущий контекст не требуется, отдельные вопросы в одном запросе могут обрабатываться *параллельно*, в отличие от последовательной генерации текста LLM.
При обращении к обычной LLM вы получаете открытый текстовый диалог; Jev просто выдает ответы на конкретные вопросы с указанием уровня уверенности. Модель предназначена для использования кодом и машинами. Ваш код взаимодействует с API Jev, предоставляя состояние — заданную ситуацию и связанные с ней данные — и просит Jev оценить конкретные утверждения. Состояние предоставляется для каждого отдельного запроса, и глобальная база знаний или сохраненная память отсутствуют.
Например, компания может предоставить Jev список транзакций по кредитной карте клиента, основную информацию о его счете, последнее сообщение клиента и задать вопрос: “Запрашивает ли клиент возврат средств?”. Ответ будет “да” или “нет” с указанием уровня уверенности. Если уверенность превышает, скажем, 85%, можно перейти к вопросу о предпочтительном способе получения средств: “возврат”, “кредит магазина” или “неясно”. Jev предложит распределение вероятностей для каждого варианта. Ваш код затем может попытаться обработать возврат или запросить дополнительное уточнение.
Вывод (и опционально ввод) Jev представлен в предопределенном формате данных, по сути, в виде обычного JSON. В отличие от взаимодействия с LLM, здесь нет лишних слов, пространных рассуждений или необходимости просить модель быть лаконичной. Также нет необходимости в глобальных контекстных подсказках или сохраненных воспоминаниях, которые часто требуются, чтобы заставить LLM вести себя как минимально детерминированные. Помимо предоставления состояния и вопросов, такие операции, как разбор ввода, обработка дат или чтение базы данных, остаются на стороне вашего кода и не касаются Jev.
На первый взгляд это может показаться более простым интерфейсом к LLM, но это принципиально иной подход. Jev не нуждается и даже не желает получать полный контекст, предшествующий вопросу — предоставление избыточной информации фактически снижает точность, а контекстное окно ограничено скромными 64 000 токенов. Поскольку бот всегда выдает процент уверенности, он не “галлюцинирует” в привычном для чат-ботов смысле, создавая утверждения и данные из ниоткуда.
Разработчик, а не Jev, несет ответственность за принятие решений на основе факторов уверенности в ответах. Jev по-прежнему может неправильно классифицировать информацию, стать жертвой атак или отвечать на буквальное прочтение, а не на смысл.
Ожидается, что наиболее распространенным сценарием использования Jev (и, предположительно, будущих моделей System One) будет обертывание логических рабочих процессов вокруг заданных вопросов, поскольку наличие фактора уверенности всегда облегчает его интеграцию в шаги принятия решений, такие как: “если мы достаточно уверены, что пользователь запросил возврат, и он предпочитает кредит магазина, и мы видим, что он покупает больше компьютерного оборудования в сентябре, предложим ему также скидку 20% на RTX 5090”. Документация содержит другие примеры использования, такие как маршрутизация намерений или проверка цитат.
Сильная сторона Jev — не в действии в качестве агента или решении широкой проблемы. TypeSafe ясно дает понять, что открытые задачи лучше подходят для LLM, возможно, даже интегрированных в код, который также включает Jev. Примером может служить система мониторинга, где Jev может использовать предоставленную информацию для оценки серьезности проблемы системы и, в случае необходимости, привлечь LLM для анализа журналов, поиска причины и составления отчета. Аналогично, Jev не обучается на данных клиентов и не делает выводов ниоткуда, кроме предоставленного состояния (и собственных данных обучения).
Я, конечно, не инженер по ИИ, но, по моему мнению, как разработчика-любителя, *если* Jev будет работать обещанным образом, это может устранить одно из главных препятствий для глубокой интеграции ИИ в программное обеспечение: работу с LLM-чат-ботами, которые на практике являются досадно аморфными сущностями, которые могут вести себя непредсказуемо и выдавать желаемый, а тем более *правильный* результат — да еще и медленно и дорого. Наличие простого интерфейса оценки/ответа/уверенности, который можно легко и чисто интегрировать в код без необходимости специального обучения или тщательно составленных текстовых заклинаний, кажется гораздо более естественным и простым в использовании.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruno Ferreira
