Jev от TypeSafe, выпущенный на прошлой неделе, ведет себя иначе, чем стандартные передовые модели, к которым все привыкли, и поэтому быстро привлек пристальное внимание и интерес, поскольку разработчики исследуют, как работать с этой технологией.
Выходные данные Jev более ограничены, чем подход «спроси меня о чем угодно» других чат-ботов на базе LLM. По сути, Jev — это классификатор с мозгами. При получении набора данных он возвращает предопределенные «типизированные» решения, которые разработчик определил заранее, наряду с распределениями вероятностей и, для некоторых типов запросов, уровнем уверенности, которые затем могут быть использованы для принятия решений и автоматизации процессов.
Как часто говорил Брайан Ино, большие ограничения часто стимулируют большее творчество.
За неделю с момента выпуска Jev разработчики хлынули в сервис, по крайней мере, чтобы протестировать его. Партнер FPV Ventures Никундж Котари создал сайт под названием Jevable для сбора прототипов приложений Jev, опубликованных в X.
Jevable размещает инструменты для разработчиков и утилиты для повышения производительности, некоторые из которых тривиальны. Одно приложение переводит простой английский язык в «излишне вычурную прозу». Другое позволяет пользователю добавить столбец «Срочность» к строкам электронной таблицы, которые Jev затем может оценить от «дальнейших действий не требуется» до «срочно».
Еще одно приложение дает людям виртуальную возможность увидеть, как одежда будет смотреться на них. В макете Jev читает транскрипт, обращается к списку одежды и в реальном времени меняет наряды на изображении пользователя. Стоимость составляет 0,0011 доллара США за решение, и Jev требуется около 620 мс, чтобы показать, насколько ужасно вы будете выглядеть в той гавайской рубашке, которую вы собираетесь купить.
Игровые хаки — еще одна популярная область. Существуют приложения для ускоренного прохождения Doom, Tetris, League of Legends, Settlers of Catan и шахмат (где Jev проиграл открытой модели GLM 5.3, но был значительно дешевле в эксплуатации).
Пожалуй, самым экстремальным проявлением любопытства кодеров стало использование Jev для эмуляции ЦП, что в основном полезно для удовлетворения гиковской одержимости рекурсией. Для этого кто-то придумал термин «JevOps» для описания «конечной цели» «запуска всего кода» на виртуализации на базе Jev.
«JevOps» — это пока только мем, а не дисциплина. Пока что.
Что разработчики могут делать с Jev
Jev сравнивают с умным вызовом функции. Вы даете ему входные данные, и он возвращает определенный выход, используя структурированную модель принятия решений. TypeSafe называет это моделью «System One», разработанной для принятия быстрых, высокоструктурированных решений.
Пользователи отправляют данные в API для анализа и могут запрашивать свои данные с помощью трех возможных типов вопросов: Выбор (Choice), Оценка (Score) или «Нуль» (Noul) (оценка вероятности истинности от 0 до 1), которые являются примитивами Jev. Jev предоставляет уровни уверенности с ответами, которые он возвращает на запросы Выбора и Оценки.
Поскольку Jev не генерирует текст в свободной форме, пользователь должен явно определять схему и возможные варианты заранее для запросов Выбора и Оценки. Таким образом, использование Jev требует некоторой старой доброй ручной настройки заранее, по сравнению со свободным промптингом, необходимым для генерации ответов LLM.
Разработчик должен подумать о том, чего он хочет достичь в терминах этих вопросов, возможно, разбив свою задачу на серию таких вопросов.
В документации TypeSafe рекомендуется использовать вопрос вроде «Передает ли это сообщение срочность?» вместо более открытого вопроса вроде «Проанализируйте это сообщение и определите наилучший курс действий».
Структурированный ответ дает ряд преимуществ. Одно из них заключается в том, что Jev не приходится размышлять о том, как структурировать ответ для пользователя. TypeSafe утверждает, что Jev может вернуть ответ всего за 150 мс, что достаточно быстро для некоторых интерактивных и реальных приложений (отсюда и увлечение кодеров использованием Jev для ускорения прохождения игр).
Аналогично, сервис Jev значительно дешевле стандартных передовых LLM — входные токены стоят 0,042 доллара США за миллион токенов, а выходные токены вообще не тарифицируются.
«Если бы множество полезных семантических суждений были доступны в рамках бюджета времени отклика нашего приложения, что бы мы спроектировали иначе?» — спросил сотрудник TypeSafe Юджин Шварц (Eugene Shvarts) на странице README в GitHub для LLM-промпта, оценивающего полезность Jev для любого данного проекта.
Возможные рабочие нагрузки, которые могут выиграть от формата Jev, включают подбор персонала, а также проверку научных статей на наличие всех необходимых разделов. Он может управлять программным обеспечением, которое в противном случае потребовало бы участия человека. Создатель Jev Диого Алмейда (предложил использовать Jev для маршрутизации инструментов и вызовов MCP для других моделей.
Насколько умен Jev?
«Насколько интеллектуальна эта модель? Вот что я не могу понять», — сказал YouTube-персонаж в области ИИ Мо Битар (Mo Bitar) в видео. Демонстрации забавны, но насколько точны результаты? Jev — это LLM, но до сих пор у нас ограниченное представление (или бенчмарки) о его интеллекте. «Я знаю, что он быстрый. Я знаю, что он дешевый, но хорош ли он?»
Битар подозревает, что он лучше всего будет работать со статическими самодостаточными наборами данных для обучения, например, для фильтрации спама по электронной почте или онлайн-покупок. Он сказал, что предиктивная работа, такая как предложение выбора акций, может быть не самым разумным использованием Jev.
Немного глубже копнул инженер Арчер Хьюм (Archer Hume), который сообщил, как он протестировал Jev с помощью 10 000 вызовов API. (TypeSafe запускает Jev как сервис на основе API, хотя другие создали несколько открытых классификаторов, подобных самому Jev, таких как Jeff и Nimble.)
Хьюм предположил, что Jev обладает глубокими знаниями LLM, но не пытается предсказать текст, который нужно вернуть пользователю. Вместо этого он вычисляет вероятности решений непосредственно из внутренних представлений модели.
Тем не менее, другие видят в Jev шаг в правильном направлении, а именно — за пределы многословного и иногда обманчивого интерфейса современных сверхмощных LLM.
«Пришло время отойти от идеи, что нам нужны более умные передовые модели. Нам нужны более умные системы», — отметил Адам Джейкоб (Adam Jacob), генеральный директор поставщика агентного ПО Swamp Club, в сообщении в X. Интеллект — это хорошо, но правильные, повторяемые результаты также необходимы.
Исследователь Anthropic Андрей Карпатый (Andrej Karpathy) согласился, что Jev занимает новое место на развивающемся рынке ИИ. Jev «раскрыл скрытый спрос […], в который было недостаточно инвестировано из-за гонки за более высоким интеллектом», — написал он в X. Спрос, который Jev может удовлетворить, — это спрос на LLM с одним токеном, низкой задержкой и «приемлемым интеллектом», написал он. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Joab Jackson
