API, по-видимому, предоставляет функциональность, аналогичную Jev, модели, выпущенной TypeSafe AI в начале этого месяца и специально разработанной для автоматизации программного обеспечения. По сути, это сверхмощный классификатор, построенный на базе LLM, разработчики могут предоставить Jev набор вариантов выбора, которые он выдает в виде вероятностей дешево и с высокой скоростью.
API Decisions от OpenAI, похоже, является продуктом того же типа. На мероприятии Алтман описал API как способ дать модели Luna из лаборатории предопределенный набор вариантов выбора, таких как категории для классификации изображения или различные варианты поведения агента.
«Сосредоточив модель на этом выборе, мы можем сделать ее чрезвычайно быстрой, сохраняя при этом такие возможности, как понимание изображений, широкая языковая поддержка и меры безопасности», — сказал Алтман.
TypeSafe не ответила на вопросы TechCrunch о новом продукте, но генеральный директор Диого Алмейда, бывший инженер OpenAI, который является соавтором концепции обучения с подкреплением, пошутил в X о начале клонических войн.
Он добавил, что интерес OpenAI может быть «признаком того, что разработка в совместимом с System One формате — это будущее». («System One» — это термин TypeSafe для быстрого, интуитивного мышления, в отличие от «System 2», которое они применяют к обдуманным рассуждениям).
Подразумевается, что LLM в том виде, в каком мы их знаем, не являются правильным решением для многих программных задач, поскольку они относительно медленные и дорогие. Разработчики использовали Jev для дополнения LLM и, делая это, обнаружили, что они стали быстрее и дешевле.
Неясно, насколько Decisions API будет похож на Jev, поскольку OpenAI выпустила его в ограниченном бета-доступе, и до сих пор TechCrunch не видел, чтобы разработчики тестировали его. Однако, судя по обсуждениям в X, интерес к нему явно есть.
Decisions API — не единственный API, похожий на Jev, в интернете; другие стартапы выпускают аналогичные модели; OpenAI не будет последним технологическим гигантом, который выпустит подобный продукт. Ключевой вопрос заключается в том, насколько хорошо выходные данные каждой из этих моделей принятия решений будут соответствовать реальной жизни.
Алмейда говорит, что конкурентное преимущество его компании заключается в синтетических данных, которые она создает для получения статистически полезных результатов.
«Быстро и дешево — это очень просто, знаете ли», — сказал Алмейда TechCrunch на прошлой неделе. «Если вам нужно действительно быстро и дешево, используйте игральные кости, верно? Интеллект — это сложная часть, и моя путеводная звезда — это всегда продвижение кривой Парето «интеллект на доллар».
Всего за несколько недель становится ясно, что у этих моделей есть будущее, и одним из вероятных применений является мониторинг и защита ИИ-агентов. Одной из новых мер безопасности OpenAI после серии инцидентов, когда ее агенты вели себя некорректно в открытом интернете, является использование отдельной модели для отслеживания вредоносных действий при «значительных вычислительных затратах».
Шапор Нагибзаде, давний специалист по кибербезопасности, возглавляющий стартап QueryStory, считает, что модель, подобная Jev, могла бы сделать это гораздо дешевле.
Он создал демо для хакатона, который прошел на прошлых выходных, используя Jev для проверки каждого действия агента на соответствие поставленной задаче, блокируя действия, в отношении которых он был уверен, что они вредоносны, помечая другие для проверки и разрешая остальные.
Теоретически такой мониторинг мог бы предотвратить инцидент с Hugging Face — и такой мониторинг стоит 2,94 евро (2,94 евро) с Jev, по сравнению с 372 евро (372 евро) с передовой LLM.
Ключевое наблюдение заключается в том, что Jev, возможно, достаточно дешев, чтобы работать при каждом действии агента, что обеспечивает уровень проверки, который может повысить надежность агентов в целом. Это именно то, чего TypeSafe надеялась достичь, — и теперь OpenAI также увидела ценность.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tim Fernholz
