OpenAI регулярно выпускает передовые модели ИИ, но одних лишь улучшенных моделей недостаточно для многих реальных приложений. Несколько приложений и агентов на базе ИИ также нуждаются в более быстрых ответах, особенно когда система должна принять несколько решений или выполнить несколько задач перед завершением запроса.
Для решения этой проблемы OpenAI сделала два объявления. На прошлой неделе OpenAI представила GPT-6.1 Sol, новую модель, которая обеспечивает интеллект, близкий к GPT-6 Astra, для кодирования агентов, использования компьютера и профессиональных задач по одной пятой цене. Теперь OpenAI внедряет режим Ultrafast для GPT-6.1 Sol через свой API, Codex и ChatGPT Work.
Этот новый режим Ultrafast может обеспечить до 8 раз более высокую производительность по сравнению со стандартным режимом в Codex. Это может значительно сократить время, которое разработчики тратят на ожидание при написании кода, отладке проблем и тестировании изменений. При использовании через API режим Ultrafast может заставить агентов ИИ выполнять рабочие процессы с гораздо меньшими задержками.
В API разработчики могут включить этот новый режим Ultrafast, установив service_tier в значение ultrafast. OpenAI также рекомендует использовать постоянные WebSocket-соединения для снижения сетевых накладных расходов и получения полного преимущества от этого нового режима.
Как и ожидалось, такая 8-кратная скорость достигается ценой значительных затрат. Стоимость режима Ultrafast для GPT-6.1 Sol начинается от 12 долларов за миллион входных токенов и 60 долларов за миллион выходных токенов для запросов с коротким контекстом. Стандартный режим OpenAI для той же модели стоит 2 доллара за миллион входных токенов и 10 долларов за миллион выходных токенов. Это делает режим Ultrafast в шесть раз дороже стандартной обработки.
Вместе с новым режимом Ultrafast OpenAI недавно объявила о публичном бета-тестировании своего API Decisions. В то время как Ultrafast ускоряет сложные задачи рассуждения, API Decisions фокусируется на быстром принятии простых решений. Он использует GPT-6 Luna для обработки текста и изображений и возвращает структурированные результаты, с которыми приложения могут работать напрямую.
Стандартные LLM менее подходят для нескольких распространенных сценариев использования. Например, приложение для обслуживания клиентов на базе ИИ может потребоваться определить, должен ли запрос пользователя обрабатываться отделом биллинга, технической поддержки или доставки. Вместо того чтобы использовать стандартный ответ модели LLM для принятия решения, новый API Decisions может напрямую выбрать соответствующую категорию.
API Decisions поддерживает три типа решений:
- Предикат: Возвращает оценку вероятности истинности условия.
- Выбор: Выбирает из предопределенного набора вариантов и предоставляет информацию о вероятности.
- Оценка: Оценивает входные данные по предопределенной шкале оценки.
OpenAI утверждает, что API Decisions работал до 10 раз быстрее, чем выполнение аналогичных решений через API Responses с использованием GPT-6 Luna во время раннего тестирования. Стоимость API Decisions составляет 0,10 доллара за миллион входных токенов при использовании GPT-6 Luna, без отдельной платы за выходные токены, чтение кэша или запись кэша.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pradeep Viswanathan
