Revolut заявляет, что менее чем за год ей удалось сократить расходы на ИИ-кодирование примерно на 90%, сделав саморазмещенные модели стандартом вместо преимущественного использования коммерческих сервисов, таких как Claude.
Выступая на конференции AI Engineer в Нью-Йорке в прошлом месяце, Дэвид Абиболь, руководитель отдела эксплуатации и инфраструктуры британской финтех-компании, рассказал, как после внедрения инструментов ИИ для кодирования примерно для 2000 инженеров компания добилась улучшения времени кодирования на 60% и сокращения времени выполнения задач на 70%. Изначально Revolut использовала GLM-5.1, а затем перешла на GLM-5.3, которую теперь обслуживает с помощью 56 GPU Nvidia B200.
До перехода на GLM компания Revolut экспериментировала с ИИ, развернув Gemini в начале 2025 года и Claude Code в начале 2026 года. «Мы были крайне скептичны относительно стоимости ИИ. Мы видели, как инженеры тратили 1000 долларов в месяц, 10 000 долларов в месяц без особого ROI, и поэтому, когда мы запустили его, мы установили строгие бюджетные ограничения», — сказал Абиболь.
Из-за этого у инженеров был доступ только к ограниченному количеству токенов, поэтому компания начала исследовать возможность самостоятельного размещения собственных моделей. При стоимости 0,30 доллара за миллион входных/выходных токенов самостоятельное размещение GLM 5.1 стоило примерно десятую часть стоимости использования OpenAI Codex или Anthropic Claude Code. И, как оказалось, когда токены дешевы, вы перестаете беспокоиться о том, сколько их используется и для чего.
Хотя Revolut действительно добилась улучшения скорости кодирования, Абиболь отметил, что самым большим узким местом на самом деле был не код. Вместо этого, по его словам, наибольший выигрыш принесло то, что модели ИИ занимались такими задачами, как отладка и обработка тикетов Jira и Confluence. «Когда у вас неограниченное количество токенов, вы можете делать это», — сказал он. «Вам больше не нужно экономить токены до конца квартала или для самых сложных задач».
GLM 5.1, разработанная китайским разработчиком моделей с открытыми весами Z.ai, не является маленькой моделью. При примерно 754 миллиардах общих параметров (40 миллиардов активированных для каждого сгенерированного токена) модель требует около 380 ГБ памяти GPU только для хранения весов и еще 6–26 ГБ на пользователя для поддержания контекста в зависимости от точности.
Для обслуживания GLM-5.3 в масштабе Revolut развернула 56 GPU Nvidia B200, что эквивалентно семи системам DGX B200 с восемью GPU. Но, как отметил Абиболь, наибольший прирост производительности был достигнут не за счет добавления GPU, а за счет настройки гиперпараметров модели, а также перехода на квантование NVFP4, внедрения раздельной предварительной обработки и декодирования, а также настройки длины контекста.
Одним из ключевых выводов стало то, что поддержка окна контекста в один миллион токенов не обязательно делает такое большое окно полезным или эффективным. «Длинный контекст — это обман. Вам действительно нужно быть внимательными к этому», — сказал Абиболь. «Даже если вы можете обслуживать один миллион токенов, вам действительно нужно 256 [тысяч]».
Благодаря этим оптимизациям, по словам Абиболя, компания смогла добиться времени до первого токена менее 3 секунд для окон контекста около 256 000 токенов и скорости генерации около 200 токенов в секунду, что, по его словам, является оптимальным для инженеров-программистов компании.
«То, к чему вы хотите стремиться, — это время до первого токена менее 3 секунд. Это эмпирические данные. Как только вы превысите 5 секунд, мой почтовый ящик в Slack начинает взрываться», — сказал Абиболь. «С точки зрения пропускной способности это не так уж важно. Мы обслуживаем, с точки зрения интерактивности, 200 токенов в секунду. Людей это устраивает. Вам не нужно больше. Способ работы людей изменился. Мы больше не смотрим на поток мыслей в виде токенов. Люди выполняют задачи параллельно и проверяют их по завершении».
И если пропускная способность вызывает беспокойство, он отмечает, что инженеры, которые входят в систему после 17:00, получают почти 800 токенов в секунду.
Однако стоит отметить, что GLM не полностью заменила GPT или Claude. Китайская модель работает только с текстом, поэтому она не идеальна для таких задач, как работа с пользовательским интерфейсом. Вместо этого Revolut использовала маршрутизатор моделей для направления запросов, связанных с визуализацией, к таким моделям, как Gemini или GPT Luna, в то время как генерация кода оставалась на GLM.
«Open source теперь является приоритетом в Revolut, и наша экономика благоприятна. Биллинг фиксированный, у нас нет неожиданных счетов в конце месяца, а передовые решения — это исключение», — сказал Абиболь.
Тем не менее, Абиболь признает, что модели с открытыми весами из Китая могут вызывать опасения по поводу конфиденциальности и безопасности, но подчеркивает, что основная проблема заключается в доступе к ним через API, работающие за пределами Китая. При работе локально или на региональных облачных ресурсах беспокоиться действительно не о чем. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tobias Mann
