Инженеры-программисты десятилетиями спорят о метриках производительности, начиная с количества строк кода. Но поскольку новое поколение агентов для кодирования на базе ИИ генерирует больше кода, чем когда-либо, то, что должны измерять их менеджеры, становится менее очевидным.
Огромные бюджеты токенов — по сути, объем вычислительной мощности ИИ, который разработчику разрешено потреблять — стали предметом гордости среди разработчиков Кремниевой долины, но это очень странный способ думать о производительности. Измерение входных данных процесса не имеет особого смысла, когда вас, предположительно, больше заботит результат. Это могло бы иметь смысл, если бы вы пытались стимулировать большее внедрение ИИ (или продавать токены), но не если вы пытаетесь стать более эффективным.
Рассмотрим свидетельства от нового класса компаний, работающих в сфере «аналитики производительности разработчиков». Они обнаруживают, что разработчики, использующие такие инструменты, как Claude Code, Cursor и Codex, генерируют значительно больше принятого кода, чем раньше. Но они также обнаруживают, что инженерам приходится возвращаться для доработки этого принятого кода гораздо чаще, чем раньше, что подрывает заявления о росте производительности.
Алекс Чирчей, генеральный директор и основатель Waydev, создает интеллектуальный слой для отслеживания этой динамики; его фирма работает с 50 различными клиентами, в которых занято более 10 000 инженеров-программистов. (Чирчей в прошлом публиковался в TechCrunch, но этот репортер никогда раньше с ним не встречался.)
Он говорит, что менеджеры по инженерии видят показатели принятия кода на уровне 80%–90% — то есть долю сгенерированного ИИ кода, которую одобряют и оставляют разработчики, — но они упускают из виду «текучку», которая происходит, когда инженерам приходится пересматривать этот код в последующие недели, что снижает реальный показатель принятия до 10%–30% сгенерированного кода.
Рост инструментов для кодирования на базе ИИ побудил Waydev, основанную в 2017 году для предоставления аналитики по разработчикам, полностью переработать свою платформу за последние шесть месяцев, чтобы учесть распространение инструментов быстрого кодирования. Теперь компания выпускает новые инструменты, которые отслеживают метаданные, генерируемые агентами ИИ, предлагая аналитику по качеству и стоимости их кода, чтобы предоставить менеджерам по инженерии больше информации как о внедрении ИИ, так и об эффективности.
Хотя аналитические компании заинтересованы в том, чтобы подчеркивать проблемы, которые они находят, накапливаются доказательства того, что крупные организации все еще выясняют, как эффективно использовать инструменты ИИ. Крупные компании это замечают: Atlassian приобрела DX, еще один стартап в области инженерной аналитики, за 1 миллиард долларов в прошлом году, чтобы помочь своим клиентам понять окупаемость инвестиций в агентов кодирования.
Данные по всей отрасли рассказывают последовательную историю: пишется больше кода, но непропорционально большая его часть не приживается.
GitClear, еще одна компания в этой области, опубликовала отчет в январе, в котором говорилось, что инструменты ИИ повысили производительность, но также и то, что ее данные показали: «постоянные пользователи ИИ имели в среднем в 9,4 раза более высокую текучку кода, чем их коллеги, не использующие ИИ» — более чем вдвое превышающую прирост производительности, обеспечиваемый инструментами.
Faros AI, платформа инженерной аналитики, использовала двухлетние данные клиентов для своего отчета за март 2026 года. Результат: текучка кода — удаленные строки кода по сравнению с добавленными — увеличилась на 861% при высоком уровне внедрения ИИ.
Jellyfish, которая позиционирует себя как интеллектуальная платформа для инженерии с интеграцией ИИ, собрала данные о 7 548 инженерах в первом квартале 2026 года. Фирма обнаружила, что инженеры с самыми большими бюджетами токенов создали наибольшее количество pull request (предлагаемых изменений в общей кодовой базе), но улучшение производительности не масштабировалось. Они достигли двукратного увеличения пропускной способности при десятикратном увеличении стоимости токенов. Другими словами, инструменты генерируют объем, а не ценность.
Подобная статистика находит отклик, когда разговариваешь с разработчиками, которые обнаруживают, что обзор кода и технический долг накапливаются, даже несмотря на то, что они наслаждаются свободой новых инструментов. Одним из распространенных выводов является разница между старшими и младшими инженерами: последние принимают гораздо больше кода, сгенерированного ИИ, и в результате сталкиваются с большим объемом переписывания.
Тем не менее, даже когда разработчики пытаются понять, что именно делают их агенты, они не ожидают скоро отказаться от них.
«Это новая эра разработки программного обеспечения, и вы должны адаптироваться, и вы вынуждены адаптироваться как компания», — сказал Чирчей TechCrunch. «Это не похоже на цикл, который пройдет».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tim Fernholz
