Самовосстанавливающиеся тесты стали самой крупной ставкой QA-индустрии в 2025 году. Вендоры утверждают, что ИИ может исправить сломанную автоматизацию в одночасье. Инженерные команды сжигают бюджеты на инструменты, которые якобы устраняют накладные расходы на обслуживание. Но за маркетингом скрывается более грязная реальность: самовосстановление реально, но не так, как большинство людей думают. Мы поговорили с Дмитрием Кияшко, разработчиком программного обеспечения в области тестирования, специализирующимся на тестировании систем ИИ, чтобы узнать, что на самом деле работает, когда тесты блокируют развертывание.
TechTimes: Дмитрий, все говорят о самовосстанавливающихся тестах. Но когда вы на самом деле строите тестовые фреймворки для систем ИИ, как вы определяете эту концепцию?
Этот термин используется настолько свободно, что почти потерял смысл. Магия здесь ни при чем. Речь идет об интеллектуальной адаптации в пределах определенных границ.
В практическом плане? Самовосстанавливающийся тест обнаруживает, когда критическое изменение на самом деле не нарушает функциональность, а только способ доступа к ней. Структура DOM изменилась, селектор сломался, но кнопка по-прежнему делает то, что должна. Тест должен быть достаточно умным, чтобы найти ее, используя альтернативные стратегии без вмешательства человека.
Не подлежит обсуждению: он должен регистрировать то, что он сделал. Прозрачность имеет значение.
То есть, вы хотите сказать, что большинство компаний неправильно понимают это?
Совершенно верно. Самое большое заблуждение заключается в том, что самовосстановление означает, что вы можете написать тесты один раз и забыть о них навсегда. Это не инженерия — это принятие желаемого за действительное.
Я видел, как команды внедряют самовосстанавливающиеся фреймворки, а затем удивляются, когда их набор тестов становится черным ящиком, который никто не понимает. Два месяца спустя они получают ложные срабатывания, потому что тесты “исцелили” себя, начав тестировать совершенно не те вещи.
Иллюзия, которую продает рынок: “ИИ все исправит автоматически, поэтому нам не нужно будет выделять время на рефакторинг и обслуживание.” Это хуже, чем неправильно — это безрассудно.
Как выглядит реальное самовосстановление в вашей работе?
Мы создали механизм восстановления, использующий несколько стратегий идентификации — CSS-селекторы, визуальное позиционирование, текстовое содержимое, ARIA-метки, отношения между элементами. Когда основной локатор не срабатывал, система пыталась использовать альтернативы, проверяла, выполняет ли элемент по-прежнему ожидаемое действие, и отмечала изменение для проверки.
Что не сработало? Позволять ИИ принимать решения о восстановлении без контекста. Ранние итерации цеплялись за совершенно неправильные элементы, которые случайно соответствовали некоторым критериям.
Самовосстановление без ограничений создает хаос.
Как вы балансируете автоматизацию с контролем со стороны человека?
Именно здесь мой опыт создания инженерных команд с нуля действительно имеет значение. За почти десять лет в ИТ — более четырех из них в качестве руководителя команд и более шести лет в качестве строителя инженерных операций, проведения технических собеседований и наставничества специалистов — я видел, что происходит, когда компании пытаются полностью исключить людей из уравнения.
Решение не в противостоянии человека и алгоритма. Это сотрудничество.
Роль инженера кардинально меняется. Вместо того чтобы вручную исправлять каждый сломанный тест, вы устанавливаете правила, определяете границы и принимаете взвешенные решения, когда система сталкивается с неоднозначностью. Вы становитесь скорее архитектором, чем обслуживающим работником.
Он уже написал практическое руководство, в котором подробно описана пошаговая методология построения фреймворков оценки для систем ИИ. Центральная идея ясна: люди решают, как выглядит “правильно”, а ИИ применяет эту логику в масштабе. В книге исследуется, как этот принцип воплощается в реальные результаты — более высокая точность, более быстрые циклы обратной связи и системы оценки, которые действительно поддерживают разработку более совершенных моделей.
Технологии не могут заменить интуицию — пока нет, может быть, и никогда для определенных типов задач. Когда вы тестируете мультимодальные системы ИИ, о которых я опубликовал исследование, вам нужен кто-то, кто понимает контекст, намерения пользователя и бизнес-логику. Алгоритм может обнаружить, что что-то изменилось. Только человек может определить, имеет ли это изменение значение.
Как член IEEE, окруженный передовыми исследованиями, куда, по вашему мнению, это движется?
Через пять лет никто больше не будет называть это “самовосстановлением”. Эта концепция будет настолько внедрена в тестовую инженерию, что не будет нуждаться в специальном названии.
Более серьезный сдвиг? Граница между разработкой ИИ и QA значительно размоется. Тестирование ИИ с помощью ИИ требует другого мышления. Традиционное тестирование предполагает детерминированное поведение — один и тот же вход, один и тот же выход. Но современные системы ИИ по своей природе являются вероятностными.
Я работаю над фреймворками для автоматизированной оценки систем ИИ именно потому, что именно к этому движется индустрия. Как независимый консультант Xenoss, признанной Inc. 5000 одной из самых быстрорастущих частных компаний Америки и названной AI Company of the Year на UK Business Tech Awards 2025, я разрабатываю решения для автоматизации тестов агентских приложений ИИ.
Когда я просматриваю статьи для международных конференций, таких как Всемирная конференция по новым наукам, инновациям и политике, я вижу невероятные исследования в области адаптивных методологий тестирования.
Моя ставка: самовосстановление не станет стандартом, потому что оно волшебно. Команды примут его, когда поймут его ограничения и будут использовать его надлежащим образом.
На чем компаниям следует сосредоточиться прямо сейчас?
Перестаньте гнаться за модным словом. Начните задавать более правильные вопросы.
Когда кто-то продает вам “самовосстанавливающийся тестовый фреймворк”, спросите: Какие решения он принимает автономно? Как он справляется с неоднозначностью? Можете ли вы проверить его действия по восстановлению? Что происходит, когда он восстанавливает неправильно?
Лучшая автоматизация QA не исключает участие человека. Она устраняет утомительную работу, чтобы люди могли сосредоточиться на решении сложных задач.
На таких мероприятиях, как UAtech Venture Night во время Web Summit Vancouver, где я оценивал стартапы, представляющие свои проекты международным инвесторам, я тщательно изучал процессы каждой команды, представляющей свои стартапы на этом мероприятии, оценивал технические аспекты каждого продукта и глубоко вникал в их инженерные рабочие процессы. Ни одна команда не смогла освободить своих инженеров, включая инженеров по качеству, от обслуживания и поддержки автоматизированных тестов, даже при использовании передовых агентов и фреймворков ИИ.
Я также работаю с одной из ведущих технологических компаний в США, постоянно признаваемой Fortune и Fast Company за инновации и превосходство на рабочем месте. Вы не добьетесь этого, заменяя людей ИИ. Вы добьетесь этого, предоставляя им лучшие инструменты.
Какие-нибудь заключительные мысли для команд, внедряющих эту технологию?
Самовосстановление работает. Но это инженерия, а не магия.
Встройте прозрачность в свою систему. Регистрируйте каждое действие по восстановлению. Создайте рабочие процессы утверждения. Установите четкие границы для того, к чему ваши тесты могут и не могут адаптироваться автоматически.
Самое важное: держите человека в цикле. ИИ способен. Но качество требует суждений, а суждения требуют людей.
Шумиха говорит, что ИИ сделает все. Реальность? ИИ сделает многое, если вы построите его правильно и поймете, какую именно проблему вы решаете.
Самовосстанавливающиеся тесты масштабируют человеческий опыт. Они не заменяют его.
Дмитро Кияшко — разработчик программного обеспечения в области тестирования с почти 10-летним опытом работы в ИТ, специализирующийся на тестировании систем ИИ. Он создавал инженерные команды с нуля, проводил сотни технических собеседований и был наставником младших специалистов на протяжении всей своей карьеры. Его работа сосредоточена на обеспечении надежности, стабильности и производительности решений на базе ИИ в масштабе.
(*) Имейте ввиду, редакции некоторых западных изданий придерживаются предвзятых взглядов в освящении некоторых новостей, связанных с Россией.
7/6
Автор – Carl Williams
