Coinbase утверждает, что теперь может завершить цикл тестирования поддержки примерно из 90 случаев за 30–45 минут, тогда как ранее на это уходило от одной до двух недель ручной настройки и выполнения. Эта цифра, раскрытая инженерами компании 21 сентября, демонстрирует стремление генерального директора Coinbase Брайана Армстронга к созданию компании, ориентированной на ИИ, как конкретный пример автоматизации, сокращающей рутинную работу.
Система под названием Autopilot тестирует процедуры, которым следуют боты поддержки при решении проблем клиентов. Она также предусматривает одобрение со стороны человека перед тем, как изменения в процедурах попадут в продакшн. Следующим испытанием для операционной модели Армстронга станет то, приведет ли более быстрая разработка процедур к надежной поддержке и ответственным действиям в отношении клиентских счетов.
Клиентам необходимо, чтобы их проблемы с учетными записями решались правильно, а доступ к их данным осуществлялся только с надлежащего разрешения. В сообщениях Coinbase описывается работа, направленная на удовлетворение обеих потребностей, но при этом эффект для клиентов остается неизмеренным. Утверждение изменений, ограничение разрешений и измерение реальных результатов остаются операционными задачами по мере автоматизации компанией большего объема работы.
Откуда берется экономия времени
Армстронг объявил о сокращении штата примерно на 14% в своей записке от 5 мая, ссылаясь как на слабый рынок криптовалют, так и на то, что ИИ меняет способы работы сотрудников. Он предложил сократить уровни управления, назначить руководителей, которые также вносят прямой вклад, создать небольшие команды, ориентированные на ИИ, и экспериментировать с командами из одного человека.
Инженерные отчеты за сентябрь переводят этот операционный аргумент в конкретный процесс поддержки. Coinbase заявляет, что ее боты проверяют состояние учетной записи, выполняют ограниченные действия и передают проблемы, требующие большей оценки, человеку. Autopilot помогает поддерживать процедуры, которым следуют эти боты.
Ее служба тестирования создает изолированных тестовых пользователей и имитирует состояния учетных записей, симулирует разговоры, записывает транскрипты и результаты работы инструментов, а также оценивает произошедшее по сравнению с ожидаемым поведением. Агенты могут помочь в создании тестов; повторяющийся исполнитель выполняет их. Coinbase заявляет, что внедрила гибридную систему, объединяющую службу, механизмы выпуска GitHub Actions и пользовательский интерфейс, который могут использовать как инженерные, так и неинженерные команды.
Это разделение объясняет, почему сравнение времени имеет смысл. Повторная настройка тестовых учетных записей, симуляция разговоров и сбор результатов — это работа, которую общая служба может выполнять последовательно. Более быстрая проверка может сделать практичным более частое тестирование изменений процедур, при условии, что случаи и ожидаемые результаты остаются соответствующими.
Представленное сравнение измеряет цикл проверки, оставляя за рамками время ответа клиентам и экономию на персонале. Для связи этого цикла с сокращением штата потребовались бы доказательства того, какие задачи были вытеснены и каковы были связанные с этим затраты.
Более короткий цикл тестирования дает Coinbase больше возможностей для оценки изменений. Будет ли эта возможность обеспечивать лучшую поддержку, зависит от того, что охватывают тесты, что делают рецензенты с их выводами и как развернутые процедуры будут работать после внедрения.
Autopilot использует как состязательные диалоги, так и тесты на ожидаемое поведение. Coinbase заявляет, что модель ИИ оценивает эти диалоги, но признает, что оценщик может ошибаться. Оценки служат основой для проверки человеком и механизмов выпуска, а не для самостоятельного принятия решения о готовности процедуры.
Граница выпуска отделяет предлагаемую процедуру от той, которую бот поддержки может использовать с клиентами. Агенты могут предлагать изменения, в то время как человек должен утверждать запись в продакшн и активацию.
Это является защитой от того, чтобы автоматизированный цикл качества продвигал свою собственную работу без проверки. Это также означает, что проверка остается операционной задачей по мере ускорения работы системы.
Область действия одобрения следует читать точно. Заявление Coinbase касается изменений в процедурах поддержки и их активации. Оно не говорит о том, что человек одобряет каждое действие, которое развернутый бот совершает в отношении учетной записи отдельного клиента.
Дальнейшая автоматизация остается незавершенной. Coinbase заявляет, что обнаружение, создание, тестирование и анализ существуют, в то время как оркестровка от выявленного пробела в производительности до продвигаемой процедуры все еще разрабатывается. Полностью общий контракт для сводок диалогов также остается незавершенным.
Это оставляет интеграционную работу наряду с выгодой от автоматизации. Система, которая выявляет слабый поток, генерирует исправление и тестирует его, по-прежнему нуждается в надежной передаче информации между этими этапами и в ответственной оценке выпуска.
Разрешение на действие — отдельный контроль
Раскрытие информации Coinbase о внутренних операциях от 18 августа касается другой части защиты клиентов: кто может получить доступ к данным клиента и кто может их изменять.
Компания описывает Control Center как отдельную общую платформу для поддержки, соответствия требованиям, юридического отдела, отдела управления рисками и инженерии. Coinbase не уточнила ее охват в отношении Autopilot. В рамках платформы авторизация, журналы аудита, одобрения и ограничения скорости находятся перед базовыми службами.
Проверки разрешений учитывают как запрашиваемое действие, так и конкретного клиента. Отсутствие контекста клиента при операции, ориентированной на клиента, означает отказ. Доступ привязан к назначенным случаям, ограничен затронутыми клиентами и имеет срок действия.
Для определенных конфиденциальных изменений, включая возврат средств, изменения состояния учетной записи и переопределение лимитов, платформа разделяет предложение изменения и его выполнение. Предложение поступает на проверку, должны быть получены необходимые одобрения, а затем отдельный исполнитель выполняет изменение. Сбои передаются для обработки человеком.
Эти элементы управления отвечают на вопросы, на которые не может ответить тестирование диалогов само по себе. Процедура может описывать ожидаемый ответ, в то время как система авторизации определяет, может ли вызывающий абонент получить доступ к соответствующим данным клиента. Правила одобрения определяют, может ли быть выполнено конфиденциальное изменение.
Control Center также делает явной продолжающуюся работу. Coinbase заявляет, что новые типы клиентов, включая автоматизированных агентов, должны быть включены в правила авторизации, аудита и ограничения скорости, при этом границы аутентификации пересматриваются по мере изменения вызывающих абонентов.
Установление того, как эти элементы управления применяются к автоматизации поддержки, потребует более четкого описания того, какие боты и действия проходят проверки разрешений и одобрений. Соответствующей мерой охвата является набор клиентских операций, регулируемых этими правилами.
Для операционной модели, ориентированной на ИИ, следствие прямолинейно: добавление автоматизированных вызывающих абонентов по-прежнему требует, чтобы кто-то поддерживал правила, регулирующие их полномочия. Архитектура может сделать эту работу более последовательной. Ее эффективность по-прежнему зависит от того, чтобы каждый новый вызывающий абонент оставался в рамках правил.
Доступ, связанный со случаем, является конкретным примером: разрешения должны продолжать соответствовать назначенной работе по мере изменения случаев и вызывающих абонентов. Граница учетной записи должна сохраняться наряду с более быстрой разработкой процедур.
Больше тестирования требует измерения результатов
Та же потребность в связи деятельности с результатами распространяется и на отдельную платформу безопасности Continuous Adversarial Testing (CAT) Coinbase. 15 сентября Coinbase сообщила о более чем 150 000 сканирований своей производственной среды с середины 2026 года, включая более 128 000 проверок pull-запросов, и о том, что все больше результатов тестирования на проникновение исправляется. Эти сообщения о деятельности и исправлениях обеспечивают контекст безопасности.
Различие между тестированием и производительностью в продакшене также является центральным для профиля рисков генеративного ИИ Национального института стандартов и технологий (NIST) за июль 2024 года. Добровольная структура рекомендует оценивать системы в реальных сценариях, поскольку контролируемое тестирование может упустить проблемы, и обсуждает разрывы в измерениях между лабораторными условиями и условиями развертывания. Структура предлагает общий стандарт для оценки этих утверждений.
Autopilot уже указывает на меры, ориентированные на клиента. Coinbase заявляет, что метки намерений клиента, разрешение проблем и сигналы удовлетворенности клиентов помогают выявлять слабые потоки поддержки с большим объемом обращений. Это предполагает, что компания признает, что завершение тестов и решение проблем клиентов — это разные показатели.
Однако в сообщении за сентябрь не публикуются количественные результаты разрешения проблем или безопасности до и после. Полезным следующим доказательством будет связь развернутых процедур с этими результатами, наряду с долей соответствующей деятельности поддержки, охватываемой системами тестирования и разрешений.
Качество разрешения поможет показать, решает ли автоматизация проблему клиента. Эффективность эскалации поможет показать, достигают ли случаи, требующие человеческого суждения, его. Доказательства несанкционированных действий и ошибок более прямолинейно решат вопрос защиты, чем время, необходимое для запуска набора тестов.
Сообщаемый цикл проверки, занимающий 30–45 минут, является конкретным примером автоматизируемой работы. Раскрытые механизмы одобрения и ограничения доступа делают подотчетность частью операционной модели. Демонстрация ценности для клиентов требует связи обоих аспектов с результатами в реальной поддержке, при одновременном выполнении работы по проверке и управлению, которую раскрытые системы по-прежнему требуют.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Liam 'Akiba' Wright
