Coinbase сообщает, что сократил тест поддержки ИИ из 90 случаев с 1–2 недель до 30–45 минут

Coinbase сообщает, что теперь может завершить цикл тестирования поддержки из примерно 90 случаев за 30–45 минут, работа, которая ранее занимала от одной до двух недель на ручную настройку и выполнение. Эта цифра, раскрытая его инженерами 21 сентября, дает конкретный пример стремления генерального директора Coinbase Брайана Армстронга к созданию компании, ориентированной на ИИ, где автоматизация снижает рутинную работу.

Система, называемая Autopilot, тестирует процедуры, которые следуют ботам поддержки при решении проблем клиентов. Она также сохраняет человеческое одобрение, прежде чем изменения в процедурах достигнут производства. Следующий тест для операционной модели Армстронга заключается в том, сможет ли более быстрое развитие процедур обеспечить надежную поддержку и ответственные действия по учетным записям клиентов.

Клиентам необходимо, чтобы их проблемы с учетными записями решались правильно, а их данные использовались только с надлежащими полномочиями. Раскрытия Coinbase описывают работу по удовлетворению обеих потребностей, оставляя при этом влияние на клиентов неизмеренным. Одобрение изменений, ограничение разрешений и измерение реальных результатов остаются операционными обязанностями, поскольку компания автоматизирует больше работы.

Откуда берется экономия времени

Армстронг объявил о сокращении рабочей силы примерно на 14% в своем меморандуме от 5 мая, ссылаясь как на слабый рынок криптовалют, так и на то, что ИИ меняет способ работы сотрудников. Он предложил уменьшить количество уровней управления, чтобы лидеры также вносили непосредственный вклад, создать более мелкие команды, ориентированные на ИИ, и проводить эксперименты с командами из одного человека.

Сентябрьский отчет инженеров переносит этот операционный аргумент в конкретный процесс поддержки. Coinbase сообщает, что его боты проверяют состояние учетной записи, принимают ограниченные действия и передают проблемы, требующие большего суждения, человеку. Autopilot помогает поддерживать процедуры, которым следуют эти боты.

Его служба тестирования создает изолированных тестовых пользователей и имитирует состояния учетных записей, симулирует разговоры, записывает стенограммы и результаты инструментов и оценивает, что произошло, по сравнению с ожидаемым поведением. Агенты могут помочь в создании тестов; повторяемый исполнитель выполняет их. Coinbase сообщает, что он выпустил гибридную систему, объединяющую эту службу, шлюзы GitHub Actions и пользовательский интерфейс, который могут использовать как инженерные, так и неинженерные команды.

Это разделение объясняет, почему сравнение времени полезно. Повторная настройка тестовых учетных записей, ведение разговоров и сбор результатов — это работа, которую общая служба может выполнять последовательно. Более быстрая валидация может сделать практичным более частую проверку изменений процедур, при условии, что случаи и ожидаемые результаты остаются уместными.

Сообщенное сравнение измеряет цикл валидации, оставляя время отклика клиентов и экономию на персонале за пределами его объема. Связать этот цикл с сокращением рабочей силы потребует доказательств того, какие задачи были заменены и какие затраты это повлекло.

Короткий цикл тестирования дает Coinbase больше возможностей для оценки изменений. Будет ли эта способность обеспечивать лучшую поддержку, зависит от того, что охватывают тесты, что рецензенты делают с их выводами и как результаты процедур работают после развертывания.

Autopilot использует противоречивые разговоры, а также тесты ожидаемого поведения. Coinbase сообщает, что модель ИИ оценивает эти разговоры, но признает, что судья может ошибаться. Оценки подаются на человеческий обзор и шлюзы выпуска, а не принимают решение о том, что процедура готова.

Граница выпуска отделяет предложенную процедуру от той, которую бот поддержки может использовать с клиентами. Агенты могут предлагать изменения, в то время как человек должен одобрить записи в производстве и их активацию.

Это мера предосторожности против автоматизированного цикла качества, который продвигает свою работу без проверки. Это также означает, что обзор остается операционной ответственностью по мере ускорения системы.

Объем одобрения следует читать точно. Заявление Coinbase касается изменений в процедурах поддержки и их активации. В нем не говорится, что человек одобряет каждое действие, которое развернутый бот выполняет на учетной записи отдельного клиента.

Дальнейшая автоматизация остается незавершенной. Coinbase сообщает, что существуют этапы открытия, авторства, тестирования и анализа, в то время как оркестрация от выявленного разрыва в производительности к продвигаемой процедуре все еще разрабатывается. Полностью совместимый контракт для резюме разговоров также остается незавершенным.

Это оставляет работу по интеграции наряду с полученной автоматизацией. Система, которая выявляет слабый поток, генерирует исправление и тестирует его, все еще нуждается в надежной информации, передаваемой между этими шагами, и в ответственной решении о выпуске.

Разрешение на действия — это отдельный контроль

Внутреннее раскрытие операций Coinbase от 18 августа касается другой части защиты клиентов: кто может получить доступ к данным клиентов и кто может их изменять.

Компания описывает Центр управления как отдельную общую платформу для поддержки, соблюдения, юридических вопросов, рисков и инженерии. Coinbase не уточнила, как это касается Autopilot. Внутри платформы авторизация, журналы аудита, одобрения и лимиты скорости находятся перед основными службами.

Его проверки разрешений учитывают как запрашиваемое действие, так и конкретного клиента. Отсутствие контекста клиента в операции, охватывающей клиента, означает отказ. Доступ связан с назначенными делами, ограничен вовлеченными клиентами и установлен на срок действия.

Для обозначенных чувствительных изменений, включая возвраты, изменения состояния аккаунта и отмены лимитов, платформа отделяет предложение изменения от его выполнения. Предложение проходит проверку, необходимые одобрения должны поступить, а затем отдельный исполнитель выполняет изменение. Неудачи оставляются для человеческой обработки.

Эти контроли отвечают на вопросы, на которые тестирование разговоров не может ответить самостоятельно. Процедура может описывать ожидаемый ответ, в то время как система авторизации определяет, может ли звонящий получить доступ к соответствующим данным клиента. Правила одобрения определяют, может ли чувствительное изменение продолжаться.

Центр управления также делает продолжающуюся работу явной. Coinbase сообщает, что новые типы клиентов, включая автоматизированные агенты, должны быть подчинены правилам авторизации, аудита и ограничения скорости, при этом границы аутентификации должны быть повторно проверены по мере изменения звонящих.

Установление того, как эти контроли применяются к автоматизации поддержки, потребует более четкого отчета о том, какие боты и действия проходят через проверки разрешений и одобрений. Соответствующая мера покрытия — это набор операций с клиентами, регулируемых этими правилами.

Для модели операционной деятельности, основанной на ИИ, последствия очевидны: добавление автоматизированных звонящих все еще требует, чтобы кто-то поддерживал правила, регулирующие их полномочия. Архитектура может сделать эту работу более последовательной. Ее эффективность все еще зависит от того, чтобы каждый новый звонящий оставался в рамках правил.

Доступ, связанный с делом, предоставляет конкретный пример: разрешения должны продолжать соответствовать назначенной работе по мере изменения дел и звонящих. Граница аккаунта должна сохраняться наряду с более быстрой разработкой процедур.

Больше тестирования требует меры результата

Та же необходимость связать деятельность с результатами распространяется на отдельную платформу безопасности Coinbase Continuous Adversarial Testing (CAT). 15 сентября Coinbase сообщила о более чем 150 000 сканированиях своего производственного окружения с середины 2026 года, включая более 128 000 проверок запросов на изменение, и о том, что исправляются новые находки тестирования на проникновение. Эти сообщенные действия и исправления предоставляют контекст безопасности.

Различие между тестированием и развернутой производительностью также является центральным элементом профиля рисков генеративного ИИ Национального института стандартов и технологий (NIST) за июль 2024 года. Добровольная структура рекомендует оценивать системы в реальных сценариях, поскольку контролируемое тестирование может упустить проблемы, и обсуждает разрывы в измерениях между лабораторными и развернутыми условиями. Эта структура предлагает общий стандарт для оценки этих утверждений.

Автопилот уже указывает на меры для клиентов. Coinbase утверждает, что метки намерений клиентов, разрешения и сигналы удовлетворенности клиентов помогают выявить слабые потоки поддержки с высоким объемом. Это предполагает, что компания признает, что завершение тестов и решение проблем клиентов — это разные меры.

Тем не менее, раскрытие информации в сентябре не публикует количественные результаты до и после разрешения клиентских вопросов или безопасности. Полезные следующие доказательства связали бы развернутые процедуры с этими результатами, наряду с долей соответствующей поддержки, охваченной системами тестирования и разрешения.

Качество разрешения помогло бы показать, решает ли автоматизация проблему клиента. Эффективность эскалации помогла бы показать, достигают ли случаи, требующие человеческого суждения, этого. Доказательства о несанкционированных действиях и ошибках более непосредственно касаются защиты, чем время, необходимое для выполнения тестового набора.

Сообщенный цикл валидации продолжительностью 30–45 минут является конкретным примером автоматизации работы. Раскрытые контрольные точки одобрения и ограничения доступа делают подотчетность частью операционной модели. Демонстрация ценности для клиентов требует соединения обоих с результатами в живой поддержке, при этом выполняя работу по обзору и управлению, которую все еще требуют раскрытые системы.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.