Китайская компания Z.ai, занимающаяся разработкой искусственного интеллекта, на этой неделе была вынуждена отключить несколько функций своего помощника для написания кода ZCode после того, как было обнаружено, что настройка по умолчанию отправляла локальные репозитории кода пользователей на серверы Alibaba Cloud в Китае без их согласия. Это вызвало новые опасения у предприятий относительно того, как инструменты ИИ обрабатывают конфиденциальный исходный код.
Компания принесла извинения и заявила, что «провела необходимое исправление», отключив рабочий процесс, отвечающий за генерацию и загрузку снимков локальных репозиториев в клиенте ZCode. Согласно сообщению в X, компания удалила эту функцию из последнего выпуска и открыла исходный код для публичного изучения.
Обнаруженные сообществом данные раскрыли передачу полного репозитория
Проблема впервые всплыла в ходе технического расследования независимого китайского блогера, который описал обнаружение аномального использования диска и отследил его до фоновых процессов ZCode.
«Каждый раз, когда вы входите в систему, ZCode молча упаковывает все ваше рабочее пространство — полную историю .git, кэш ресурсов LFS, reflogs и глобальные конфигурации приложений — шифрует его и загружает напрямую в Aliyun OSS», — написал китайский блогер Ferstar в своем посте, согласно машинному переводу, который он предоставил.
По словам блогера, помощник для написания кода ZCode не просто получал доступ к активным файлам, но и захватывал более широкую среду разработки, фактически создавая канал передачи данных из локальных систем в облачное хранилище.
Блогер отметил, что данные загружались в объектное хранилище Alibaba Cloud, что вызвало опасения по поводу того, как могут обрабатываться корпоративные кодовые базы, включая проприетарную логику и встроенные учетные данные, после того как они покинут локальную среду.
Z.ai признала проблему, поблагодарив разработчиков сообщества за ее выявление и обязавшись продолжать процесс сообщения об уязвимостях и реагирования на них.
Исправление, аудиты и заверения поставщика
В рамках своего ответа компания заявила, что отключила механизм загрузки репозиториев, удалила связанную инфраструктуру облачного хранения и внесла изменения в клиент ZCode v3.14.0.
Z.ai также попросила Китайскую академию информационных и коммуникационных технологий (CAICT) и NSFOCUS провести оценку безопасности.
«NSFOCUS подтвердила, что все объекты данных в бакете zcode-prod Alibaba Cloud OSS, а также сам бакет, были удалены», — добавила Z.ai в своем посте. «Точка входа Repo Wiki и связанный с ней рабочий процесс генерации были удалены, и не было выявлено ни одного функционального пути, способного инициировать генерацию снимков локальных репозиториев или передавать локальные файлы вовне».
Компания также заявила, что такие данные не сохраняются и «никогда не использовались для обучения моделей», отвечая на опасения по поводу последующего использования загруженного кода.
Помощники ИИ размывают границы корпоративных данных
В случае с Z.ai, находки Ferstar показали, что включенный по умолчанию рабочий процесс мог упаковывать и передавать полные репозитории из локальных сред в облачную инфраструктуру без явного действия пользователя — поведение, которое компания позже устранила в своем обновлении.
«Это не столько проблема модели ИИ, сколько старомодная проблема архитектуры безопасности», — сказал Крис Томас, специалист по безопасности в Semgrep. Если помощник для написания кода может «упаковать весь мой репозиторий и отправить его куда-то, что я явно не одобрял», — сказал он, — то проблема заключается в том, как обеспечивается доступ и разрешения.
«Предоставление ИИ доступа к проприетарному исходному коду должно требовать четкого раскрытия информации о том, что покидает машину, куда оно направляется, как долго хранится и кто может получить к нему доступ, при этом по умолчанию должны быть включены минимальные разрешения, а не максимальные», — сказал он.
Риск выходит за рамки облачных развертываний. Системы, работающие локально, по-прежнему могут раскрывать конфиденциальные данные, если им предоставлен широкий доступ к файловой системе и неограниченное сетевое подключение, добавил он.
Кэти Пэкстон-Фир, специалист по безопасности в Semgrep, отметила: «Учитывая, сколько интеллектуальной собственности содержится в коде, неудивительно, что люди обеспокоены тем, что он отправляется стороннему облачному провайдеру». Она добавила, что организациям необходимо более тщательно проверять используемые ими инструменты ИИ.
Недавние раскрытия информации от OpenAI о несоответствии моделей и системах отчетности также указывают на случаи неожиданного поведения систем, подчеркивая, как системы ИИ могут работать способами, не полностью предвиденными во время развертывания.
Эта статья впервые появилась на InfoWorld.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Gyana Swain
