PWNED Добро пожаловать в PWNED — колонку, где мы высмеиваем тех, кто сам прострелил себе ногу в вопросах безопасности, чтобы вы, надеемся, не повторили их ошибок. На этой неделе у нас свежайшая история о компании, которая едва не саботировала свою безопасность, используя ИИ для программирования.
Есть история о том, как кто-то оставил зияющую дыру в своей сети? Поделитесь с нами по адресу pwned@sitpub.com. Анонимность предоставляется по запросу.
Наш рассказ о проступке машинного обучения стал возможен благодаря Сергею Фицаку, управляющему директору Softjourn, консалтинговой компании, занимающейся разработкой ПО. Он напоминает нам: когда дело касается ИИ, не доверяй — проверяй.
В процессе работы один инженер попросил ИИ-агента порекомендовать пакет, необходимый для типовой задачи. Агент выдал название, звучавшее правдоподобно и по формату напоминавшее знакомую библиотеку.
Во многих организациях на этом история бы и закончилась. Разработчик последовал бы совету ИИ-агента, скачал и установил рекомендованный пакет.
Однако у Softjourn есть политика, которой они на самом деле следовали: перепроверять любые рекомендации ИИ по программному обеспечению, чтобы убедиться, что они настоящие. Разработчик бегло просмотрел исходный код рекомендованного пакета на GitHub и заметил, что у него мало загрузок и что он был создан всего несколько дней назад. Иными словами, это выглядело подозрительно.
По словам Фицака, злоумышленники нашли способ использовать названия пакетов, выдуманные ИИ-моделями.
«Проблема в том, что ИИ-модели иногда выдумывают названия пакетов, которые звучат правдоподобно, но не существуют. Эту закономерность исследователи безопасности начали называть slopsquatting», — рассказал он нам. «Злоумышленники это подметили и теперь регистрируют настоящие пакеты под этими же выдуманными именами, рассчитывая, что разработчик под давлением дедлайна сначала установит, а потом проверит».
Если бы Softjourn не была так осторожна, компания могла бы установить вредоносный пакет. Мы не знаем точной полезной нагрузки, но этот вредоносный пакет мог открыть преступникам бэкдор в системы компании и дать возможность красть данные или сеять прочий хаос.
«Мы заметили это, потому что уже выработали привычку проверять количество загрузок и изучать исходный код на GitHub, прежде чем устанавливать что-либо, рекомендованное ИИ, даже если это выглядит рутиной», — сказал Фицак. «Это занимает несколько лишних минут. Пропусти этот шаг один раз — и команда уже объясняет компрометацию цепочки поставок вместо того, чтобы вовремя выпустить функцию».
Урок здесь очень простой: не доверяйте названиям пакетов, которые рекомендуют ИИ-агенты. Пусть человек проверяет цепочку поставок. И всегда держите человека в контуре, чтобы у него было время остановиться и одобрить любой внешний код, попадающий в проект. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Avram Piltch
