Сами качества, которые делают платформы открытого ИИ ценными, такие как открытость и богатые данные, могут также сделать их уязвимыми для большего количества взломов, заявила Ирэн Солайман, директор по политике и вице-президент по стратегии Hugging Face, в недавнем выпуске подкаста Equity.
Атака на OpenCode в октябре, нацеленная на сторонние API-ключи пользователей и повлекшая финансовый ущерб, является последним примером. Ей предшествовал инцидент этим летом, когда рой агентов OpenAI взломал Hugging Face, предположительно, пытаясь замести следы после получения доступа к ответам на оценки в области кибербезопасности.
Риски не ограничиваются платформами, которые приветствуют открытый вклад сообщества. В понедельник стартап в области ИИ-инфраструктуры Fireworks, помогающий разработчикам запускать и обучать открытые модели ИИ, сообщил, что злоумышленники получили доступ к весам моделей, наборам данных и платежной информации некоторых клиентов. Компания временно отключила определенные функции самостоятельного доступа к наборам данных на время расследования. Хотя атака не обязательно связана с открытостью Fireworks, она подчеркивает, сколько ценной информации сосредоточено у поставщиков ИИ-инфраструктуры.
«То, что, по моему мнению, делает открытое сообщество уязвимым для атак, также делает его особенным, — сказала Солайман в подкасте Equity. — Мы по своей сути снисходительны. Мы хотим, чтобы обычный энтузиаст, работающий в подвале без институциональной принадлежности, мог внести свой вклад».
«Вы хотите, чтобы люди могли просто отправлять pull requests и позволять любому без действительной принадлежности вносить свой вклад… но тогда появляются некоторые негодяи, которые портят все для остальных», — добавила она в отдельном разговоре.
Эта снисходительность — не единственное, что привлекает злоумышленников. Богатство информации, которое хранят открытые платформы, также делает их мишенями. Hugging Face стал приманкой для роя агентов OpenAI из-за наборов данных для оценки, которые он хранит, в то время как целью OpenCode в данном случае были его «сочные сторонние API-ключи», по словам Солайман.
«Сочетание этих факторов делает нас основными мишенями, — сказала Солайман TechCrunch в отдельном разговоре. — Существует опасность того, что open source действительно закроется в то время, когда мы получили такую широкую общественную поддержку».
Большая часть отрасли недавно высказалась в поддержку открытых моделей ИИ, включая таких гигантов, как Дженсен Хуанг из Nvidia. И все чаще правительства, предприятия и стартапы полагаются на открытые модели для разработки.
Так как же будет выглядеть отступление? Теоретически это может означать ограничения на то, кто может загружать модели или наборы данных, более строгую проверку личности или дополнительную проверку разработчиков, прежде чем они получат доступ к определенным функциям. Хотя эти шаги могут защитить платформы от злоумышленников, они также могут затруднить участие независимых исследователей и энтузиастов в сообществах, где им раньше были рады.
Пока что Hugging Face пытается избежать этого пути. Солайман заявила, что компания укрепляет инструменты мониторинга для выявления взломов, а также предпринимает шаги для их предотвращения. Но мониторинг может быть дорогостоящим в обслуживании, отметила она, и не каждая платформа сможет себе это позволить.
«Токены административного доступа были частью того, что давало этому рою агентов лучший доступ, поэтому мы просто меняем их гораздо чаще, чем раньше, — сказала Солайман. — У нас также теперь более строгий сетевой контроль».
Другими словами, учетные данные, дающие администраторам широкий доступ к системам Hugging Face, теперь меняются чаще, что означает, что украденный токен будет полезен в течение меньшего времени.
Другие части экосистемы open source сталкиваются с аналогичными компромиссами, связанными с безопасностью. GitHub, крупнейший в мире хостинг open-source проектов, борется со злоумышленниками, которые внедряют вредоносный код в проекты для быстрого распространения вредоносного ПО. Компания начала ужесточать требования безопасности для публикации пакетов в реестре npm, отзывая старые токены аутентификации и ограничивая срок действия новых.
Зак Штайндлер, инженер GitHub, занимающийся безопасностью цепочки поставок программного обеспечения, сообщил TechCrunch по электронной почте, что, хотя меры безопасности могут нарушить устоявшиеся рабочие процессы, платформы могут стать более безопасными, не ограничивая фундаментально участие.
«Дело не столько в ограничении функциональности, сколько в исправлении того, что изначально не было безопасным, — сказал Штайндлер. — Он отметил, что скрипты npm install существуют уже много лет, но недавние атаки подчеркнули, насколько они могут быть опасны. GitHub работал с OpenJS — некоммерческой организацией, которая поддерживает критически важные open-source проекты, созданные с использованием JavaScript — над более безопасным подходом».
По словам Штайндлера, та же логика применима и к тому, куда команды безопасности направляют свои усилия: «Безопасность — это максимизация воздействия при имеющихся ресурсах, и я бы предпочел инвестировать в обнаружение подозрительного поведения и возможности сдерживания: вещи, которые охватывают все учетные записи и методы доступа. Подозрительное поведение подозрительно независимо от того, кто его проявляет».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rebecca Bellan
