Модель ИИ с триллионом параметров, которая, по словам разработчика, может помочь злоумышленникам проводить реальные кибератаки, теперь доступна для бесплатного скачивания, модификации и использования вне контроля разработчика.
Компания Mistral AI в четверг опубликовала открытые веса модели Mistral Large 4, которую она называет «Le Chonk», спустя несколько недель после вывода мультимодальной модели в публичный предварительный доступ. Парижская компания заявила, что отслеживала использование модели в кибербезопасности в режиме реального времени во время предварительного тестирования.
«Хотя мы наблюдали, как модель отказывалась выполнять черные атаки на реальные цели, мы видим потенциал для ее использования в проведении реальных атак», — написала компания в блоге, анонсирующем выпуск.
Mistral модифицирует защитные механизмы модели и будет продолжать обновлять их в ближайшие месяцы, добавлено в сообщении.
Защитные механизмы работают только через API
Эти обновления не коснутся уже скачанных копий. Пьер Сток, вице-президент Mistral по науке, сообщил CSO, что модель поставляется с встроенными в ее веса механизмами защиты, но последующие изменения будут применяться иначе.
«Последующие обновления защиты применяются к нашему управляемому API и будущим выпускам моделей, а не автоматически обновляют скачанные контрольные точки», — сказал Сток.
На вопрос, на каких этапах атаки модель оказала значительную помощь в ходе предварительного тестирования, Сток не назвал ни одного. Он отметил, что наибольший прогресс был достигнут в оборонительных задачах, таких как выявление, воспроизведение и устранение уязвимостей программного обеспечения.
«Хотя мониторинг предварительного публичного доступа показал, что модель отказывалась от атак на реальные цели, мы признаем потенциал злоупотребления по мере развития возможностей и постоянно укрепляем наши меры защиты», — сказал он.
Hugging Face, где размещены веса модели, отметил в своем посте о запуске, что открытые веса ставят как политику использования, так и развертывание под контроль пользователя.
В июле Институт безопасности ИИ Великобритании сообщил, что ведущие модели с открытыми весами отстают от закрытых моделей в киберзадачах на четыре-семь месяцев. Для моделей с высоким уровнем кибервозможностей открытый выпуск создает «постоянный и необратимый риск злоупотребления», — заявил институт.
Злоумышленники уже используют инструменты ИИ с открытым исходным кодом. Ранее в этом месяце Microsoft сообщила, что связанная с Китаем группа использовала фреймворк агентного ИИ ARTEX для атаки на более чем 2250 клиентов Microsoft 365.
Mistral утверждает, что выпущенная модель может отличать оборонительную работу от вредоносных запросов. По данным компании, Large 4 отказалась от 96,6% вредоносных запросов в киберсвязанных частях бенчмарков JailbreakBench, StrongREJECT и AgentHarm, что является самым высоким показателем, зафиксированным среди открытых моделей.
Нияти Дафтари, ведущий аналитик Gartner, рекомендует трактовать это число с осторожностью.
«Цифра Mistral в 96,6% показывает, что делает их модель в их тестовом сценарии, а не то, как она будет вести себя с вашими данными, в ваших сценариях использования против вас или в производственной среде против мотивированных злоумышленников», — сказала она.
Mistral обрабатывает специализированный вариант для кибербезопасности иначе. Дизайн-партнеры, такие как Orange Cyberdefense, получают предварительный доступ к версии, оптимизированной для тестирования на проникновение, оценки уязвимостей и red-teaming, сообщила компания. Доступ «подлежит строгой проверке и договорным гарантиям», говорится в сообщении, и ограничен системами, которыми владеют партнеры или на тестирование которых они уполномочены.
Бенчмарки и обязательства ЕС
Компания заявила, что модель набрала 51% по индексу Artificial Analysis Cyber Index, который измеряет, насколько хорошо модель находит, воспроизводит и исправляет уязвимости. На графике в сообщении Mistral две модели с открытыми весами, DeepSeek V4.1 Flash и MiMo-V2.6-Pro, показали более высокие результаты.
Mistral также называет Large 4 лучшей моделью с открытыми весами для кодирования, ссылаясь на лидирующие результаты в бенчмарках FrontierCode 2.0 от Cognition и Terminal-Bench 4.0. Технический отчет, лежащий в основе этих результатов, пока не опубликован, и компания лишь сообщила, что он скоро появится.
«Без подробного технического отчета утверждение о лучшей модели с открытыми весами остается труднопроверяемым для различных рабочих нагрузок», — сказал Чарли Дай, вице-президент и ведущий аналитик Forrester.
Дай добавил, что передовые модели развиваются так быстро, что лидерство «может меняться в течение месяцев или даже недель».
Сток сообщил, что отчет будет содержать описание методов и результатов оценки кибербезопасности Mistral, результаты тестирования на отказ и данные мониторинга предварительного доступа. Mistral также намерена поделиться соответствующими результатами испытаний на устойчивость к атакам «при условии защиты конфиденциальной информации о безопасности», сказал он. Дата публикации не была названа.
ENISA, агентство ЕС по кибербезопасности, заявило в заявлении, опубликованном вместе с анонсом Mistral, что оно тестирует модель для выявления уязвимостей, аудита кода и анализа журналов защиты.
Согласно Европейской комиссии, в соответствии с Законом ЕС об ИИ, модели, обученные с использованием более 10^25 операций с плавающей запятой (FLOPs), считаются представляющими системный риск. Их поставщики должны оценивать и смягчать эти риски, сообщать о серьезных инцидентах и поддерживать меры кибербезопасности. В сообщении Mistral не указано, относится ли Large 4 к этой категории, и какая оценка рисков предшествовала выпуску.
Сток заявил, что Mistral является полноправным участником Кодекса практики ЕС в отношении универсального ИИ, включая главу по безопасности, который Комиссия признает одним из способов демонстрации соответствия. Он не уточнил, была ли Large 4 классифицирована как модель с системным риском.
Что это значит для предприятий
Mistral выпустила модель под измененной лицензией MIT, которая разрешает использование, модификацию, дообучение и коммерциализацию, сообщила компания. Бизнесы, предлагающие модель как услугу (model-as-a-service), нуждаются в отдельной лицензии. Для тех, кто не хочет размещать модель у себя, API Mistral стоит 0,70 доллара за миллион входных токенов и 2,10 доллара за миллион выходных токенов.
Для европейских покупателей суверенитет является «значимым отличительным фактором, но он не должен перевешивать соображения безопасности», — сказал Дай. Открытые веса и самостоятельное размещение переносят ответственность за защитные механизмы, контроль доступа, мониторинг и предотвращение злоупотреблений на оператора, добавил он.
«Таким образом, суверенитет и безопасность должны оцениваться вместе, а не противопоставляться друг другу», — сказал Дай.
Дафтари считает, что предприятия, самостоятельно размещающие Large 4 для аудита кода или сортировки уязвимостей, должны использовать ее как контролируемый компонент, а не автономный агент. Это означает изолированные среды, минимальные привилегии доступа к коду и учетным данным, изолированный сгенерированный код и подтверждение человеком перед любым исправлением, сказала она. «Самостоятельное размещение может улучшить контроль над данными и непрерывность работы, но оно также делает предприятие исключительно ответственным за исправление ошибок, мониторинг, оценку и предотвращение злоупотреблений», — сказала она.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Gyana Swain
