Подобно криптографическим подписям электронной почты, которые позволяют получателям подтвердить, что сообщение действительно отправлено заявленным отправителем, FlashProve будет устойчив к выдающим себя за других злоумышленникам, пытающимся выдать одну модель за другую, даже если злоумышленником является лаборатория, создавшая и управляющая моделью. В частности, исследователи отмечают, что система может быть использована для предотвращения тайной замены более дешевой моделью с целью снижения затрат или более дорогой моделью для завышения результатов производительности.
FlashProve также может использоваться для проверки заявлений третьих сторон о том, что конкретная задача была выполнена продвинутой моделью. «Разработчик может заявить, что его библиотека программного обеспечения была просканирована на наличие уязвимостей передовой моделью кибербезопасности, или компания может заявить, что ее бизнес-план был одобрен соответствующей моделью», — пишут исследователи. «Как пользователь может проверить эти заявления?»
Для работы система требует, чтобы AI-лаборатории публиковали «отпечаток» каждой выпускаемой ими модели, который впоследствии может быть сопоставлен с конкретными выходными данными и криптографически проверен. Важно, что отпечатки не раскрывают веса модели — внутренние параметры, определяющие ее поведение, которые такие компании, как Anthropic и OpenAI, держат в секрете. Это означает, что лаборатории могут публиковать отпечатки, не раскрывая свой самый ценный актив, что позволяет системе работать и с коммерческими моделями. Система также разработана как легковесная, поэтому проверка может выполняться на локальном устройстве.
В рамках анонса исследователи опубликовали подробную техническую спецификацию и рабочий код для различных элементов системы, который общедоступен под лицензией с открытым исходным кодом на GitHub. Исследования в этой области продолжаются, и в настоящее время нет планов по внедрению системы в Anthropic или любой другой лаборатории.
«Этот исследовательский пост предназначен для обмена промежуточным прогрессом, а не завершенной исследовательской программой», — поясняют исследователи в анонсе. «Мы делимся этим с явной целью, чтобы другие изучили нашу работу, взяли ее и улучшили».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Russell Brandom
