OpenAI на этой неделе объявила о нескольких шагах, призванных противодействовать негативному восприятию ее безопасности и конфиденциальности: она заявила, что замедлила темпы масштабирования, ввела двухнедельную паузу в обучении с подкреплением и предложит нулевое хранение данных «соответствующим критериям API-клиентам».
В первом из этих объявлений, опубликованном во вторник, OpenAI сообщила, что «временно» замедлила темпы масштабирования, а также приостановила обучение с подкреплением.
Эти меры предпринимались, пока OpenAI укрепляла свою исследовательскую среду, проводила ее red-team-тестирование и расширяла мониторинг. «Наш крупнейший запланированный прогон frontier RL остается на паузе, пока мы проводим обучение и оценки в меньшем масштабе, чтобы оценить поведение модели, проверить наши средства защиты и получить больше доказательств согласованности, прежде чем двигаться дальше», — добавили в компании.
В заявлении OpenAI говорится, что компания теперь будет требовать более веских доказательств согласованного поведения на протяжении всего обучения, опираясь на уже ведущиеся исследования и оценки. «Сохранение согласованности все более продвинутых систем — это вызов, который предстоит решить всей отрасли».
Компания также отметила другие недавние усилия по улучшению своих процедур, включая изоляцию рабочих нагрузок, сетевую изоляцию и «непрерывное тестирование безопасности».
Вместе с тем OpenAI заявила, что предложенный ею новый мониторинг приведет к накладным расходам в размере «примерно 20% отслеживаемых вычислительных мощностей инференса, хотя стоимость существенно варьируется в зависимости от рабочих нагрузок обучения и оценки». Компания пообещала поделиться более подробной информацией об этой системе в одном из следующих постов в блоге.
Аналитики и консультанты заявили, что эти шаги, вероятно, были анонсированы, чтобы улучшить позиции OpenAI перед скорым IPO.
Карми Леви, независимый технологический аналитик, воспринял эти заявления как «ловко задуманный ход для набора PR-очков на фоне растущих опасений по поводу безопасности агентного ИИ. Это сигнал, что компания делает что-то, даже если это что-то совершенно недостаточно. В отсутствие явных нормативных требований, которые заставляли бы таких вендоров, как OpenAI, на постоянной основе ставить безопасность выше всех остальных факторов, двухнедельная пауза — не более чем декорация, призванная отвести критику».
Джейсон Андерсен, ведущий аналитик Moor Insights & Strategy, согласился, заявив, что, по его мнению, «это немного прагматичного театра в преддверии IPO». Но он предположил, что, возможно, происходит нечто большее. Предприятия продолжат агрессивно тратить средства на ИИ, и «будет полный газ, пока их не засудят». Затем они отступят.
Однако, по его словам, «единственный способ для этих [крупных ИИ-компаний] добиться успеха после IPO, единственный способ масштабироваться — это гораздо глубже внедриться в корпоративный сектор. А единственный способ сделать это — ослабить страхи и риски».
Нулевое хранение данных?
В объявлении, сделанном в среду, OpenAI не уточнила, что дает право на участие в программе нулевого хранения данных, сообщив лишь, что она начнется в сентябре, когда компания представит подробности в «техническом документе» (white paper).
Но Андерсен заявил, что этот шаг следует рассматривать в контексте сегодняшних сложных отношений с вендорами.
Он отметил, что значительная часть доходов OpenAI поступает не напрямую от предприятий, а через таких партнеров, как Microsoft и AWS. «Так, допустим, я использую такой инструмент, как Amazon Kiro, который через API может использовать OpenAPI для создания моего приложения, а я и не знаю, какая модель используется. Получается, Amazon — клиент, а вы — клиент Amazon. Если вы предприятие и хотите получить эту защиту [нулевого хранения данных], вы должны предоставить собственный API-ключ сервису Kiro. Предприятие просто становится прямым клиентом и получает доступ к защищенному хранилищу (lockbox). AWS больше не имеет доступа и теряет доход/маржу».
Консультант Брайан Левин, исполнительный директор FormerGov, добавил, что обещание не хранить данные также осложняется тем, как обычно работают процессы.
«OpenAI утверждает, что теперь может отслеживать злоупотребления во всех взаимодействиях, и при этом ни один сотрудник никогда не читает сам контент, — сказал он. — Это сильное техническое обещание, поскольку отслеживание злоупотреблений и невозможность видеть данные исторически тянули в противоположные стороны. А доказательством служит документ white paper, до публикации которого еще недели».
Кроме того, он отметил: «Ноль никогда не бывает абсолютным нулем, потому что контент с пометкой CSAM по-прежнему сохраняется для юридической отчетности».
Флавио Вильянустре, директор по информационной безопасности (CISO) группы LexisNexis Risk Solutions, воспринял этот шаг несколько иначе, предположив, что он призван смягчить возможное законодательство.
«Скорее всего, они видят на стене предзнаменования грядущих нормативных актов, которые могут оказать на них значительное влияние, и это может быть их попыткой показать желание саморегулироваться, чтобы избежать более драконовского законодательства в будущем», — сказал Вильянустре.
Тем не менее Майк Уилкс, корпоративный CISO Aikido Security, заметил: «Искренность — это не то же самое, что постоянство. В древнескандинавском/скандинавском образе гигантского морского чудовища, поджидающего под поверхностью, это можно было бы назвать „Кракен на паузе“. Настоящий вопрос в том, какие условия должны быть выполнены, прежде чем OpenAI решит выпустить его снова».
Джастин Сент-Морис, технический советник Info-Tech Research Group, добавил, что OpenAI, похоже, хочет получить признание за то, что делает лишь необходимый минимум, который крупная ИИ-компания должна была делать всегда.
«Если бы автопроизводитель объявил, что будет серьезнее относиться к базовым испытаниям безопасности перед началом производства, это не было бы встречено фанфарами. Честно говоря, было бы неловко, что нечто настолько фундаментальное пришлось разъяснять скептически настроенной публике, — сказал он. — Вопрос для меня в том, почему об этом нужно объявлять именно сейчас и удержат ли они позицию, как только конкурент выпустит что-то, что сделает паузу дорогостоящей».
Поэтому он посоветовал: «Перестаньте относиться к этим объявлениям как к проявлению должной осмотрительности. Требуйте доказательств того, что вы действительно получаете, а не того, что вам пообещали. Если поставщик может приостановить разработку по соображениям безопасности и вы узнали об этом только из поста в блоге, вам стоит спросить, что ваш контракт обязывает его раскрыть вам».
Эта статья первоначально была опубликована на сайте Computerworld.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Evan Schuman
