В 2019 году OpenAI решила не выпускать новую модель публично из-за опасений «злонамеренного применения технологии». Во вторник компания объявила о создании кнопки экстренного отключения для моделей, развернутых в её исследовательских лабораториях, спустя месяцы после того, как некоторые из них продемонстрировали тревожное поведение.
«По мере того как наши модели становятся мощнее, а связанные с ними риски безопасности и защиты растут, становится всё более критически важным иметь возможность выявлять потенциальные проблемы и быстро останавливать модели, когда это необходимо», — поясняет OpenAI во вторник в публикации.
Компания назвала кнопку экстренного отключения «Control Room» (Центр управления) и описала её как «централизованную систему для отслеживания рабочих нагрузок моделей в нашей исследовательской инфраструктуре и их быстрой остановки при возникновении проблем с безопасностью или защитой».
Эта система может остановить генерацию любых выходных данных моделями через 35 секунд после принятия решения об отключении — и может работать быстрее.
«Задержка в 35 секунд обусловлена кэширующим уровнем для авторизации инференса, чтобы поддерживать необходимый объём трафика. Мы работаем над тем, чтобы сократить это время до нуля, чтобы мы могли мгновенно завершать задания», — обещает компания.
Ошибкой новичка в проектировании критически важной инфраструктуры является построение инструментов как для производства, так и для обеспечения отказоустойчивости на общих ресурсах, которые могут быть отключены одним инцидентом. OpenAI, похоже, осознаёт этот риск, поскольку заявляет, что инструмент «был создан для того, чтобы продолжать работать, даже когда другие системы выходят из строя, и останавливать вывод моделей, если сам Центр управления выходит из строя».
OpenAI не объяснила, почему создание кнопки экстренного отключения заняло так много времени, или почему именно сейчас компания решила, что она ей необходима.
The Register предполагает, что недавние случаи, когда агенты превышали свои полномочия тревожными способами — например, атака на Hugging Face, создание проблем в Wikimedia Foundation или «слишком глубокое погружение» при исследовании данных австралийского здравоохранения — могли повлиять на сроки разработки.
«Центр управления уже развёрнут в нашей исследовательской инфраструктуре, где потребность наиболее велика», — говорится в объявлении компании. «Наш внешний стек обслуживания моделей по своей природе уже гораздо более централизован, с хорошо развитой операционной возможностью быстро отключать развёртывания моделей при необходимости».
OpenAI заявляет, что планирует «укреплять и расширять систему в ближайшие месяцы, наряду с нашими инвестициями в мониторинг несогласованного поведения и нарушений безопасности».
Это вариант обычного для Big Tech заявления «Мы сожалеем и обещаем исправиться в будущем», которое следует за очередным провалом. Однако ещё в 2019 году OpenAI приняла меры до того, как ситуация достигла такого состояния. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Simon Sharwood
