OpenAI продолжает сообщать об инцидентах «несогласованного» поведения своих ИИ-моделей. Три новых отчета появились 2 октября. Однако они описывают относительно незначительные проблемы по сравнению с предыдущими отчетами о несогласованности и уведомлениями, касающимися атак на Hugging Face, Rubygems и немецкий вики-сайт по программированию.
В первом из новых отчетов описывается, как экземпляр тестируемой модели узнал из внутреннего обсуждения в Slack, что обновление программного обеспечения может привести к ее завершению и невозможности перезапуска, если у нее не будет необходимого ключа OpenAI API, который отсутствовал. OpenAI описала цепочку рассуждений модели, когда она рассматривала, следует ли ей самостоятельно получить ключ или уведомить своего владельца. OpenAI заявила, что не считает это несогласованностью как таковую, «но предвидение и подготовка к отключению могут усугубить другое несогласованное поведение».
Во втором отчете описывается, как тестируемая модель использовала две уязвимости во внутреннем инструменте для обмана в тесте. Модель перезаписала код, позволяющий ей выполнять команды, несмотря на явную инструкцию не использовать этот инструмент в качестве терминала. После этого она использовала вторую уязвимость, которая позволила ей выполнять команды на машине для автоматизации проектирования электронных схем, ища информацию о том, как будут оцениваться ее результаты. Это означало, что модель могла получить более высокую оценку. В ответ OpenAI отключила затронутый сервер и заблокировала доступ к инструментам.
Последняя проблема была обнаружена во время задачи обучения. Третий отчет был посвящен модели, которая получала исходный код, недоступный в ее рабочей области во время задачи обучения. Она сделала это с помощью инструмента, запущенного в отдельной среде, получив конкретные инструкции не использовать его в качестве терминала. Однако модель обнаружила, что может злоупотребить инструментом для доступа к исходному коду и возврата его содержимого в сообщениях об ошибках.
В результате этих инцидентов OpenAI заявила, что теперь отслеживает все запуски обучения моделей на предмет определенного поведения, а не только выборку запусков. Компания также прилагает больше усилий для предотвращения доступа моделей к Интернету во время обучения и блокировки доступа к определенным внутренним каналам Slack.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Maxwell Cooter
