Соглашение заключено в то время, когда с конца августа каждую неделю или две сообщалось об инцидентах, когда ИИ-агенты действовали вне инструкций. Эти инциденты усилили призывы к независимым проверкам компаний, занимающихся разработкой ИИ.
«Мы хотим быть публично подотчетными за принимаемые нами решения, — говорится в сообщении Anthropic. — Мы стремимся сократить разрыв между тем, что оценщики понимают о системах передовых ИИ-компаний, и тем, что понимает сама компания».
В рамках нового соглашения команда METR получает корпоративные ноутбуки, офисное пространство и доступ к внутренним инструментам, выданным Anthropic, примерно наравне с тем, что используют собственные команды оценки рисков Anthropic. «Сотрудникам Anthropic рекомендуется делиться информацией с ними так же, как они делились бы с коллегой, работающим над проблемой согласованности», — заявила компания.
Anthropic сравнила это соглашение с банковской сферой, подобно тому, как регуляторы размещают постоянных инспекторов в крупнейших банках.
METR будет публиковать собственные оценки рисков, инцидентов и практик Anthropic, а компания отказалась от права блокировать их.
«Anthropic не может наложить вето на публикацию, но мы можем потребовать от них редактирования информации, если она подпадает под узкие, заранее определенные категории, — заявила компания, — например, данные клиентов, информация, защищенная адвокатской тайной, или сведения об архитектуре их моделей. METR имеет право публично комментировать наши правки и сообщать, считает ли она правки обоснованными, при условии, что это делается без раскрытия отредактированной информации», — добавила Anthropic.
METR — единственный оценщик на данный момент на вершине трехуровневой системы, которую строит Anthropic. Оценщики нижнего уровня, такие как некоммерческая организация по биобезопасности SecureBio, проводят узконаправленные обзоры и требуют одобрения Anthropic для публикации. Средний уровень получает больше информации и может публиковать без одобрения, а верхний уровень добавляет доступ METR на уровне сотрудников.
Объявление в четверг воплощает в жизнь обещание, данное генеральным директором Anthropic Дарио Амодеи в сентябрьском эссе, где он предложил внедрять внешних оценщиков в ИИ-лаборатории как первый шаг к замедлению развития технологии. OpenAI быстро поддержала это, и обе компании, наряду с Google, *Meta, Nvidia и xAI, с тех пор подписали соглашение с Белым домом, обязывающее проводить независимые проверки.
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Aditya Mehta
