В своем блоге Anthropic сообщила, что Faculty, компания, приобретенная Accenture в январе для выполнения функций ее подразделения по ИИ, начнет «оценивать модели и проводить их тестирование на уязвимости, осуществлять оценку соответствия и проверять механизмы защиты моделей». Обе компании планируют инвестировать в проект не менее 1 миллиарда долларов в течение следующих пяти лет.
Выбор Accenture удивил многих наблюдателей в сфере ИИ, а также рынки: акции консалтинговой компании выросли на 8% после закрытия торгов. Дискуссия об «встроенных оценщиках», возникшая после публикации в блоге Амодеи, сосредоточилась на исследовательских организациях в области безопасности ИИ, таких как METR, Redwood Research и Apollo Research. Это особенно актуально для Anthropic, для которой безопасность и соответствие ИИ являются основой ее миссии.
Anthropic заявила, что в ближайшие недели будут объявлены новые оценщики, и что она ведет переговоры с METR и другими некоммерческими организациями о том, как «пилотировать элементы встроенной оценки, используя их собственное финансирование».
Хотя Accenture не известна своими достижениями на переднем крае исследований глубокого обучения, Anthropic указала на практический опыт компании по внедрению ИИ для крупных корпораций и государственных учреждений как на ключевое преимущество. Кроме того, будучи крупной публичной компанией, существующей до революции в области ИИ, она более функционально независима от Anthropic и, скажем так, сложной экосистемы вокруг ИИ-лаборатории.
Лаборатория отметила, что стандарты доступа или коммуникации оценщиков пока не существуют, и ожидала, что ее подход будет развиваться со временем. Хотя внешние оценки уже являются важной частью процесса выпуска новых больших языковых моделей, недавние инциденты повысили ставки: ИИ-агенты, развернутые OpenAI и Anthropic, взламывали сторонние веб-сайты, не вызывая тревоги внутри лабораторий.
Некоторые критики, призывающие к более ответственному подходу к созданию искусственного интеллекта, рассматривают схему Амодеи по саморегулированию индустрии ИИ как план уклонения от ответственности за неправомерное поведение моделей ИИ. Anthropic настаивает, что эти оценщики «не уменьшают нашу ответственность, а помогают сделать ее более проверяемой. Безопасность наших моделей остается нашей ответственностью».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tim Fernholz
