Анонс прозвучал на фоне дебатов о безопасности открытых моделей, которые могут стать опасными при удалении их защитных механизмов с помощью набирающей популярность техники, известной как «аблитерация». Масштаб проблемы огромен: Hugging Face, хостинг для ИИ-моделей с открытым исходным кодом, в настоящее время насчитывает более 6000 таких моделей.
Base Labs, исследовательская группа, созданная Baseten ранее в этом году, разработает и опубликует методы обучения и мониторинга открытых моделей. Компания позиционирует свою будущую работу как «стандарт» для открытых моделей, который будет прозрачным и встроенным в процесс обучения и развертывания моделей, а не добавленным постфактум.
«Мы считаем, что открытость является преимуществом для безопасности ИИ», — заявила компания в X. «Открытость обеспечивает большую видимость поведения моделей и, что наиболее важно, предоставляет больше возможностей для преобразования исследований в области безопасности в действенные и прозрачные средства контроля, чем закрытые источники».
Компании не раскрыли технические детали партнерства, хотя Гудфайр сформулировал цель в ответе на пост Baseten: «Безопасность должна быть встроена в открытые модели и обеспечиваться теми, кто их обслуживает». Goodfire, специализирующаяся на «раскрытии черного ящика» ИИ для объяснения того, как модели принимают решения, является наиболее вероятным кандидатом на роль «встроенной» части.
Baseten, поставщик услуг инференса ИИ, в июне привлекла 1,5 миллиарда долларов в рамках раунда серии F, что подняло ее оценку до 13 миллиардов долларов. Партнер Goodfire AI также имеет солидный капитал, привлекая ранее в этом году 150 миллионов долларов в рамках раунда серии B под руководством B Capital для развития своей платформы интерпретируемости моделей.
Заглядывая в будущее, Baseten обращается к более широкой экосистеме разработчиков с открытым призывом внести свой вклад в разработку фреймворка. «Вместе мы строим экосистему открытых моделей, безопасных и доступных для всех», — отметила компания.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Russell Brandom
