Однако методы, лежащие в основе этих оценок, сложны и все еще находятся в стадии развития, заявила Ирэн Солайман, директор по политике Hugging Face, во время обсуждения на TechCrunch Disrupt на прошлой неделе. Тестирование должно превратиться в более последовательную науку, если отрасль хочет полагаться на него в будущем.
Учитывая это, можем ли мы доверять текущим тестам, которые публикуются?
«Доверие — это очень весомое понятие», — сказала Солайман. «В том смысле, можем ли мы доверять результатам, одна большая часть [этого] заключается в том, можете ли вы воспроизвести результаты оценки? Есть ли у вас необходимый уровень доступа к самой модели — вот где веса с открытым доступом играют большую роль», — добавила она.
Воспроизводимость в оценках моделей давно остается одним из наиболее сложных аспектов бенчмаркинга и продолжает оставаться предметом значительных споров в отрасли.
Помимо достоверности отдельного теста, возникает дополнительный вопрос о том, как этот тест соотносится с другими оценками.
«Это развивающаяся наука — мы не знаем, как осмысленно сравнивать их друг с другом», — сказала Солайман.
«Они начинают становиться неэффективными относительно быстро, и у нас нет такого процветающего экосистемы, как нам нужно», — добавила она. «Сейчас существует жажда встроенной экосистемы оценщиков, но квалификация, определяющая, кто является эффективным оценщиком для каких задач, требует гораздо большей стандартизации».
Идея встроенных оценщиков — когда якобы «нейтральные» сторонние наблюдатели размещаются внутри ИИ-организаций — популяризировалась за последние несколько месяцев, поскольку ИИ-лаборатории борются с серией инцидентов безопасности, которые вызвали опасения по поводу потенциального вреда их технологий. Hugging Face стал печально известной целью одного из таких инцидентов.
Вместо активного государственного регулирования для выявления и смягчения проблем безопасности моделей, лаборатории продвигают решение с привлечением третьих сторон. Однако остаются сомнения относительно того, насколько нейтральными или эффективными будут эти оценщики на самом деле. Решение Anthropic нанять Accenture в качестве своего первого оценщика вызвало немало негативной реакции, при этом некоторые критики высмеяли идею о том, что консалтинговая фирма обладает квалификацией для выполнения поставленной задачи.
Оценки теперь переходят от простого тестирования самой модели к тестированию всей системы вокруг модели — включая обвязку (harness) и агент. Обвязка — или инструмент, который пользователь использует для доступа к модели — в частности, имеет большое значение для производительности модели, и более слабая модель с лучшей обвязкой может легко превзойти передовую модель, поделилась Солейман.
«Агентные оценки очень сложны и очень дороги», — сказала Солайман. «У нас гораздо больше оценок для моделей. … У нас не так много оценок для обвязок, и мы разрабатываем лучшие оценки для целостного агента — потому что именно из этого многие получают пользу», — добавила она.
Другими словами: пространство оценки в данный момент представляет собой своего рода «дикий Запад», и если бенчмаркинг будет по-прежнему рассматриваться как полезный инструмент для лидеров отрасли, может потребоваться более унифицированный, общеотраслевой подход, при котором все будут на одной волне.
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Lucas Ropek
