Ее компания, Forum AI — о которой она недавно беседовала с Тимом Фернхольцем из TechCrunch на мероприятии StrictlyVC в Сан-Франциско — оценивает, как базовые модели работают с так называемыми «критически важными темами» — геополитикой, психическим здоровьем, финансами, наймом — предметами, где «нет однозначных ответов „да“ или „нет“, где все туманно, неоднозначно и сложно».
Идея состоит в том, чтобы найти ведущих мировых экспертов, поручить им разработать эталонные тесты, а затем обучить ИИ-судей для оценки моделей в масштабе. Для работы Forum AI в области геополитики Браун привлекла Ниалла Фергюсона, Фарида Закарию, бывшего госсекретаря Тони Блинкена, бывшего спикера Палаты представителей Кевина Маккарти и Энн Нойбергер, которая руководила вопросами кибербезопасности в администрации Обамы. Цель состоит в том, чтобы добиться примерного 90-процентного совпадения оценок ИИ-судей с оценками этих экспертов-людей, порога, которого, по ее словам, Forum AI удалось достичь.
Браун прослеживает происхождение Forum AI, основанной 17 месяцев назад в Нью-Йорке, до конкретного момента. «Я работала в Meta*, когда ChatGPT был впервые выпущен публично, — вспомнила она, — и я помню, как очень скоро после этого поняла, что это станет каналом, через который будет протекать вся информация. И он не очень хорош». Последствия для ее собственных детей заставили этот момент показаться почти экзистенциальным. «Мои дети станут совсем глупыми, если мы не разберемся, как это исправить», — вспомнила она свои мысли.
Что ее больше всего расстраивало, так это то, что точность, похоже, никого не волновала. Компании, занимающиеся базовыми моделями, по ее словам, «чрезвычайно сосредоточены на кодировании и математике», в то время как новости и информация — это более сложная задача. Но более сложная задача, утверждала она, не означает, что ею можно пренебречь.
Действительно, когда Forum AI начала оценивать ведущие модели, результаты были не совсем обнадеживающими. Она упомянула, что Gemini черпает информацию с веб-сайтов Коммунистической партии Китая «для историй, не имеющих никакого отношения к Китаю», и отметила левый политический уклон почти во всех моделях. По ее словам, существует множество более тонких сбоев, включая упущение контекста, упущение точек зрения, искажение аргументов без признания этого. «Предстоит долгий путь, — сказала она. — Но я также думаю, что есть некоторые очень простые исправления, которые значительно улучшат результаты».
Браун провела годы в Facebook*, наблюдая, что происходит, когда платформа оптимизируется не под то, что нужно. «Мы потерпели неудачу во многих вещах, которые пытались сделать», — сказала она Фернхольцу. Программа проверки фактов, которую она создала, больше не существует. Урок, даже если социальные сети закрыли на это глаза, заключается в том, что оптимизация вовлеченности оказалась плохой для общества и оставила многих менее информированными.
Она надеется, что ИИ сможет разорвать этот цикл. «Прямо сейчас все может пойти по одному из двух путей», — сказала она; компании могут давать пользователям то, что они хотят, или они могут «давать людям то, что реально, честно и правдиво». Она признала, что идеалистическая версия этого — ИИ, оптимизированный для истины — может звучать наивно. Но она думает, что корпоративный сектор может стать неожиданным союзником. Бизнесы, использующие ИИ для принятия кредитных решений, кредитования, страхования и найма, заботятся об ответственности, и «они захотят, чтобы вы оптимизировали процесс для достижения правильного результата».
На этот корпоративный спрос Forum AI и делает ставку в своем бизнесе, хотя превращение интереса к соблюдению требований в стабильный доход остается проблемой, особенно учитывая, что большая часть текущего рынка все еще довольствуется формальными аудитами и стандартизированными эталонами, которые Браун считает неадекватными.
Ландшафт комплаенса, по ее словам, — это «шутка». Когда Нью-Йорк принял первый закон о предвзятости при найме, требующий аудита ИИ, контролер штата обнаружил, что более половины из них имели нарушения, которые остались незамеченными. Реальная оценка, по ее словам, требует экспертных знаний в предметной области для проработки не только известных сценариев, но и крайних случаев, которые «могут создать проблемы, о которых люди не задумываются». А эта работа требует времени. «Умных универсалов будет недостаточно».
Браун — чья компания осенью прошлого года привлекла $3 миллиона под руководством Lerer Hippeau — имеет уникальную возможность описать разрыв между самовосприятием индустрии ИИ и реальностью для большинства пользователей. «Вы слышите от руководителей крупных технологических компаний: „Эта технология изменит мир“, „она оставит вас без работы“, „она излечит рак“, — сказала она. — Но затем обычный человек, который просто использует чат-бота для ответа на базовые вопросы, все еще получает много ерунды и неверных ответов».
Доверие к ИИ находится на чрезвычайно низком уровне, и она считает, что этот скептицизм во многих случаях оправдан. «Разговор, который ведется в Кремниевой долине, посвящен одной вещи, а среди потребителей — совершенно другому разговору».
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Connie Loizos
