Probably, которая только что привлекла $9 миллионов начального финансирования от Andreessen Horowitz, пытается разработать более строгий способ выявления таких ошибок.
Как говорит основатель Питер Элиас (на фото выше), цель компании — не допустить попадания галлюцинаций и простых фактических ошибок к пользователю, а также достичь точности на уровне 99,99%, что является обычным явлением для детерминированных систем, но гораздо сложнее достигается с помощью ИИ. Как выясняется, чтобы довести большие языковые модели (LLM) до такого уровня точности, необходимо переосмыслить многие базовые допущения инженерии ИИ.
Первый продукт Probably — это инструмент для науки о данных, созданный для получения быстрых ответов из сложных наборов данных. Каждый результат сопровождается ссылкой и аудиторским следом, показывающим, как он был получен, что становится все более распространенной практикой среди инструментов ИИ.
Однако, чтобы не допустить проникновения ошибок в эти сводки, потребовалась сложная система поддержки, которую Элиас описывает как «экзоскелет для науки о данных». Ответы LLM, полученные на первом проходе, проверяются детерминированной системой валидации, которая отбрасывает любые результаты, не соответствующие набору данных. Важно, что LLM обучалась на основе этого валидатора, и вся система оптимизирована для быстрых и точных ответов, как заявила компания.
«Что мы поняли в процессе создания этого, так это то, что чем лучше ваша система поддержки, тем слабее может быть модель», — говорит Элиас. «Если вы можете достаточно уточнить контекст, модели не нужно прилагать больших усилий, чтобы сделать правильное. По сути, это упражнение по уменьшению неоднозначности».
Это позволяет инструменту для науки о данных от Probably работать на значительно меньших моделях ИИ. Элиас утверждает, что текущая версия работает на модели, которая «на четыре класса слабее передовых моделей», что означает возможность ее запуска на локальном оборудовании (то есть на настольном компьютере, а не в центре обработки данных), что значительно снижает затраты на токены, связанные с использованием ИИ.
Это своевременная идея в то время, когда стоимость токенов растет, и многие клиенты пересматривают свои бюджеты на ИИ. Идея Элиаса не ограничивается наукой о данных, поскольку тот же движок может быть распространен на такие варианты использования, как бухгалтерский учет или медицинские услуги — как выражается Элиас, «любой вариант использования, чувствительный к точности».
«Я думаю, очень интересно, что крупные лаборатории ИИ даже не пытались это сделать», — говорит Элиас. «У них есть стимул этого не делать, потому что они зарабатывают больше денег, чем чаще вам приходится исправлять модель».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Russell Brandom
