интервью Не доверяй; проверяй. По словам исследователя в области ИИ Вишала Сикки, большие языковые модели (LLM) сами по себе ограничены вычислительными возможностями и начнут «галлюцинировать», когда выйдут за эти пределы. Решение? Боты-помощники, которые проверяют их работу.
«Ожидать, что модель, обученная на определенном объеме данных, сможет выполнять произвольно большое количество надежных вычислений, — это ошибочное предположение. В этом суть статьи», — заявил Сикка, генеральный директор Vianai Systems, во время звонка на этой неделе, посвященного обсуждению этого исследования.
Сикка — выдающаяся фигура в области ИИ. Он имеет докторскую степень по этой теме из Стэнфорда, где его научным руководителем был Джон Маккарти, человек, который в 1955 году придумал термин «искусственный интеллект». Уроки, извлеченные Сиккой из общения с Маккарти, вдохновили его объединиться с сыном и написать исследование «Hallucination Stations: On Some Basic Limitations of Transformer-Based Language Models» («Станции галлюцинаций: о некоторых фундаментальных ограничениях языковых моделей на основе трансформеров»), опубликованное в июле. Бывший технический директор SAP и экс-генеральный директор Infosys Сикка поставил перед собой задачу изучить эффективность LLM и ИИ-агентов в прошлом году.
«У нас есть пример, который придумал мой сын: два запроса с идентичными токенами, и когда вы их запускаете, выполняется абсолютно одинаковое количество операций, независимо от самих токенов», — сказал он. «В этом вся суть: независимо от того, выражает ли запрос желание пользователя выполнить определенный расчет или написать текст на какую-то тему, выполняется ровно одинаковое количество вычислений».
Попытка вывести LLM за пределы этого лимита приводит к «галлюцинациям», которые искажают выходные данные модели.
«Когда мы говорим: „Забронируй мне билет, а затем спиши сумму с моей кредитной карты или вычти ее с моего банковского счета, а затем отправь сообщение в мое финансовое приложение“ — то, что, по сути, предлагают все эти поставщики агентов, — вы просите агентов выполнить действие, которое имеет для вас значение, несет определенный семантический смысл. И если в основе лежит чисто LLM, то, как бы эта LLM ни работала, ее способность выполнять такого рода задачи ограничена», — сказал он. «Поэтому при использовании чисто LLM в качестве агентов необходимо проявлять крайнюю осторожность, когда вы выполняете подобные действия».
Однако Сикка, основавший Vianai в 2019 году, отметил, что когда LLM поддерживаются системами, способными проверять их работу, а базовая модель используется только для вычислительной мощности, выходные данные становятся более точными. Сикка заявил, что в случае с Hila от Vianai система может выполнять критически важные задачи, такие как сокращение времени на подготовку финансовой отчетности с 20 дней работы человека до пяти минут.
«Для определенных областей, когда вы окружаете LLM защитными барьерами, надежными и проверенными подходами, вы можете обеспечить надежность всей системы», — сказал он. «Это не только мы. Многие системы работают таким образом, объединяя LLM с другой системой, которая способна гарантировать корректность работы LLM. Мы делаем это в нашем продукте Hila. Мы объединяем LLM с базой знаний для конкретной области, и тогда Hila не допускает ошибок».
Сикка сравнил это со структурой, которую использует Google для идентификации белков, которые могут быть использованы для создания лекарств. AlphaFold от Google имеет пользовательскую LLM под названием Evoformer, которая создает кандидатов на белки, и эти данные передаются в другую «нетворческую» систему, которая может проверять конфигурацию на наличие дефектов.
«И поэтому все, что выходит из этой системы, имеет гораздо большую вероятность оказаться настоящим белком, а затем этот цикл повторяется три раза, и результат практически гарантированно будет белком для конкретной ситуации», — сказал Сикка. «Я думаю, они таким образом создали 250 000 белков, тогда как создание одного белка раньше занимало у команд ученых годы».
Он продолжил: «Как ученый, вы всегда должны пытаться понять границы метода. Некоторые называют это „эффектом обзора“. Джон Маккарти называл это „ограничением“ (circumscription). Он также дал название набору методов ИИ для этого — попытке построить системы с ограничением», — сказал Сикка. «Плюс, конечно, генеративный ИИ галлюцинирует, поэтому „почему?“ — естественный вопрос. И наконец, с самого начала работы Vianai мы стремились привнести в системы ИИ объяснимость, наблюдаемость и прозрачность».
Четвертый виток ИИ-мании
Во время беседы с Сиккой The Register он поделился мудрыми мыслями, которые почерпнул непосредственно от других пионеров технологий, таких как Алан Кэй и Марвин Мински.
«Марвин Мински говорил про „Общество разума“, верно?» — сказал Сикка, ссылаясь на фразу, ставшую названием влиятельной книги Мински 1986 года о человеческом интеллекте, основанной на его работе с ИИ. «Что существует совокупность элементов, которые объединяются для создания интеллекта. Я думаю, именно к этому мы и придем, но на этом пути нас ждут трудности».
Мински на самом деле написал рекомендательное письмо, которое помогло Сикке поступить в Стэнфорд. Хотя письмо где-то хранится в приемной комиссии в Калифорнии, толчок Мински дал Сикке ясное представление о развитии ИИ с 1980-х годов.
«Это четвертый раз, когда я наблюдаю эту ИИ-манию в своей карьере», — сказал Сикка. «В 80-е годы был ажиотаж, который пришел и ушел за десятилетие. То же самое (что и сейчас). Специализированное оборудование. Специальные чипы для ИИ. Модели ИИ. Фундаментальные приложения. Были даже венчурные фонды, созданные для финансирования ИИ. Были компании с названиями вроде Thinking Machines, Applied Intelligence. Это было другое время и другие технологии. Затем люди поняли, что это круто, но это не интеллект. У этого есть определенные границы применения, и тогда все это как бы угасло».
Несмотря на более чем 40 лет работы с ИИ, Сикка заявил, что даже сейчас эта технология находится на ранних стадиях. Хотя были достигнуты заметные успехи в области кодирования, он указал на исследование MIT, которое показало, что 95 процентов ИИ-проектов терпят неудачу, и сравнил текущее использование ИИ с ранними днями телевизионных новостей, когда ведущие зачитывали сводки в эфире так же, как они делали это по радио.
«Я думаю, что до сих пор мы просто повторяем то, что нам уже известно, используя ИИ, но скоро мы увидим прорывы, новые возможности», — сказал он. «Я думаю, что при тщательно отобранных продуктах можно добиться драматической окупаемости инвестиций, но при повсеместном использовании LLM нужно быть очень, очень осторожным». ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – O'Ryan Johnson
