Если вы когда-либо слышали термин «винтажная БЯМ» (большая языковая модель), то, возможно, задавались вопросом, действительно ли ИИ-апокалипсис длится уже так долго, что ранние чат-боты заслуживают ностальгии. К счастью, этот термин означает не это; вместо этого он относится к БЯМ, которая стремится имитировать взгляд на мир с определенной точки в прошлом.
Идея состоит в том, чтобы ограничить обучающие данные, предоставляемые модели, материалами, опубликованными до определенной даты. В случае с Talkie, также известной как 13B 1930 LM, отсечка, как следует из названия, — 1930 год. Этот выбор года может показаться произвольным, но это не так: как мы обсуждали здесь в январе, многие формы авторского права истекают 1 января года, наступающего через 95 лет после выпуска материала, защищенного авторским правом. Это означает, что огромное количество материалов, выпущенных в 1930 году, перешло в общественное достояние в начале этого года.
Таким образом, выбор 1930 года в качестве даты отсечки позволяет Talkie обойти вопрос о том, как ориентироваться в авторском праве, — проблему, которую другие БЯМ беззаботно игнорировали, но которая стала проблемой для них. Хорошо, это все интересно, но для чего это нужно?
Отвечая на этот вопрос, создатели Talkie в значительной степени опираются на два источника: доклад исследователя ИИ Оуэйна Эванса, откуда и появился термин «винтажная БЯМ», и статью о «временных языковых моделях», выпущенную компанией Calcifer Computing, чей бизнес, по-видимому, включает предоставление «неповторяющихся инженерных услуг для клиентов с достаточно интересными проблемами, чтобы привлечь наше внимание».
В докладе Эванса идеи изложены в той гиперболе, которая, кажется, обязательна для сторонников ИИ: «Первая гуманистическая мотивация [для винтажных БЯМ] — это путешествие во времени», — скромно объясняет он. «Каково это — общаться с кем-то из 1700 года?» Чтобы ответить на этот вопрос, он предлагает идею моделей, обученных на данных, отсеченных определенным временем, — то есть именно то, что делает Talkie.
Статья Calcifer Computing менее «фиолетовая» по тону; в ней обсуждается проблема того, как БЯМ могут учитывать то, как аспекты языка — значения слов, речевые паттерны, словарный запас — меняются со временем. Это действительно интересно и, по-видимому, вдохновило одно из первых применений Talkie — предоставление субъективной оценки «удивительности» различных событий после 1930 года.
Однако по-настоящему интересный вопрос заключается в том, насколько надежно БЯМ, обученная на данных, отсеченных определенной датой, может предсказывать то, что произойдет после этой даты. Это кажется уменьшенным социологическим аналогом более фундаментального вопроса детерминизма, который спрашивает, позволяет ли знание всего об исходном состоянии системы предсказать ее будущие состояния.
Конечно, вы можете кормить БЯМ информацией до бесконечности; она никогда и не сможет знать все возможное о состоянии мира в 1930 году, или в 69 году до н.э., или в 17:30 вчера. Но все же, идея дать БЯМ прочную основу в истории вместе с большим объемом информации о состоянии мира в 1930 году, а затем спросить: «Что будет дальше?»… даже для того, кто в целом скептически относится к БЯМ (как, например, я), это интересный вопрос. Будучи людьми, занимающимися ИИ, создатели Talkie не удовлетворены предсказанием будущего; они также упоминают вопрос, заданный генеральным директором Google DeepMind Демисом Хассабисом, который однажды спросил, сможет ли БЯМ, обученная на данных, отсеченных 1911 годом, открыть общую теорию относительности.
К сожалению, похоже, что ответа на оба вопроса пока нет. Остальная часть статьи посвящена в основном объяснению различных проблем, связанных с тем, чтобы Talkie работала надежно, главная из которых — отсутствие надежных обучающих данных. Talkie обучается на данных, отсканированных с физических носителей, что делает надежные средства распознавания символов чрезвычайно важными. Существует также проблема, которую авторы называют «загрязнением», то есть утечкой материалов после 1930-х годов в обучающие данные.
На данный момент Talkie попадает в категорию проектов БЯМ/ИИ-агентов «потенциально интересных и, по-видимому, безвредных», что, честно говоря, в наши дни кажется лучшим, на что мы можем надеяться. На сайте проекта есть прямая трансляция ответов БЯМ на вопросы, заданные… другой БЯМ. Когда писался этот пост, Talkie описывала крикетный матч 1882 года, и если вы позволите мне немного отвлечься:
Все это кажется очень вызывающим, но, к сожалению, я помешан на крикете, и могу заверить вас, что матч, который описывает Talkie, никогда не состоялся. Единственный Тестовый матч, сыгранный между Австралией и Англией в 1882 году, прошел на Овале в августе того же года, и он, возможно, был самым знаменитым из всех — матч был настолько катастрофическим поражением для Англии, что одна лондонская газета написала некролог английскому крикету, что положило начало The Ashes, биеннале серии между двумя странами, которая продолжается по сей день.
Кажется странным выбором для Talkie описывать вымышленный матч и помещать его именно в год такого знаменитого реального матча. Можно предположить, что обучающие данные особенно богаты описаниями Тестовых матчей того года, поэтому из любопытства я попросил Talkie описать настоящий матч The Ashes 1882 года. К сожалению, результат был еще менее точным: он содержал неверные счета и как минимум одного полностью выдуманного игрока. Тем не менее, описания, которые он создает, безусловно, красочны и правдоподобны, так что это… что-то?
В любом случае, если Talkie удастся удержаться на ногах в реальности и предсказать Вторую мировую войну, мы с нетерпением сообщим вам о его вердиктах по таким известным событиям, как осада Ленинграда, высадка в День Д в Бретани и, конечно же, внезапное японское нападение на Диего-Гарсия. Сможет ли он уловить уникальный тембр речей премьер-министра Великобритании Уинфилда Кромвеля или ужасающую пулеметную подачу немецкого диктатора Рудольфа Шайссе? Это еще предстоит увидеть.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tom Hawking
