Ветеран разработки под Windows Дэйв Пламмер снова в своей заваленной компьютерами гараже, на этот раз стремясь развеять тайну ИИ, раскрыв его «грязный маленький секрет». Этот секрет во многом раскрывается в первой строке описания видео: «Дэйв использует PDP-11 для обучения настоящей нейронной сети с Трансформерами и Механизмом Внимания (Attention), чтобы вы могли увидеть их в самом базовом виде». Для контекста, вышедший на пенсию разработчик демонстрирует свою 47-летнюю систему PDP-11 с процессором 6 МГц и 64 КБ оперативной памяти. На ней запущена модель-трансформер под названием ‘Attention 11’, написанная на языке ассемблера PDP-11 Дэмьеном Бюре. На первый взгляд, задача, которой PDP-11 будет «учиться» решать, кажется элементарной — обратить последовательность из восьми цифр. Однако модель должна выучить структурное правило для каждого заданного ввода, что, по утверждению Дэйва, отражает суть работы современных LLM, таких как ChatGPT. «Это один человек берет класс алгоритмов, который мир в настоящее время считает священным огнем, и доказывает, что по крайней мере их суть может быть сведена, понята, реализована и обучена на машине, достаточно старой, чтобы помнить времена, когда программное обеспечение поставлялось с переключателями и трехкольцевыми папками», — сказал Дэйв. «…теперь вы знаете, что это за процесс на самом деле. Это не магия ИИ. Это машина, которая многократно обновляет силу тысяч крошечных взвешенных связей, чтобы следующий ответ был немного менее неверным, чем предыдущий». Несмотря на использование Attention 11, однослойного трансформера с одной головой, полностью написанного на языке ассемблера PDP-11, Дэйву все же приходится оптимизировать под системные ограничения. «Ограничения — не враг инженерии. Ограничения — это то, что заставляет происходить творческую инженерию». Но может удивить, насколько мало вспомогательных средств требуется для проявления интеллекта. Например, используемая модель имеет всего 1216 параметров; она использует арифметику с фиксированной точкой, точность урезана до 8 бит для прямого прохода, и каждый цикл оптимизирован, чтобы гарантировать, что машина сможет завершить обучение до «тепловой смерти Вселенной». Дэйв комментирует: «Мы наблюдаем обнаженную анатомию самого обучения. Модель начинается глупой. Потери высоки. Точность блуждает, как человек, пытающийся собрать мебель из IKEA в кузове движущегося фургона. А затем где-то по пути веса укладываются в шаблон. И внимание обнаруживает карту обращения. И машина пересекает эту невидимую черту от угадывания к знанию». Результаты эксперимента по обучению ИИ на древнем 6 МГц компьютере оказались многообещающими. Дэйву удалось добиться 100% точности модели в задаче обращения чисел примерно через 350 шагов обучения. Достижение этого уровня обучения заняло около 3,5 минут на PDP-11/44, чему способствовала плата кэша. Несомненный успех, и Дэйв настаивает, что современный ИИ — это просто та же самая механическая, а не мистическая техника с массово масштабируемой коррекцией ошибок и арифметикой. «Эта старая машина не мыслит в каком-то мистическом смысле. Она просто перемалывает арифметику для обновления нескольких тысяч тщательно сохраненных чисел. И это вся игра. Гламур современного ИИ в основном проистекает из выполнения этого в ошеломляющих масштабах. Но основной акт обучения уже здесь, полностью в миниатюре», — пояснил легендарный разработчик Windows. Наконец, Пламмер заключает, что поскольку вычислительные ресурсы становятся ограничивающим фактором, любая компания, которая сможет принять старомодную одержимость эффективностью и оптимизацией, может получить значительное преимущество.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Mark Tyson
