Tufa Labs представила tufazip, инструмент, который сжал 1 ГБ данных из Википедии до 105 МБ без потерь, не используя вручную созданные модели. Вместо этого метод применяет модель Transformer с 163 миллионами параметров в качестве предиктора. Аналогичное сжатие или распаковка заняли бы около недели на двух GPU Nvidia B200. Это лучший результат в бенчмарке Large Text Compression Benchmark среди всех участников, использующих нейронную сеть в качестве единственного предиктора.
Исследователь Томми Хе создал tufazip. Полный пакет после оптимизации размером 105,39 МБ включает небольшую предварительно обученную стартовую модель объемом 4,33 МБ, сохраненную в низкоточном формате (квантованную) для экономии места, которая необходима для распаковки файла. Полная модель представляет собой 12-слойный Transformer, что означает 12 этапов для каждого предположения. Стартовая модель содержит только два уже обученных этапа, которые копируются и используются многократно для заполнения всех 12, когда полная модель запускается в памяти; каждое копирование продолжает обучение самостоятельно.
Это работает не как традиционный чат-бот или облачный ИИ, а как автономная языковая модель, которая обучается на лету. Важно отметить, что сжатие происходит без потерь, то есть риск потери данных отсутствует. Это означает, что обновления предиктора должны быть «полностью детерминированными».
Обучение проходит в два этапа. Стартовая модель с 34 миллионами параметров обучается офлайн, до начала сжатия. Затем полная модель начинает обучаться онлайн, предсказывая каждый токен и обучаясь на нем. Сторона распаковки повторяет те же шаги, при этом сама модель перестраивается вместе с текстом. По этой причине общий размер должен включать, помимо сжатого текста, только программу распаковки и необходимые ей файлы, включая стартовую модель, но не полную обученную модель.
Tufa Labs утверждает, что отсутствие традиционной, вручную созданной модели сжатия отличает tufazip от всех 12 участников, которые теперь опережают его в бенчмарке, поскольку они сочетают Transformer с вручную созданными моделями. Первая онлайн-версия заняла второе место при подаче в начале сентября; версия размером 105,39 МБ заняла 13-е место по состоянию на обновление бенчмарка от 19 ноября. Следует подчеркнуть, что это бенчмарк только для текста, а не для медиафайлов.
Хотя это звучит более впечатляюще, чем, скажем, WinRAR, это делается в исследовательских целях, а не как продукт. Это подтверждается требованиями для фактического запуска. В настоящее время двум GPU Nvidia B200, а также двум процессорам Intel Xeon Platinum 8570 в тестовой машине потребуется 631 548 секунд для сжатия и 645 748 секунд для распаковки версии размером 105,39 МБ, что составляет примерно 7,3 и 7,5 дней соответственно, не считая офлайн-обучения стартовой модели.
Первая версия, которая обучалась полностью онлайн и имела размер 105,98 МБ, заняла 647 595 и 630 136 секунд. Пиковое использование видеопамяти их GPU составило 43,37 ГБ на двоих, а общее использование памяти, включая GPU, достигло примерно 68 525 МиБ во время сжатия и 73 748 МиБ во время распаковки.
Эксперимент принципиально интересен тем, что показывает, например, что меньший словарный запас может быть полезен: токенизатор с 4 тыс. слов превосходит варианты с 8 тыс. и 16 тыс. слов. Присвоение собственным токенам XML-разметки Википедии ухудшило сжатие. Больший размер не всегда лучше, и это касается и размера модели: модель с 267 миллионами параметров показала немного худшие результаты, чем модель со 188 миллионами параметров на этом наборе данных. Для меньшей версии файла размером 100 МБ прирост стабилизировался примерно на 77 миллионах параметров. Запуск, начатый с большей шестислойной офлайн-модели, дал лучшие предсказания, с полезной нагрузкой всего 99,17 МБ, но ее более крупные веса сделали общий файл больше, чем при онлайн-запуске.
Улучшение сжатия может быть дорогостоящим: увеличение окна уже обработанного текста, используемого для дополнительного обучения, с 15 до 35 миллионов токенов, сократило полезную нагрузку всего на 1,21% при увеличении вычислительных затрат на 40%. Ключевые выводы заключаются в том, что оптимизация не всегда сводится к увеличению ресурсов, и что компромиссы могут быть дороже, чем ожидалось. Хе рассматривает этот шестислойный компромисс как следующий исследовательский вопрос: насколько предсказательное качество может сохранить меньшая модель, что приводит к точке исчезновения, представляющей собой баланс между предсказательным качеством и размером модели для этого бенчмарка.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Shane Downing




