Компания AMD представила новое исследование на симпозиуме I3D под названием “PEPS: Positional Encoding Projected Sampling” (PEPS: Позиционное кодирование с проецируемой выборкой), предлагающее новый метод позиционного кодирования, который может улучшить нейронное сжатие текстур.
Как работает нейронное сжатие текстур?
Нейронное сжатие текстур работает путем обучения так называемых INR, или “неявных нейронных представлений”, для изучения функций “координата-сигнал”. Проецируя текстурные координаты в многомерное вложение и передавая эту информацию многослойному перцептрону, можно значительно представить и сжать текстуры.
PEPS: Позиционное кодирование с проецируемой выборкой
PEPS представляет новый метод повышения эффективности этого процесса за счет изменения способа использования позиционного кодирования. Обычно позиционное кодирование проецирует низкоразмерные координаты в многомерный синусоидально-косинусоидальный вектор. PEPS развивает эту идею, рассматривая каждую синусоидально-косинусоидальную проекцию как точку на кривой Лиссажу, а затем выполняя выборку энкодера/сетки в этих спроецированных точках, тем самым увеличивая объем информации, представленной INR.
Компромисс здесь заключается в том, что это уменьшение размера сопровождается соответствующим увеличением вычислительных затрат. По данным тестирования AMD на видеокарте 9070xt, генерация трехканальной текстуры размером 1024×1024 увеличилась с 4,32 мс при использовании базовой сетки BI до 5,47 мс с Grid-PEPS, в то время как дальнейшая оптимизированная версия Grid-PinkPEPS сократила это время до 4,86 мс. Этот штраф за производительность можно объяснить дополнительными вычислениями и доступом к памяти, необходимыми для дополнительной выборки, введенной с PEPS.
Применение PEPS за пределами нейронного сжатия текстур
Помимо нейронного сжатия текстур, эта новая техника также может найти применение в SDF (функциях знакового расстояния), которые используются в 3D-рендеринге. SDF печально известны тем, что требуют высококачественных сеток, поглощающих VRAM, поэтому оптимизация использования памяти с помощью легковесных моделей нейронного сжатия имеет большое значение. При тестировании на SDF Pitted Stonefish метод Grid-PEPS смог примерно соответствовать IoU (Intersection Over Union, или насколько точно реконструированная 3D-форма совпадает с оригиналом) методов без PEPS при в 8 раз большем количестве параметров энкодера.
Значение для FSR Suite: Не ожидайте, что это скоро заработает на вашей видеокарте Radeon
Хотя это исследование, безусловно, интересно с технической точки зрения, трудно сказать, когда оно станет актуальным для потребителей. В настоящее время только NVIDIA имеет какие-либо общедоступные наборы инструментов/демоверсии для нейронного сжатия текстур, и нет ни одной игры с полной реализацией NTC. Со стороны AMD поддержка еще более ограничена — фактически, AMD еще даже не придумала официальное фирменное название для этой технологии; во всех своих исследованиях они используют общие термины для обозначения технологии. Тем не менее, приятно видеть прогресс в этой области, особенно учитывая, что “RAMpocalypse” гарантирует, что 8-гигабайтные видеокарты будут использоваться до второй половины этого десятилетия.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rayan Malik
