По мере усложнения и фотореалистичности игр индустрия все чаще полагается на технологию масштабирования для удовлетворения растущих требований к аппаратному обеспечению. Одна из самых больших проблем, возникающих из-за этой неоптимальной оптимизации, — это использование VRAM, которое резко возросло за последние несколько лет. Для борьбы с этим Nvidia разработала технологию под названием «Нейронное сжатие текстур» (NTC), о которой вновь упомянули в сегодняшнем докладе GTC. Лучшие видеокарты смогут использовать технологию NTC от Nvidia. Вместо традиционных методов блочного сжатия NTC позволяет разработчикам использовать небольшие нейронные сети для распаковки текстур в любой сцене. Это не только значительно уменьшает их размер, делая установку игр более управляемой, но и сокращает использование VRAM во время выполнения. Получающиеся текстуры также выглядят лучше: Nvidia заявляет о разрешении до 4 раз выше в финальном рендере. В приведенном ниже примере Nvidia запустила сцену «Тосканская вилла», которая потребляла 6,5 ГБ VRAM при стандартном блочном сжатии, но переход на NTC снизил это значение всего до 970 МБ, при этом изображение выглядит идентично. Ранее другая демонстрация компании показала шлем пилота с 272 МБ несжатых текстур — блочное сжатие уменьшило их до 98 МБ, но NTC сократило их всего до 11,37 МБ, что примерно в 24 раза меньше оригинала. Компания также продемонстрировала Neural Materials, следуя той же концепции: позволить нейронной сети оценивать и распаковывать данные текстур материалов вместо того, чтобы полагаться на вычислительно затратную математику BRDF. Обычно для материала стекируется несколько карт текстур, и графический процессор должен одновременно рассчитывать, как свет взаимодействует с каждым слоем в конвейере рендеринга. Neural Materials просто спрашивает нейронную сеть, как свет отреагирует в данном сценарии, и соответствующим образом затеняет пиксель. Нейронная сеть обучается на всех данных текстур, поэтому она уже знает результат с учетом света и угла. Таким образом, в демонстрационной сцене ниже Nvidia достигла ускорения времени рендеринга до 7,7 раз при разрешении 1080p без потери качества изображения. NTC настолько эффективен, поскольку использует механизмы матричного ускорения, которые представляют собой отдельный аппаратный блок в современных графических процессорах, поэтому базовая производительность не затрагивается. Nvidia называет их Tensor Cores, Intel — XMX engines, а AMD — AI accelerators. Здесь же располагаются апскейлеры, такие как DLSS, FSR и XeSS, поскольку они восстанавливают кадр низкого разрешения до вывода более высокого разрешения, так что это часть стремления Nvidia к нейронному рендерингу. Концепция нейронного рендеринга пока не получила широкого признания в сообществе, и слово «нейронная сеть» может навести на мысль, что это просто очередной ИИ-мусор. На самом деле все наоборот, и это одно из лучших применений ИИ, поскольку оно совсем не генеративное. NTC будет обучаться только на конкретном наборе текстур, которые ему необходимо использовать во время разработки игры, поэтому нет никакого шанса на галлюцинации. Текстуры потребляют больше всего VRAM в любой игре, поэтому любая техника для удержания их под контролем является желанным дополнением. Тем не менее, важно отметить, что это не эксклюзив Microsoft, поскольку Microsoft стандартизировала это как «Кооперативные векторы» (Cooperative Vectors) в DirectX. Intel ранее продемонстрировала собственную демонстрацию со заметно лучшими текстурами по сравнению с блочным сжатием. AMD в последний раз говорила об этой технологии в 2024 году, но, вероятно, она также участвует в этой миссии. В настоящее время ни одна игра не поддерживает Cooperative Vectors или Neural Texture Compression от Nvidia, но мы должны начать видеть их реализацию в ближайшее время, учитывая траекторию развития отрасли. ИИ стал ответом на, казалось бы, каждую старую проблему, и корпорации изобретают новые способы внедрения его туда, где он не нужен. Однако такие инновации, как NTC, показывают, что его можно реализовать со вкусом, чтобы внести реальные, значимые изменения.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Hassam Nasir
