За последние несколько лет появилось множество новых технологий, оказавших глубокое влияние на игровую индустрию. С помощью DLSS Super Resolution компания NVIDIA проложила путь для других технологий масштабирования, таких как PSSR и QSSR от PlayStation, а с помощью Frame Generation она облегчила геймерам возможность ощутить плавность изображения при высокой частоте кадров, но только с точки зрения воспринимаемой плавности, поскольку именно базовая частота кадров определяет реальную плавность игры. Это и по сей день остается главной проблемой технологий Frame Generation, наряду с проблемами качества изображения, вызванными интерполяцией сгенерированных кадров с отрисованными.
PlayStation прекрасно осведомлена о проблемах задержки ввода, которые смягчаются только такими технологиями, как NVIDIA Reflex, и, похоже, компания стремится решить их с помощью новой технологии прогнозирования кадров, описанной в недавнем патенте.
«Масштабирование с генерацией кадров может включать создание внедрения кадра изображения из первого кадра изображения в потоке изображений и прогнозирование синтетического второго кадра изображения в потоке изображений с использованием внедрения кадра первого изображения в потоке изображений. Синтетический второй кадр отображается после первого кадра изображения в потоке изображений», — говорится в кратком изложении патента, поданного Sony 15 октября, на который обратил внимание Patentlyze.
На первый взгляд, это может не сильно отличаться от того, как работают такие технологии, как NVIDIA DLSS Frame Generation, но на самом деле это совсем другое. В то время как Frame Generation «вставляет синтетический кадр, сгенерированный моделью машинного обучения, между последним отрисованным GPU кадром и предыдущим перед отображением», запатентованная технология PlayStation прогнозирует следующий кадр на основе ожидаемого ввода игрока, используя тот же принцип, который применяется для rollback netcode в современных файтингах, таких как Street Fighter 6, однако на совершенно ином уровне сложности.
«Ввод пользователя здесь может осуществляться одновременно (например, в течение 15 мс) с генерацией последнего кадра ввода или вскоре до (например, отображение более 15 мс, но менее чем за две секунды до) генерации последнего кадра изображения. Идея заключается в том, что ввод пользователя связан с генерацией кадра изображения; например, когда игрок в игре нажимает кнопку прыжка, следующие несколько кадров будут кадрами анимации прыжка, которые могут быть изучены кодировщиком», — объясняется в патенте.
Эта технология, по сути, будет представлять собой алгоритмическую генерацию кадров, которая потенциально может значительно сократить задержку ввода при правильной реализации. «Алгоритмическая генерация кадров использует алгоритм вместо машинного обучения и нейронных сетей для генерации синтетического кадра. В соответствии с аспектами настоящего раскрытия, алгоритмическая генерация кадров может использовать либо векторы движения, либо реальный предыдущий кадр с реальным последним кадром».
В конечном итоге, эта технология прогнозирования кадров, запатентованная PlayStation, будет использовать кодировщик, который считывает отрисованный кадр, необязательные векторы движения и ввод с контроллера, а затем декодер, который выводит сгенерированный кадр, который будет показан до прибытия следующего реального кадра, охватывая несколько возможных вариантов путем генерации нескольких будущих кадров. Для снижения риска неправильного прогноза система также имеет резервный вариант без использования ИИ.
Интересно, что патент не детализирует никаких дополнительных аппаратных требований, кроме тех, которые уже есть в текущих игровых системах, поэтому эта технология потенциально может быть развернута на системах текущего поколения. Однако маловероятно, что мы увидим технологию прогнозирования кадров в ближайшее время, учитывая сложность системы и то, как она может привести к ужасному опыту, постоянно сбоя в таких играх, как динамичные экшн-игры или соревновательные шутеры.
Тем не менее, эта новая технология PlayStation звучит невероятно интересно, как и другие технологии, над которыми работает компания, включая ту, которая может переписывать поведение врагов на лету, и имеет потенциал обеспечить невероятно плавный игровой процесс в разрешении 4K при правильной реализации. Как и в случае с rollback netcode, который имеет так много сходств с ней, вероятно, будут трудности на начальном этапе, но они определенно могут того стоить.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Francesco De Meo
