Apple продолжает стремительно наращивать свои возможности в области искусственного интеллекта. Ярким примером тому служит новейшая модель ИИ от купертинского гиганта, способная создавать полноценную 3D-сцену из одного 2D-изображения всего за одну секунду.
Новая модель ИИ от Apple для генерации видео работает молниеносно и достаточно точно
Apple опубликовала исследование под названием “Sharp Monocular View Synthesis in Less Than a Second”. В нем подробно рассказывается, как инженерам Apple удалось обучить модель ИИ под названием SHARP генерировать “фотореалистичный” 3D-вид из одного 2D-изображения.
Важно отметить, что Apple утверждает, что генерация вида занимает “менее секунды на стандартном графическом процессоре посредством единого прямого прохода через нейронную сеть”.
По сути, SHARP предсказывает, как будет выглядеть 3D-сцена, извлеченная из 2D-изображения, учитывая “ближайшие точки обзора” изображения.
В исследовании отмечается:
“3D-представление Гаусса, созданное SHARP, может быть отрисовано в реальном времени, выдавая высококачественные фотореалистичные изображения для ближайших видов. Представление является метрическим, с абсолютным масштабом, поддерживая метрические движения камеры.”
Для тех, кто не в курсе, 3D Gaussian Splatting — это техника, используемая для создания фотореалистичных 3D-сцен путем представления их в виде миллионов “сплэтов”, которые по сути являются крошечными цветными пятнышками. Однако для создания полной сцены часто требуется множество 2D-изображений с разных ракурсов.
Модель SHARP от Apple отличается тем, что она способна воссоздать полную фотореалистичную сцену из одного 2D-изображения, предсказывая глубину и цвета, и делает это менее чем за секунду.
Более того, теперь вы можете попробовать модель ИИ SHARP от Apple бесплатно, перейдя на специальную страницу GitHub.
Автор –
