Компания SenseTime выпустила и полностью открыла исходный код SenseNova-Vision — унифицированной визуальной большой модели, которая решает задачи обнаружения, сегментации, прогнозирования глубины и 3D-реконструкции в рамках единой архитектуры. В настоящее время модель занимает первое место в глобальном рейтинге Hugging Face Any-to-Any Leaderboard, что стало первым случаем, когда китайская компания в области визуального ИИ заняла верхнюю строчку в этом комплексном мультимодальном бенчмарке.
SenseNova-Vision принципиально бросает вызов давней фрагментации компьютерного зрения. Традиционно такие задачи, как обнаружение объектов, сегментация изображений, оценка глубины и 3D-реконструкция, требовали отдельных экспертных моделей, что приводило к созданию сложных изолированных систем. SenseNova-Vision объединяет эти разнородные выходные данные, переформулируя их как задачи мультимодальной генерации в рамках единого генеративного фреймворка, устраняя необходимость в специализированных головках модели, функциях потерь и правилах декодирования.
Техническая архитектура создает двойную спиральную структуру между данными и рассуждением. Накопленные за десятилетия промышленные визуальные данные по задачам обнаружения, сегментации и оценки глубины напрямую подаются в большую модель. В свою очередь, способности больших языковых моделей к рассуждению применяются для повышения производительности визуальных задач. Разработчики могут определять совершенно новые визуальные задачи с помощью естественного языка — задачи, которые никогда явно не перечислялись во время обучения, что демонстрирует, что пространственное понимание стало врожденным свойством модели, а не запрограммированной способностью.
Тесты на бенчмарках показывают, что SenseNova-Vision соответствует или превосходит специализированные экспертные модели по всем четырем основным задачам. Модель демонстрирует выдающиеся способности к нулевой обобщаемости, выполняя одновременное прогнозирование нормалей поверхности, сегментацию экземпляров и обнаружение объектов на игровых изображениях, таких как сцены Minecraft, без какого-либо дообучения. В визуально сложных сценариях, включающих плотно перекрывающиеся объекты, зеркальные отражения и иллюзии глубины, модель показывает последовательное превосходство над традиционными специализированными моделями.
Релиз с открытым исходным кодом включает полную модель, код, рецепт обучения и высококачественный визуальный корпус из 50 миллионов образцов. SenseTime предоставила полные правила преобразования и скрипты для воспроизведения сообществом с использованием публичных наборов данных. Такая открытость является редкостью в области визуального ИИ, где большинство крупных моделей остаются закрытыми или частично открытыми. В сочетании с тем, что SenseTime уже десять лет подряд является ведущим поставщиком визуального ИИ в Китае и мировым лидером в области видеоаналитики с 2025 года, этот релиз сигнализирует о стратегическом сдвиге в сторону повторного использования возможностей на платформенной основе, где одна модель может обслуживать большинство высокочастотных сценариев развертывания визуального ИИ в промышленной инспекции, автономном вождении и сценариях умной розничной торговли.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
