Perceptron — стартап, основанный двумя бывшими научными сотрудниками *Meta, — одна из таких компаний. Основанная в ноябре 2024 года, фирма разрабатывает передовые модели компьютерного зрения, призванные помочь машинам более эффективно взаимодействовать с физической средой.
На этой неделе компания запустила свою новейшую модель Isaac 0.5, которая, по словам создателей, предназначена для того, чтобы наделить машины способностью «воспринимать, рассуждать и действовать» в промышленных условиях. В частности, программное обеспечение способно помогать роботам с компьютерным зрением ориентироваться в сложных средах, таких как склады или заводские цеха. Оно также помогает компаниям извлекать визуальную информацию из видео, записанных этими роботами.
Isaac 0.5 также выпускается как модель с открытыми весами, поэтому ее параметры и обучающие материалы может проверить любой желающий.
Стартап, который недавно привлек 21 миллион долларов в раунде финансирования под руководством Bessemer Venture Partners, был основан Арменом Агаджаняном и Акшатом Шриваставой, ранее работавшими в Fundamental AI Research (FAIR) — подразделении *Meta по исследованию ИИ. Дуэт видит свое программное обеспечение как будущее промышленной автоматизации.
«Физический ИИ сегодня ставит перед ложным выбором: либо универсальные фундаментальные модели, требующие нескольких выделенных облачных GPU для каждого экземпляра, либо узкоспециализированные модели, которые занимаются либо восприятием, либо управлением, но никогда и тем и другим одновременно», — говорит компания.
Агаджанян и Шривастава утверждают, что их инструмент отличается от существующих моделей в этой области, поскольку является универсальным, то есть не создан для одной конкретной повторяющейся задачи. Вместо этого, по их словам, модель разработана так, чтобы быть гибкой в зависимости от конкретной среды (или ситуации), в которой она находится.
В интервью Шривастава попросил меня задуматься о том, что входит в простой физический процесс, например, сортировку коробок: «Представьте, что сейчас развертывается робот для сортировки посылок. Какие задачи ему нужно будет выполнить?»
Такая относительно простая задача действительно состоит из множества этапов. Сначала робот должен прочитать этикетку на посылке, провести некоторый пространственный анализ, чтобы понять, где находятся коробки, и решить, какую из них взять. Если он берет серию коробок, ему придется спланировать, какие коробки брать и в каком порядке.
Программное обеспечение Perceptron призвано помочь роботам проходить каждый этап процесса. Следует уточнить, что в отрасли уже есть программное обеспечение, которое может помочь машинам выполнять большинство этих задач, но существует мало программ, предназначенных для гибкого выполнения этих задач.
Откуда берутся данные для этой алгоритмической алхимии?
Такие модели, как Isaac 0.5, обучаются операционным навыкам, поглощая огромные объемы видеоданных для обучения. Perceptron утверждает, что его новая модель была обучена на миллионе часов так называемого общего видео, чтобы научить свой алгоритм распознавать конкретные обстановки, визуальные образы и сценарии. Компания также в значительной степени полагалась на так называемое эго-видео — видео, снятое, как правило, с помощью GoPro или носимой камеры, от первого лица человека, выполняющего физическую задачу, — а также на UMI-видео, которые аналогичным образом используются для обучения систем ИИ движениям путем записи повторяющихся действий человека.
Хотя Perceptron не раскрывает источники своих обучающих данных, Шривастава сообщил, что компания «внутренне создала наборы данных петабайтного масштаба, охватывающие различные модальности, будь то изображения, текст, видео и так далее, вплоть до роботизированных траекторий».
Полезность программного обеспечения, которое может помочь роботам компетентно работать на складах, очевидно, огромна, и Perceptron считает, что он хорошо позиционирован, чтобы возглавить эту волну автоматизации. Стартап готов предложить свое программное обеспечение различным вендорам и, таким образом, потенциально интегрировать свой интеллектуальный слой в широкий спектр отраслей.
Эти отрасли включают производство, логистику и складское хозяйство, безопасность, мобильность, а также медиа и развлечения.
«Ничего подобного на рынке пока нет», — сказал Агаджанян. «Мы очень воодушевлены этим».
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Lucas Ropek
