Доктор Дин Чжао, руководитель лаборатории безопасного ИИ в Университете Карнеги-Меллона, занимается этой проблемой почти всю свою карьеру. Теперь вместе с опытным руководителем стартапов Кайлом Вонгом и инженером по машинному обучению Симо Рашиди он основал компанию Safeworld, призванную решить ее.
«Проблема безопасности, о которой мы говорим, представляет собой сочетание, во-первых, очень продвинутых вероятностных оценок генеративного ИИ — как оценить риск вероятностной системы? — говорит Чжао. — Вторая, очень сложная часть — это доверие, а вам нужно и то, и другое, чтобы развернуть робота».
Safeworld выходит из тени сегодня с начальным раундом финансирования более чем на 12 миллионов долларов под руководством Shine Capital и a16z Speedrun, при участии Box Group, Carnegie Mellon University Endowment, Innovation Endeavors и SV Angel.
«Время для создания отраслевого стандарта безопасности пришло сейчас, пока роботы проектируются и развертываются, — заявил TechCrunch партнер a16z Speedrun Джонатан Лай. — К тому времени, когда роботы в домах начнут сталкиваться с детьми и вызывать инциденты безопасности, будет уже слишком поздно».
Специализация Safeworld заключается в оценке системы управления роботом в симуляциях, населенных реалистичными моделями людей. Это похоже на задачу, стоящую перед такими компаниями, как Tesla или Wayve, которые должны гарантировать, что их транспортные средства адекватно реагируют на различные неожиданные ситуации, с которыми они могут столкнуться на дороге. Но для роботов это будет сложнее, утверждает Чжао, поскольку они работают в неструктурированных средах, и в каждом помещении, где они находятся, будут свои стандарты безопасности.
«Одна из наиболее распространенных проблем возникает, если на этом конкретном заводе есть слепой угол, — сказал Вонг. — Какова скорость или тормозной путь, необходимые для того, чтобы этот робот не столкнулся с конкретным человеком? Например, если человек несет коробки, обнаружит ли робот человека или нет?»
Чтобы ответить на этот вопрос, Safeworld создаст цифровую версию этого угла в модели, такой как Genesis или MuJoCo, вставит симуляцию оцениваемого робота, управляемого его реальным программным обеспечением, а затем запустит тысячи сценариев, в которых модели людей сталкиваются с роботом. Это сложнее, чем кажется, по словам Чжао, потому что люди непредсказуемы.
«Спотыкание и падение — это также хороший пример того, с чем мы проводим много тестов в симуляции, — сказал Вонг. — В противном случае пришлось бы идти и спотыкаться для робота, что постоянно делать довольно сложно».
Существуют явные сходства между платформой, которую строит Safeworld, и инструментами, используемыми внутренними разработчиками роботов. Однако основатели считают, что, помимо их специальной экспертизы, производители роботов захотят, чтобы их работу проверяла сторонняя организация, хотя бы для обмена информацией о случаях безопасности между конкурентами.
«Многие недооценивают, насколько сложными окажутся некоторые из этих крайних случаев, — сказал Чжао. — Нас беспокоит не робот в вакууме, в демонстрации. Нас беспокоит робот, развернутый в масштабе, с людьми, которые, возможно, никогда раньше не управляли роботом».
Вишал Дугар, технический директор Gritt Robotics, разрабатывает ИИ-мозг для роботов, которые в настоящее время помогают рабочим устанавливать фотоэлектрические панели на промышленных солнечных электростанциях и стремятся выполнять более сложные строительные задачи. Его компания сотрудничает с Safeworld при разработке своих симуляций безопасности.
«Сложность большинства наших систем заключается в том, что очень трудно формально доказать их, используя математику, написав уравнения и сказав: «Да, система проверена на безопасность», — говорит Дугар. — Это обязательно должно быть сделано эмпирически».
Его роботы работают бок о бок с людьми-рабочими, и обеспечение того, чтобы их роботизированная рука не задела их, очевидно, является первоочередной задачей. Для практической проверки этого потребуется рассмотрение всех возможных сценариев.
«Люди имеют множество различных внешних видов, — отмечает Дугар. — Их тела могут находиться в разных конфигурациях. Они могут стоять на коленях, стоять. Они могут спотыкаться и падать. Они могут приседать. Они могут бежать. Вам придется реагировать на все эти виды поведения, которые люди могут потенциально проявлять на этих объектах, наряду с разнообразием внешних данных людей, знаете ли, одежда, размер, форма, рост, цвет кожи, все остальное».
Это еще ранние этапы как для Safeworld, так и для генеративного ИИ в робототехнике, и компания все еще определяет лучшую модель для своего продукта — платформу для внешних пользователей или подход, основанный на услугах? — но команда уверена, что решает правильную проблему.
«Мы, вероятно, будем первой прибыльной компанией в этой области, — говорит Чжао. — Потому что если кто-то захочет развернуть роботов, им придется заплатить нам за решение этой проблемы».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tim Fernholz
