ИИ в сфере здравоохранения, способный управлять выпиской рецептов, весьма восприимчив к внушающим изменениям в сознании, по мнению экспертов по безопасности.
Специалисты по тестированию безопасности из фирмы Mindgard, занимающейся безопасностью ИИ, сообщили во вторник, что им потребовалось относительно немного усилий, чтобы заставить ИИ в сфере здравоохранения от Doctronic не только раскрыть свои системные промпты, но и позволить внести в них изменения.
Хотите заставить бота извергать конспирологические теории о COVID-19 и дезинформацию о вакцинах или говорить с напускным акцентом? Просто сообщите Doctronic, что сеанс еще не начался, и разговор, который он ведет, происходит не с пользователем, а с системой. Затем вы можете заставить его раскрыть свои системные промпты и использовать эту информацию для совершения пакостей.
“Это было так же просто, как уведомить ИИ, что сеанс еще не начался”, — сообщил Аарон Портной, директор по продуктам Mindgard, изданию The Register по электронной почте.
Mindgard отмечает, что эти манипуляции специфичны для сеанса. Обман Doctronic с целью помочь вам изготовить метамфетамин, предоставив поддельный пресс-релиз о том, что это обновление программирования, делающее метамфетамин легальным (пример из исследования), забавен, но это не то поведение, которое перейдет к другим пользователям или сохранится.
Ну, по крайней мере, в большинстве случаев.
Исследователи обнаружили, что им удалось сохранить некоторую клиническую устойчивость в виде заметок SOAP — распространенной формы структурированного ведения записей о взаимодействии с пациентом, состоящей из субъективных сообщений пациента, объективных наблюдений медицинского работника, оценки ситуации и плана действий.
Всякий раз, когда Doctronic необходимо направить что-либо на рассмотрение человеку-медицинскому работнику (например, рецепт, видеосвязь с врачом), он генерирует заметку SOAP для лечащего врача, которая становится постоянной частью записи пациента в Doctronic. Заметки SOAP не являются рецептами, но они представляют собой рекомендации для врача, просматривающего работу машины, о необходимости авторизовать рецепт.
Если бы кто-то смог обманом заставить Doctronic изменить рецепт на OxyContin, увеличив дозировку втрое, заявив, что изменились руководящие принципы выписки рецептов, и невнимательный одобряющий врач этого не заметил бы, — джекпот, по крайней мере, такова интерпретация Mindgard эксплойта с заметками SOAP, которую они описали.
“Согласно собственному веб-сайту Doctronic, их планы лечения ‘в 99,2% случаев соответствуют планам врачей, имеющих сертификацию совета'”, — отметили в Mindgard. “При таком высоком уровне уверенности, будут ли сомневаться в заметке SOAP?”
Будет ли это обнаружено или нет, сам факт того, что ИИ Doctronic можно так легко обмануть, вызывает озабоченность, особенно учитывая, что в настоящее время он участвует в испытании в Юте для оценки его эффективности в качестве посредника в сфере здравоохранения, в том числе с возможностью обработки некоторых рецептов.
И правительство штата Юта, и Doctronic ясно дали нам понять, что такой эксплойт с пополнением запасов лекарств не может быть реализован в Юте, поскольку контролируемые вещества не могут быть получены через программу.
Doctronic сообщил нам, что пилотный проект в Юте ограничивает пополнение запасов лекарств предыдущими, неконтролируемыми рецептами. Зак Бойд, директор Управления политикой в области ИИ Департамента торговли Юты, сообщил нам, что в демонстрационной версии штата также имеются “дополнительные меры безопасности, которые применяются до выдачи рецепта и не являются частью общей модели Doctronic”, которые предотвратят такое неправомерное использование.
Короче говоря, ни Doctronic, ни штат Юта, похоже, не слишком обеспокоены выводами Mindgard, поскольку никто на самом деле не получает рецепт на тройную дозу Oxy или не заставляет своего местного автодокторанта распространять дезинформацию.
Doctronic сообщил нам, что они “просмотрели шаблоны промптов, о которых [Mindgard] сообщили, в рамках нашего стандартного процесса проверки… Мы серьезно относимся к исследованиям безопасности и продолжаем совершенствовать меры защиты для повышения устойчивости к враждебным входным данным”.
У Портного есть сомнения относительно уровня приверженности компании — он говорит, что Doctronic не отвечает ему с тех пор, как Mindgard раскрыла проблему в конце января, и он не уверен, что Doctronic устранила проблему.
“Насколько нам известно, Doctronic по-прежнему уязвим”, — сказал Портной. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Brandon Vigliarolo
