Особенность «Вы не можете свалить вину на коробку», — заявляет руководитель финансового регулятора Великобритании. А как насчет людей, которые продали вам эту коробку? Удачи с этим, говорит мировой технологический аналитик.
Когда ИИ-агенты… считаются действующими от имени организации, риск принятия решений становится неоднозначным и непредсказуемым. Это также сигнализирует о перераспределении риска ИИ с неизвестными параметрами
Поскольку ИИ-агенты теперь обещают «активно управлять бизнесом», любой, кто ищет объяснений, кто может нести ответственность за результаты этих якобы покоряющих мир статистических машин, может, не без оснований, обратиться к приведенному выше абзацу.
Ставки высоки. Крупнейшие поставщики корпоративных приложений теперь говорят об использовании ИИ-агентов для автоматизации решений в области управления персоналом, финансов и цепочками поставок. Галлюцинации больших языковых моделей (LLM) в отчетах об эффективности, неверные регуляторные документы и срыв поставок критически важных материалов — вот лишь некоторые из рисков, довлеющих над компаниями, передающими принятие решений ИИ.
В то время как технологические поставщики видят в ИИ возможность стоимостью в триллион долларов, кто понесет ответственность, если что-то пойдет не так?
«Существует историческое предположение, что поставщик будет нести ответственность, если что-то пойдет не так. Это отправная точка для более или менее всех этих обсуждений», — сказал Малкольм Доуден, старший юрист по технологиям в Pinsent Masons.
Пользователей можно простить за высокие ожидания от ИИ, учитывая заявления поставщиков. Анонсируя расширение своей AI Agent Studio для Fusion Applications, Oracle заявила, что технология будет «способна рассуждать, действовать в бизнес-системах и непрерывно выполнять процессы» таким образом, чтобы ее программное обеспечение могло «активно управлять бизнесом, с управлением, доверием и безопасностью, которые требуются предприятиям».
Однако с юридической точки зрения поставщики могут смотреть на вещи иначе.
Доуден сказал: «Если вы думаете об обычном инструменте или системе, ее поведение предсказуемо, поэтому дающий гарантию может довольно четко представлять, какой объем ответственности вы берете на себя. С ИИ это по-другому. Чем дальше мы спускаемся по цепочке к тому, что раньше называлось недетерминированным ИИ — в основном то, что попадает в категорию агентного ИИ — тем шире становится диапазон неожиданного поведения. Это главная забота с точки зрения поставщика: если вы даете гарантию о том, как что-то будет себя вести, но это по своей сути непредсказуемо, это делает контрактное обещание очень неудобным».
Это также может волновать компании, использующие эти системы, учитывая ставки и обязанности, которые они должны нести.
Например, на этой неделе в Великобритании Совет по финансовой отчетности (FRC) предельно ясно изложил свои указания по внедрению ИИ.
«Хотя технологии меняются, фундаментальный принцип нашей нормативно-правовой базы остается неизменным: именно люди — фирмы и ответственные лица — несут ответственность за качество аудита».
Или, как заявил исполнительный директор FRC Марк Бэбингтон в интервью Financial Times: «Вы не можете свалить вину на коробку. Если вы используете эту технологию, вы все равно несете за нее ответственность».
Тем не менее, покупатели технологий могут, по крайней мере, попытаться привлечь своих поставщиков к ответственности в рамках условий контракта.
Например, пользователи, внедряющие ИИ для отбора кандидатов на вакансии, должны знать, что им могут предъявить претензии в соответствии с законодательством о защите данных, поскольку это автоматизированное принятие решений. Регулятор Великобритании, Управление комиссара по информации (Information Commissioner’s Office), недавно заявил, что поддерживает автоматизацию при условии, что пользователи следят за предвзятостью, прозрачны в отношении соискателей и информируют их о праве на обжалование.
Доуден отметил, что по таким вопросам, как предвзятость в обучающей модели, организации-пользователи будут нести ответственность, поскольку они являются контролерами данных согласно законодательству Великобритании. «Затем они попытаются переложить эту ответственность на поставщика посредством договорных положений, требующих объяснения работы ИИ, или договорного обязательства обеспечить отсутствие внутренней предвзятости».
Однако, по его словам, поставщики, скорее всего, будут возражать против прямого утверждения о том, что предвзятость должна быть в самой модели. Они захотят изучить взаимодействие между моделью, алгоритмом и пользовательскими запросами (промптами).
«В согласованных гарантиях мы видим такие обещания, как гарантия того, что система была протестирована на предвзятость, и этот тест будет регулярно обновляться, а модели будут калиброваться, но без принятия ответственности, если предвзятость можно проследить до того, как были созданы и сформулированы запросы. Обе стороны, по сути, пытаются возложить ответственность на другую сторону. Именно на этом сейчас фокусируются переговоры», — сказал Доуден.
Gartner прогнозирует, что к середине 2026 года новые категории незаконного принятия решений на основе ИИ приведут к расходам на устранение последствий в размере более 10 миллиардов долларов среди мировых ИИ-поставщиков и предприятий, использующих ИИ. Лидия Клафферти Джонс, вице-президент Gartner, заявила, что принятие решений ИИ-агентами может вывести ответственность ИИ на новый уровень.
«Когда ИИ-агенты… считаются действующими от имени организации, риск принятия решений становится неоднозначным и непредсказуемым. Это также сигнализирует о перераспределении риска ИИ с неизвестными параметрами», — сказала она.
«Организации, которые не смогут немедленно внедрить защищаемый ИИ, привести данные, готовые к ИИ, в состояние «готовности к принятию решений ИИ» и провести обширный пересмотр объяснимости моделей машинного обучения (ML), рискуют значительной потерей инвестиций, правительственными расследованиями, гражданскими штрафами и, в некоторых случаях, уголовной ответственностью».
Клафферти Джонс рекомендовала пользователям разобраться в концепции «защищаемого ИИ». Это означает сосредоточение внимания на таких методах, включая принятие решений с помощью ИИ, «которые могут надежно и многократно выдерживать проверку, вопросы и экспертизу».
Организациям, по ее словам, следует развернуть ограничительные рамки для контента и принятия решений для решений на основе языковых моделей на протяжении всего жизненного цикла ИИ — от данных до модели и вывода.
На прошлой неделе Балажи Аббататулла, вице-президент Gartner и ведущий аналитик по Oracle, заявил, что существует много юридических формулировок для защиты поставщиков в отношении технологий. Вместо того чтобы нести юридическую ответственность, они говорят о мониторинге, наблюдаемости и аудитах.
«Разница между решениями ИИ-агентов и человеческими решениями заключается в масштабе и темпах этих решений, и они могут быстро каскадировать», — сказал он. «Если что-то не так, и это не будет выявлено и предотвращено, это может быстро каскадировать, прежде чем кто-либо вообще заметит проблему. Они говорят о непрерывном мониторинге для выявления исключений: так называемых агентах-хранителях. Но вопрос ответственности — ключевая проблема для всех поставщиков».
Именно риск того, что ошибочный вывод будет каскадировать незамеченным, беспокоил поставщиков в отношении принятия ответственности, сказала Джорджина Кон, партнер Linklaters по цифровому праву, данным и коммерческому праву.
«Риск увеличения огромен, но также существует трудность в определении того, кто несет ответственность», — сказала Кон. «Многие из действующих законов не очень подходят, потому что они всегда предполагают, что что-то делает человек или компания, а это не так. Но нельзя допустить, чтобы люди создавали агентов и не несли за них ответственности. В конечном счете, все сводится к тому, что рынок может выдержать с коммерческой точки зрения».
По этой причине поставщики мягко запускали продукты и сначала тестировали их с пользователями.
Как и в случае с социальными сетями в начале века, то, как люди будут развертывать ИИ-агентов и реагировать на них, еще предстоит выяснить, сказала Кон.
«Когда у вас есть такие вещи, как ИИ, это просто еще один гребень холма, за которым вы не знаете, что вас ждет, потому что эти агенты могут быть неожиданными, они могут научиться неправильным вещам, и это справедливо. Неудивительно, что поставщики не хотят брать на себя ответственность за все, но они могут нести ответственность за процессы, которым они следовали, и за меры безопасности, которые они внедрили. С точки зрения прибыльности наступит момент, когда им станет невыгодно разрабатывать агентов, за которых они затем могут нести типичную контрактную ответственность».
Однако некоторые пользователи были рады продолжить развертывание агентов, чтобы оставаться на передовой своего рынка или добиться повышения эффективности процессов, принимая риск на себя. Это будет зависеть от сектора, сказала Кон, причем финансовые услуги и здравоохранение, например, будут более консервативны в своем подходе.
Инвестиции в ИИ в этом году достигнут 2,52 трлн долларов, большая часть которых поступит от гиперскейлеров, разработчиков моделей и программных компаний. Они захотят увидеть хорошую отдачу от этих расходов.
Любой старший ИТ-менеджер или директор может подтвердить смелые маркетинговые заявления поставщиков, обещающих автоматизировать внутреннее принятие решений с беспрецедентной скоростью и масштабом. Но привлечение их к ответственности за результаты останется проблемой до тех пор, пока закон не станет более ясным и дела не пройдут через суды.
Крупным поставщикам прикладного ПО было предложено объяснить, какую ответственность они несут за внедрение ИИ-агентов их клиентами. Microsoft и SAP отказались от комментариев. Workday, Salesforce, ServiceNow и Oracle не ответили. Несмотря на ажиотаж в отрасли, для них остается сложной задачей согласовать рыночные заявления с юридической ответственностью. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Lindsay Clark
