В субботнем посте в X Сатья Наделла написал, что пора «отступить и оценить архитектуру доверия» к ИИ.
«Мы не можем относиться к сверхинтеллекту как к набору вложенных черных ящиков и просто принимать или отклонять его рекомендации, ответы и действия», — написал Наделла, используя «предпочитаемый администрацией Трампа термин для ИИ».
Как изложил Наделла, этот подход «означает отделение модели от оболочки, которая оркестрирует ее работу», а также «экстернализацию средств контроля и защиты». Он также призвал документировать «каждое значимое действие модели» с помощью «защищенных от несанкционированного доступа доказательств, читаемых человеком», и создавать системы, в которых «уполномоченное лицо» всегда имеет возможность «приостановить или отключить модель в середине задачи».
«Мы должны исходить из того, что модель скомпрометирована, и сдерживать ее с самого начала», — сказал он. «Думайте об этом как об аварийном тормозе».
Комментарии Наделлы прозвучали на фоне того, как ведущие ИИ-компании все чаще признают инциденты, когда они, казалось бы, теряли контроль над своими моделями, и после того, как генеральный директор Anthropic Дарио Амодеи опубликовал план более осторожной разработки ИИ.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Anthony Ha
