8-я Конференция Пекинской академии искусственного интеллекта (BAAI) открылась 12 июня 2026 года в Пекине. На пленарном заседании выступили два лауреата премии Тьюринга — Уитфилд Диффи (2015) и Эндрю Барто (2024), которые независимо друг от друга пришли к общей обеспокоенности: фундаментальным теоретическим проблемам, лежащим в основе стремления к созданию общего искусственного интеллекта (AGI).
Диффи, известный как отец криптографии с открытым ключом, рассмотрел безопасность агентов ИИ через призму информационной безопасности. Он утверждал, что, хотя успех криптографии в узких областях обусловлен четко определенными спецификациями, амбиция AGI — «делать всё» — делает невозможным написание формальных спецификаций, которые предотвращали бы галлюцинации или потерю контроля. «Мы хотим доказать, что система соответствует своей спецификации, но сначала нужно уметь написать эту спецификацию», — сказал Диффи, отметив, что даже формальное определение «не галлюцинировать» остается неуловимым.
Он противопоставил это криптографии с открытым ключом, которая добилась успеха благодаря тому, что академические круги и промышленность десятилетиями занимались разработкой, верификацией и стандартизацией протоколов. «Индустрии безопасности ИИ придется пройти через аналогичный долгосрочный процесс создания и стандартизации протоколов, прежде чем агентами можно будет по-настоящему управлять», — предупредил он, отметив, что безопасность современных LLM остается на ранней, хаотичной стадии.
Эндрю Барто, пионер обучения с подкреплением с временной разницей (temporal difference learning) и архитектуры «Актер-Критик» (Actor-Critic), проследил столетнюю скрытую историю обучения с подкреплением — от экспериментов Торндайка с ящиками-головоломками в 1898 году до AlphaGo. Он определил ключевым узким местом проектирование функции вознаграждения. В идеально определенных средах, таких как шахматы или Го, сигналы вознаграждения прямолинейны. Но в сложных сценариях реального мира проектирование идеальной функции вознаграждения принципиально невозможно.
Барто сослался на предупреждение Норберта Винера, сделанное полвека назад: «Он даст вам то, о чем вы просили, — но не то, что вы на самом деле хотели и в чем нуждались». Он охарактеризовал это как проблему «Мидасова прикосновения», когда буквальная оптимизация уничтожает подлинную ценность, предупредив, что по мере распространения автономных агентов ИИ этот риск экспоненциально возрастает. «Мы не можем полагаться только на одну строку функции вознаграждения; мы должны создавать надежные, динамические ограничители, подкрепленные обширной экспериментальной валидацией», — подчеркнул Барто.
Оба докладчика сошлись в одном выводе: мы наделяем машины агентностью, но не можем ни математически ограничить их формальными спецификациями, ни направить их с помощью идеальных функций вознаграждения. Путь от теории информации Шеннона до современных криптографических стандартов занял полвека; обучение с подкреплением охватило столетие от Торндайка до AlphaGo. Они предостерегли, что теоретические основы безопасности AGI требуют столь же длительного временного горизонта — гораздо более длительного, чем предполагает нынешняя отраслевая лихорадка.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
