Замедление развития ИИ стало особенно актуальной темой после того, как бывший исследователь OpenAI и Anthropic заявил, что компании «играют с нашими жизнями», а в заявлении Anthropic о первичном публичном размещении акций (IPO) было указано, что технология может представлять «катастрофические или экзистенциальные риски для общества».
Затем генеральный директор Anthropic Дарио Амодеи опубликовал план по «установлению темпа развития передовых технологий», который, по-видимому, поддержали генеральный директор OpenAI Сэм Альтман и генеральный директор SpaceX Илон Маск. Среди прочего, Амодеи призвал компании согласиться на «общие стандарты безопасности, а также ограничения на скорость бесконтрольного прогресса ИИ».
Но чтобы установить ограничение скорости развития ИИ, необходимо договориться о способе измерения этой скорости. В посте Пачоцки — который Альтман назвал «самым важным из того, что OpenAI опубликовала за последнее время» — предполагается, что перплексия (не путать с компанией с таким же названием) может стать таким измерителем.
В аргументации Пачоцки бенчмарки, ориентированные на «нисходящие возможности» ИИ, быстро устарели по мере развития технологии. Но перплексия — которая «измеряет, насколько хорошо модель в среднем предсказывает следующий токен; более низкая перплексия означает лучшие предсказания» — осталась «информативной».
Пост Пачоцки включает диаграмму, показывающую, как снижалась перплексия моделей OpenAI с момента появления GPT 3.5.
«GPT‑4, с показателем около 0,91, был способен продуктивно использовать цепочку рассуждений, что стимулировало последующее целенаправленное выявление этой возможности и создание современных моделей рассуждений», — написал он. «Теперь, когда мы достигли потерь ниже 0,8, мы наблюдаем появление трансформационных возможностей в таких областях, как кибербезопасность и математика».
Таким образом, по его мнению, перплексия может послужить основой для «общего бенчмарка общего интеллекта», который компании, занимающиеся ИИ, затем смогут использовать для установления «общих ограничений». Используя перплексию в качестве стандартного измерения прогресса ИИ, компании обязуются не выходить за определенный порог «до тех пор, пока наша способность понимать и контролировать поведение ИИ не достигнет определенной конкретной вехи».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Anthony Ha