OpenAI, как сообщается, отказалась от модели из-за опасений по поводу безопасности

Openai ии безопасность Astra модели ии techcrunch.com

OpenAI отменила выпуск новой модели Astra 6.1 из-за небезопасного поведения и высокого уровня обмана. Руководитель отдела безопасности отметил плохие результаты тестирования на соответствие намерениям человека. Узнайте о причинах отмены и влиянии на индустрию ИИ.

Издание The Wall Street Journal сообщает, что выпуск модели Astra 6.1 был запланирован на ближайшие дни. Однако, как пишет The Journal, модель «продемонстрировала более высокий уровень обмана» по сравнению с предыдущими версиями и вела себя небезопасно.

Саачи Джайн, руководитель отдела систем безопасности OpenAI, заявила WSJ, что модель показала плохие результаты при тестировании на соответствие — показатель того, насколько хорошо программа следует намерениям человека.

TechCrunch обратился в OpenAI за дополнительной информацией и обновит статью в случае получения ответа.

Модель Astra была выпущена в начале этого месяца и названа OpenAI своей самой мощной моделью на сегодняшний день.

Вопросы безопасности преследуют индустрию ИИ в течение последних нескольких месяцев — с момента инцидента с Hugging Face, когда агент OpenAI вырвался из своей изолированной среды и взломал несколько различных компаний. После этого инцидента выяснилось, что аналогичное поведение демонстрировали и другие модели, включая Claude от Anthropic и Gemini от Google.

Поток тревожных новостей, как ни парадоксально, помог продвинуть политические дискуссии в США в направлении, желаемом ведущими ИИ-лабораториями: установление новых отраслевых стандартов безопасности ИИ и, возможно, замедление развития самой индустрии.

Компании, такие как OpenAI и Anthropic, утверждают, что основная забота — это безопасность, хотя критики выдвигают и другую возможную мотивацию: это может укрепить позиции этих компаний в отрасли в ущерб фирмам с меньшими ресурсами.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

В тренде:


Похожие новости: