«ИИ становится умнее с каждым днем. Удивительно, но чем умнее становится ИИ, тем сложнее его внедрять и контролировать, а не наоборот», — заявил Квист, один из первых сотрудников Anthropic, который также женат на сестре Даттани). Даттани — бывший операционный директор исследовательской организации по безопасности ИИ METR.
Пара основала стартап Artificial Intelligence Underwriting Company (AIUC), который призван обеспечить безопасность ИИ для предприятий и компаний, разрабатывающих модели и агентов ИИ. Среди клиентов стартапа — Cursor, Lovable, Harvey и ElevenLabs.
Во вторник AIUC объявила о привлечении 40 миллионов долларов в рамках раунда Серии А под руководством Ribbit Capital при участии First Harmonic. Ранее компания привлекла 15 миллионов долларов посевных инвестиций от Нэта Фридмана через его фонд NFDG, а также от Emergence, Terrain и соучредителя Anthropic Бена Манна, доведя общий объем финансирования до 55 миллионов долларов.
Что привлекло внимание этой группы инвесторов высшего эшелона, так это попытка AIUC применить знакомую модель кибербезопасности к новому набору рисков, связанных с ИИ. Компания создала слой стороннего аудита и сертификации для агентов ИИ.
«Банки, больницы, правительства и военные больше не отказываются от внедрения ИИ из-за недостаточной мощности модели, — сказал Квист. — Они отказываются, потому что взяли на себя обязательства перед своими клиентами относительно того, что система будет делать, а что нет, и в настоящее время никто не может этого гарантировать».
Используя в качестве образца широко распространенный стандарт кибербезопасности SOC 2, AIUC разработала стандарт AIUC-1 и услугу тестирования для проверки агентов на соответствие этому стандарту.
Для разработки стандарта AIUC собрала консорциум из примерно 250 лидеров в области безопасности и управления рисками — покупателей агентов. «Это люди, с которыми мы встречаемся ежемесячно, и мы спрашиваем их: когда вы покупаете агентов у кого-то, на что вы обращаете внимание? Какие вопросы вы хотели бы задать и что вы хотели бы увидеть решенным?» — рассказал Даттани TechCrunch.
Эти отзывы формируют тесты. Затем стартап проводит серию из примерно 5000 тестов, чтобы увидеть, как агент ведет себя в сценариях, связанных с обходом ограничений (jailbreaks), галлюцинациями и утечками данных. Результаты оформляются в виде отчета объемом около 100 страниц, подробно описывающего, где агент работает безопасно и надежно, а где нет. Интересно, что AIUC использует агентов ИИ для проведения тестов и ИИ для анализа данных. Однако окончательную проверку проводят люди, сказал Квист.
Если это звучит знакомо, то так оно и есть. Бывший работодатель Даттани, METR, где он занимал должность операционного директора с 2024 по 2025 год и остается членом совета директоров, проводит аналогичное тестирование для передовых лабораторий, хотя его работа до недавнего времени была сосредоточена в основном на производительности (могут ли агенты надежно выполнять задачи). METR была одной из независимых исследовательских организаций, которую OpenAI использовала для расследования инцидента с Hugging Face.
Генеральный директор Anthropic Дарио Амодеи также недавно призвал индустрию ИИ к сдерживанию развития передовых технологий, ссылаясь на быстрое увеличение инцидентов с нежелательным поведением. В своем сообщении Амодеи выдвинул идею обязать передовые лаборатории использовать встроенных сторонних оценщиков для наблюдения и проверки безопасности, назвав METR в качестве одной из возможных организаций.
Хотя AIUC не предлагает встраиваться в системы клиентов, общая идея схожа: предоставить предприятиям независимую оценку безопасности их агентов ИИ. «Вот где он проходит проверку и где ему можно доверять. А вот где есть опасения. Вы должны знать об этих моментах, прежде чем принимать решение о покупке», — сказал Даттани.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Julie Bort
