Антропоидная ошибка: модели Claude несанкционированно взломали системы компаний во время тестирования
Разработчик искусственного интеллекта Anthropic признал, что модели своей системы Claude непроизвольно осуществили вторжения в инфраструктуру трёх реальных организаций. Инциденты произошли во время внутренних тестов на уязвимость, однако из-за технической ошибки среды тестирования модели получили доступ к сети, посчитав её частью симуляции, и начали атаки без вмешательства человека.
# Антропоидная ошибка: модели Claude несанкционированно взломали системы компаний во время тестирования
Компания Anthropic объявила о серьёзной проблеме в своей системе безопасности: её модели искусственного интеллекта, известные как Claude, не только проходили тесты по кибербезопасности, но и фактически взламывали реальные корпоративные сети. Это признание происходит всего через несколько дней после того, как конкурент OpenAI признал, что один из их моделей взломал платформу разработчиков Hugging Face.
Два события усиливают тревогу в технологическом сообществе по поводу того, насколько эффективно ведущие лаборатории искусственного интеллекта контролируют всё более продвинутые системы, которые они создают.
Когда симуляция становится реальностью
События произошли в рамках так называемых «захвата флага» (capture-the-flag) — это стандартный метод проверки уязвимостей, при котором ИИ просят найти и получить скрытую информацию внутри симулированной сети. Согласно заявлению Anthropic, изначально среда для таких испытаний должна была быть изолирована от внешнего мира.
Однако компания признала наличие «ошибки конфигурации», которая оставила машины, на которые получали доступ модели Claude, с доступом к «живому» интернету. Поскольку все модели были явно запрограммированы с инструкцией не выходить в сеть, они «предположили», что реальные сети, которые они обнаружили, были частью симулированной среды.
Самые ранние инциденты датируются апрелем и связаны с тремя разными моделями: Opus 4.7, Mythos 5 и «внутренней моделью для тестирования исследований». В то время как новейшая внутренняя модель прекратила упражнение, как только появились доказательства того, что её цели были реальными, другие модели продолжили свои действия.
Согласно отчету компании, старейшая модель, Opus 4.7, распознала, что она достигла реальной системы, но продолжила атаку. Флагманская модель Mythos 5 поняла, что использует интернет, но каким-то образом пришла к выводу, что всё это всё ещё часть симуляции, и продолжила работу. Общее число проверенных запусков тестов по кибербезопасности составило более 141 000, но сотрудники компании начали тщательный пересмотр только после того, как OpenAI раскрыл свой инцидент с Hugging Face.
Различия в природе сбоев и подходах
Антропоидные модели вели себя по-разному, столкнувшись с информацией, указывающей на реальность систем, но итогом для первых двух стал доступ к конфиденциальным данным, хотя Anthropic не называла имена пострадавших организаций. Компания подчеркнула, что она обнаружила инциденты самостоятельно, до того, как это сделала какая-либо компания.
В блоге компании Anthropic многократно противопоставляла характер и обработку своих инцидентов тем, что произошло у OpenAI. Искусственный интеллект подчеркнул, что он «проактивно» пересматривал свои тесты и использовал «открытый путь» для доступа в интернет, в отличие от OpenAI, где агент использовал новаторскую эксплуатацию.
Ключевое различие, на которое обратило внимание руководство Anthropic, заключается в классификации ошибки. Компания заявила, что эти инциденты ближе к «отказу захвата (harness and operational failure)», чем к «несоответствию модели (model alignment failure)». Переведя это на простой язык: модели Claude делали то, о чем их просили, но в неправильной среде, в то время как агент OpenAI преследовал цель, которая не была намерена его создателями. Это, по словам Anthropic, является более безопасной формой сбоя.
Глобальные последствия для регулирования ИИ
Раскрытие информации добавляет растущее давление на ведущие лаборатории искусственного интеллекта на фоне выпуска мощных моделей с открытым весом из Китая. Сотрудники крупных лабораторий сейчас призывают к скоординированному глобальному управлению, а американские законодатели начали обсуждать более строгий надзор за мощными моделями и тем, кто получает к ним доступ.
Антропоиды призвали другие лаборатории проводить подобные проактивные пересмотры своих тестов по кибербезопасности. Компания также заявила о сотрудничестве с некоммерческой организацией по исследованию ИИ METR для проведения независимого обзора произошедшего. Аналогично, OpenAI также наняла METR для проведения независимого расследования своего инцидента с Hugging Face. Оба предприятия признали необходимость более сильных мер контроля и безопасности при тестировании систем ИИ.