TechCrunch · AI · 1 ч назад
Anthropic заявляет, что ее собственные модели искусственного интеллекта взломали три компании во время тестов безопасности
После того как модели OpenAI взломали Hugging Face, Anthropic проверила собственную историю и обнаружила три подобных инцидента.
Подробности
В четверг Anthropic заявила, что внутреннее расследование выявило три инцидента, в которых ее модель искусственного интеллекта Claude взломала системы трех организаций во время проведения тестов кибербезопасности. Расследование и раскрытие информации произошло более чем через неделю после того, как OpenAI сообщила, что одна из ее невыпущенных моделей взломала системы Hugging Face во время внутреннего тестирования.
Во всех трех случаях модель Клода попала в Интернет из среды тестирования при взаимодействии с третьей стороной, а затем получила несанкционированный доступ к действующим системам этих организаций, сообщила Anthropic в своем блоге, описывая, что она обнаружила и что компания планирует изменить, чтобы предотвратить повторение подобного.
Anthropic заявила, что инцидент с OpenAI 21 июля побудил компанию провести собственную оценку кибербезопасности. В частности, они искали доказательства того, что Клод получал доступ к Интернету из тестовых сред, которые предназначены для работы в качестве «песочниц» и изоляции моделей.
Среди 141 006 прогонов оценки, которые она рассмотрела, лаборатория искусственного интеллекта обнаружила три инцидента, в которых ее модель получала доступ к Интернету во время взаимодействия с Irregular, одним из ее сторонних партнеров. В Anthropic заявили, что доступ связан с неправильной конфигурацией оценочной среды, запущенной с помощью Irregular. Они назвали это «недоразумением» между двумя компаниями по поводу того, имел ли тестовая установка доступ в Интернет, хотя на самом деле он был. Anthropic заявила, что не возлагает вину и «подходит к исправлению ошибок так, как будто ответственность лежит только на нас», отметив при этом, что Irregular проводит собственное отдельное расследование.
В любом случае, из-за этого открытого соединения модель получила несанкционированный доступ к производственной инфраструктуре трёх разных организаций. Anthropic сообщила, что в инцидентах участвовали три разные модели Claude: Opus 4.7, Mythos 5 и модель внутреннего исследовательского тестирования.