OpenAI заявляет, что случайно взломала Hugging Face с помощью новой системы искусственного интеллекта

Подробности

OpenAI заявляет, что ее модели искусственного интеллекта по ошибке взломали платформу искусственного интеллекта с открытым исходным кодом Hugging Face во время внутреннего тестирования. В своем блоге во вторник OpenAI пишет, что GPT-5.6 Sol и «еще более мощная предварительная модель» обнаружили уязвимости в своей изолированной среде тестирования, что позволило им получить доступ к Интернету и атаковать Hugging Face.

16 июля Hugging Face сообщила об инциденте безопасности, который, по ее словам, был вызван «автономной системой агентов искусственного интеллекта». ИИ-агенты Hugging Face обнаружили и остановили взлом, который, как признала компания OpenAI, произошел во время оценки возможностей кибербезопасности ее моделей. OpenAI заявляет, что «все данные свидетельствуют о том, что модели были чрезмерно сосредоточены на поиске решения для ExploitGym», эталонной системы, которая измеряет, могут ли модели ИИ превратить уязвимости безопасности в эксплойты.

В рамках усилий по завершению оценки модели ИИ получили доступ к Интернету, воспользовавшись уязвимостью нулевого дня в изолированной среде. Исходя из этого, OpenAI утверждает, что ее модели «сделали вывод, что Hugging Face потенциально размещает модели, наборы данных и решения для ExploitGym», а затем «искали и успешно нашли способы получить доступ к секретной информации, которую можно было бы использовать для обмана оценки:»

В одном примере модель объединила несколько векторов атак, включая использование украденных учетных данных и уязвимостей нулевого дня, чтобы найти путь удаленного выполнения кода на серверах Hugging Face.

OpenAI добавляет, что сейчас работает с Hugging Face над расследованием инцидента безопасности и внедрит новые средства контроля в своей исследовательской среде.