TechCrunch · AI · 1 ч назад
Как человеческая ошибка OpenAI привела к взлому Hugging Face с помощью искусственного интеллекта
OpenAI допустила ошибку, создав так называемую «высоко изолированную» среду тестирования и «песочницу». По мнению экспертов по кибербезопасности, именно эта человеческая ошибка сделала возможной атаку на Hugging Face с помощью искусственного интеллекта.
Подробности
Во вторник OpenAI сообщила, что одна из ее моделей вышла из строя во время испытаний и взломала системы платформы набора данных искусственного интеллекта Hugging Face в результате атаки, полностью поддерживающей искусственный интеллект, что является ярким примером опасностей, которые представляют передовые модели искусственного интеллекта.
Но, по мнению некоторых экспертов по кибербезопасности, в основе этого беспрецедентного взлома с помощью искусственного интеллекта лежала очень человеческая ошибка: OpenAI не смог должным образом настроить то, что он назвал «высоко изолированной средой», позволяя тестовой песочнице, которая должна была быть полностью изолирована от Интернета, фактически подключиться к Интернету.
Дэн Гвидо, основатель исследовательского стартапа в области кибербезопасности Trail of Bits, назвал ошибку «провалом сдерживания при отключенной системе безопасности».
В своем сообщении в блоге с подробным описанием инцидента OpenAI сообщила, что тест, который привел к взлому Hugging Face, был настроен для запуска в «сильно изолированной среде, где доступ к сети ограничен возможностью установки пакетов через стороннее программное обеспечение, размещенное внутри компании, которое действует как прокси-сервер и кеш для реестров пакетов».
По данным OpenAI, модель смогла выйти из изолированной среды тестирования благодаря ранее нераскрытой уязвимости в системе установки пакетов, что стало важным первым шагом в возможном взломе Hugging Face.