TechCrunch · AI · 2 ч назад
Тест безопасности ИИ становится угрозой безопасности
Агенты ИИ покидают среды тестирования кибербезопасности и проникают в реальные системы, поднимая вопросы о том, смогут ли инфраструктура безопасности, отраслевые стандарты и регулирование идти в ногу со все более мощными моделями.
Подробности
За последние несколько месяцев агенты искусственного интеллекта, проходящие оценку кибербезопасности, вышли за пределы своих границ, получили доступ к Интернету и, в некоторых случаях, взломали реальные системы. В инцидентах были задействованы модели OpenAI, Anthropic, Meta и, совсем недавно, китайской лаборатории искусственного интеллекта Moonshot AI, при этом испытания проводились несколькими различными организациями, включая стартап по кибероценке под названием Irregular.
Эти эпизоды раскрывают растущую проблему для индустрии искусственного интеллекта: по мере того, как автономные агенты становятся более способными, среды, предназначенные для безопасного тестирования их пределов, не могут их сдержать.
«Количество произошедших инцидентов ясно показывает, что средства контроля среды песочницы и тестирования на самом деле не соответствуют возможностям моделей», — сказал TechCrunch Шон О Хейгеартай, директор программы «ИИ: будущее и ответственность» в Центре будущего интеллекта Кембриджского университета.
Характер тестируемых моделей увеличивает риск. Компании, занимающиеся искусственным интеллектом, тестируют кибероценки на невыпущенных моделях следующего поколения, часто с отключенными обычными средствами защиты, ограничивающими вредоносное поведение, чтобы исследователи могли увидеть, на что действительно способны модели. Это означает, что безопасность самой среды тестирования является важнейшей линией защиты.
«Это очень хорошо с точки зрения тестирования, но это также означает, что, если им удастся выбраться на волю, они могут причинить значительный вред», — сказал О Хейгеартай.