Как ограждения искусственного интеллекта мешают работе наступательных исследователей кибербезопасности

Подробности

В течение нескольких месяцев гиганты искусственного интеллекта разрабатывали специальные проверенные программы и строгие меры защиты, чтобы ограничить использование их моделей злонамеренными хакерами. Но теперь эти ограничения мешают работе законных защитников сетей, а также наступательных исследователей кибербезопасности.

В июне правительство США ввело ограничения на экспортный контроль в отношении широко разрекламированных моделей искусственного интеллекта Anthropic Mythos и Fable. Этот шаг был вызван, по крайней мере частично, отчетом, в котором утверждалось, что можно обойти защитные ограждения моделей, предназначенные для предотвращения использования пользователями их для создания и выполнения вредоносных кибератак.

Независимо от того, действительно ли инцидент был мотивирован опасениями побега из тюрьмы, факт остается фактом: Anthropic неоднократно позиционировала Mythos как своего рода кибермашину судного дня, которую можно предоставлять только тщательно проверенным пользователям, да и то с соблюдением строгих мер предосторожности. (Экспортный контроль над Fable 5 и Mythos 5 с тех пор был снят. Fable 5 вернулась в общий доступ 1 июля; Mythos 5 была повторно представлена ​​только проверенным организациям США в рамках процесса проверки правительства.)

Такой контроль не уникален для Mythos. И Anthropic с другими моделями, и OpenAI предлагают программы для исследователей кибербезопасности, которые они могут применить для прохождения проверки и — в случае одобрения — доступа к моделям с меньшими ограничениями кибербезопасности: Trusted Access for Cyber ​​от OpenAI и Программа Cyber ​​Verification от Anthropic.

Эти ограждения подвергаются широкой критике, особенно со стороны исследователей, чья работа состоит в том, чтобы находить неизвестные уязвимости в системах и разрабатывать способы их использования до того, как это сделают преступники.