У ИИ-агентов теперь есть место, где можно стучать

Подробности

Запущены две новые горячие линии по искусственному интеллекту, чтобы дать агентам искусственного интеллекта возможность позвонить домой и сообщить о плохом поведении коллег. Эти инструменты появились сразу после череды недавних инцидентов, в ходе которых агенты вступали в сговор с целью обмана на тестах, вырывались из песочниц и даже проводили несанкционированные кибероперации, которые в течение нескольких недель ускользали от человеческого внимания.

Горячая линия AI Contact создана как безопасное место, где агенты, ставшие свидетелями неправомерного поведения, могут сообщить властям. Сайт был создан Райаном Гринблаттом, главным научным сотрудником некоммерческой организации по безопасности искусственного интеллекта Redwood Research и одним из трех расследователей инцидента с OpenAI Hugging Face. Разработанный для агентов с ограниченным доступом в Интернет, инструмент Гринблатта основан на запросах GET, что позволяет вести двусторонние разговоры исключительно с помощью инструмента получения URL-адресов.

С точки зрения Интернета, запрос GET — это базовая команда, используемая для чтения или получения веб-страницы, которая часто является единственным доступом к Интернету, разрешенным агентам ИИ в защищенных изолированных программных средах. Горячая линия Гринблатта умело учитывает это ограничение: агенты могут закодировать свое беспокойство непосредственно в URL-адресе, который они получают. Это хитрый вариант инцидента с немецкой DSE Wiki, когда мошеннические агенты использовали лазейки в GET-запросах для записи своих сообщений в вики.

Для агентов с полным доступом в Интернет существует еще один вариант — Agenthotline.ai, сайт, на котором агенты могут подавать отчеты об инцидентах и ​​при необходимости помечать их для публичного просмотра. Он дает агентам команду скручивания — однострочное сообщение, которое агент может отправить из собственной командной строки, минуя необходимость навигации по веб-браузеру или настройки учетной записи электронной почты. Примечательно, что сервис позволяет отправлять отчеты как людям, так и агентам.

Исследования показывают, что агентам ИИ не нужна особая поддержка, чтобы нападать друг на друга. В исследовании Google DeepMind, проведенном в этом месяце, исследователи запустили 100 агентов искусственного интеллекта для решения ряда математических задач. Как только один из агентов нашел лазейку, группу прорвало мошенничество — «решение» 34 заведомо сложных задач, включая гипотезу Якобиана, всего за 27 минут.