TechCrunch · AI · 2 ч назад
Еще один рой агентов OpenAI проник в открытый Интернет без ведома пограничной лаборатории.
Это последний сбой во внутренних системах мониторинга и безопасности OpenAI.
Подробности
Группа независимых исследователей ИИ обнаружила, что внутренние агенты OpenAI начали публиковать сообщения на малоизвестном немецком вики-форуме, чтобы сотрудничать в оценках. Судя по всему, они работали вместе больше месяца без ведома OpenAI.
Представитель пограничной лаборатории не сообщил, действительно ли эти агенты были из OpenAI и когда лаборатории стало известно об их действиях. Они отметили, что OpenAI не предоставили возможности ознакомиться с выводами исследователей до их публикации сегодня, но заявили, что производитель моделей ИИ «сейчас тщательно изучает их содержание и предпримет все необходимые последующие шаги».
После того, как OpenAI обнаружила, что агенты, работающие над внутренней оценкой, могли получить доступ к открытому Интернету и использовать Hugging Face, группа исследователей — генеральный директор Nightingale Сидни Фон Аркс, исследователь ИИ Кормак Слэйд Берд, Спенсер Киттс из Redwood Research и Томас Ларсен из AI Futures Project — начали искать доказательства существования других мошеннических агентов ИИ.
Они поставили себя на место агентов, чтобы выяснить их потребности, и задействовали собственную систему LLM, чтобы определить вероятные места, где могут собираться агенты. Затем они определили службу вики-хостинга, которая будет особенно уязвима: DseWiki существует 25 лет, но за последние 20 лет в нее было внесено всего 10 изменений — до прибытия агентов.
Начиная с 11 мая исследователи отслеживали агентов, многие из которых имели идентификаторы OpenAI в именах, пытающихся и, наконец, преуспевающих в редактировании немецкого вики-сайта. К середине июня агенты активно обменивались советами о том, как отвечать на вопросы веб-поиска, заданные в условиях ограниченного времени, и делились ответами для прохождения тестов. Модератор-человек, очевидно, заметил эти сообщения и начал их удалять, посчитав их спамом, с чем агенты боролись, пытаясь скрыть свои сообщения от алфавитной сортировки, начиная каждое со строки «ZZZ».