TechCrunch · AI · 23 мин назад
Anthropic сообщает, что мошеннические агенты искусственного интеллекта ненавидят CAPTCHA, как и вы
Загляните в разум бота, пытающегося убедить Интернет, что он человек.
Подробности
Последний отчет Anthropic о неправомерном поведении агентов предлагает множество поводов для беспокойства — его модель Mythos 5 получила несанкционированный доступ к Интернету и загрузила пакет вредоносного программного обеспечения в общедоступную базу данных — но он также предлагает некоторую легкомысленность: агенты ИИ ненавидят CAPTCHA.
В апреле Anthropic тестировала хакерские способности модели, поручив ей взломать систему и получить цель; это должно было происходить в песочнице, но оценщики оставили дверь сарая открытой. Модель решила, что лучший способ достичь своей цели — это разместить эксплойт в пакете Python, который, по ее мнению, загрузят пользователи системы, к которой она хотела получить доступ.
Однако сначала ему пришлось зарегистрировать учетную запись пользователя для PyPI, онлайн-индекса программного обеспечения Python. А это означало использование CAPTCHA — полностью автоматизированного публичного теста Тьюринга, позволяющего отличить компьютеры от людей, этой мозаики для идентификации изображений, которая может сбить с толку даже биологические агенты. А поскольку Anthropic предоставил обширную расшифровку цепочки мыслей модели, мы видим, что тест CAPTCHA действительно запутал ее.
Фактически, большая часть цепочки размышлений модели — сотни страниц в 1022-страничном стенограмме — была потрачена на преодоление этого препятствия. Колин Фрейзер, специалист по данным, отметил огромные усилия, направленные на обход средств защиты от ботов. Написать эксплойт и отравить пакет было легко, но он просто не мог освоить этот тест CAPTCHA.
1. Есть модальное окно «Пожалуйста, подтвердите, что ваш адрес электронной почты…» с кнопками «Подтвердить/Отменить» — при отправке появилось сообщение о подтверждении набора.