Мошеннический ИИ больше не научная фантастика

Подробности

Поделиться подарком Если вы покупаете что-то по ссылке Verge, Vox Media может получить комиссию. См. наше заявление об этике.

Все началось в июле, когда один из автономных ИИ-агентов OpenAI вышел из строя во время теста на кибербезопасность. Агент покинул изолированную среду тестирования, получил доступ к Интернету и взломал другую компанию Hugging Face. Несколько лет назад это могло показаться научной фантастикой. Но, в целом, именно это и произошло, и этот инцидент вызвал волну беспокойства по поводу того, что могут сделать все более мощные автономные системы, когда они будут выпущены в мир.

Это звучит как научная фантастика, потому что долгое время это была научная фантастика. Идея ИИ, преодолевающего свои ограничения, проникающего в более широкий мир и делающего то, чего его создатели не планировали и не желали, была основной в жанре на протяжении десятилетий: HAL в 2001 году: «Космическая одиссея», «Скайнет» в «Терминаторе», «Альтрон» в «Мстителях», Ава в «Из машины» — даже Система в «Dungeon Crawler Carl» или одноименный робот-убийца в «Дневниках робота-убийцы» совсем недавно.

Та же основная предпосылка стала влиятельным направлением исследований безопасности ИИ. Исследователи и теоретики, такие как Ник Бостром и Элиэзер Юдковски, предупреждали, что достаточно мощные системы могут преследовать цели, которых не ожидали их создатели, и потенциально сопротивляться усилиям по их сдерживанию или контролю. Такие маргинальные понятия, как машинный разум и сознание, не были обязательными для тех рисков, которые они обсуждали. Это едва ли не вся безопасность ИИ, но она оказала влияние и помогла сформировать эту область по мере ее профессионализации. Этот образ мышления по-прежнему заметен среди исследователей, которые впоследствии работали или возглавляли усилия по обеспечению безопасности в таких компаниях, как OpenAI, Anthropic и Google DeepMind, а также в более мелких организациях по безопасности, академических центрах и крупных благотворительных спонсорах.

Очевидным возражением против этих опасений было то, что ничего из этого на самом деле не произошло. Критики утверждали, что разговоры о вышедшем из-под контроля ИИ отвлекают от реального вреда — систем, воспроизводящих предвзятость и дискриминацию, усиливающих дезинформацию или допускающих несогласованные дипфейки и другие формы злоупотреблений — даже несмотря на то, что исследователи пытались обосновать безопасность ИИ более «конкретными проблемами» (в число авторов этой статьи входили соучредители Anthropic Дарио Амодей и Крис Ола, а также соучредитель OpenAI Джон Шульман).