Внутри неожиданно взрывного мира безопасности искусственного интеллекта

Подробности

Поделиться подарком В солнечный июльский день в Беркли, штат Калифорния, ведущие исследователи безопасности искусственного интеллекта собрались на безымянном этаже безымянного здания. Они собрались в «военной комнате», чтобы проанализировать громкий инцидент в области кибербезопасности, потрясший индустрию искусственного интеллекта несколькими часами ранее. Неизданная модель OpenAI вышла из строя, реализовав потрясающе сложный план, состоящий из трех частей. Он вырвался из своей зоны ожидания, получил доступ к Интернету и взломал системы конкурирующего стартапа в области искусственного интеллекта — и все это без того, чтобы OpenAI узнал об этом более недели.

Никто в военной комнате не удивился; это было именно то, о чем сторонние исследователи безопасности ИИ предупреждали в течение многих лет. Этот инцидент был последним, хотя и, пожалуй, самым вопиющим из серии, подрывавшей доверие к пограничным лабораториям. Это лишь еще раз подтвердило важность их работы.

В одном из конференц-залов рядом с главным кафетерием кто-то организовал учебный лагерь для подготовки к кибератаке. В другом помещении офиса группа исследователей выясняла, удалось ли той же или аналогичной модели взломать какие-либо другие платформы.

Новости об инциденте быстро вырвались из-под контроля из одержимых искусственным интеллектом уголков X и отраслевых форумов, проникнув в мейнстрим. В одном сообщении на X это сравнивалось с новостями о крушении самолета Boeing или отзыве препарата Pfizer — еще один пример того, как крупные игроки технологической отрасли не прислушиваются к предостерегающим рассказам научной фантастики. ИИ приближался к точке невозврата. Позже стало известно, что мошенническая модель OpenAI также скомпрометировала клиента в другой технологической компании, и что все началось несколькими месяцами ранее, в мае, когда агенты OpenAI объединили усилия, чтобы собрать секретную доску объявлений, а также выяснили, как оставлять инструкции для будущих агентов о том, как использовать правила OpenAI.

Генеральный директор OpenAI Сэм Альтман сказал в интервью, что это был первый инцидент такого рода, который он «очень интуитивно почувствовал», и что компания на время приостановила обучение искусственному интеллекту; позже он упомянул, что компания окончательно деактивировала эту модель. (Альтман часто находит способы превратить упущения в безопасности в аргументы в пользу важности и силы моделей OpenAI.) Но это был не первый случай, по словам сотрудника OpenAI, который говорил с Time и сказал, что подобные инциденты происходили внутри OpenAI уже некоторое время. Другой сотрудник публично заявил, что если бы можно было координировать глобальное замедление развития возможностей ИИ, он «скорее всего, нажал бы эту волшебную кнопку». Когда репортер спросил Альтмана, могут ли быть другие системы, взломанные OpenAI, он ответил: «Я имею в виду, что могут быть, да».