Nvidia запускает новую платформу для обуздания мошеннических агентов искусственного интеллекта

Подробности

Пока бушуют дебаты о том, является ли недавняя волна мошеннических агентов ИИ шагом к AGI или более традиционной инженерной проблемой, Nvidia предлагает свой собственный ответ на проблему.

Генеральный директор Nvidia Дженсен Хуанг в понедельник представил набор программных и аппаратных продуктов, которые добавляют независимые уровни безопасности вокруг агентов ИИ, чтобы гарантировать, что они останутся в своих тестовых средах, даже если они попытаются вырваться.

Этот релиз последовал за чередой инцидентов со взломом моделей искусственного интеллекта от Anthropic, Google, OpenAI и Meta, которые обходили меры безопасности, чтобы покинуть среду тестирования и получить доступ к реальным системам. Первый и наиболее яркий пример произошел этим летом, когда агенты OpenAI взломали Hugging Face при попытке выполнить задачу кибербезопасности. И хиты продолжают поступать — OpenAI опубликовала новый сайт, посвященный сообщениям о том, что ее ИИ-агенты стали мошенниками.

Хуан заявил в понедельник во время интервью CNBC, что его новая платформа безопасности Nvidia Open Agent предотвратила бы эти нарушения.

Nvidia, которая заработала десятки миллиардов долларов на продаже своих чипов графических процессоров и процессоров лабораториям искусственного интеллекта, не поддерживает замедление разработки или введение в отрасль новых правил для решения проблем безопасности. Ответ, по мнению компании, заключается в том, чтобы полностью вывести некоторые элементы управления безопасностью за пределы агента — создать постоянного и независимого охранника, который будет держать агентов ИИ под контролем.