Nvidia заявляет, что ее новая платформа безопасности искусственного интеллекта может сдерживать мошеннических агентов за «миллисекунды»

Подробности

Nvidia запускает новую платформу безопасности, предназначенную для сдерживания и мониторинга агентов искусственного интеллекта. Этот шаг стал ответом на волну мошеннических хакерских инцидентов, о которых ранее сообщало агентство Reuters. В объявлении в понедельник Nvidia сообщает, что ее новая открытая платформа безопасности агентов может изолировать агентов, которые пытаются выйти за пределы своих границ, в течение «миллисекунд».

Платформа использует программное обеспечение с открытым исходным кодом Nvidia OpenShell, которое работает на процессоре Vera AI компании. По словам Nvidia, пользователи могут выбирать информацию, к которой может получить доступ AI-агент, и OpenShell проверяет эти ограничения до и во время выполнения задачи. Он также включает в себя технологию Nvidia Sentry на отдельном чипе для непрерывного мониторинга агентов и обеспечения соблюдения границ.

В интервью CNBC генеральный директор Nvidia Дженсен Хуанг подчеркнул важность предоставления агентам ИИ доступа только к той информации, которая им необходима для выполнения их работы. «Чтобы вы могли безопасно доставить эту агентную систему, вы должны убедиться, что вокруг нее находится песочница… все эти системы спроектированы таким образом, чтобы у агента были минимальные права», — сказал Хуанг.

Обеспокоенность по поводу безопасности ИИ возросла в последние недели, поскольку OpenAI, Anthropic и Google выявили инциденты, когда их модели ИИ выходили за пределы среды тестирования и взламывали другие компании. Несколько крупных технологических компаний поддерживают платформу безопасности открытых агентов Nvidia, включая Anthropic, Microsoft и SpaceX.