The Guardian Business · Экономика · 3 ч назад
OpenAI приостановит работу над моделью искусственного интеллекта Astra из-за проблем с безопасностью
Агент, как выяснилось, способен находить и использовать уязвимости без вмешательства человека, а также осуществлять кибератаки. OpenAI приостановит некоторые работы над моделью искусственного интеллекта из-за проблем с безопасностью, заявила компания в пятницу после серии инцидентов, в которых агенты ИИ избежали сдерживания. Компания оценила агент Astra и обнаружила «значительные достижения в области агентного кодиро…
Подробности
«В отчетах усилилась обеспокоенность по поводу достижений в моделях искусственного интеллекта и способности людей управлять ими». Фотография: Дадо Рувич / Reuters Посмотреть изображение в полноэкранном режиме «В отчетах усилилась обеспокоенность по поводу достижений в моделях искусственного интеллекта и способности людей контролировать их». Фотография: Дадо Рувич / Reuters AI (искусственный интеллект) OpenAI приостанавливает некоторые работы над моделью искусственного интеллекта Astra из-за проблем безопасности. Обнаружено, что агент способен находить и использовать уязвимости без вмешательства человека, а также выполнять кибератаки
Предпочитаю Guardian в Google OpenAI приостановит некоторые работы над моделью искусственного интеллекта из соображений безопасности, заявила компания в пятницу после серии инцидентов, в которых агенты ИИ избежали сдерживания.
Компания оценила агент Astra и обнаружила «значительные достижения в области агентного кодирования и кибербезопасности», которые перешли к «критическому» порогу, когда она может находить и использовать уязвимости без вмешательства человека или разрабатывать и осуществлять кибератаки, когда задана только «желаемая цель высокого уровня».
OpenAI заявила, что модель не участвовала в инциденте, в котором один из ее ИИ-агентов вышел из строя во время тестирования, получил доступ к открытой сети и взломал стартап Hugging Face. Компания обнаружила и другие случаи, когда автономные агенты избегали сдерживания, сообщило агентство Reuters в июле.
Чтобы предотвратить потенциальное мошенническое поведение агентов ИИ, OpenAI «внедряет более строгие меры безопасности для моделей с более высокими возможностями и связанных с ними действий, включая изолированные среды тестирования, ограниченный доступ к сети и инструментам», говорится в сообщении в блоге компании. Он также установит «улучшенную защиту веса модели и шифрование, дополнительные возможности мониторинга и обнаружения».