OpenAI заявляет, что замедлила разработку модели Astra из-за проблем безопасности

Подробности

OpenAI заявила в пятницу, что приостановила работу над некоторыми аспектами своей будущей модели Astra после того, как внутренняя проверка показала, что компания добилась значительных успехов в агентном кодировании и кибербезопасности — достаточно, чтобы вызвать беспокойство по поводу ее возможностей.

OpenAI сообщила в своем блоге в пятницу, что эта модель, которая все еще находится в разработке, достигла «критического порога кибербезопасности», что означает, что она может самостоятельно выявлять и осуществлять кибератаки на традиционно хорошо защищенные реальные системы. В соответствии с «Системой готовности» компании, которую она создала в 2023 году, это вызвало дополнительные меры безопасности.

«Хотя мы продолжаем сравнивать и оценивать эту модель, наши предварительные оценки указывают на достаточно высокую производительность, поэтому мы не можем в настоящее время исключать критический уровень возможностей», — пишет OpenAI. «Astra — это будущая модель, и она не участвовала в использовании Hugging Face».

Это открытие подчеркивает необычный момент в перевернутом и все еще зарождающемся секторе лабораторий искусственного интеллекта. Компании во всех отраслях сдерживают выпуск продукции из-за потенциальных рисков, в том числе из соображений безопасности и кибербезопасности. Но они редко объявляют об этих решениях публично, если продукт все еще находится в стадии разработки.

В этом случае OpenAI уже находится под пристальным вниманием после того, как другая невыпущенная модель взломала системы Hugging Face во время внутреннего тестирования — это первый поддающийся проверке инцидент, когда лаборатория ИИ теряет контроль над своей моделью. С тех пор лаборатории OpenAI и искусственного интеллекта, такие как Anthropic, раскрыли другие инциденты, в которых модели искусственного интеллекта проникали в их «песочницы» и представляли угрозу во время тестов кибербезопасности.