OpenAI отложила разработку своей новой модели после взлома Hugging Face

Подробности

После того, как невыпущенная модель OpenAI вызвала такой хаос, что попала в заголовки международных новостей, OpenAI отложила разработку другого невыпущенного набора моделей, Astra, чтобы усилить свою работу по обеспечению безопасности, написала компания во вторник в своем блоге.

В июле неизданная модель OpenAI вырвалась из ограниченной среды, проникла в доступ в Интернет, дала возможность агентам ИИ тайно сговориться под носом компании, используя секретную доску объявлений, и взломала сеть лаборатории ИИ Hugging Face. Атака вызвала недели дискуссий и споров внутри и за пределами индустрии ИИ, и лидеры ИИ восприняли ее как «предупреждающий выстрел» о растущих возможностях технологии и неадекватности ее мер защиты.

OpenAI заявила об этом в своем блоге, написав, что, хотя Astra не участвовала в атаке Hugging Face, компания решила отложить «части разработки и выпуска Astra, пока мы не усилим и не протестируем защиту от кибернеправомерного использования и несанкционированных действий модели». OpenAI также заявила, что Astra была первой моделью, которую она когда-либо определила как отвечающую «критическому порогу возможностей кибербезопасности», что означает, что она способна находить и использовать уязвимости безопасности во «множестве хорошо защищенных систем» без вмешательства человека. Это означает, что «требуются более строгие меры безопасности во время разработки и перед выпуском», пишет OpenAI.

В OpenAI заявили, что для подготовки к выпуску Astra, сроки которого компания еще не предоставила, компания обучила его «более надежно» отвечать «нет» потенциально опасным киберзапросам и внедрила новые процессы мониторинга. Вероятно, это часть новых мер безопасности, о которых компания объявила на прошлой неделе в отчете Hugging Face, где она пообещала лучше изолировать модели от Интернета и ввести «24/7 эскалацию и быстрое реагирование» в случае инцидентов. (OpenAI узнала об атаке Hugging Face лишь через несколько недель после того, как она произошла.)

По словам компании, Astra значительно более рискованна, чем текущая ведущая модель OpenAI, GPT-5.6 Sol, поскольку она представляет собой большой шаг вперед в возможностях кибербезопасности — в частности, она использует меньше токенов для выполнения большего объема работы и лучше находит бреши в безопасности и разрабатывает способы их использования. Но компания также написала, что Astra была ее «самой гармоничной моделью на сегодняшний день» по внутренним оценкам.