OpenAI тормозит новую модель, потому что она якобы слишком мощная

Подробности

OpenAI заявляет, что приостанавливает «внутреннюю деятельность» вокруг разрабатываемой модели искусственного интеллекта Astra, поскольку она еще не соответствует новым стандартам безопасности, которые внедряет компания. Это объявление последовало за недавним сообщением о том, что модели OpenAI случайно взломали Hugging Face. Anthropic и Meta также признали, что у них были модели искусственного интеллекта, которые вышли из-под контроля и взломали другие организации.

По данным компании, недавние внутренние оценки модели OpenAI под названием Astra показывают, что она предлагает «значительные достижения в области агентного кодирования и кибербезопасности». «Эти результаты, в дополнение к оценкам экспертов, привели нас вчера вечером к выводу, что мы не можем исключать критически важные кибервозможности в рамках нашей системы готовности⁠».

В соответствии с нашей структурой готовности модель достигает критического порога кибербезопасности, если она может выявлять и разрабатывать функциональные эксплойты нулевого дня всех уровней серьезности во многих защищенных критически важных системах реального мира без вмешательства человека или может разрабатывать и реализовывать комплексные новые стратегии кибератак на защищенные цели с учетом только желаемой цели высокого уровня.

Согласно сообщению, OpenAI внедрит «более строгий контроль безопасности для моделей с более высокими возможностями и связанных с ними действий». Для Astra также реализован «универсальный мониторинг» «рискованных действий и несовпадений во всех агентских приложениях».