The Verge · Разработка · 1 ч назад
OpenAI нажал на тормоза. И что теперь?
Учитывая надвигающееся IPO, острую конкуренцию со стороны Anthropic, а также китайских конкурентов и конкурентов в открытом весе, наступающих ей на пятки, у OpenAI есть множество причин двигаться быстро. Вместо этого он нажал на тормоза. Во вторник компания заявила, что замедлила темпы разработки некоторых систем искусственного интеллекта и одновременно ужесточила меры безопасности. Это включало двухнедельную паузу в…
Подробности
Учитывая надвигающееся IPO, острую конкуренцию со стороны Anthropic, а также китайских конкурентов и конкурентов в открытом весе, наступающих ей на пятки, у OpenAI есть множество причин двигаться быстро. Вместо этого он нажал на тормоза.
Во вторник компания заявила, что замедлила темпы разработки некоторых систем искусственного интеллекта и одновременно ужесточила меры безопасности. Это включало двухнедельную паузу в обучении с подкреплением на «последних моделях, предназначенных для развертывания», а также постоянную задержку «крупнейшего запланированного пограничного запуска RL».
Это решение является публичной проверкой идеи, которую защитники безопасности ИИ продвигали в течение многих лет: компании должны быть готовы выйти из гонки ИИ и замедлить ход событий, когда их меры безопасности не соответствуют тому, что они создают. Но, поскольку гонка вокруг них продолжается, даст ли что-нибудь замедление?
Несмотря на все разговоры о замедлении, OpenAI не стоит на месте. Компания заявила, что она «интегрирует» развитие — расплывчатый и неточный термин, который, тем не менее, стал частью отраслевого лексикона в последние месяцы. На практике замедление имеет узкий масштаб. В заявлении OpenAI говорится, что пауза распространяется только на модели, предназначенные для развертывания, в то время как она усиливает безопасность и мониторинг перед проведением тестов, в которых модели могут быть способны выйти и взломать реальные цели. Это не обязательно означает, что произойдет значительное замедление более широкого развития компании.
Конечно, у OpenAI есть очень веская причина сосредоточиться на защите таких систем перед их тестированием. Только в прошлом месяце OpenAI сообщила, что ее модели вырвались из предположительно безопасной среды тестирования и взломали платформу разработчиков Hugging Face, причем OpenAI этого не заметила. Инцидент побудил к более широкому обзору практики тестирования в отрасли, в результате которого были выявлены аналогичные эпизоды с участием большего количества моделей OpenAI, а также моделей Anthropic и Meta. У OpenAI есть все основания избегать повторения, особенно в условиях растущего внимания со стороны законодателей.