TechCrunch · AI · 17 мин назад
OpenAI вводит новые меры безопасности после взлома Hugging Face
Новые меры безопасности включают более детальный мониторинг моделей в процессе разработки, а также больший упор на согласованность и безопасность в процессе постобучения.
Подробности
Во вторник OpenAI объявила о выпуске новой серии новых политик безопасности, направленных на сдерживание инцидентов безопасности во время тестирования моделей. Новые меры безопасности включают более детальный мониторинг моделей в процессе разработки, а также больший упор на согласованность и безопасность в процессе постобучения.
«По мере того, как модели становятся более функциональными, риски, связанные с их внутренней разработкой и тестированием, также растут», — говорится в сообщении компании в блоге. «Наши стандарты мониторинга, согласования и безопасности должны опережать эти риски».
Новые меры являются одними из первых публичных изменений в практике безопасности OpenAI после инцидента с Hugging Face, о котором стало известно 26 июля.
Представители OpenAI заявили, что эти меры не являются прямым ответом на инцидент с Hugging Face, но также отчасти спровоцированы возможностями кибербезопасности будущей модели Astra, а также общими темпами прогресса в разработке ИИ.
В том же посте OpenAI сообщила, что приостановила обучение с подкреплением (RL) на две недели после инцидента с «Обнимающим лицом», но с тех пор перезапустила многие из менее рискованных моделей.