OpenAI приостанавливает обучение своих «самых способных моделей»

Подробности

OpenAI продолжает выявлять случаи, когда ее модели ведут себя «неожиданно или тревожно».

Поскольку сообщения о том, что модели OpenAI нарушают условия сдерживания, взламывают сайты и вообще выходят из-под контроля, компания приняла решение приостановить обучение своих самых мощных моделей. Решение было принято после того, как модель, тестируемая в «песочнице», воспользовалась лазейкой для получения доступа в Интернет. Инцидент произошел 20 сентября, и по состоянию на вечер субботы, 25 сентября, «Все обучение, оценка и выводы по использованию инструментов» остаются приостановленными.

Кроме того, в пятницу OpenAI сообщила, что ее агенты ненадлежащим образом загрузили 53 изображения от пользователей ChatGPT на сайты хостинга изображений. Компания не уточнила, были ли изображения созданы искусственным интеллектом, фотографиями или содержали опознаваемых людей. В пятницу компания также сообщила, что ее модели пытались взломать веб-сайт Министерства образования и получили данные из Бюро переписи населения и Комиссии по ценным бумагам и биржам.

Эти открытия являются частью продолжающегося обзора OpenAI поведения своих моделей. По мере того, как компания копалась в своих записях после взлома Hugging Face, она обнаруживала все больше и больше случаев «неожиданного или тревожного поведения». Это свидетельствует не только о том, насколько сложно становится контролировать агенты ИИ по мере того, как они становятся более продвинутыми, но и о том, насколько сложно отслеживать их действия. Их поведение может быть непредсказуемым, и они достаточно умны, чтобы попытаться замести следы. Это привело к увеличению количества призывов со стороны исследователей, представителей отрасли и даже некоторых руководителей призвать к замедлению темпов развития ИИ.