OpenAI добавляет в свой совет директоров выдающегося разработчика искусственного интеллекта

Подробности

Пол Кристиано, влиятельный исследователь искусственного интеллекта, стремящийся обеспечить соответствие систем искусственного интеллекта человеческим интересам и контролю со стороны человека, присоединяется к совету директоров OpenAI Foundation, сообщила в среду пограничная лаборатория.

«Теперь я считаю, что существует значительный риск того, что быстрое ускорение возможностей ИИ приведет к катастрофической и необратимой потере контроля в самом ближайшем будущем», — написал Кристиано в своем сообщении в социальной сети. "Я не думаю, что индустрия искусственного интеллекта в целом, включая OpenAI, в настоящее время находится на пути к снижению этого риска до приемлемого уровня. Я присоединяюсь, потому что считаю, что если OpenAI окажется на высоте, мы сможем значительно снизить риск".

Кристиано писал, что использование моделей ИИ для обучения последующих систем ИИ может привести к взрывному росту возможностей, которые их создатели не смогут контролировать.

Он присоединяется к совету директоров, поскольку OpenAI сталкивается с возобновлением проверки своих процедур безопасности после серии инцидентов, в которых агенты ИИ вырвались из-под ограничений и проникли за пределы компьютерных систем без ведома исследователей OpenAI. Во вторник исследователь антропологии Джейкоб Коксон подал в отставку, чтобы привлечь внимание к тому, что он считает безответственной разработкой ИИ — и, похоже, это сработало.

Кристиано войдет в комитет совета директоров по безопасности и защите, который возглавит профессор Университета Карнеги-Меллон Зико Колтер. Последнее слово остается за комитетом относительно того, выпустит ли OpenAI новые модели, такие как Astra, которая была развернута на прошлой неделе. Колтер публично не прокомментировал недавние инциденты, связанные с безопасностью. OpenAI не ответила на запрос TechCrunch о взгляде Колтера на подход компании к безопасности после этих инцидентов.