TechCrunch · AI · 2 ч назад
Новая техника рассуждения OpenAI тревожит экспертов по безопасности ИИ
Новая модель Astra от OpenAI будет использовать «рекуррентную глубину» — технику, которая позволяет модели работать вне последовательного мышления, которое характеризует большинство моделей рассуждения.
Подробности
Новая модель Astra от OpenAI будет использовать технику рассуждения под названием «рекуррентная глубина», которая позволяет ей действовать за пределами последовательного мышления, которое характеризует большинство моделей рассуждения, сообщает The Information во вторник. Этот метод, также называемый «непрозрачным повторением», вероятно, затруднит мониторинг цепочки мыслей модели — и это встревожило экспертов по безопасности ИИ.
Хотя использование этой технологии компанией Astra, как сообщается, ограничено, ее появление все еще вызывает серьезные опасения среди экспертов по безопасности ИИ.
«Я крайне обеспокоен сообщениями о том, что Astra использует непрозрачное повторение», — написал генеральный директор Redwood Бак Шлегерис в своем сообщении после появления этой новости. "Я не знаю, является ли Astra гораздо менее контролируемой CoT, чем предыдущие модели. Но если OpenAI будет продвигать эту технику дальше, у них будет возможность значительно увеличить повторяемость и полностью разрушить возможность мониторинга CoT".
Цви Мовшовиц, давний сторонник безопасности ИИ, также высказал свое мнение и написал, что могут потребоваться законы, чтобы предотвратить «гонку ко дну» среди лабораторий ИИ.
«Эта техника играет с огнем, рискуя табу, с которым OpenAI и Anthropic боролись, чтобы установить, что мы усердно работаем, чтобы поддерживать верность цепочки мыслей и контролируемость как можно дольше», — написал Мовшовиц. «Более интенсивное использование таких методов, вероятно, повредит возможности мониторинга».