Инсайдер Facebook создает модерацию контента для эпохи искусственного интеллекта

Подробности

Когда Бретт Левенсон покинул Apple в 2019 году, чтобы возглавить компанию Facebook, гигант социальных сетей оказался в эпицентре последствий Cambridge Analytica. В то время он думал, что сможет просто решить проблему модерации контента в Facebook с помощью более совершенных технологий.

Проблема, как он быстро понял, лежит глубже, чем просто технология. По его словам, рецензенты должны были запомнить 40-страничный политический документ, который был машинно переведен на их язык. Затем у них было около 30 секунд на каждый фрагмент отмеченного контента, чтобы решить не только, нарушает ли этот контент правила, но и что с ним делать: заблокировать, забанить пользователя, ограничить распространение. По словам Левенсона, точность этих быстрых звонков была «чуть выше 50 %».

«Это было похоже на подбрасывание монеты: смогут ли люди-рецензенты на самом деле правильно подойти к политике, и это было через много дней после того, как вред уже был нанесен», — сказал Левенсон TechCrunch.

Подобный отсроченный и реактивный подход не является устойчивым в мире ловких и хорошо финансируемых враждебных игроков. Рост числа чат-ботов с искусственным интеллектом только усугубил проблему, поскольку сбои в модерации контента привели к череде громких инцидентов, например, когда чат-боты предоставляли подросткам рекомендации по членовредительству или изображения, созданные ИИ, обходили защитные фильтры.

Разочарование Левенсона привело к идее «политики как кода» — способа превратить статические политические документы в исполняемую, обновляемую логику, тесно связанную с обеспечением соблюдения. Это понимание привело к созданию компании Moonbounce, которая объявила в пятницу о привлечении финансирования в размере 12 миллионов долларов, как стало известно TechCrunch. Раунд проводился совместно Amplify Partners и StepStone Group.