TechCrunch · AI · 1 ч назад
Бывший операционный директор METR, нанятый в начале Anthropic, нашел способ обуздать мошеннических агентов ИИ
Их стартап, андеррайтинговая компания по искусственному интеллекту (AIUC), привлек $40 млн в раунде серии А под руководством Ribbit Capital при участии First Harmonic.
Подробности
На следующий день после того, как исследователь антропологии Джейкоб Коксон уволился с работы из-за опасений, что ИИ может убить нас всех к концу десятилетия, я встретился с основателями и зятьями Руне Квист и Радживом Даттани. Они думают, что у них есть решение, которое могло бы спасти нас всех или, по крайней мере, помочь не допустить, чтобы агенты ИИ стали мошенниками внутри предприятий.
"ИИ становится умнее все более быстрыми темпами. Удивительной особенностью ИИ является то, что его становится сложнее внедрить и сложнее контролировать по мере того, как ИИ становится умнее, а не проще", - сказал Квист, один из первых сотрудников Anthropic, который также женат на сестре Даттани). Даттани — бывший исполнительный директор исследовательской организации по безопасности искусственного интеллекта METR.
Пара запустила стартап под названием «Андеррайтинговая компания искусственного интеллекта» (AIUC), который надеется обеспечить безопасность ИИ для предприятий и компаний, создающих модели и агенты ИИ. В качестве клиентов стартап называет Cursor, Lovable, Harvey и ElevenLabs.
Во вторник AIUC объявил о серии A стоимостью 40 миллионов долларов под руководством Ribbit Capital с участием First Harmonic. Ранее он закрыл посевной раунд в размере 15 миллионов долларов от Ната Фридмана через его фонд NFDG, а также соучредителя Emergence, Terrain и Anthropic Бена Манна, среди прочих, доведя общий объем финансирования до 55 миллионов долларов.
Что привлекло внимание этой группы инвесторов из списка лучших, так это попытка AIUC применить знакомую модель кибербезопасности к новому набору рисков ИИ. Компания создала сторонний уровень аудита и сертификации для агентов ИИ.