TechCrunch · AI · 1 ч назад

Стартап Gimlet Labs на удивление элегантно решает проблему с выводами искусственного интеллекта.

Gimlet Labs только что собрала серию A в размере 80 миллионов долларов на технологию, которая позволит искусственному интеллекту работать на чипах NVIDIA, AMD, Intel, ARM, Cerebras и d-Matrix одновременно.

Источник TechCrunch
Опубликовано 1 ч назад
Оригинальный заголовок Startup Gimlet Labs is solving the AI inference bottleneck in a surprisingly elegant way
Важность 4/5
Почему это может быть интересно Важно для понимания, куда реально двигаются модели, агенты и продуктовые AI-инструменты.
← Назад к ленте Открыть оригинал
#ai#startups#tech

Подробности

Адъюнкт-профессор Стэнфорда и успешно ушедший основатель Зейн Асгар только что собрал 80 миллионов долларов серии А для стартапа, который хитроумно решает проблему узких мест в выводах ИИ. Раунд возглавила компания Menlo Ventures.

Компания Gimlet Labs создала, по ее утверждению, первое и единственное «многокремниевое облако вывода» — программное обеспечение, которое позволяет одновременно запускать рабочую нагрузку ИИ на различных типах оборудования. Он может разделить работу приложения искусственного интеллекта между традиционными процессорами и графическими процессорами, настроенными на искусственный интеллект, а также системами с большим объемом памяти.

«По сути, мы сталкиваемся с любым доступным оборудованием», — сказал Асгар TechCrunch.

Один агент может объединить несколько шагов, и каждый из них «требует разного оборудования: вывод связан с вычислениями, декодирование — с памятью, а вызовы инструментов — с сетью», — пишет ведущий инвестор Тим Талли из Menlo в своем блоге о финансировании.

Ни один чип еще не способен на все это, но по мере того, как развертывается новое оборудование и перераспределяются устаревшие графические процессоры, «парк мультикремниевых процессоров готов — ему просто не хватает программного уровня, чтобы заставить его работать». Именно это, по мнению Талли, предлагает Gimlet Labs.