Kog идет глубже, чтобы выжать больше из графических процессоров

Подробности

Гонка за более быстрый вывод ИИ продолжается, и рынки тепло приветствовали Cerebras и ее специально созданные чипы во время дебютного IPO в мае. Но французский стартап Kog делает ставку на то, что из обычных графических процессоров можно выжать гораздо больше мощности.

В мае стартап попал на первую полосу Hacker News с техническим обзором, призванным доказать, что «чрезвычайно быстрое декодирование по одному запросу возможно на стандартных графических процессорах для центров обработки данных, которые уже есть у предприятий» — таких как графические процессоры AMD MI300X и Nvidia H200, которые он использовал для своей демонстрации.

Некоторые были разочарованы, узнав, что это не распространяется на графические процессоры в наших ноутбуках, но другие увидели в этом потенциал. Поскольку скорость вывода и затраты в настоящее время являются критическим узким местом, обещание Кога открыть новые возможности существующего оборудования с помощью оптимизации программного обеспечения привлекло не только зрителей. «У нас было 200 реальных бизнес-лидеров», — рассказал TechCrunch генеральный директор Гаэль Делалло.

Основываясь на ранних отзывах, основатель-одиночка ожидает, что разработка программного обеспечения будет первым вариантом использования. Ветераны Claude Code хорошо знают, что иногда им приходится ждать часами, чтобы получить результаты. Сама Anthropic понимает, что скорость стоит денег, и взимает кратную цену за быстрый режим Клода.

Ког надеется охватить клиентов, которых отпугивают такие задержки, обычно потому, что они полагаются на рабочие процессы искусственного интеллекта для решения профессиональных задач. Но у стартапа также есть партнеры по дизайну, которые позволяют пользователям создавать игры и приложения с помощью подсказки, и для которых более быстрый результат благодаря Kog Inference Engine (KIE) будет означать больший доход, сказал Делалло.