PrismML внедряет свои крошечные LLM в умные очки на базе Qualcomm

Подробности

Лаборатория искусственного интеллекта PrismML, основанная исследователями из Калифорнийского технологического института и консультируемая Ионом Стойкой из Калифорнийского университета в Беркли, создала версию своих крошечных языковых моделей для умных очков, работающих на чипах Qualcomm Snapdragon.

В среду на саммите Qualcomm Snapdragon производитель чипов продемонстрировал 1-битный Bonsai LLM PrismML, который можно запускать локально на интеллектуальных очках с искусственным интеллектом, созданных на платформе Snapdragon AR1 Gen 1.

Как ранее сообщал TechCrunch, PrismML славится тем, что он существенно уменьшает более крупные модели (в данном случае в 4 раза), сохраняя при этом почти всю их производительность в стандартных тестах. Версия умных очков представляет собой модель с 2 миллиардами параметров, настроенную на зрение и язык, поэтому пользователи могут спрашивать, на что они смотрят, в режиме реального времени.

Основная цель Prism — открытый ИИ, который работает на устройствах и лучше использует уже имеющуюся у них вычислительную мощность. Стартап позиционирует это как альтернативу зависимости от обещаний конфиденциальности частных лабораторий искусственного интеллекта и их ненасытной потребности в дополнительных вычислениях.

Выпуск модели чипа Qualcomm — шаг к реализации этой идеи. Но об умных очках с PrismML пока не объявлено.