Лаборатория искусственного интеллекта PrismML разработала специальную версию одной из своих компактных языковых моделей, предназначенную для локальной работы на умных очках, оснащённых чипами Qualcomm Snapdragon.
Источник изображения: PrismML
На мероприятии Snapdragon Summit компания Qualcomm продемонстрировала 1-битную модель PrismML Bonsai, способную работать локально на умных очках с ИИ, созданных на базе платформы Snapdragon AR1 Gen 1. Компания PrismML занимается сжатием крупных моделей с сохранением качества ответов — в данном случае это было сжатие в четыре раза. Версия для умных очков представляет собой модель размером 2 млрд параметров, оптимизированную для обработки текстовой и визуальной информации. На практике владельцы таких очков смогут в реальном времени получать ответы на вопросы о том, что видят перед собой.
PrismML выпускает ИИ-модели с открытыми весами, предназначенные для работы непосредственно на устройствах, максимально задействуя их имеющиеся вычислительные мощности. Стартап позиционирует это решение как альтернативу зависимости от обещаний конфиденциальности со стороны разработчиков проприетарного ИИ. ИИ-лаборатория совместно с Qualcomm оптимизировала веса и архитектуру модели специально для нейропроцессора Hexagon.
По качеству работы модель сопоставима с системами с 4-битной точностью, но при этом она потребляет вчетверо меньше памяти и генерирует токены более чем вдвое быстрее. В результате взаимодействие с ней становится более естественным, а контекст данных сохраняется на самом устройстве. PrismML и Qualcomm Technologies намерены и далее продолжать сотрудничество, оптимизируя всё более совершенные модели Bonsai для работы на платформах Snapdragon. Технологии ИИ внедряются в умные очки, прочие носимые устройства и окружающую нас технику, поэтому очередной качественный скачок не получится обеспечить одним лишь наращиванием вычислительной мощности.