MWC 2018
2018
Computex
IFA 2018
В начале августа китайская Alibaba представила обновлённую флагманскую модель искусственного интеллекта Qwen3.8-Max с 2,4 трлн параметров, из которых 95 млрд остаются активными. Эту модель, предназначенную для работы в облачной инфраструктуре, сначала можно было протестировать только в QwenCloud, но затем компания опубликовала её веса в открытом доступе для всех желающих. А вслед за ней выпустила Qwen3.8-27B размером 27 млрд параметров, и она подходит для запуска на мощном ПК.
Источник изображений: alibabagroup.com
Alibaba зарекомендовала себя как лидер в области ИИ с открытыми весами, выступая не хуже стартапов DeepSeek и Moonshot. Одним из первых игроков на рынке открытого ИИ была американская Meta✴, которая на минувшей неделе выпустила модель Glimmer размером 30 млрд параметров, достаточно компактную для запуска на ПК. Alibaba напомнила гиганту соцсетей, что на этом рынке очень высокая конкуренция. Модель Qwen3.8-27B, утверждает разработчик, обладает «отличными возможностями» в работе с кодом, исследованиях и долгосрочных агентских задачах. Её заявленное качество ответов соответствует моделям, которые в десять раз крупнее по размеру. И это подтвердили опубликованные Alibaba тесты — Qwen3.8-27B проявила себя лучше, чем Meta✴ Muse Glimmer 30B, и не хуже, а то и лучше, чем вышедшая в феврале закрытая Anthropic Opus 4.6.
Это утверждение взялись проверить журналисты ресурса Heise. Оригинальная модель с 32-битными числами с плавающей запятой (FP32) требует значительных ресурсов: не менее 108 Гбайт видеопамяти и около 120 Гбайт дискового пространства для KV-кеша. Квантование модели до FP16 позволяет запускать её на оборудовании с 64 Гбайт видеопамяти, а ещё более компактный квантованный вариант Q5_K_M обходится уже 22 Гбайт памяти — его уже можно запускать на флагманских видеокартах AMD Radeon 7900 XTX и Nvidia GeForce RTX 3090 (Ti), 4090 и 5090. Доступен и вариант с весами NVFP4, оптимизированный для вычислительных блоков Nvidia Blackwell и работающий всего с 16 Гбайт памяти.
В рамках тестирования Qwen3.8-27B в вариантах Q8_0 и NVFP4 запустили в среде Llama.cpp на профессиональной видеокарте Nvidia RTX Pro 6000 Blackwell. Модели поставили задачу разработать полный комплект средств REST API для системы управления запасами с контролем пользователей и авторизацией на основе ролей, не задавая уточняющих вопросов. Квантованная версия NVFP4, которая потребляла вдвое меньше памяти, чем Q8_0, не показала заметного снижения точности или качества ответов.
Qwen3.8-27B написала качественный код — он скомпилировался с первой попытки и поддерживал все запрошенные функции. Качество проекта оказалось неотличимо от результатов работы Anthropic Claude. Модель от Alibaba учла особые аспекты, которые не были упомянуты в задании, в ходе работы находила дубликаты в собственном коде и самостоятельно проводила рефакторинг. Отмечалась некоторая склонность к чрезмерному обдумыванию простых проблем, модель несколько зацикливалась на деталях, в результате чего тратила лишние токены и время. Хотя такое поведение корректируется в настройках.
Запускающиеся на локальных ресурсах модели ИИ имеют преимущества перед облачными. Нет необходимости оформлять подписку и передавать персональные данные сторонним поставщикам. Отсутствуют ограничения, свойственные закрытым моделям Anthropic и OpenAI. Некоторые ограничения есть и у Qwen, но вскоре после выпуска оригинального варианта на Hugging Face появились производные версии, в которых эти ограничения были в значительной степени сняты.
Источники:
