MWC 2018
2018
Computex
IFA 2018
Африканская компания Vambo AI представила языковую модель Morena размером 1,5 млрд параметров. Она поддерживает 12 африканских языков, английский, французский и умеет писать программный код. В задачах, связанных с африканскими языками, эта модель, утверждает разработчик, превосходит системы от Google, Meta✴ и Alibaba, оставаясь в восемь раз компактнее по размеру, чем аналоги.
Источник изображения: Sergey Pesterev / unsplash.com
На ключевом этапе тестирования Vambo AI Morena показала результат в 1,408 bpb (бит на байт), и он оказался лучшим среди 26 протестированных моделей. Ближайший к нему, 1,423 bpb, показала модель в пять раз больше — чем меньше показатель, тем лучше. Модель поддерживает следующие местные языки: нигерийский пиджин, игбо, йоруба, хауса, суахили, шона, зулу, коса, киньяруанда, тсвана, африкаанс и южный ндебеле. В большинстве работающих с этими языками проектов используются дообученные открытые модели Meta✴ Llama, но у них сохраняется словарь, изначально рассчитанный на английский язык и программный код.
В Vambo AI поступили иначе: перед началом обучения оптимизировали токенизатор, состав обучающих данных и список языков, предварительно сравнив размеры словаря с точки зрения затрат и эффективности. При кодировании африканских текстов словарь Morena использует в 1,39 раза меньше токенов, чем Google Gemma 3 и в 1,53 раза меньше, чем Llama 3.2, в сравнении на идентичных фрагментах. Издержки на кодирование для африканского текста составляют 0,249 токена на байт против 0,234 для английского — разницу в 6 % разработчики пока объяснить не могут. Ближайшим конкурентом является адаптированная для Африки версия модели Meta✴ под названием Lugha-Llama-8B — это она показала 1,423 bpb, поддерживая только 8, а не 12 языков. Для сравнения, модель Gemma размером 12 млрд параметров потребляет примерно в 11 раз больше вычислительных ресурсов, чем Morena.
Morena, оптимизированная для диалогового взаимодействия (версия instruct) демонстрирует показатель в 1,441 bpb, уступая Lugha-Llama-8B в общем зачёте, но превосходя её по пяти общим языкам и используя всего 20 % от числа её параметров. При переводе текстов с английского на пять африканских языков версия instruct демонстрирует показатель в 45,8 по метрике chrF++, и это статистически сопоставимо со специализированными системами перевода — у тех результат примерно на 1,4 балла выше, а сопоставимые по размеру с Morena модели обычно показывают от 9 до 14 баллов. На этапе предварительного обучения Morena обработала 251,7 млрд токенов, плюс ещё 63 млрд — на промежуточном.
При разработке потребовались более 22 000 часов работы ускорителей Nvidia A100 — за вычислительные ресурсы пришлось заплатить около $40 000. Помимо основной модели размером 1,5 млрд параметров, доступны версии на 0,5 и 0,2 млрд. Вариант размером 0,5 млрд параметров всё равно превзошёл все протестированные модели других разработчиков по 11 из 12 языков. Самая компактная версия размером 0,2 млрд параметров предназначена для повторной оценки вариантов у систем распознавания речи, для приложений клавиатур и задач по нормализации текста. Последняя обходится в 58 раз дешевле, чем Lugha-Llama-8B в пересчёте на байт, а при работе на одном ускорителе Nvidia A100 она генерирует 104 токена в секунду. Доступна также версия, способная работать на центральном процессоре и запускаться локально на ноутбуке. Vambo AI Morena поддерживает приложения чат-ботов, функции перевода и интеграцию с другими инструментами ИИ.
Источник:
