MWC 2018
2018
Computex
IFA 2018
Компания «Яндекс» представила и выложила в открытый доступ претрейн-версия большой языковой модели Alice AI Foundation LLM, которая была обучена полностью с нуля. Утверждается, что решение показывает высокие результаты в программировании и рассуждениях, а по качеству ответов на русском языке превосходит многие зарубежные аналоги, особенно в задачах на знание фактов, которые интересны русскоязычным пользователям.
Источник изображения: yandex.ru
По данным «Яндекса», Alice AI Foundation LLM обгоняет более крупные открытые ИИ-модели, не требуя при этом больших вычислительных мощностей для инференса. Разработчики могут задействовать нейросеть при проведении исследований, а также в коммерческих проектах под лицензией Apache 2.0. Представленная ИИ-модель является экспериментальной и используется для тестирования архитектурных решений для будущей единой рассуждающей модели «Яндекса». Она станет основой агентных возможностей «Алисы AI», за счёт чего пользователи смогут поручать системе выполнение разных задач.
Alice AI Foundation LLM работает на базе архитектуры Mixture of Experts и включает 80 млрд параметров, из которых в моменте остаются активными 3 млрд. За счёт этого достигаются высокая скорость обработки запросов и эффективность. Разработчики заложили в модель способности к рассуждению и работе в агентных сценариях. Благодаря этому система показывает высокий уровень эффективности в сложных логических задачах и программировании.
При решении олимпиадных задач по математике Alice AI Foundation LLM делит лидерство с Qwen3.5-35B-A3B-Base. В тестах по генерации программного кода продукт превзошёл нейросеть Nvidia Nemotron-3-Super-120B-Base, несмотря на вчетверо меньшее количество активных параметров. Несмотря на компактные размеры, новая ИИ-модель обходит в задачах, где требуются широкие фактические знания, более крупные открытые модели, включая DeepSeek-V4-Flash-Base с 284 млрд параметров и 13 млрд активных параметров. Тесты в бенчмарках показали, что Alice AI Foundation LLM отвечает на уровне предыдущей закрытой модели Alice AI LLM, у которой в три раза больше параметров и в семь раз больше активных параметров.
Для оценки знаний, которые актуальны для русскоязычной аудитории, разработчики создали два собственных бенчмарка — WikiWebFacts и HardMultiQA. Первый состоит из пар «короткий вопрос — короткий ответ» и подходит для проверки знания дат, определений, событий и персоналий на основе данных онлайн-энциклопедий и частотных агрегированных поисковых запросов. Второй бенчмарк построен на базе анонимизированного потока запросов к «Алисе AI »и охватывает более редкие области знаний. Оба бенчмарка созданы для оценки знаний русскоязычных моделей, поскольку англоязычные аналоги не позволяют сделать это объективно.
В процессе обучения Alice AI Foundation LLM разработчики улучшили работу оптимизатора — программы, которая управляет процессом обучения. За счёт этого процесс оптимизации удалось ускорить примерно вдвое. В дополнение к этому разработчики оптимизировали подготовку качественных обучающих данных.
Источник:
