MWC 2018
2018
Computex
IFA 2018
Компания Nvidia сообщила подробности о новом семействе моделей Nemotron 3 с открытыми весами, разработанном, в том числе, для создания специализированного агентного ИИ нового поколения.
Источник изображения: Nvidia
Первый представитель семейства — модель Nemotron 3 Nano 30B с открытыми весами, общим количеством параметров в 30 млрд и 3 млрд активных параметров. Модель основана на гибридной архитектуре Mamba-Transformer, сочетающей «смесь экспертов» (MoE), обучение с подкреплением (RL) в интерактивных средах и собственное контекстное окно в 1 млн токенов, обеспечивающее высокопроизводительное и долгосрочное рассуждение для многоагентных приложений.
Как сообщает VideoCardz со ссылкой на публикацию на Hugging Face, маршрутизатор активирует 6 из 128 экспертов за один проход. Nvidia сообщила, что для запуска модели может использоваться система DGX Spark, а также ускорители H100 и B200.
В числе новшеств Nemotron 3, напрямую отвечающих потребностям агентных систем, указаны:
- гибридная архитектура Mamba-Transformer MoE для повышения эффективности тестирования и долгосрочного рассуждения.
- многосредовое обучение с подкреплением, разработанное на основе реальных агентных задач.
- контекстное окно на 1 млн токенов с поддержкой глубокого рассуждения по нескольким документам и долговременной памяти агентов. Благодаря этому обеспечивается устойчивое логическое мышление в больших кодовых базах, длинных документах, продолжительных диалогах и агрегированном извлеченном контенте. Вместо использования фрагментированных эвристических алгоритмов сегментации, агенты могут хранить целые наборы доказательств, буферы истории и многоэтапные планы в одном контекстном окне.
- открытый, прозрачный конвейер обучения, включающий данные, веса и рецепты.
Семейство MoE Nemotron 3 включает три модели:
- Nemotron 3 Nano — компактная модель с 30 млрд параметров, активирующая до 3 млрд параметров одновременно для целевых высокоэффективных задач;
- Nemotron 3 Super — высокоточная модель рассуждений с приблизительно 100 млрд параметров и до 10 млрд активных параметров на токен, предназначенная для многоагентных приложений;
- Nemotron 3 Ultra — крупная модель рассуждений.
Nemotron 3 Nano с готовыми к использованию руководствами доступна уже сейчас. Nemotron 3Super и Ultra выйдут немного позже.
Источник:
