Французская лаборатория искусственного интеллекта Mistral представила модель Large 4 Le Chonk — разработчик называет её самой мощной в ассортименте и намеревается выпустить на её основе несколько специализированных систем. Доступ к предварительной версии модели уже открыт через API, а до конца октября компания намерена опубликовать её открытые веса.
Источник изображения: mistral.ai
Mistral Large 4 имеет архитектуру Mixture-of-Experts (MoE) — при размере в 1 трлн параметров она при обработке конкретного запроса использует примерно 49 млрд из них. Модель является мультимодальной, то есть умеет работать не только с текстами, но и с изображениями; она разбирается в сложных документах, графиках, технических чертежах и крупноформатных изображениях.
Ещё одна сильная её сторона — способность не просто отвечать на вопросы, но и выполнять последовательности действий: собирать информацию, подключать внешние инструменты и получать готовый результат. Это окажется полезным в написании программного кода, в анализе документов, в работе с документами и презентациями, в финансовом анализе и научных расчётах. Mistral позиционирует Large 4 как средство профессиональной работы, а не просто платформу для чат-ботов.
Традиционно важное место отводится вопросам кибербезопасности: в тесте Artificial Analysis Cyber Index, ориентированном на поиск уязвимости в открытом проекте и написание патча для него, модель набрала 82 %, и это лучший результат среди всех. В наборе из 40 задач Cybench она набрала 93 %. Некоторые закрытые модели показывают в этих тестах недостаточно высокие результаты не из-за слабых способностей, а из-за ограничений, и это проблема для экспертов по кибербезопасности, отмечает Mistral.
Открытый характер работы и значительные навыки в области кибербезопасности не означают, что Large 4 позволяет делать всё что угодно — она отказывается выполнять как прямые, так и косвенные опасные инструкции, зачастую справляясь с этим лучше, чем другие протестированные открытые модели. Подчёркивается, что новая флагманская модель от Mistral обучалась на 3800 ускорителях Nvidia Grace Blackwell в собственных ЦОД компании в Европе, что подчёркивает её суверенный характер.
В существующей редакции Mistral Large 4 — ещё не окончательный вариант модели, компания продолжает проводить обучение с подкреплением, и в ближайшие недели и месяцы её качество будет повышаться. Далее она будет выступать в качестве основы для целого семейства моделей нового поколения — они будут предназначены для отдельных отраслей и задач. Открытые веса Mistral Large 4 Le Chonk разработчик пообещал опубликовать до конца октября.