MWC 2018
2018
Computex
IFA 2018
Согласно исследованию Nvidia, программная оболочка, а не базовая модель, особенно важна при решении ИИ-задач в долгосрочной перспективе.
Источник изображения: Steve A Johnson/unsplash.com
В рамках исследования благодаря специальной программной оболочке для эффективного управления памятью, дополненной компонентом, подобным «супервизору», исследователи добились того, что Claude Opus 5 набрала 100 % баллов в интерактивном тесте ARC-AGI-3 — наборе 2D-игр без инструкций, где модель должна понять, как играть и побеждать, подобно человеку. Без оболочки Opus 5 набрала 30 % баллов, что стало лучшим результатом среди всех протестированных моделей.
Результаты исследования подтверждают, что, хотя выбор модели имеет значение, она всё же является гораздо меньшей частью агентной системы, чем думают многие, особенно для долгосрочных задач. Система управления — вот что делает модель агентом: она обрабатывает память, контекст и обратную связь. Выяснение того, как заставить ИИ выполнять задачи с длительным горизонтом планирования, не отвлекаясь и не зацикливаясь на одном месте, является одной из главных целей исследований в области ИИ-агентов.
«В целом мир воспринимает агента почти как API модели», — сообщил ресурсу TechCrunch Адель Эль Халлак (Adel El Hallak), вице-президент по продуктам подразделения ИИ Nvidia, отметив что агент в настоящее время — нечто большее. «Это модель. Это структура вокруг модели, которую мы называем вспомогательными средствами, то есть набор инструментов, которые вы используете. Это среда выполнения, а также связанные с ней навыки и библиотеки, к которым мы предоставляем вам доступ», — рассказал Эль Халлак. Он отметил важность введения супервизорного агента в дополнение к основному агенту, выполняющему работу. По его словам, он «действует почти как генеральный директор, подталкивая агента, когда тот отклоняется от курса или начинает исследовать путь, который может привести в тупик, или повторно исследует путь, по которому он уже шёл».
Компания OpenAI, чьи модели набрали менее 10 % в тесте ARC-AGI-3, в прошлом месяце провела собственное исследование и обнаружила, что простая замена двух параметров в тестовой среде утроила показатели моделей.
Источник:
