Artificial Analysis выпустила AA-AgentPerf-Local для оценки локальных AI-агентов
2026-09-29 Artificial Analysis выпустила AA-AgentPerf-Local — открытый инструмент для сравнения работы AI-агентов на ноутбуках и рабочих станциях. Стандартный сценарий включает 8 записанных задач, 168 обращений к модели и рост контекста примерно до 56 тыс. токенов. Первые испытания охватывают NVIDIA DGX Spark с 128 GB памяти, AMD Ryzen AI Halo с 128 GB, MacBook Pro M5 Pro с 64 GB и NVIDIA GeForce RTX 5090 с 32 GB.
В стартовый набор вошли Qwen3.5-9B, Qwen3.8-27B, Qwen3.6-35B-A3B и Ling 3.0 Flash в 4-битных вариантах. Код, данные и 14 конфигураций опубликованы, а тестировать можно любую модель через совместимый с OpenAI интерфейс. По данным Artificial Analysis, Qwen3.6-35B-A3B выполняла сценарий в 2,5–3,3 раза быстрее Qwen3.8-27B, а RTX 5090 была более чем в 3,5 раза быстрее остальных систем для помещающихся в ее память моделей. Независимой проверки этих результатов пока нет; условия лицензии перед корпоративным использованием следует проверить в репозитории.
Инструмент полезен компаниям, которые выбирают оборудование для локальной обработки закрытых данных и хотят оценивать полную длительность агентных задач, а не отдельную скорость генерации текста. Стартовая цена DGX Spark и Ryzen AI Halo указана как 4 000 USD — около 338 тыс. рублей по официальному курсу на 2026-09-30 без учета доставки и наценок; MacBook Pro в протестированной конфигурации оценен авторами в 3 700 USD, или примерно 312 тыс. рублей. Главный риск — результаты сильно зависят от программы запуска, степени сжатия модели и ускорения генерации; перед закупкой оборудования стоит повторить испытания на собственных задачах.
Artificial Analysis планирует добавить больше оборудования и моделей, пользовательские результаты, выполнение инструментов на процессоре и сценарии с несколькими агентами. Для бизнеса ключевым показателем станет воспроизводимость результатов на типовых рабочих нагрузках; ее и расхождения между опубликованными и независимыми замерами следует отслеживать отдельно.