Xiaomi представила архитектуру HySparse2 для моделей с длинным контекстом
2026-09-22 команда LLM-Core Xiaomi опубликовала техническую работу об HySparse2 — гибридной разреженной архитектуре внимания с двухуровневым совместным использованием промежуточных данных. Решение испытали на MoE-модели с 80 млрд параметров, из которых 3 млрд активны при обработке каждого токена. Авторы также проверили масштабирование подхода на конфигурации 290B-A8B. Полноценная модель MiMo-V3 при этом не представлена: название MiMo-V3 в работе не фигурирует, параметры продукта и дата выпуска не объявлены.
HySparse2 делит модель на два блока и позволяет пропускать второй блок при первичной обработке входных данных. По данным Xiaomi, на контексте 1 млн токенов это сокращает вычислительные затраты данного этапа в 2,92 раза относительно HySparse и в 5,02 раза относительно Hybrid SWA. После дополнительного обучения тестовая модель улучшила средний результат RULER-v2 на 19,81 процентного пункта относительно HySparse; на длине 256 тыс. токенов получено 58,45 против 32,61. Это внутренние результаты авторов, независимых замеров пока нет. Код, веса, лицензия и коммерческий API для HySparse2 не опубликованы.
Для бизнеса подход потенциально снижает стоимость работы агентов с длинной историей, крупными документами и объёмными ответами инструментов. Однако перевести заявленную экономию в USD или рубли пока нельзя: Xiaomi не раскрыла цену вычислений, требования к оборудованию и стоимость доступа. Риск — показатели исследовательских конфигураций могут не сохраниться в серийной модели; до пилота стоит дождаться доступных весов или API и проверить скорость, качество поиска по контексту и совокупную стоимость на собственных сценариях.
Дальше важно отслеживать, войдёт ли HySparse2 в следующую модель семейства MiMo, а также появятся ли код, веса и независимые сравнения. До такого подтверждения публикацию следует считать анонсом архитектуры, а не релизом MiMo-V3.