LayerStoRm запустил GLM-5.3-Flash с контекстом 1M на четырёх потребительских GPU

2026-09-07 опубликован LayerStoRm — экспериментальный движок для работы больших MoE-моделей на оборудовании с ограниченной видеопамятью. Разработчик продемонстрировал GLM-5.3-Flash в сборке UD-Q4_K_XL объёмом 186 GiB на двух RTX 5090 и двух RTX 5080 с суммарными 96 GB видеопамяти. Контекст достигает 1 048 576 токенов. По данным разработчика, скорость составила 24,5 токена/с при входе 8 000 токенов и 159 токенов/с при обработке входа длиной 27 000 токенов; независимых замеров пока нет.

LayerStoRm хранит набор экспертов модели в оперативной памяти и передаёт нужные части на GPU по PCIe во время работы. Для проверенной конфигурации потребовалось около 207,5 GB закреплённой оперативной памяти только под экспертов, а тестовый сервер имел 512 GB DDR5 и 64 GB HBM. Проект распространяется по лицензии MIT, поддерживает API, совместимый с OpenAI, но сейчас рассчитан только на NVIDIA RTX 50xx и один сервер. Разработчик прямо обозначает решение как исследовательское и не рекомендует его для эксплуатации в производственных системах.

Для компаний это возможность развернуть GLM-5.3-Flash у себя без серверных GPU, если уже есть рабочая станция с несколькими RTX 5090/5080 и большим объёмом RAM. Точная стоимость такой конфигурации в рублях не раскрыта и зависит от локальных цен на четыре GPU, серверную платформу и не менее 256–512 GB памяти, поэтому надёжную оценку пока дать нельзя. Основные риски — ограничение по оборудованию, невысокая параллельная нагрузка и передача данных через PCIe; перед пилотом следует проверить скорость на собственных запросах и заложить резерв памяти. Мы будем отслеживать независимые тесты, поддержку AMD, нескольких серверов и пакетной обработки.

Что за модель: GLM-5.3-Flash

Z.ai выпустила GLM-5.3-Flash 2026-08-26 как первую модель семейства GLM-5 с изначальной поддержкой текста и изображений. Модель имеет 320 млрд параметров, из которых при работе задействуются 18 млрд, и поддерживает контекст до 1 048 576 токенов. Архитектура сочетает разреженное подключение параметров, разреженное и линейное внимание; веса опубликованы по лицензии MIT. По данным вендора, GLM-5.3-Flash превосходит GLM-5.2 в прикладных и тестовых задачах при цене примерно в десять раз ниже, однако независимых замеров пока нет.

Хроника GLM-5.3-Flash

Что ещё писали про GLM-5.3-Flash