DiffusionGemma 26B-A4B

Первая открытая текстово-диффузионная модель Google, выпущенная 10 июня 2026 года на базе Gemma 4 26B-A4B. Вместо автогенеративного вывода по одному токену модель параллельно «расшумляет» блоки по 256 токенов; по данным вендора, это даёт свыше 1000 токенов/с на одном H100 и свыше 700 токенов/с на RTX 5090 — до 4 раз быстрее сравнимых авторегрессионных моделей. MoE-архитектура: 25,2 млрд параметров всего, около 3,8 млрд активных на шаг; контекст 256 тыс. токенов, на входе текст, изображения и видео. Лицензия Apache-2.0, инструктивные веса на Hugging Face; после квантизации помещается примерно в 18 ГБ VRAM. Модель экспериментальная, независимых замеров качества пока нет.