SonicBoom v0.0.1 ускоряет работу Gemma 4 на RTX 3050
2026-10-13 команда HardenedVault выпустила SonicBoom v0.0.1 — среду выполнения LLM на C++ и CUDA, которую можно развернуть у себя без Python. Первая версия проверена только с Gemma 4 E4B-it в формате Q3_K_M на ноутбучной NVIDIA RTX 3050 8 GB. По данным разработчика, скорость генерации достигла 51,65 токена/с против 45,20 токена/с у llama.cpp на том же компьютере и с тем же файлом модели; независимых замеров пока нет.
Проект опубликован под лицензией GPL-3.0-or-later, поэтому плата за программное обеспечение составляет $0, но условия лицензии необходимо учитывать при распространении производных решений. SonicBoom использует планировщик вычислений, повторное применение CUDA Graph и повторное использование префикса. При этом обработка исходного контекста пока примерно вдвое медленнее llama.cpp: 1 051 против примерно 1 944 токенов/с для 4 100 токенов, по данным разработчика.
Для бизнеса релиз интересен как ранний вариант локальной работы модели на недорогих потребительских GPU, прежде всего для закрытых контуров, помощников программиста и многошаговых диалогов с повторяющимся контекстом. Лицензионные расходы равны 0 руб., однако итоговый бюджет включает видеокарту, интеграцию и сопровождение. Главный риск — узкая совместимость: подтверждена одна модель, только CUDA sm_86 и форматы Q3_K, Q4_K и Q5_K; доступны лишь жадный выбор следующего токена и ручное оформление диалогов. Перед внедрением стоит провести собственные замеры на целевой нагрузке.
Разработчики планируют добавить Q6_K, Q8_0, Q5_0, поддержку Qwen, более быстрый разбор длинного контекста и дополнительные способы формирования ответа. Мы будем отслеживать независимые тесты, расширение списка GPU и готовность проекта к рабочей эксплуатации.