Embedl ускорила Qwen3.8-27B до 39,6 токена в секунду на Jetson AGX Thor
2026-10-26 Embedl выпустила оптимизированную сборку Qwen3.8-27B для NVIDIA Jetson AGX Thor. По данным вендора, при одном запросе, входе на 2 048 токенов и ответе на 128 токенов модель формирует 39,6 токена в секунду; полная скорость с учётом обработки запроса составляет 23,6 токена в секунду. Пиковое потребление памяти заявлено на уровне 24,8 ГиБ, независимых замеров пока нет.
Сборка объединяет 4-битное сжатие весов, FlashHead, встроенный механизм предварительной подготовки нескольких токенов и TensorRT Edge-LLM 0.10.1. По данным Embedl, результаты составили 96,4 на GSM8K, 83,5 на IFEval и 79,1 на MMLU-Pro против 96,1, 81,9 и 79,5 у исходной версии FP16. Для запуска предлагаются команды Embedl с совместимым с OpenAI API сервером; контейнер занимает около 1 ГБ, веса — примерно 20 ГиБ. Цена программного решения и отдельные условия лицензирования сборки не опубликованы.
Для компаний это вариант локальной работы Qwen3.8-27B рядом с производственным оборудованием, камерами или закрытыми данными, где задержка и зависимость от облака критичны. Денежную оценку в рублях пока дать нельзя: Embedl не раскрыла цену доступа, а стоимость самого Jetson AGX Thor в материале не указана. Основной риск — показатели получены самим разработчиком на одном сценарии; перед внедрением стоит проверить качество на корпоративных данных, скорость при нескольких одновременных запросах и полное энергопотребление системы.
Дальше важно отследить публикацию воспроизводимой методики, условий коммерческого использования и независимых сравнений с NVFP4- и GGUF-сборками Qwen3.8-27B.
Что за модель: Qwen3.8 27B
Компактная модель новой линейки Qwen3.8 и преемница Qwen3.6-27B: 27B параметров, контекст 256K токенов. Веса опубликованы на Hugging Face под свободной лицензией Apache-2.0 (есть и сжатая FP8-версия), в хостинговых каталогах модель появилась 14 августа 2026 по цене $0.45/$3.20 за миллион токенов. Официального техотчёта и таблицы замеров на момент выхода нет — независимые проверки только начинаются. Судя по загрузкам на Hugging Face (100K+ за первые дни), сообщество приняло релиз активно.
Что это значит для бизнеса
Главный кандидат для компаний, которые хотят развернуть модель у себя и не зависеть от чужих серверов: свободная лицензия Apache-2.0 разрешает любое коммерческое использование без юридических рисков, а размер позволяет работать на одной серверной видеокарте. Подойдёт для внутренних ботов, обработки документов и типовых задач, где данные нельзя отдавать наружу. Если развёртывание у себя не принципиально — через API DeepSeek V4-Flash даёт больше возможностей дешевле ($0.14/$0.28 против $0.45/$3.20). Замеров качества пока нет, поэтому перед боевым запуском прогоните на своих задачах. Для старта на собственном железе сейчас это самый безопасный выбор в базе.
Хроника Qwen3.8 27B
Цена API изменилась: $0.04/1.25 → $0.15/1.88 за 1M токенов
Изменение зафиксировано по каталогу агрегатора OpenRouter.
Цена API изменилась: $0.04/1.25 → $0.15/1.88 за 1M токенов
Изменение зафиксировано по каталогу агрегатора OpenRouter.
Цена API изменилась: $0.2/2.5 → $0.04/1.25 за 1M токенов
Изменение зафиксировано по каталогу агрегатора OpenRouter.
Цена API изменилась: $0.02/2.99 → $0.04/1.25 за 1M токенов
Изменение зафиксировано по каталогу агрегатора OpenRouter.
Цена API изменилась: $0.02/2.99 → $0.2/2.5 за 1M токенов
Изменение зафиксировано по каталогу агрегатора OpenRouter.
Цена API изменилась: $0.02/2.99 → $0.04/1.35 за 1M токенов
Изменение зафиксировано по каталогу агрегатора OpenRouter.