Qwen3.8-Flash-Next: модель на 177B, которая запускается на одной видеокарте с 24 ГБ

Почему модель на 177B важна для тех, у кого одна видеокарта

Qwen3.8-Flash-Next от команды Qwen из Alibaba по объёму знаний тянет на фронтирную систему, а по вычислениям на токен — на модель в 6B, которая влезла бы в телефон. По ряду замеров она уже обходит Claude Opus 4.6 в агентном программировании. Тащить домой больше 100 ГБ весов вместо вызова API имеет смысл, только когда понимаешь, что это за модель. Поэтому ниже — что она собой представляет, почему вышла именно сейчас, как выглядит на фоне конкурентов и каким образом запускается на одной видеокарте с 24 ГБ.

Время релиза и приставка «Next»

Qwen3.8-Flash-Next вышла 26 августа 2026 года — третий релиз Qwen за три недели:

| Model              | Released | Role                           | API price (per M tokens) |
|--------------------|----------|--------------------------------|--------------------------|
| Qwen3.8-Max        | Aug 3    | Frontier flagship, 2.4T MoE    | $2.00 / $6.00            |
| Qwen3.8-27B        | Aug 14   | Dense model for local use      | self-hosted              |
| Qwen3.8-Flash-Next | Aug 26   | Cost tier + architecture probe | $0.16 / $0.47            |

Больше всего путает суффикс «Next». Так Qwen называет исследовательские превью. Первая Qwen3-Next, вышедшая в сентябре 2025-го, принесла гибридную схему внимания, на которой потом целый год держались все релизы Qwen. Flash-Next делает то же самое для следующего поколения, то есть для Qwen4. В блоге о запуске сказано, что команда выкладывает архитектурные изменения заранее, чтобы сообщество успело их разобрать до того, как на этой основе построят всё семейство Qwen4.

Это заявление важнее любого бенчмарка. Многие лаборатории публикуют статьи через месяцы после весов, а то и не публикуют вовсе. Qwen сначала отдаёт рабочие веса, даёт всем их ломать и строит следующее поколение из того, что выжило.

«Flash» — это марка ценового уровня. Flash-Next стоит $0.16 за миллион входных токенов и $0.47 за миллион выходных, примерно в 12 раз дешевле Qwen3.8-Max по обоим показателям. По словам Qwen, обучение обошлось примерно в девятую часть того, что потребовала предыдущая модель уровня Plus. Так почему сейчас? Архитектура готова, экономика сходится, а сообщество заранее видит скелет Qwen4.

Что это такое, простыми словами

На бумаге у неё 125B основных параметров, таблица «n-gram embedding» на 51B и голова multi-token prediction на 4B — всего около 180B в хранилище. На каждый сгенерированный токен считают из них только примерно 6B. Представьте библиотеку на 177 гигабайт книг, где библиотекарь на каждый вопрос открывает шесть страниц. Здание огромное, а работы на один ответ мало.

Три цифры стоит держать раздельно, потому что официально Qwen продаёт это как модель на 125B: около 180B хранится, 125B — сама сеть, 6B активны на токен. Примерно 180B — это всё, что лежит на диске: сеть на 125B, таблица поиска на 51B (Qwen считает эти две части вместе как около 176B) и небольшая голова предсказания наперёд. «Моделью» в привычном смысле, то есть весами, которые что-то вычисляют, являются только 125B.

Таблица на 51B никакой арифметики не делает. Это замороженная память: готовые представления частых словосочетаний, которые достаются по адресу. Больше полок делают дом просторнее, но жильцов от этого не прибавляется.

Работает всё за счёт трёх частей.

Основной мозг (125B, mixture-of-experts). В каждом слое 512 экспертов, но токен будит только 10 из них, около 2% от общего числа. Именно здесь происходит настоящее рассуждение.

Шпаргалка (таблица n-грамм на 51B). Из трёх частей ей досталось больше всего внимания. Вместо того чтобы учить каждую фразу с нуля, модель хранит 20 миллионов заранее посчитанных записей для частых словосочетаний. Поиск почти ничего не стоит по вычислениям: адрес известен ещё до появления токена, так что железо может подтянуть запись заранее, пока основной мозг занят. Пользователи описали это как большую шпаргалку для частых коротких фраз, благодаря которой маленькое активное ядро тратит силы на более трудное мышление.

Голова предсказания наперёд (MTP на 4B). Этот небольшой модуль предсказывает сразу несколько будущих токенов и ускоряет генерацию, если фреймворк для инференса использует его для спекулятивного декодирования. Поддержка в локальных рантаймах вроде llama.cpp ещё только появляется.

Дальше внимание, то есть то, как модель помнит сказанное вами, и здесь Flash-Next проявляет изобретательность:

• Слои Gated DeltaNet (36 из 48) сжимают всё увиденное в текущую сводку фиксированного размера. Это как обновлять один стикер, а не перечитывать весь разговор заново, и память не растёт с длиной контекста.
• Остальные 12 слоёв используют Qwen Sparse Attention: она ищет точно, но только в ограниченном наборе блоков, а не по всей последовательности.

В блоге о запуске это уложили в одну строку: GDN эффективно «запоминает», а QSA точно «извлекает».

В итоге KV-кэш, главный пожиратель памяти, который на обычных моделях убивает инференс с длинным контекстом, остаётся крошечным даже на 262K токенов. Такая длина поддерживается нативно, а YaRN растягивает её почти до 1M. Это первая причина, по которой модель работает на железе, которое по идее не должно было её вместить.

На каком железе она запускается

Официальные размеры: BF16 требует 335 ГБ, FP8 — 173 ГБ, 4-битный GGUF занимает примерно от 82 до 111 ГБ в зависимости от квантизации. В списке Unsloth — от IQ1_S на 72,5 ГБ до Q4_K_XL на 111 ГБ.

По данным Qwen, 4-битная сборка рассчитана на машины класса 128 ГБ (Mac Studio, DGX Spark, Strix Halo), а таблица n-грамм держится в обычной системной памяти. Есть подвох. На момент запуска официально поддерживаемый способ вынести эту таблицу работал только на NVIDIA, так что владельцам Apple Silicon пришлось полагаться на сборки сообщества.

| Setup                            | Quant   | What fits where                          |
|----------------------------------|---------|------------------------------------------|
| DGX Spark / Mac Studio (128GB)   | 4-bit   | Weights split, n-gram in unified RAM     |
| Single RTX 3090 + big system RAM | 2-4 bit | Attention on GPU, experts + table in RAM |
| Multi-GPU server (72GB+ VRAM)    | 4-bit   | Most weights in VRAM, table in RAM       |

Строка про одну видеокарту звучит невероятно, и ей посвящён отдельный раздел ниже.

Бенчмарки: схватка на троих

Сначала предупреждение. Когда писался этот текст, модели было девять дней, и почти все цифры бенчмарков предоставил сам производитель, а независимая проверка ещё догоняет. Считайте всё это предварительным.

Участники: Flash-Next, её младшая сестра Qwen3.8-27B (плотная модель), DeepSeek V4 Flash 0731 (прямой конкурент в той же ценовой категории) и Claude Opus 4.6 (фронтирный ориентир):

| Benchmark     | Flash-Next | Qwen3.8-27B | DeepSeek V4F | Claude Opus 4.6 |
|---------------|------------|-------------|--------------|-----------------|
| SWE-bench Pro | 62.5       | 61.7        | 56.0         | 53.4            |
| DeepSWE 1.1   | 58.7       | 42.2        | 54.4         | -               |
| NL2Repo-Bench | 48.1       | 42.3        | 54.2         | 47.6            |
| CoWorkBench   | 73.9       | 70.7        | 45.1         | 68.2            |
| GPQA Diamond  | 91.7       | 89.2        | 90.8         | 91.3            |
| HLE           | 35.9       | 30.8        | 33.8         | 40.0            |

Таблицу удобнее читать в три захода.

Первый — сенсация. SWE-bench Pro измеряет настоящую агентную разработку: чтение репозиториев, написание патчей, запуск тестов и итерации. Модель по цене $0.16 за миллион токенов набирает 62,5 против 53,4 у Claude Opus 4.6. Разрыв в девять пунктов — на том бенчмарке, который для кодинг-агентов важнее всего, и забирает его самая дешёвая модель в поле.

Второй — поражения. Честных их два. На NL2Repo-Bench, где проверяется генерация кода на уровне репозитория по описанию на естественном языке, DeepSeek впереди: 54,2 против 48,1. На HLE, тесте фронтирного рассуждения, Opus ведёт 40,0 против 35,9. Так что это специалист с двумя заметными пробелами, а не универсальная замена.

Третий — независимое подтверждение, и этой цифре стоит доверять больше всего. Artificial Analysis ставит модели Intelligence Index 56 против 50 у DeepSeek V4 Flash. Даже без собственных цифр Qwen лидерство в дешёвом сегменте открытых весов сменилось.

По скорости DeepSeek по-прежнему выигрывает в API: около 108 токенов в секунду против примерно 88 у Flash-Next. В сообществе считают, что стек инференса Flash-Next просто ещё не доведён, и разрыв закроется за несколько месяцев.

Что говорит сообщество

Похвалы делятся на три группы: скачок в агентном программировании (DeepSWE 1.1 вырос с 16,5 до 58,7 относительно предыдущей модели Qwen уровня Plus, то есть в 3,6 раза), соотношение цены и качества и архитектура, удобная для локального запуска. Один пользователь сформулировал точно: 50 ГБ таблицы PLE можно вынести на NVMe, а по соотношению размера и производительности Qwen выигрывает.

Жалобы не менее показательны:

• Она много думает. На задаче одного пользователя «сделай мне игру» ей понадобилось около 80 минут на скромном железе, а Qwen3.8-27B на той же машине справилась за 22. Более глубокое рассуждение плюс медленное декодирование — и реальное время выполнения может удивить.
• Квантизация бьёт по ней сильнее, чем по конкурентам. На одном DGX Spark при малой разрядности несколько тестировщиков увидели, что DeepSeek оказывается впереди: архитектура пока не оптимизирована под квантизованный инференс.
• Управление компьютером пока лотерея. Доля полностью успешных задач на OSWorld 2.0 — 19,4%. Она продвигается в большинстве задач, но редко доводит их до чистого конца, так что не оставляйте её без присмотра на своём рабочем столе.
• Лицензия не Apache 2.0. Этот чекпоинт распространяется под qwen-community-1.0: для личного использования нормально, но перед любым коммерческим развёртыванием прочитайте условия.

Для простого превью она слишком хороша, а для готового продукта слишком сыровата — ровно таким и должен быть архитектурный зонд.

Она правда запускается на одной видеокарте с 24 ГБ?

На первый взгляд это невозможно. Модель примерно на 177B параметров не влезет в 24 ГБ видеопамяти даже в самой маленькой квантизации около 72 ГБ. И всё же люди сообщают, что у них работает:

| Setup                          | Quant   | Result                          |
|--------------------------------|---------|---------------------------------|
| Single RTX 3090 + 256GB RAM    | Q4_K_XL | ~25 tok/s at short context      |
| RTX 5070 Ti (16GB) + 85GB RAM  | IQ3_XXS | ~20 tok/s decode, 130 prefill   |

Механизм — это та же архитектура, доведённая до предела.

На токен активны только 6B параметров. Работа видеокарты — внимание плюс несколько экспертов — укладывается в 16–24 ГБ. Всё остальное может лежать где угодно, ничего не ломая, потому что в этот момент оно не считает.

Шпаргалка на 51B живёт в системной памяти или на SSD. Поиск детерминирован. Поскольку каждый адрес можно вычислить до появления токена, записи подтягиваются в фоне, пока видеокарта занята вычислениями. В терминах llama.cpp одного флага достаточно, чтобы закрепить эту таблицу в памяти CPU.

Спящие эксперты тоже остаются в RAM. Выгрузка в стиле --n-cpu-moe держит невыбранных экспертов вне видеопамяти, и задействуются только примерно 10 выбранных на токен.

KV-кэш маленький, потому что 36 слоёв из 48 хранят сводку фиксированного размера, а не ключи и значения, растущие вместе с контекстом. Один тестировщик сообщил, что на полном контексте в 262K ему хватило всего 16 ГБ видеопамяти.

Подвох — в пропускной способности системной памяти. Двухканальная DDR5 прокачивает около 90 гигабайт в секунду, а шина памяти RTX 3090 — 936. Как только часть активных весов оказывается в системной памяти, потолок задаёт эта медленная труба. Поэтому такие конфигурации выдают пригодные, но не впечатляющие 7–25 токенов в секунду.

Представьте, что видеокарта — повар, а системная память — кладовая. Этой модели нужно очень мало ингредиентов на блюдо, и большую часть из них можно приносить не спеша.

За чем следить

Тем, кто запускает модели локально, стоит за ней присматривать. Сборка IQ4_XS весит около 90 ГБ. Открытые вопросы для практических тестов: скорость на разных длинах контекста, качество ответов в прямом сравнении с Qwen3.8-27B и окупается ли дополнительное время на размышления в обычной работе, а не в наборах бенчмарков. Архитектура подсказывает, куда движутся модели дешёвого сегмента повсюду: меньше вычислений на токен, больше хранимых знаний на байт и требования к памяти, которые по силам обычной рабочей станции.