Qwen3.8-Flash-Next: модель на 177B, яка запускається на одній відеокарті з 24 ГБ

Чому модель на 177B важлива для тих, у кого одна відеокарта

Qwen3.8-Flash-Next від команди Qwen з Alibaba за обсягом знань тягне на фронтирну систему, а за обчисленнями на токен — на модель у 6B, яка вмістилася б у телефон. За низкою вимірів вона вже обходить Claude Opus 4.6 в агентному програмуванні. Тягти додому понад 100 ГБ ваг замість виклику API має сенс лише тоді, коли розумієш, що це за модель. Тож нижче — що вона собою являє, чому вийшла саме зараз, як виглядає на тлі конкурентів і як запускається на одній відеокарті з 24 ГБ.

Час релізу й позначка «Next»

Qwen3.8-Flash-Next вийшла 26 серпня 2026 року — третій реліз Qwen за три тижні:

| Model              | Released | Role                           | API price (per M tokens) |
|--------------------|----------|--------------------------------|--------------------------|
| Qwen3.8-Max        | Aug 3    | Frontier flagship, 2.4T MoE    | $2.00 / $6.00            |
| Qwen3.8-27B        | Aug 14   | Dense model for local use      | self-hosted              |
| Qwen3.8-Flash-Next | Aug 26   | Cost tier + architecture probe | $0.16 / $0.47            |

Найбільше плутає суфікс «Next». Так Qwen називає дослідницькі превʼю. Перша Qwen3-Next, що вийшла у вересні 2025-го, принесла гібридну схему уваги, на якій потім цілий рік трималися всі релізи Qwen. Flash-Next робить те саме для наступного покоління, тобто для Qwen4. У блозі про запуск сказано, що команда викладає архітектурні зміни заздалегідь, щоб спільнота встигла їх розібрати, перш ніж на цій основі збудують усю родину Qwen4.

Ця заява важливіша за будь-який бенчмарк. Багато лабораторій публікують статті через місяці після ваг, якщо взагалі публікують. Qwen спершу віддає робочі ваги, дає всім їх ламати й будує наступне покоління з того, що вціліло.

«Flash» — це марка цінового рівня. Flash-Next коштує $0.16 за мільйон вхідних токенів і $0.47 за мільйон вихідних, приблизно в 12 разів дешевше за Qwen3.8-Max за обома показниками. За словами Qwen, навчання коштувало десь девʼяту частину того, чого потребувала попередня модель рівня Plus. То чому зараз? Архітектура готова, економіка сходиться, а спільнота заздалегідь бачить скелет Qwen4.

Що це таке, простими словами

На папері в неї 125B основних параметрів, таблиця «n-gram embedding» на 51B і голова multi-token prediction на 4B — загалом близько 180B у сховищі. На кожен згенерований токен рахують із них лише приблизно 6B. Уявіть бібліотеку на 177 гігабайт книжок, де бібліотекар на кожне запитання відкриває шість сторінок. Будівля величезна, а роботи на одну відповідь мало.

Три цифри варто тримати окремо, бо офіційно Qwen продає це як модель на 125B: близько 180B зберігається, 125B — сама мережа, 6B активні на токен. Приблизно 180B — це все, що лежить на диску: мережа на 125B, таблиця пошуку на 51B (Qwen рахує ці дві частини разом як близько 176B) і невелика голова передбачення наперед. «Моделлю» у звичному сенсі, тобто вагами, які щось обчислюють, є лише 125B.

Таблиця на 51B жодної арифметики не робить. Це заморожена памʼять: готові представлення частих словосполучень, які дістаються за адресою. Більше полиць роблять дім просторішим, але мешканців від цього не додається.

Усе працює завдяки трьом частинам.

Основний мозок (125B, mixture-of-experts). У кожному шарі 512 експертів, але токен будить лише 10 із них, близько 2% від загальної кількості. Саме тут відбувається справжнє міркування.

Шпаргалка (таблиця n-грам на 51B). Із трьох частин їй дісталося найбільше уваги. Замість того щоб вивчати кожну фразу з нуля, модель зберігає 20 мільйонів заздалегідь обчислених записів для частих словосполучень. Пошук майже нічого не коштує в обчисленнях: адреса відома ще до появи токена, тож залізо може підтягнути запис наперед, поки основний мозок зайнятий. Користувачі описали це як велику шпаргалку для частих коротких фраз, завдяки якій маленьке активне ядро витрачає сили на складніше мислення.

Голова передбачення наперед (MTP на 4B). Цей невеликий модуль передбачає одразу кілька майбутніх токенів і пришвидшує генерацію, якщо фреймворк для інференсу використовує його для спекулятивного декодування. Підтримка в локальних рантаймах на кшталт llama.cpp ще тільки зʼявляється.

Далі увага, тобто те, як модель памʼятає сказане вами, і тут Flash-Next виявляє винахідливість:

• Шари Gated DeltaNet (36 із 48) стискають усе побачене в поточний підсумок фіксованого розміру. Це як оновлювати один стікер замість перечитувати всю розмову, і памʼять не зростає з довжиною контексту.
• Решта 12 шарів використовують Qwen Sparse Attention: вона шукає точно, але лише в обмеженому наборі блоків, а не по всій послідовності.

У блозі про запуск це вмістили в один рядок: GDN ефективно «запамʼятовує», а QSA точно «дістає».

У підсумку KV-кеш, головний пожирач памʼяті, що на звичайних моделях вбиває інференс із довгим контекстом, лишається крихітним навіть на 262K токенів. Така довжина підтримується нативно, а YaRN розтягує її майже до 1M. Це перша причина, чому модель працює на залізі, яке за ідеєю не мало б її вмістити.

На якому залізі вона запускається

Офіційні розміри: BF16 потребує 335 ГБ, FP8 — 173 ГБ, 4-бітний GGUF займає приблизно від 82 до 111 ГБ залежно від квантизації. У списку Unsloth — від IQ1_S на 72,5 ГБ до Q4_K_XL на 111 ГБ.

За даними Qwen, 4-бітна збірка розрахована на машини класу 128 ГБ (Mac Studio, DGX Spark, Strix Halo), а таблиця n-грам тримається у звичайній системній памʼяті. Є підступ. На момент запуску офіційно підтримуваний спосіб винести цю таблицю працював лише на NVIDIA, тож власникам Apple Silicon довелося покладатися на збірки спільноти.

| Setup                            | Quant   | What fits where                          |
|----------------------------------|---------|------------------------------------------|
| DGX Spark / Mac Studio (128GB)   | 4-bit   | Weights split, n-gram in unified RAM     |
| Single RTX 3090 + big system RAM | 2-4 bit | Attention on GPU, experts + table in RAM |
| Multi-GPU server (72GB+ VRAM)    | 4-bit   | Most weights in VRAM, table in RAM       |

Рядок про одну відеокарту звучить неймовірно, і йому присвячено окремий розділ нижче.

Бенчмарки: сутичка на трьох

Спершу застереження. Коли писався цей текст, моделі було девʼять днів, і майже всі цифри бенчмарків надав сам виробник, а незалежна перевірка ще наздоганяє. Вважайте все це попереднім.

Учасники: Flash-Next, її молодша сестра Qwen3.8-27B (щільна модель), DeepSeek V4 Flash 0731 (прямий конкурент у тій самій ціновій категорії) і Claude Opus 4.6 (фронтирний орієнтир):

| Benchmark     | Flash-Next | Qwen3.8-27B | DeepSeek V4F | Claude Opus 4.6 |
|---------------|------------|-------------|--------------|-----------------|
| SWE-bench Pro | 62.5       | 61.7        | 56.0         | 53.4            |
| DeepSWE 1.1   | 58.7       | 42.2        | 54.4         | -               |
| NL2Repo-Bench | 48.1       | 42.3        | 54.2         | 47.6            |
| CoWorkBench   | 73.9       | 70.7        | 45.1         | 68.2            |
| GPQA Diamond  | 91.7       | 89.2        | 90.8         | 91.3            |
| HLE           | 35.9       | 30.8        | 33.8         | 40.0            |

Таблицю зручніше читати у три заходи.

Перший — сенсація. SWE-bench Pro вимірює справжню агентну розробку: читання репозиторіїв, написання патчів, запуск тестів та ітерації. Модель за ціною $0.16 за мільйон токенів набирає 62,5 проти 53,4 у Claude Opus 4.6. Відрив у девʼять пунктів — на тому бенчмарку, який для кодинг-агентів найважливіший, і забирає його найдешевша модель у полі.

Другий — поразки. Чесних їх дві. На NL2Repo-Bench, де перевіряється генерація коду на рівні репозиторію за описом природною мовою, попереду DeepSeek: 54,2 проти 48,1. На HLE, тесті фронтирного міркування, Opus веде 40,0 проти 35,9. Тож це спеціаліст із двома помітними прогалинами, а не універсальна заміна.

Третій — незалежне підтвердження, і цій цифрі варто довіряти найбільше. Artificial Analysis ставить моделі Intelligence Index 56 проти 50 у DeepSeek V4 Flash. Навіть без власних цифр Qwen лідерство в дешевому сегменті відкритих ваг змінилося.

За швидкістю DeepSeek і далі виграє в API: близько 108 токенів на секунду проти приблизно 88 у Flash-Next. У спільноті вважають, що стек інференсу Flash-Next просто ще не доведений, і розрив закриється за кілька місяців.

Що каже спільнота

Похвали діляться на три групи: стрибок в агентному програмуванні (DeepSWE 1.1 зріс із 16,5 до 58,7 порівняно з попередньою моделлю Qwen рівня Plus, тобто в 3,6 раза), співвідношення ціни та якості й архітектура, зручна для локального запуску. Один користувач сформулював влучно: 50 ГБ таблиці PLE можна винести на NVMe, а за співвідношенням розміру й продуктивності Qwen виграє.

Скарги не менш показові:

• Вона багато думає. На завданні одного користувача «зроби мені гру» їй знадобилося близько 80 хвилин на скромному залізі, тоді як Qwen3.8-27B на тій самій машині впоралася за 22. Глибше міркування плюс повільніше декодування — і реальний час виконання може здивувати.
• Квантизація бʼє по ній сильніше, ніж по конкурентах. На одному DGX Spark за низької розрядності кілька тестувальників побачили, що DeepSeek виходить уперед: архітектура поки не оптимізована під квантизований інференс.
• Керування компʼютером поки що лотерея. Частка повністю успішних завдань на OSWorld 2.0 — 19,4%. Вона просувається в більшості завдань, але рідко доводить їх до чистого кінця, тож не лишайте її без нагляду на своєму робочому столі.
• Ліцензія не Apache 2.0. Цей чекпоінт поширюється під qwen-community-1.0: для особистого використання нормально, але перед будь-яким комерційним розгортанням прочитайте умови.

Для простого превʼю вона надто добра, а для готового продукту надто сирувата — саме таким і має бути архітектурний зонд.

Вона справді запускається на одній відеокарті з 24 ГБ?

На перший погляд це неможливо. Модель приблизно на 177B параметрів не влізе в 24 ГБ відеопамʼяті навіть у найменшій квантизації близько 72 ГБ. І все ж люди повідомляють, що в них працює:

| Setup                          | Quant   | Result                          |
|--------------------------------|---------|---------------------------------|
| Single RTX 3090 + 256GB RAM    | Q4_K_XL | ~25 tok/s at short context      |
| RTX 5070 Ti (16GB) + 85GB RAM  | IQ3_XXS | ~20 tok/s decode, 130 prefill   |

Механізм — та сама архітектура, доведена до межі.

На токен активні лише 6B параметрів. Робота відеокарти — увага плюс кілька експертів — вкладається в 16–24 ГБ. Усе інше може лежати будь-де, нічого не ламаючи, бо в цю мить воно не рахує.

Шпаргалка на 51B живе в системній памʼяті або на SSD. Пошук детермінований. Оскільки кожну адресу можна обчислити до появи токена, записи підтягуються у фоні, поки відеокарта зайнята обчисленнями. У термінах llama.cpp одного прапорця досить, щоб закріпити цю таблицю в памʼяті CPU.

Сплячі експерти теж лишаються в RAM. Вивантаження в стилі --n-cpu-moe тримає невибраних експертів поза відеопамʼяттю, і задіюються лише приблизно 10 вибраних на токен.

KV-кеш маленький, бо 36 шарів із 48 зберігають підсумок фіксованого розміру, а не ключі й значення, що ростуть разом із контекстом. Один тестувальник повідомив, що на повному контексті в 262K йому вистачило лише 16 ГБ відеопамʼяті.

Підступ — у пропускній здатності системної памʼяті. Двоканальна DDR5 прокачує близько 90 гігабайт на секунду, а шина памʼяті RTX 3090 — 936. Щойно частина активних ваг опиняється в системній памʼяті, стелю задає ця повільна труба. Тому такі конфігурації видають придатні, але не вражаючі 7–25 токенів на секунду.

Уявіть, що відеокарта — кухар, а системна памʼять — комора. Цій моделі потрібно дуже мало інгредієнтів на страву, і більшість із них можна приносити без поспіху.

За чим стежити

Тим, хто запускає моделі локально, варто її тримати в полі зору. Збірка IQ4_XS важить близько 90 ГБ. Відкриті питання для практичних тестів: швидкість на різних довжинах контексту, якість відповідей у прямому порівнянні з Qwen3.8-27B і чи окупається додатковий час на роздуми у звичайній роботі, а не в наборах бенчмарків. Архітектура підказує, куди рухаються моделі дешевого сегмента скрізь: менше обчислень на токен, більше збережених знань на байт і вимоги до памʼяті, які під силу звичайній робочій станції.