Артыкулы для тых, хто
выводзіць стэк у прод
Арыгінальныя матэрыялы пра React, Node.js, TypeScript і AI — з той жа практыкі, што і наша аператарскае ПЗ. Тэкст артыкулаў па-англійску.
Тэг: Local AI
Выкананне Qwen3.8-27B на адзінам RTX 3090 з падправленым vLLM і DFlash2
Як форк vLLM 0.28.0 з закрепленым варыянтом, які выкарыстоўвае реквантазаваныя эмбеддінгі та тэхналогію DFlash2, дазволяе запрацоўваць гібрыдны модель размерам 27 мільярда параметраў на карцы памяці ў 24 ГБ, і чаму дзейство з дужа дзьвінгай кантэкстам уповольняе його працэс.
15 хв чытанняПарадокс падзей на глыбіны: трансфармэры з петлямі і скрытыя прычыны
Як трансфармэры з павтаральной глыбаючасцю (з цікламі) працуюць у супакрытым стане, чаму лабораторыяхі іх хочаць, што паказвае восьмгодзінныя нарады, і што гэта значыць для локальнага ІІ та надзору.
12 хв чытанняВыкананне Qwen3.8-Flash-Next на картаках RTX 3090 з адпыткамі Tensor Offloading ад llama.cpp
Чаму модель типу Qwen3.8-Flash-Next, яка ўключае 88 ГБ памяці та 180 мільярда параметраў, падходзіць для карт RTX 3090, і як прамэты llama.cpp -ot, -ncmoe та mmap дзеляюць VRAM, RAM та NVMe.
12 хв чытанняЧаму завантажэнне модэля ў розмяре 17 ГБ не означае, што для його роботы патрэбна 17 ГБ памяці.
Дазвольце даклэ научыцца, як актыўныя параметры, загальныя параметры, зростанне KV-кэша і зусілля для аналізу вплываюць на рэальныя витраты на память і вычыслення пад час роботы мовнага модэля локальна.
12 хв чытанняСтварэнне локальнага клону Angry Birds з адпаведнасцю Qwen3.8-27B і Pi
Полная локальная ай-тэ-і-наватка для кодавання з LM Studio і агентам Pi: Qwen3.8-27B стварае гэру з серіі Angry Birds, якую можна запусціць, без викорыстоўвання хмарных API, пры чым кожны крок інсталяцыі паказаны.
9 хв чытанняЧаму самэй доступ да штучнага інтэлекту, а не яго можыць, ёсць вашым практычным рызыком залежнасці?
У этай стацыі аналізуюцца няўжоныя інцыдэнты з контролем экспорту, якія сталіся з Claude і GPT-5.6, каб падтвердзіць, што доступ да модэляў ШІ ёсць нестабільны фактар, незалежны ад первісных можаўнасцей.
11 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.