Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: local-ai
Выкананне таго жа цыклу чату OpenAI локальна з адказам Ollama
Заўярніце той самы цыкл чату з OpenAI локальна за дапамою Ollama: націсціце Python SDK ад OpenAI на localhost і застаўце свой код. Няма ключа API, няма плата за токены, няма выходу дадзенняў.
4 хв чытанняOrnith-1.0-35B: якасць тэхнологій MoE у ўпакоўкаванай модэлі 27B на MacBook.
Як мадэль 35B з тэхналогіяй MoE і 3B акtyўных параметраў парабелікуецца з Qwen3.6, што ёй патрэбна для працы пад llama.cpp, і дзе ёй вдаёцца або стаўкаецца.
4 хв чытанняQwen3.8-27B на One RTX 3090: 262 тыс. елементаў кантэксту за 65–80 токенав у секунду.
Рэцепт для запуску ўплотненага мадэлі 27B з повным кантэкстам на аднай GPU ў 24 ГБ: налаштаваны форк llama.cpp, квантаванне ў 14,5 ГБ, кэш Turbo3 і тэхніка MTP для стварэння праектаў.
8 хв чытанняАдзінаковасць Qwen 3.8-27B: тэсты, атгалоды спільнатыпу і рэальна характарыстыка апаратнай часткі.
Qwen 3.8-27B протыпа Opus 4.6, DeepSeek V4 Flash і GLM 5.2: показнікі, апаведанні спільнатыя, колькасць токенаў за секунду, а таксама GPU-якія лепа яго запускаюць.
8 хв чытанняЛокальныя AI пасля Ollama: Выбір срэдаў выканання ў 2026 годзе
Ollama — гэта чыраклівы спосаб для запуску, але слабыя механізмы дальнейшага кантролю. Каторы з местных рэйтайм-срэдаў для LLM падходзіць для кожнага наступнага этапа: llama.cpp, LM Studio, vLLM і супаўзвязаныя інструменты.
15 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.