ШІ на власному комп'ютері: Ollama, розміри моделей, токени й контекст простими словами

Модель без API-ключа

Уявіть ШІ-модель, яка працює просто на вашому комп'ютері: без API-ключа, без хмарного сервера і без щомісячної підписки. Це реально, і Ollama — один із найпростіших способів. Якщо слова на кшталт Llama, Qwen, Gemma, 7B, контекст 32K чи квантизація поки звучать загадково, нижче — загальна картина без теорії.

Що робить Ollama

Ollama — це інструмент для локального запуску великих мовних моделей (LLM). У звичайному ШІ-сервісі ваш запит іде на сервери компанії:

Your Computer
      ↓
   Internet
      ↓
Cloud AI Server
      ↓
     Model

З Ollama весь цикл лишається на вашому залізі:

Your Computer
      ↓
    Ollama
      ↓
   AI Model

Роботу виконує ваш власний комп'ютер, і в цьому вся принада. Ви завантажуєте модель, запускаєте її і спілкуєтеся з нею з термінала чи з власних застосунків.

Середовище запуску і модель — різні речі

Перше, що варто засвоїти: Ollama — це середовище запуску, а модель — це мозок. Візьмімо таку команду:

ollama run qwen3:4b

Тут ollama — середовище запуску, qwen3 — сімейство моделей, а 4b означає приблизно 4 мільярди параметрів. Тим самим інструментом можна завантажити іншу модель:

ollama run gemma4:e4b

Середовище запуску те саме, змінюється лише мозок. Запам'ятати легко: Ollama — це програвач, а модель — музика.

Як читати «4B»

У назвах моделей вказано розміри на кшталт таких:

3B
4B
7B
14B
32B
70B

Літера B означає мільярди (billions) параметрів, тож у моделі 7B їх близько 7 мільярдів. Розбиратися в математиці за кожним із них не треба. Досить пам'ятати, що більше параметрів зазвичай означає більшу й здібнішу модель, хоча більша не означає автоматично краща, а невелика сучасна модель буває напрочуд доброю. Є й зворотний бік: великим моделям зазвичай потрібно більше пам'яті.

Чому важливі RAM і VRAM

Припустімо, ваш комп'ютер має ось такі характеристики:

RAM  → 16 GB
VRAM → 8 GB

RAM — це звичайна системна пам'ять, а VRAM — пам'ять, якою користується відеокарта. Залежно від заліза й налаштувань моделі можуть використовувати і ту, і ту, а достатній обсяг пам'яті GPU часто помітно пришвидшує роботу. Тому хапати найбільшу модель, яку знайшли, — рідко вдала ідея. Початківцю краще почати з чогось із невеликих розмірів.

Встановлення і запуск першої моделі

Встановлення залежить від платформи. На Mac скористайтеся сторінкою завантаження для Mac або терміналом:

curl -fsSL https://ollama.com/install.sh | sh

На Linux дивіться інструкцію для Linux, там та сама однорядкова команда:

curl -fsSL https://ollama.com/install.sh | sh

На Windows відкрийте PowerShell (подробиці — на сторінці для Windows):

irm https://ollama.com/install.ps1 | iex

Коли Ollama встановлено, модель можна запустити одним рядком:

ollama run qwen3:4b

Якщо моделі ще немає на диску, Ollama завантажить її і відкриє чат. Запитайте, наприклад:

Explain Docker to me like I'm a beginner.

Це відповідає локальна модель — без ключа, без фронтенда й без бекенда. Задіяний лише ваш комп'ютер.

Кілька команд, які знадобляться

Вчити десятки команд не треба. Для основ вистачить цих. Спершу подивіться, що встановлено:

# See installed models
ollama list

Потім завантажуйте, запускайте, видаляйте й вивчайте моделі:

# Download a model
ollama pull qwen3:4b# Run a model
ollama run qwen3:4b# Remove a model
ollama rm qwen3:4b# Inspect a model
ollama show qwen3:4b

Трохи поекспериментуєте — і вони ввійдуть у звичку.

Токени

Модель читає текст не цілими словами. Вона розбиває його на дрібніші одиниці — токени. Навіть коротке речення на кшталт цього ділиться на частини, перш ніж модель його обробить:

Ollama runs AI locally.

Токени важливі, бо кожна модель має контекстне вікно.

Контекстне вікно

Уявіть годинну розмову з ШІ. Щоб не губити нитку, модель мусить пам'ятати, що вже було сказано, і обсяг, який вона здатна враховувати одночасно, називається контекстним вікном. Трапляються такі розміри:

8K
32K
64K
128K

K означає приблизно тисячі токенів, тобто:

32K ≈ 32,000 tokens

Велике вікно найбільше допомагає в довгих розмовах, із великими документами, кодовими базами, агентами й викликами інструментів. Воно стає особливо важливим, коли ви переходите від чат-ботів до агентів.

Більше, ніж вікно чату

Ollama має API, тож із моделлю може спілкуватися ваше власне ПЗ. Типова схема може виглядати так:

Next.js Application
        ↓
     Backend
        ↓
      Ollama
        ↓
    Qwen Model

Тут ви вже не просто балакаєте з ШІ, а будуєте на ньому щось своє. Це можуть бути асистенти для коду, помічники з документами, закриті корпоративні чат-боти, RAG-застосунки, системи автоматизації й агенти — і будувати все з нуля не потрібно.

Від чат-бота до агента

Чат-бот здебільшого відповідає на запитання. Агент уміє користуватися інструментами, щоб довести завдання до кінця. Скажімо, ви кажете йому: «Подивись сервер і скажи, чому впав застосунок». Він цілком може пройти приблизно такі кроки:

Understand the request
       ↓
Check server
       ↓
Read logs
       ↓
Analyze the problem
       ↓
Take an action
       ↓
Report the result

Тут локальні моделі стають цікавими. Ollama може бути постачальником моделі, а агентний фреймворк на кшталт OpenClaw додає інструменти, пам'ять і оточення. Шари складаються так:

AI Agent
           ↓
        OpenClaw
           ↓
         Ollama
           ↓
       AI Model

Локальна модель перестає бути просто відповідачем і перетворюється на механізм міркувань усередині більшої системи.

Локально чи в хмарі?

Локальний варіант пасує не завжди, але має реальні переваги. Дані можуть лишатися на вашому комп'ютері. Платити за кожен запит не обов'язково. Ви самі вирішуєте, яку модель і яку інфраструктуру використовувати. І можна вільно міняти моделі, не морочачись із купою API-ключів.

Хмарні моделі все ж бувають сильнішими, особливо в складних міркуваннях. Тому найкраща відповідь часто — не щось одне, а гібрид, що перевершує обидва варіанти. Прості завдання йдуть локальній моделі:

Simple tasks
     ↓
Local Ollama model

Складні — хмарній:

Complex tasks
     ↓
Cloud AI model

П'ять ідей, які варто запам'ятати

Не переймайтеся, якщо все одразу не вкладеться. Для початку вистачить п'яти ідей. Ollama запускає моделі:

Ollama
  ↓
Runs AI models

Модель — це і є ШІ:

Model
  ↓
The actual AI

Параметри описують можливості моделі:

Parameters
  ↓
Model capacity

Токени — це те, як обробляється текст:

Tokens
  ↓
How AI processes text

Контекст — це скільки інформації модель може враховувати:

Context
  ↓
How much information AI can consider

Коли ці ідеї вкладуться, у решті екосистеми розібратися буде набагато простіше, а спробувати можна просто зараз:

ollama run qwen3:4b

Лише одна команда відділяє «ніколи не запускав модель локально» від ШІ, що працює на вашому комп'ютері. А наступний крок ще цікавіший: перетворити локальну модель на агента, який справді щось робить.