ИИ на своём компьютере: Ollama, размеры моделей, токены и контекст простыми словами

Модель без API-ключа

Представьте ИИ-модель, которая работает прямо на вашем компьютере: без API-ключа, без облачного сервера и без ежемесячной подписки. Это реально, и Ollama — один из самых простых способов. Если слова вроде Llama, Qwen, Gemma, 7B, контекст 32K или квантизация пока звучат загадочно, ниже — общая картина без теории.

Что делает Ollama

Ollama — это инструмент для локального запуска больших языковых моделей (LLM). В обычном ИИ-сервисе ваш запрос уходит на серверы компании:

Your Computer
      ↓
   Internet
      ↓
Cloud AI Server
      ↓
     Model

С Ollama весь цикл остаётся на вашем железе:

Your Computer
      ↓
    Ollama
      ↓
   AI Model

Работу делает ваш собственный компьютер, и в этом вся прелесть. Вы скачиваете модель, запускаете её и общаетесь с ней из терминала или из своих приложений.

Среда запуска и модель — разные вещи

Первое, что стоит усвоить: Ollama — это среда запуска, а модель — это мозг. Возьмём такую команду:

ollama run qwen3:4b

Здесь ollama — среда запуска, qwen3 — семейство моделей, а 4b означает примерно 4 миллиарда параметров. Тем же инструментом можно загрузить другую модель:

ollama run gemma4:e4b

Среда запуска та же, меняется только мозг. Запомнить легко: Ollama — это плеер, а модель — музыка.

Как читать «4B»

В названиях моделей указаны размеры вроде таких:

3B
4B
7B
14B
32B
70B

Буква B означает миллиарды (billions) параметров, так что у модели 7B их около 7 миллиардов. Разбираться в математике за каждым из них не нужно. Достаточно помнить, что больше параметров обычно означает более крупную и способную модель, хотя крупнее не значит автоматически лучше, а маленькая современная модель бывает удивительно хороша. Есть и обратная сторона: большим моделям обычно нужно больше памяти.

Почему важны RAM и VRAM

Допустим, у вашего компьютера вот такие характеристики:

RAM  → 16 GB
VRAM → 8 GB

RAM — это обычная системная память, а VRAM — память, которой пользуется видеокарта. В зависимости от железа и настроек модели могут использовать и ту, и другую, и достаточный объём памяти GPU часто заметно ускоряет работу. Поэтому схватить самую большую модель, какую нашли, — редко удачная идея. Новичку лучше начать с чего-то из небольших размеров.

Установка и запуск первой модели

Установка зависит от платформы. На Mac используйте страницу загрузки для Mac или терминал:

curl -fsSL https://ollama.com/install.sh | sh

На Linux смотрите инструкцию для Linux, там та же однострочная команда:

curl -fsSL https://ollama.com/install.sh | sh

На Windows откройте PowerShell (подробности — на странице для Windows):

irm https://ollama.com/install.ps1 | iex

Когда Ollama установлена, модель можно запустить одной строкой:

ollama run qwen3:4b

Если модели ещё нет на диске, Ollama скачает её и откроет чат. Спросите, например:

Explain Docker to me like I'm a beginner.

Это отвечает локальная модель — без ключа, без фронтенда и без бэкенда. Задействован только ваш компьютер.

Несколько команд, которые пригодятся

Учить десятки команд не нужно. Для основ хватит этих. Сначала посмотрите, что установлено:

# See installed models
ollama list

Затем скачивайте, запускайте, удаляйте и изучайте модели:

# Download a model
ollama pull qwen3:4b# Run a model
ollama run qwen3:4b# Remove a model
ollama rm qwen3:4b# Inspect a model
ollama show qwen3:4b

Немного поэкспериментируете — и они войдут в привычку.

Токены

Модель читает текст не целыми словами. Она разбивает его на более мелкие единицы — токены. Даже короткое предложение вроде этого делится на части, прежде чем модель его обработает:

Ollama runs AI locally.

Токены важны, потому что у каждой модели есть контекстное окно.

Контекстное окно

Представьте часовой разговор с ИИ. Чтобы не терять нить, модель должна помнить, что уже было сказано, и объём, который она способна учитывать одновременно, называется контекстным окном. Встречаются такие размеры:

8K
32K
64K
128K

K означает примерно тысячи токенов, то есть:

32K ≈ 32,000 tokens

Большое окно особенно помогает в длинных разговорах, с большими документами, кодовыми базами, агентами и вызовами инструментов. Оно становится особенно важным, когда вы переходите от чат-ботов к агентам.

Больше, чем окно чата

У Ollama есть API, так что с моделью может общаться ваш собственный софт. Типичная схема может выглядеть так:

Next.js Application
        ↓
     Backend
        ↓
      Ollama
        ↓
    Qwen Model

Здесь вы уже не просто болтаете с ИИ, а строите на нём что-то своё. Это могут быть ассистенты для кода, помощники по документам, закрытые корпоративные чат-боты, RAG-приложения, системы автоматизации и агенты — и строить всё с нуля не нужно.

От чат-бота к агенту

Чат-бот в основном отвечает на вопросы. Агент умеет пользоваться инструментами, чтобы довести задачу до конца. Допустим, вы говорите ему: «Посмотри сервер и скажи, почему упало приложение». Он вполне может пройти примерно такие шаги:

Understand the request
       ↓
Check server
       ↓
Read logs
       ↓
Analyze the problem
       ↓
Take an action
       ↓
Report the result

Здесь локальные модели становятся интересными. Ollama может быть поставщиком модели, а агентный фреймворк вроде OpenClaw добавляет инструменты, память и окружение. Слои складываются так:

AI Agent
           ↓
        OpenClaw
           ↓
         Ollama
           ↓
       AI Model

Локальная модель перестаёт быть просто отвечалкой и превращается в механизм рассуждений внутри более крупной системы.

Локально или в облаке?

Локальный вариант подходит не всегда, но у него есть реальные плюсы. Данные могут оставаться на вашем компьютере. Платить за каждый запрос не обязательно. Вы сами решаете, какую модель и какую инфраструктуру использовать. И можно свободно менять модели, не возясь с кучей API-ключей.

Облачные модели всё же бывают сильнее, особенно в сложных рассуждениях. Поэтому лучший ответ часто — не что-то одно, а гибрид, который обходит оба варианта. Простые задачи идут локальной модели:

Simple tasks
     ↓
Local Ollama model

Сложные — облачной:

Complex tasks
     ↓
Cloud AI model

Пять идей, которые стоит запомнить

Не переживайте, если всё сразу не уложится. Для начала хватит пяти идей. Ollama запускает модели:

Ollama
  ↓
Runs AI models

Модель — это и есть ИИ:

Model
  ↓
The actual AI

Параметры описывают возможности модели:

Parameters
  ↓
Model capacity

Токены — это то, как обрабатывается текст:

Tokens
  ↓
How AI processes text

Контекст — это сколько информации модель может учитывать:

Context
  ↓
How much information AI can consider

Когда эти идеи уложатся, в остальной экосистеме разобраться будет гораздо проще, а попробовать можно прямо сейчас:

ollama run qwen3:4b

Всего одна команда отделяет «никогда не запускал модель локально» от ИИ, работающего на вашем компьютере. А следующий шаг ещё интереснее: превратить локальную модель в агента, который действительно что-то делает.