Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: Tokenization
Копируются в одиночку, терпят неудачу в компании: контекстуальная хрупкость токенов, проходящих тест на копирование в изоляции.
Проверка восьми моделей с открытой весовой структурой на токены, которые правильно копируются в одиночку, но теряются или изменяются в контексте, с анализом геометрии вкладок, сохранения задачи и использования инструментов.
32 мин чтенияОт прогнозирования следующего токена к рабочему коду: как большие языковые модели генерируют Python
По порядку объясняются токены, алгоритм softmax, параметр температуры, механизм самовнимания и слои с передачей сигнала вперед, приводится пример пошаговой сортировки, а также жесткие ограничения, вытекающие из процесса прогнозирования.
9 мин чтенияХрупкие токены и бесшумная замена: геометрическое объяснение некоторых галлюцинаций
Некоторые галлюцинации возникают из-за поврежденных или хрупких токенов, которые заменяются на близлежащие до начала процесса рассуждения. Примеры, показатели по моделям и простой тест.
7 мин чтенияОт промпта к токену: как LLM превращает текст в числа и обратно
Проследим путь короткого промпта через токенизацию, эмбеддинги, attention, feed-forward-слои, softmax и сэмплирование, чтобы увидеть, как модель на самом деле выбирает каждое следующее слово.
7 мин чтенияТокенизация — это решение системного дизайна, а не этап предобработки
Как байтовый BPE строит словарь, который видит LLM, почему число токенов зависит от языка, какие сбои это вызывает и что измерить, прежде чем винить модель.
9 мин чтенияПочему индийские языки стоят больше токенов в LLM и как чинят токенизаторы
Одно и то же предложение занимает 5 токенов на английском и 34 на тамильском. Как к этому приводят обучающие данные BPE, что меняют перебалансировка и размер словаря и как работает расширение словаря.
8 мин чтенияКак работает слой эмбеддингов: от текста к ID токенов и векторам в LLM
Понятное для новичков объяснение слоя эмбеддингов: токенизация, таблицы поиска, обучаемые векторы, пример на 205 миллионов параметров и короткое демо на PyTorch с nn.Embedding.
5 мин чтенияОбучаем маленькую LLM с нуля на ноутбуке с 8 ГБ ОЗУ
Как построить аккуратный конвейер данных для обучения трансформера на скромном железе: BPE-токенизатор, TinyStories, токены на диске и батчи для предсказания следующего токена.
5 мин чтенияБюджет токенов против семантических границ: как правильно делить документы на кластеры в RAG
Узнайте, в чем разница между токенизацией и кластеризацией, какое место они занимают в процессе RAG и как разделять документы по смыслу, одновременно измеряя размер с помощью реального токенизатора.
11 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.