Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: tokenization
Practical notes: сравнение Glitch Tokens и Fragile Tokens
Пошаговое руководство по Practical notes: сравнение Glitch Tokens и Fragile Tokens: контракты, проверки и слоты для кода для команд, использующих эту модель.
6755 словЧитатьБюджет токенов против семантических границ: как правильно делить документы на кластеры в RAG
Узнайте, в чем разница между токенизацией и кластеризацией, какое место они занимают в процессе RAG и как разделять документы по смыслу, одновременно измеряя размер с помощью реального токенизатора.
2515 словЧитатьСоздание токенизатора с кодированием пар байт с нуля для небольшого GPT
Реализуйте токенизатор BPE на уровне символов на Python, обучите его на WikiText-2, сохраните и сгенерируйте его «отпечаток», а затем переобучите небольшую модель GPT на более коротких и плотных последовательностях токенов.
6236 словЧитатьЦикл следующего токена: когнитивная модель ЯИИ до того, как вы начнёте использовать агентов
Узнайте, как функционируют токены, окна контекста, методы выборки и цикл генерации, с простыми примерами на Python в оффлайн-режиме, которые объясняют, почему существуют RAG, ReAct и LangGraph.
1218 словЧитать
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.