Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: Tokenization
Копіювання окремо – невдача в колективі: контекстуальна крихкість токенів, які проходять тест копіювання в ізольованому середовищі.
Перевірка восьми моделей з відкритою вагою на токени, які правильно копіюються окремо, але втрачають свою функцію або змінюються в контексті, з перевіркою геометрії ембеддингів, збереження завдання та використання інструментів.
32 хв читанняВід прогнозування наступного токену до функціонального коду: як ШІ генерують Python
Токени, softmax, температура, механізм самоуваги та шари з передачею сигналу по ланцюзу пояснюються по порядку, із прикладом поетапної сортування та жорсткими обмеженнями, які випливають з прогнозування.
9 хв читанняКрихкі токени та беззвучна заміна: геометричне пояснення деяких галюцинацій
Деякі галюцинації виникають через пошкоджені або крихкі токени, які під час початку процесу міркувань замінюються на сусідні токени. Приклади, показники для різних моделей та простий тест.
7 хв читанняВід промпту до токена: як LLM перетворює текст на числа й назад
Простежмо шлях короткого промпту через токенізацію, ембединги, attention, feed-forward-шари, softmax і семплювання, щоб побачити, як модель насправді обирає кожне наступне слово.
7 хв читанняТокенізація — це рішення системного дизайну, а не етап передобробки
Як байтовий BPE будує словник, який бачить LLM, чому кількість токенів залежить від мови, які збої це спричиняє і що виміряти, перш ніж звинувачувати модель.
9 хв читанняЧому індійські мови коштують більше токенів у LLM і як лагодять токенізатори
Те саме речення займає 5 токенів англійською і 34 тамільською. Як до цього призводять навчальні дані BPE, що змінюють перебалансування й розмір словника і як працює розширення словника.
8 хв читанняЯк працює шар ембедингів: від тексту до ID токенів і векторів у LLM
Зрозуміле для початківців пояснення шару ембедингів: токенізація, таблиці пошуку, навчувані вектори, приклад на 205 мільйонів параметрів і коротке демо на PyTorch з nn.Embedding.
5 хв читанняНавчаємо маленьку LLM з нуля на ноутбуці з 8 ГБ ОЗП
Як побудувати акуратний конвеєр даних для навчання трансформера на скромному залізі: BPE-токенізатор, TinyStories, токени на диску й батчі для передбачення наступного токена.
5 хв читанняБюджети токенів проти семантичних меж: як правильно розділяти частини тексту в RAG
Дізнайтеся, у чому різниця між токенізацією та чанкінгом, яке місце вони займають у процесі RAG, та як розділяти документи за змістом, водночас вимірюючи їхній розмір за допомогою справжнього токенайзера.
11 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.