Статті для тих, хто
виводить стек у прод
Оригінальні матеріали про React, Node.js, TypeScript і AI — з тієї ж практики, що й наше операторське ПЗ. Текст статей англійською.
Тег: attention
QUOKA простими словами: як вибрати, яку історію KV читати увазі
Як QUOKA пришвидшує prefill довгих промптів: основи KV-кешу, chunked prefill, вибір нетипових запитів, оцінка за максимумом і дешева попередня агрегація для grouped-query attention.
2028 слівЧитатиЩо насправді означає GPT і чому ШІ-інжиніринг лишається інжинірингом
Розбираємо Generative Pre-trained Transformer, механізм уваги, fit і predict та пояснюємо, чому якісна робота з ШІ досі тримається на звичайному інженерному здоровому глузді й правильних питаннях.
845 слівЧитатиKV-кеш простими словами: чому довгий контекст — це рахунок за пам’ять, а не розум
Зрозуміле пояснення KV-кешу: що він зберігає, як порахувати його розмір, чому довгий контекст з’їдає пам’ять і чотири способи зменшити витрати на локальних моделях.
1921 слівЧитатиВід правил до трансформерів: як NLP навчилася розуміти контекст
Коротка історія обробки природної мови: системи на правилах, N-грами, марковські моделі, вектори слів, RNN, увага, трансформери й великі мовні моделі на їхній основі.
1674 слівЧитатиНавіщо трансформерам синус і косинус для позиційного кодування
Покрокове пояснення синусоїдального позиційного кодування: чому увага не бачить порядку слів, годинники з різною швидкістю, розібраний приклад на 12 вимірах і обертання.
1919 слівЧитатиМатематика уваги крок за кроком: від вхідної матриці X до softmax і V
Пройдімо одну голову уваги вручну: звідки беруться Q, K і V, навіщо оцінки ділять на корінь із d_k, як softmax перетворює їх на ваги, плюс приклад на NumPy і нотатки про KV-кеш.
1565 слівЧитатиТрансформер з нуля на PyTorch: увага, енкодер і декодер
Покроковий код на PyTorch для ключових частин трансформера: позиційне кодування, scaled dot-product і multi-head attention, feed-forward шари, стек енкодера та основи декодера.
1819 слівЧитатиЯк працює LLM: токени, увага та передбачення наступного токена
Проста екскурсія архітектурою LLM: від токенів і ембеддингів через увагу й каузальне маскування до генерації, а також чим навчання відрізняється від інференсу.
1801 слівЧитати
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.