Артыкулы для тых, хто
выводзіць стэк у прод
Арыгінальныя матэрыялы пра React, Node.js, TypeScript і AI — з той жа практыкі, што і наша аператарскае ПЗ. Тэкст артыкулаў па-англійску.
Тэг: transformers
Практычныя прытамулкі: Калі AI павінна выкарыстоўваць сваю памяць? Эксперымент з стойкай памяцюю.
Практычныя прытамулкі: Калі АІ павінен выкарыстоўваць сваю памяць? Эксперымент з Persistent: контракты, перакананні та слоты для коду для команд, якія викорыстоўваюць гэты патэрн.
2969 слоўЧытацьПрацавае выкананне LLM ад початку да канца: прыпраўленне дадзенняяў, декодаванне, кэш KV та выбіранне прыкладоў.
Экскурсія па токенайзеры ў формате, прыдатным для белай дошкі, па процесу стрімінгу — чаму прыпраўленне дадзенняяў залежыць ад вычысленняў, декодаванне — ад пропускной здатнасі, і як GQA, пейджаванне та спекуляцыяі зменяюць эконаміку процесу.
9177 слоўЧытацьСтвораць веб-дзеянні, прыязныя AI, на асабліванні JavaScript і WebGPU у прыглядары.
З’явіліся можласці запускать трансфармеры локальна, выкарыстоўваючы WebGPU, рабочыя процесы, стрімінгаванне токенав і неабяжнае кліентское RAG — пры чым можна планаваць размах модэлю, VRAM, запас батарэі і альтернатыўныя варыянты.
1166 слоўЧытаць
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.