Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: transformers
Практические заметки: Когда ИИ должен использовать свою память? Эксперимент с Persistent
Пошаговое руководство по практическим заметкам: Когда ИИ должен использовать свою память? Эксперимент с Persistent: контракты, проверки и слоты для кода для команд, использующих эту модель.
2969 словЧитатьПолный процесс инференса LLM: предзаполнение, декодирование, кэш KV и выбор примеров
Обзор работы токенизатора в режиме потока с учетом особенностей использования на доске для записи — почему операция предзаполнения ограничена вычислительными ресурсами, а декодирование — пропускной способностью, и как механизмы GQA, пейджинга и спекуляции влияют на экономику процесса.
9177 словЧитатьСоздавайте веб-приложения, оптимизированные для ИИ, с использованием JavaScript и WebGPU прямо в браузере.
Запускайте трансформеры локально с использованием WebGPU, рабочих процессов, потоковых токенов и необязательной реализации RAG с клиентской стороны, планируя при этом размер модели, объем VRAM, расход батареи и варианты резервного функционирования.
1166 словЧитать
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.