Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: NLP
Почему существует RAG: параметрическая память, плотный поиск и статья 2020 года.
Почему существует RAG: ограничения параметрической памяти, как BM25 и эмбеддинги привели к плотному поиску, и какие компромиссы существуют между RAG-Sequence и RAG-Token в данной статье.
7 мин чтенияПодтверждения заказов аудита, которые агент никогда не оформлял: проверка значений вместо формулировок
Как создать инструмент оценки согласованности заявок для оператора поддержки, который оформляет реальные заказы: разделить результаты по владельцам, проверить идентификаторы с помощью результатов инструмента.
16 мин чтенияОчистка данных для производственного RAG: кодирование, OCR, удаление дубликатов и обработка персональных данных
Как преобразовать разобранные корпоративные документы в текст, готовый к поиску: устранение проблем с кодировкой, удаление шаблонных элементов и дубликатов, обработка рискованных флагов OCR, работа с языками и маскировка персональных данных.
21 мин чтенияКак технология RAG снижает галлюцинации в LLM: процесс поиска информации, эмбеддинги и применение в корпоративных системах
Почему большие языковые модели отвечают неверно, но с уверенностью, и как технология RAG обеспечивает их основание в текущих данных: двухчастная архитектура, эмбеддинги, компромиссы и ограничения при тонкой настройке.
9 мин чтенияОт правил к трансформерам: как NLP научилась понимать контекст
Краткая история обработки естественного языка: системы на правилах, N-граммы, марковские модели, векторы слов, RNN, внимание, трансформеры и большие языковые модели на их основе.
7 мин чтенияЗачем трансформерам синус и косинус для позиционного кодирования
Пошаговое объяснение синусоидального позиционного кодирования: почему внимание не видит порядок слов, часы с разной скоростью, разобранный пример на 12 измерениях и вращение.
8 мин чтенияТрансформер с нуля на PyTorch: внимание, энкодер и декодер
Пошаговый код на PyTorch для ключевых частей трансформера: позиционное кодирование, scaled dot-product и multi-head attention, feed-forward слои, стек энкодера и основы декодера.
8 мин чтенияПочему индийские языки стоят больше токенов в LLM и как чинят токенизаторы
Одно и то же предложение занимает 5 токенов на английском и 34 на тамильском. Как к этому приводят обучающие данные BPE, что меняют перебалансировка и размер словаря и как работает расширение словаря.
8 мин чтенияИнженерия уздечек: основа надежных ИИ-агентов
Используйте инженерию управления в качестве основы надежных ИИ-агентов: что такое LLM, что делает его агентом, и что добавляет механизм управления в сам цикл действий агента.
11 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.