Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: Evaluation
Структура онтологии против размера модели: сколько стоит проектирование графа для ИИ-агента.
Как три безубыточные структуры одной графовой структуры данных страхования изменили точность, количество вызовов инструментов, количество токенов и затраты для небольших и крупных моделей в Azure Cosmos DB.
30 мин чтенияПятьдесят лет исследований в области поиска информации, скрытых внутри вашей системы RAG.
Разбиение текста на фрагменты, гибридный поиск, HyDE, переранжирование и оценка — все эти методы имеют предшественников, существующих уже десятилетиями в области поиска информации. Обзор исследований и их ограничений.
17 мин чтенияЧто обнаруживает агент для сравнения моделей: изменения стиля перекрывают незначительные корректировки.
Агент для обнаружения отклонений от модели проверил процесс тонкой настройки LoRA в финансовой сфере: 82% примеров выявили изменения в длине и структуре, в то время как запланированное изменение логики осталось незамеченным.
15 мин чтенияАудит процесса поиска в RAG на наличие устаревших фрагментов, отклонений и шумного контекста.
Аудит использования Python для поиска в RAG: золотые запросы, критерии релевантности на основе косинуса, проверки отклонений по методу Колмогорова-Смирнова и эффективность использования контекста, а также способы анализа отчета.
12 мин чтенияОтладка процесса извлечения данных в RAG: Recall@K, BM25, гибридное объединение и повторная классификация
Небольшой эксперимент с пайплайном RAG, в котором правильный фрагмент занял четвертое место, демонстрирующий, как разбиение на фрагменты, алгоритм BM25, слияние рангов и повторная оценка влияют на показатели Recall@3 и MRR.
11 мин чтенияRAG-Anything на 65 книгах о вине: ситуации, когда поиск в графах работает успешно, и ситуации, когда он терпит неудачу.
Практическое тестирование графа знаний RAG-Anything на 65 PDF-файлах о вине: выбор парсера, затраты, ответы в виде графов против векторов и проблемы с игристыми винами.
12 мин чтенияОт прототипа к производственному RAG: гибридный поиск, агенты и оценка
Архитектура для производственного использования RAG в .NET: разбиение на чанки, гибридный и графовый поиск, переранжирование, планирование запросов, типизированный вывод и постоянная оценка.
8 мин чтенияПочему производственным ИИ-агентам нужно больше, чем просто хороший запрос.
Агентам искусственного интеллекта для производства требуется нечто большее, чем просто хороший запрос: контекст, инструменты, память, механизмы обработки сбоев, возможность наблюдения, тестирование и автономность, соответствующие реальному уровню риска.
7 мин чтенияПолевая карта RAG: от первых принципов до сбоев в производстве
Два канала обработки, три этапа и список именованных сбоев: как работает генерация с усилением на основе поиска, где возникают сбои, и какие решения устраняют каждую проблему.
7 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.