Статті для тих, хто
виводить стек у прод
Матеріали про React, Node.js, TypeScript і AI. Перекладений текст показується, якщо він є. Якщо ні — ви бачите англійський текст і примітку про це.
Тег: Evaluation
Форма онтології проти розміру моделі: скільки коштує проектування графа для штучного інтелекту.
Як три безвтратні форми однієї графіки знань у сфері страхування змінили точність, кількість викликів інструментів, кількість токенів та витрати для малих та великих моделей у Azure Cosmos DB.
30 хв читанняП’ятдесят років досліджень у сфері пошуку, які приховані всередині вашої системи RAG.
Розбиття тексту на фрагменти, гібридний пошук, HyDE, переранжування та оцінка – усі ці методи мають десятиліттями існуючі аналоги в галузі пошуку інформації. Огляд досліджень та їхні обмеження.
17 хв читанняЩо знаходить агент для виявлення відмінностей моделей: зміни стилю переважають над незначною налаштуваністю моделі.
Агент для модельного диференціювання перевірив процес фінансової налаштування LoRA: 82% випробувань виявили зміни у довжині та структурі, тоді як бажана зміна логіки залишилася непоміченою.
15 хв читанняАудит процесу отримання даних за технологією RAG щодо застарілих фрагментів, відхилень та шумного контексту.
Аудит Python для отримання даних за технологією RAG: ідеальні запити, критерії кореляції за косинусом, перевірки відхилень за методом Колмогорова-Смірнова та ефективність використання контексту, а також як читати звіт.
12 хв читанняДебагування процесу отримання даних у RAG: Recall@K, BM25, гібридне поєднання та переранжування
Невеликий експеримент із пайплайном RAG, який поставив правильний фрагмент на четверте місце, що демонструє, як розділення на фрагменти, алгоритм BM25, об’єднання рангів та їх переранжування впливають на показники Recall@3 та MRR.
11 хв читанняRAG-Anything на 65 книгах про вино: де метод отримання інформації з графів є ефективним, а де — ні.
Практичний тест графа знань RAG-Anything на 65 PDF-файлах про вино: вибір парсера, витрати, відповіді у вигляді графів проти векторів та проблема з ігристим вином.
12 хв читанняВід прототипу до продакшен-рішення RAG: гібридний пошук, агенти та оцінка.
Архітектура для реалізації RAG у продакшені на .NET: розділення на частини, гібридний та графовий пошук, переранжування, планування запитів, типовий вихід та постійна оцінка.
8 хв читанняЧому продакшн-агенти ШІ потребують більшого, ніж просто хороший запит.
Агентам штучного інтелекту для виробництва потрібно більше, ніж просто хороший запит: контекст, інструменти, пам’ять, механізми обробки помилок, можливість спостереження, тестування та автономність, що відповідають реальному ризику.
7 хв читанняКарта полів RAG: від основних принципів до помилок у продакшені.
Два канали передачі даних, три етапи та список іменованих помилок: як працює генерація з підсиленням за допомогою пошуку, де вона зламується та які рішення усувають кожну проблему.
7 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.