Главная / Статьи

Четыре стратегии запоминания для ИИ-агентов: окна с прокруткой, FAISS и GraphRAG

Сравните способы предоставления агенту LLM памяти: от полной истории и оконных функций до обратных индексов, семантического поиска FAISS и графа знаний GraphRAG.

Издатель: REACTAPP.TOP7 мин чтения1497 слов

Источники: Building Intelligent Context Memory for AI Agents

Агент, состоящий лишь из LLM и нескольких инструментов, в некотором смысле функционирует. То, что делает его надежным и адаптированным к конкретному пользователю, — это память: хранилище предыдущих обменов и контекста, которое позволяет агенту отвечать более точно со временем. Память также обеспечивает передачу контекста между взаимодействиями, включая ситуации, когда несколько агентов сотрудничают над одной задачей, так что система помнит, чего на самом деле хочет пользователь.

Исходя из соответствующей предыстории и текущего ввода, агент может выбрать один из нескольких вариантов действий: вызвать инструмент, задать пользователю уточняющий вопрос или сразу ответить. Именно память превращает его из чисто реактивного ответчика в помощника, сохраняющего последовательность действий.

Ниже приведены четыре стратегии использования памяти, расположенные от самой простой к наиболее мощной: отправка полной истории, использование «окна скроллинга», поиск сходства среди прошлых сообщений и использование графа знаний.

Вариант 1: отправка всей истории

Современные модели на основе фундаментальных архитектур поддерживают очень большие окна контекста. Например, семейство GPT-5.4 позволяет использовать до 1,05 миллиона токенов, что достаточно для целых наборов кода или крупных документов. Это делает примитивный подход привлекательным: добавлять каждое предыдущее сообщение, возможно, из нескольких сессий, к каждому новому запросу и позволять механизму внимания сортировать их.

messages: Annotated[List[BaseMessage], add_messages]

Его легко создать, и он подходит для краткосрочных задач. Однако по мере увеличения длины разговора начинают возникать проблемы:

  • Чрезмерное количество нерелевантного контекста может перегрузить модель.
  • Механизм внимания является непрозрачным, поэтому результаты могут становиться несогласованными.
  • Инженерам трудно объяснить, почему практически идентичные входные данные приводят к разным ответам.
  • Количество используемых токенов растет с каждым ответом, что увеличивает затраты.
  • Более крупный контекст требует больше обработки, в результате чего увеличивается задержка.

Затраты и время обработки за один запрос постепенно растут по мере увеличения истории разговора, а в производственных системах с агентами такой подход становится неэффективным и сложным в управлении.

Вариант 2: окно контекста с постепенным обновлением

Альтернатива заключается в ограничении количества недавних взаимодействий, которые передаются. Это и есть окно контекста с постепенным обновлением, размер которого можно задать в зависимости от количества сообщений или токенов.

Использование только самых последних N взаимодействий позволяет разработчикам контролировать расход токенов, снижает задержки и обеспечивает предсказуемость счетов. Это подходит для задач, основанных в основном на недавних действиях. Однако когда агенту нужны старые или долгосрочные данные, сокращенный период приводит к частичному пониманию ситуации и неверным результатам.

WINDOW_SIZE = 6
#Added a wrapper method for return window messages
def rolling_add_messages(old, new):
  combined = add_messages(old, new)
  return combined[-WINDOW_SIZE:]

class AgentState(TypedDict):
  messages: Annotated[List[BaseMessage], rolling_add_messages]

Вариант 3: поиск по словам, затем по смыслу

Обратный индекс — это структура данных, предназначенная для очень быстрого поиска в полном тексте. Он напрямую связывает слова или числа с местами их вхождения в одном или нескольких документах.

Применение его к истории чатов означает индексацию прошлых сообщений, после чего извлекаются те, которые наилучшим образом соответствуют словам нового запроса. Модель получает только соответствующие фрагменты, что существенно сокращает контекст, но сохраняет релевантный материал, даже из начальной части разговора.

Недостаток заключается в буквальном совпадении. В запросе могут использоваться разные слова для выражения одной и той же идеи, из-за чего упускается контекст и возникают галлюцинации; к тому же похожие вопросы могут получить совершенно разные ответы. Базовый индекс можно создать и использовать следующим образом:

def build_inverted_index(messages):
    index = defaultdict(set)

    for i, msg in enumerate(messages):
        words = msg.lower().split()
        for word in words:
            index[word].add(i)
    return index

def search_context(query, index, messages):
    query_words = query.lower().split()

    matched_ids = set()

    for word in query_words:
        if word in index:
            matched_ids.update(index[word])

    return [messages[i] for i in matched_ids]

Семантический поиск устраняет этот недостаток, интерпретируя намерения и смысл, а не только ключевые слова. Он снижает вероятность галлюцинаций и делает ответы более надежными. Процесс работает следующим образом: предложение разбивается на токены, после чего легковесная модель вкладки преобразует их в векторы. Каждый вектор токена корректируется с учетом его соседних векторов, а затем все токен-векторы объединяются в один вектор для всего предложения. Эти векторы хранятся в базе данных векторов.

Запрос проходит через ту же процедуру преобразования и сравнивается с сохраненными векторами с помощью косинусного сходства — это косинус угла между двумя векторами. Оценка близкая к 0.9 означает очень схожий смысл, а значения ниже 0.3 обычно указывают на отсутствие связи. Приложения могут устанавливать собственные пороговые значения. Лучшие результаты затем передаются в базовую модель.

Пример кода сочетает небольшую заранее обученную модель Sentence Transformers с FAISS, внутренней базой данных векторов, для поиска контекста на основе смысла.

from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

# Sample data
sentences = [
    "schedule meeting tomorrow",
    "send project report",
    "prepare meeting agenda"
]

# Load embedding model
model = SentenceTransformer("all-MiniLM-L6-v2")

# Convert sentences into vectors
embeddings = model.encode(sentences)

# Create FAISS index
index = faiss.IndexFlatL2(embeddings.shape[1])
index.add(np.array(embeddings))

# Search
query = "plan meeting"
query_vector = model.encode([query])

distances, indices = index.search(np.array(query_vector), k=2)

print([sentences[i] for i in indices[0]])

Без такого поиска каждый запрос начинается с нуля и игнорирует информацию, полученную в предыдущих обменах, что создаёт поверхностный и безличный опыт. С его использованием система ищет среди прошлых взаимодействий контекст, семантически близкий к текущему запросу. Окно контекста делится, чтобы было место как для последнего диалога, так и для извлечённой истории. Так агент может отвечать в соответствии с предпочтениями пользователя и предыдущими обменами, что делает ответ более последовательным и знакомым. По сути, ранее полученные знания служат опытом, улучшающим качество текущего ответа.

Вариант 4: граф знаний с GraphRAG

Найти подходящий контекст становится сложно, когда знания распределены между различными взаимодействиями или документами. Чистый семантический поиск может уловить лишь часть необходимой информации и пропустить детали, которые отличаются формулировкой, но логически связаны между собой.

Возьмём вопрос "Почему была задержка платежа?" Семантический поиск может выдать сообщения о задержке платежа или транзакции в ожидании, но при этом упустить информацию вроде "Ожидается одобрение от финансовой команды" или "Проверка соответствия правилам ещё не завершена". Оба варианта объясняют причину задержки, но их формулировки мало похожи на вопрос, поэтому одного сходства недостаточно для их нахождения.

GraphRAG помогает в этом случае. Он моделирует информацию в виде графа, где каждый документ или концепция является узлом, а связи — рёбрами, что обеспечивает более структурированный и связный поиск. Однако это требует постоянного обслуживания: граф, который должен меняться во время выполнения программы по мере поступления новых данных, создаёт значительную нагрузку на вычисления и проектирование.

Создание знаниевого графа обычно включает четыре этапа:

  1. Определите узлы, то есть сущности или концепции.
  2. Определите связи между ними.
  3. Сформируйте онтологию — структуру и схему графа.
  4. Заполните граф данными.

Результативная структура обеспечивает более насыщенный и лучше связанный контекст по сравнению с использованием только признаков сходства, при этом уменьшается количество упущенных связей.

Библиотека GraphRAG от Microsoft может автоматически обнаруживать сущности и связи в контенте и формировать граф.

Шаг 1: настройка проекта. Установите GraphRAG и создайте рабочую директорию.

pip install graphrag
graphrag init --root ./graphrag_demo

Команда создаёт папку с файлами input/, settings.yaml и prompts/. Исходные документы помещаются в папку input/.

Шаг 2: построение графа. Команда индексации извлекает сущности, находит связи между ними и формирует граф.

graphrag index --root ./graphrag_demo

Шаг 3: выполнение запроса. Затем можно выполнить запрос к сгенерированной графике.

graphrag query \
 — root ./graphrag_demo \
 — method global \
 “Why was the payment delayed?”

Система собирает связанный контекст по всей графовой структуре, что позволяет использовать многократные переходы в процессе рассуждений вместо ориентации исключительно на семантическое сходство.

Как все соединяется

Для создания точных, персонализированных агентов требуется нечто большее, чем простое совпадение ключевых слов или изолированное сходство. Обратный индекс эффективно сокращает объем контекста, а семантический поиск сохраняет первоначальную цель запроса, однако оба подхода могут упускать из виду связи, распространенные между несколькими элементами знаний. GraphRAG заполняет этот пробел, организуя информацию в виде связанных сущностей и отношений, что позволяет процессу рассуждений перемещаться между различными контекстами вместо сбора фрагментов, имеющих похожий вид. Это позволяет агентам перейти от поверхностного поиска к пониманию взаимосвязей между концепциями.

Вместе скользящие окна, семантический поиск, память опыта и извлечение данных из графов создают агентов, которые вспоминают релевантные детали и анализируют их, обеспечивая более полные ответы, меньше галлюцинаций и более стабильный, персонализированный опыт. Память агентов смещается от хранения информации к связыванию знаний, и это позволяет ИИ-ассистентам перейти от понимания контекста к его анализу.