Чотири стратегії пам’яті для AI-агентів: рухомі вікна, FAISS та GraphRAG
Порівняйте способи надання агенту LLM пам’яті — від повної історії та рухомих вікон до зворотних індексів, семантичного пошуку FAISS та графа знань GraphRAG.
Агент, створений лише з LLM та кількох інструментів, функціонує певним чином. Те, що робить його надійним та індивідуальним, — це пам’ять: сховище попередніх діалогів та контексту, яке дозволяє агентові відповідати точніше з часом. Пам’ять також дозволяє контексту переноситися між взаємодіями, навіть коли кілька агентів співпрацюють над одним завданням, тож система пам’ятає, чого насправді хоче користувач.
З урахуванням відповідного контексту та поточних даних вхіду агент може обрати один із кількох варіантів дії: скористатися інструментом, поставити користувачеві уточнювальне запитання чи відповісти безпосередньо. Саме пам’ять перетворює його з просто реактивного відповідача на асистента, який дотримується послідовності.
Нижче наведено чотири стратегії використання пам’яті, розташовані в порядку від найпростішої до найефективнішої: надсилання повної історії, використання „рухомого вікна“, пошук схожостей у минулих повідомленнях та використання графа знань.
Варіант 1: надсилати всю історію
Сучасні моделі на основі фундаментальних архітектур підтримують дуже великі вікна контексту. Наприклад, сімейство GPT-5.4 може обробляти до 1,05 мільйона токенів, що достатньо для цілих баз коду чи великих наборів документів. Це робить спокусливим лінивий підхід: додавати кожне попереднє повідомлення, можливо з кількох сеансів, до кожного нового запиту та дозволяти механізму уваги сортувати їх.
messages: Annotated[List[BaseMessage], add_messages]
Його легко створити, і він підходить для короткочасних завдань. Однак у міру подовження розмови накопичуються проблеми:
- Занадто багато нерелевантного контексту може перевантажити модель.
- Механізм уваги є непрозорим, тому результати можуть бути несумісними.
- Інженерам важко пояснити, чому майже ідентичні вхідні дані призводять до різних відповідей.
- Кількість використаних токенів зростає з кожним кроком розмови, що підвищує витрати.
- Більші обсяги контексту вимагають більше обробки, тому збільшується затримка.
Витрати та затримки за кожен запит постійно зростають у міру накопичення історії розмов, а в системах агентів у промисловому використанні такий підхід стає марнотратним та складним у керуванні.
Варіант 2: динамічне вікно контексту
Альтернатива — обмеження кількості нещодавніх взаємодій, які надсилаються. Це є динамічним вікном контексту, розмір якого можна визначити за кількістю повідомлень або токенів.
Використання лише останніх N взаємодій дає розробникам контроль над витратами токенів, знижує затримки та забезпечує прогнозовані рахунки. Це підходить для завдань, які переважно залежать від нещодавніх кроків. Однак, коли агенту потрібні старіші чи довгострокові дані, скорочений період спричиняє часткове розуміння та неправильні результати.
WINDOW_SIZE = 6
#Added a wrapper method for return window messages
def rolling_add_messages(old, new):
combined = add_messages(old, new)
return combined[-WINDOW_SIZE:]
class AgentState(TypedDict):
messages: Annotated[List[BaseMessage], rolling_add_messages]
Варіант 3: пошук за словами, а потім за значенням
Інверсний індекс — це структура даних, створена для дуже швидкого пошуку повного тексту. Він безпосередньо відносить слова чи числа до місць їхнього знаходження в одному чи кількох документах.
Застосування його до історії чату означає створення індексу минулих повідомлень, а потім вибір тих, які найкраще відповідають словам нового запиту. Модель отримує лише відповідні фрагменти, що суттєво скорочує контекст, проте зберігає релевантний матеріал, навіть з початкової частини розмови.
Недоліком є буквальне збігання. У запиті можуть використовуватися різні слова для однієї ідеї, що призводить до втрати контексту та галюцинацій, а схожі запитання можуть отримати зовсім різні відповіді. Базовий індекс можна створити та використовувати таким чином:
def build_inverted_index(messages):
index = defaultdict(set)
for i, msg in enumerate(messages):
words = msg.lower().split()
for word in words:
index[word].add(i)
return index
def search_context(query, index, messages):
query_words = query.lower().split()
matched_ids = set()
for word in query_words:
if word in index:
matched_ids.update(index[word])
return [messages[i] for i in matched_ids]
Семантичний пошук усуває цю слабкість, інтерпретуючи намір та значення, а не лише ключові слова. Він зменшує галюцинації та робить відповіді більш надійними. Процес виконується так: речення ділиться на токени, а легкий модель ембеддингу перетворює їх на вектори. Кожен токеновий вектор коригується з урахуванням його сусідів, а потім усі токенові вектори об’єднуються в один вектор для всього речення. Ці вектори зберігаються у базі даних векторів.
Запит також проходить через ту саму процедуру конвертації та порівнюється з збереженими векторами за допомогою косинусової схожості — це косинус кута між двома векторами. Оцінка близько 0.9 означає дуже схоже значення, а значення нижче 0.3 зазвичай означає відсутню пов’язаність. Додатки можуть встановлювати власні порогові значення. Найкращі результати потім передаються фундаментальній моделі.
У зразку коду невелика заздалегідь навчена модель Sentence Transformers поєднується з FAISS — базою даних векторів у пам’яті — для отримання контексту за значенням.
from sentence_transformers import SentenceTransformer
import faiss
import numpy as np
# Sample data
sentences = [
"schedule meeting tomorrow",
"send project report",
"prepare meeting agenda"
]
# Load embedding model
model = SentenceTransformer("all-MiniLM-L6-v2")
# Convert sentences into vectors
embeddings = model.encode(sentences)
# Create FAISS index
index = faiss.IndexFlatL2(embeddings.shape[1])
index.add(np.array(embeddings))
# Search
query = "plan meeting"
query_vector = model.encode([query])
distances, indices = index.search(np.array(query_vector), k=2)
print([sentences[i] for i in indices[0]])
Без такого пошуку кожен запит починається з нуля та ігнорує те, чого було досягнуто під час попередніх обмінів, що створює поверхневий та безособовий досвід. З його використанням система шукає у попередніх взаємодіях семантично близький контекст щоразу, коли надходить запит. Вікно контексту розділяється, щоб було місце як для останньої розмови, так і для знайденої історії. Так агент може відповідати відповідно до уподобань користувача та попередніх обмінів, що робить відповідь більш послідовною та знайомою. Фактично раніше набуті знання слугують досвідом, який покращує поточну відповідь.
Варіант 4: граф знань із GraphRAG
Знаходження правильного контексту ускладнюється, коли знання розкидані між різними взаємодіями чи документами. Чистий семантичний пошук може виявити лише частину необхідної інформації та пропустити деталі, які відрізняються формулюванням, але логічно пов’язані між собою.
Візьмемо запит „Чому була затримка оплати?“. Семантичний пошук може видасть повідомлення про затримку оплати або транзакцію, що очікує, але все одно пропустити „Схвалення від фінансової команди ще не отримано“ або „Перевірка відповідності ще не завершена“. Обидва варіанти пояснюють затримку, але їхні формулювання мало схожі на запит, тому лише аналіз схожості не допоможе їх знайти.
GraphRAG допомагає у цьому. Він моделює інформацію у вигляді графа, де кожен документ чи концепція є вузлом, а взаємозв’язки — ребрами, що дозволяє здійснювати більш структурований та взаємопов’язаний пошук. Вартістю є необхідність підтримки: граф, який має змінюватися під час роботи з появою нових фактів, потребує значних обчислень та додаткових зусиль у проектуванні.
Створення графа знань зазвичай включає чотири кроки:
- Визначте вузли, тобто ентитети чи концепції.
- Визначте зв’язки між ними.
- Складіть онтологію — структуру та схему графа.
- Заповніть граф даними.
Отримана структура забезпечує багатший, краще пов’язаний контекст порівняно з схожістю лише самою по собі, з меншою кількістю пропущених зв’язків.
Бібліотека GraphRAG від Microsoft може автоматично виявляти ентитети та зв’язки в контенті та формувати граф.
Крок 1: налаштуйте проект. Встановіть GraphRAG та створіть робочу директорію.
pip install graphrag
graphrag init --root ./graphrag_demo
Команда створює папку з input/, settings.yaml та prompts/. Джерельні документи потрапляють у input/.
Крок 2: створення графа. Команда індексування витягує елементи, знаходить зв’язки та конструює граф.
graphrag index --root ./graphrag_demo
Крок 3: здійсніть запит до нього. Потім можна здійснювати запити до створеної графіки.
graphrag query \
— root ./graphrag_demo \
— method global \
“Why was the payment delayed?”
Система збирає пов’язаний контекст у межах графу, що дозволяє здійснювати багаторівневе міркування замість того, щоб покладатися лише на семантичну схожість.
Як все взаємопов’язано
Для точних, персоналізованих агентів потрібно більше, ніж просте зіставлення ключових слів чи ізольована схожість. Інвертований індекс ефективно скорочує обсяг контексту, а семантичний пошук зберігає первісну мету запиту, проте обидва підходи можуть ігнорувати зв’язки, які поширюються між кількома елементами знань. GraphRAG заповнює цю прогалину, організовуючи інформацію як пов’язані елементи та зв’язки, що дозволяє міркуванням охоплювати різні частини контексту, а не лише збирати фрагменти схожого вигляду. Це спонукає агентів переходити від поверхневого пошуку до розуміння того, як пов’язані між собою поняття.
Разом рухомі вікна, семантичний пошук, пам’ять досвіду та отримання інформації з графів створюють агентів, які згадують відповідні деталі та аналізують їх, надаючи більш повні відповіді, менше галюцинацій та більш стабільний, персоналізований досвід. Пам’ять агентів переходить від зберігання інформації до з’єднування знань, і цей крок дозволяє штучним інтелектуальним асистентам розвиватися від розуміння контексту до його аналізу.