Галоўная / Артыкулы

Чатыры стратэгіі памяці для AI-агентаў: слізгальныя вокны, FAISS і GraphRAG

Параўнанне спосабаў даць LLM-агенту памяць: ад поўнай гісторыі і слізгальных вокнаў да інвертаваных індэксаў, семантычнага пошуку FAISS і графа ведаў GraphRAG.

Выдавец: REACTAPP.TOP7 хв чытання1497 слоў

Крыніцы: Building Intelligent Context Memory for AI Agents

Агент, створаны толькі з LLM і калькаў інструментаў, функцыонуе, прыблізна. Тое, што робіць яго надзеяным і персональным, — цэх памяць: сховішча паканальных перадач і кантэксту, якія дазваляюць агенту даўаць болей тачныя адказы з часам. Памяць таксама дазваляе кантэксту пераносіцца между взаімадзеяннямі, укладаючы нават тады, калі калька агентаў саееднаюцца над аднай задачай, таму сістэма застаецца ў кантролі над тым, чаго на самай працоўкаючы корыстувальнік.

З урахоўванням актуальнага фону і ныякіх уводных дадзенняў агент можа выбраць адна з калька дзеянняў: вызваць інструмент, задаць корыстувальніку уточняючы вопыт або адразу даць адказ. Памяць і ў тым, што ператварае яго з простаго рэактыўнага адпаведчыка ў асістэнта, які застаецца стабільным.

Ніжчэ прыведзены чатыры стратэгіі памяці, распараджаныя ад самай простай да найболей здольнай: адправка цэлагісторыі, „роляйнг-віндава“, пошук супаданняў у міжзместных паканальных, і граф аднаўлення.

Варыянт 1: адправка цэлагісторыі

Сучасныя мадэлі на адміністрацыі прыемляюць вельмі большыя акна кантэксту. Напрыклад, семья GPT-5.4 падае да 1,05 мільйона токэнаў, што дастатнька для цэлых баз коду чыль большых набораў дакументаў. Гэта робіць лёгкі падход прывабным: дадаць кожную ранейшую паведамленне, можліва з кальколька сэсій, да кожнага новага запіту і падаць на адпаведнае рашэнне сістэме адзіркавання.

messages: Annotated[List[BaseMessage], add_messages]

Яго лёгкаа стварыць, і ён падходзіць для задач на короткі трымкі. Аднак, калі разговоры практычна падаюць у дзейсці, прыбывае множнацца проблем:

  • Занадта вялікі кантэкст, несувязанный з задачай, можа перавантажыць мадэль.
  • Механізм увагі ёсць незрозумелым, таму выходныя даныя могу стаць нестабільнымі.
  • Інжынерам труднаясяць паспраўдаваць, чаму майжэ ідэнтычныя вхідныя даныя даюць разныя адпаведзі.
  • Колькасць токэнаў зростае з кожным крокам, і ўзрастае такса ўтрыманні.
  • Большы кантэксты вымагаюць большай апрацоўкі, таму зростае час адпаведзення.

Косц і час адпаведзення на кожны запіт стабільна падаюць, калі історыя разговораў практычна падае, а ў сістэмах-агентах у прыменні такой падход становіцца неэфектывым і важкім для керавання.

Варыянт 2: актуальны вікна кантэкста

Альтэрнатыва — абмежэнне колькасці няўжоўных взаімадзеянняў, якія адправляюцца. Гэта ёсць актуальнае вікна кантэкста, і яго размер можна налаштаваць па колькасці прыемленаў або токэнаў.

Уключэнне толькі найсяродзейшых N аб’еднанняў дае разрабоцкім групам контроль над выкарыстаннем токенаў, зменшае запазджэння і дае можлівасць прыбліжна расчысляць косты. Гэта падходзіць для задач, якія большасцю керуюцца няўзрычымі дзеяннямі. Аднак калі агенту патрэбны старэйшыя або давгастраўныя факты, скорачаны перыод часу прыводзіць да частковага розумення і некорэктных рэзультатаў.

WINDOW_SIZE = 6
#Added a wrapper method for return window messages
def rolling_add_messages(old, new):
  combined = add_messages(old, new)
  return combined[-WINDOW_SIZE:]

class AgentState(TypedDict):
  messages: Annotated[List[BaseMessage], rolling_add_messages]

Варыант 3: пошук за словамі, а потым за значэнням

Інверсійній індэкс — гэта структура даных, створэна для дужэ швідкого пошуку повного тэксту. Ён прамо відносіць слова або чысла до місць іхняга знаходжэння в одному або кількох документах.

Застосування яго до історыі чату означае створэння індэксу мінуліх повідомлень, а потым вібір тых, які найкрашчэ відповідаюць словам нового запіту. Мадэль отрымуе лішэ відповідні фрагменты, што рызко скорочуе кантэкст, але зберыгае рэлевантній матэрыал, навіць з початковоі частыні розмові.

Недоліком ёсць буквальне збігання. У запіты можуць вікорыстовуватыся рызні слова для одніеі ідэі, што прызводыць до втраты кантэксту і галюцынацій, а схожы запітання можуць отрыматы зовсім рызні адказы. Базовій індэкс можна створыты і вікорыстовуваты такім чыном:

def build_inverted_index(messages):
    index = defaultdict(set)

    for i, msg in enumerate(messages):
        words = msg.lower().split()
        for word in words:
            index[word].add(i)
    return index

def search_context(query, index, messages):
    query_words = query.lower().split()

    matched_ids = set()

    for word in query_words:
        if word in index:
            matched_ids.update(index[word])

    return [messages[i] for i in matched_ids]

Семантычныя пошукі усуваюць гэтую слабасць, адколі аналізуюць намеры і значэнне, а не толькі ключавыя словы. Яны зменшаюць галюцынаціі і робяць адказы болей надзеянымі. Працэс працюе так: рэчыцца дзеліцца на токены, а лёгкія модэлі імбеддынгу ператвараюць іх у векторы. Кожны токен-вектар корэгуецца за дапамою сваіх суседзяў, а потым усе токен-вектары з’едынаюцца ў адны вектор для цэлай рэчыцы. Гэтыя векторы зберагаюцца ў базе дадзеных вектораў.

Запіт таксама праходзіць праз тую ж ператворэння і паруецца з захаванымі векторамі за дапамою косай схожасці — гэта коса кутоў межы двух вектораў. Рэзультат блізкі да 0.9 означае вельмі схожае значэнне, а меншы за 0.3 зазвычай значыць, што запіт не адносіцца да даных. Програмы можаць задаць сабе сваія порогі. Пасля чаго найлепшыя падходжанні перадаюцца фундаментальнай модэлі.

У зразку коду маленькія мадэль Sentence Transformers, якая ўжо натрэнавана, спрацоўвае разам з FAISS — базай дадзеных вектараў у памяці, каб атрымваць кантэкст на аднойчынку значэння.

from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

# Sample data
sentences = [
    "schedule meeting tomorrow",
    "send project report",
    "prepare meeting agenda"
]

# Load embedding model
model = SentenceTransformer("all-MiniLM-L6-v2")

# Convert sentences into vectors
embeddings = model.encode(sentences)

# Create FAISS index
index = faiss.IndexFlatL2(embeddings.shape[1])
index.add(np.array(embeddings))

# Search
query = "plan meeting"
query_vector = model.encode([query])

distances, indices = index.search(np.array(query_vector), k=2)

print([sentences[i] for i in indices[0]])

Без такога адзыявання кожны запіт пачынаецца з нуля і ігнаруе тое, што было выявлена ў паказваннях раней, чымагчыма ствараецца блізкі да аб’ектыўнасці, але бедны досвяд. За ўмовы яго наяўнасці сістэма шукае сэмантычна блізкі кантэкст у паказваннях, якія былі раней, калі прыходзіць новы запіт. Вікна кантэксту дзеліцца, так што ёсць меса і для найсвежэйшага дыялогу, і для адзыяванага історыі. Тады агент можа адпавядаць у спакоі з праганнямі корыстніка і ранейшымі паказваннямі, чымагчыма досвяд стае болей адпаведным і знайомым. Фактычна, ранейша адзыяваная інформацыя служыць досвядам, які павышае якасць тэчнае адпаведзі.

Варыянт 4: граф інформацыі з GraphRAG

Знаходзіць правы кантэкст стае складным, калі інформацыя распадзелена між разнымі паказваннямі або дасягамі. Чыстая сэмантычная пошукавальная сістэма можа зафіксаваць толькі частку неабходнай інформацыі, а таксама працягнуць перакідваць дэталі, якія разніцаюцца ў формулаванні, але логічна з’яўляюцца повязанымі.

Возьмімо запіт "Чаму была затрэмлена оплата?" Семантны пошук можа выявіць паведамленні пра затрэмленне оплаты або транзакцыю, якая чакае, але ўсё ж працягне працэю з "затрэмленне затверджэння з боку фінансавага аддзела" або "перакананне ў супакоўнасці не завершана". І адна, і другая прычыны пояснююць затрэмленне, але ўжо самы тлумачэння мала супадаюць з запытам, таму сама ліш тэкстовая сэмалія не дапаможа ў ўсуненні проблемы.

GraphRAG дапамагае ў такіх сітуацыях. Ён мадэлюе інфармацыю як граф, дзе кожны дакумент або панява ёсць вузлом, а стосункі — рэшткамі, што дазволяе адбаваць структураваныя і сувязаныя способы пошуку. Аднак гэта мае сваю цену: граф, які павінен змініцца пад час працы ў момент падачы новых фактов, выклікае значныя вычысловыя навантажэння і додатковыя вімогі да праектавання.

Стварэнне графа знанняя зазвычай адбываецца за чатырма крокамі:

  1. Выклікайце вузлы, тыя ўосабліваюць аб’екты чы рэчыпцы.
  2. Выклікайце зв’язкі межы ўсімі вузламі.
  3. Задаце онтологію, тыя ўскладнюе структуру і схему графа.
  4. Заполніце граф дадзеннямі.

Рэзультатныя структуры даюць болей насыцаны, лепшая скасаваны кантэкст, чым толькі аналіз сэмантычнай садоўнасці, і маюць меньш колькасць працягнутых зв’язкаў.

Бібліятэка GraphRAG ад Microsoft можа автаматычна выклікваць аб’екты і зв’язкі ў кантэнце і ствараць граф на ўсходзе.

Шаг 1: наладзіце праект. Установіце GraphRAG і створыце рабочую дырэктарыю.

pip install graphrag
graphrag init --root ./graphrag_demo

Каманда стварае папку з input/, settings.yaml і prompts/. Адыявальныя дакументы кладуцца ў input/.

Шаг 2: стварэнне графа. Каманда індэксавання выявляе энтыты, знаходзіць асоцыяцыі і стварае граф.

graphrag index --root ./graphrag_demo

3-й крок: адаптаваць яго. Пасля чаго можна адаптаваць створаную графіку.

graphrag query \
 — root ./graphrag_demo \
 — method global \
 “Why was the payment delayed?”

Сістэма збірае сувязаны кантэкст у всім графе, што дазваляе выконваць мнагапрыходзовыя расчынання замест таго, каб паслужыцца толькі сэмантычным супадзеннем.

Як усе складаецца

Точныя, персаналізаваныя агенты патрабуюць больш, чым проста зусвайомленасць ключоўых слоў чы ізольаванае супадзенне. Інвертаванный індэкс эфектыўна скарочвае кантэкст, а сэмантычны пошук захоўвае перваснаву мету, пры тым аба падходы можу не бачыць звязкаў, якія распрастраняюцца між калькамі веды. GraphRAG заполняе гэты прасвет, арганізуючы інфармацыю як сувязаныя ентыты і звязкі, такім чынам расчынанняя можа пераходзіць між кантэкстамі, а не проста скупляць фрагменты з аднаковым візуальным выглядам. Гэта пераключае агенты з паверхневага выкарыстоўвання інфармацыі на розумеўне таго, як паўтараюцца адносы між канцэпцыямі.

Разам абляцыйныя вікна, семантычны пошук, запам’ятовванне досвіду і адгэтування графа ствараюць агенты, якія запам’ятовуюць рэлевантныя дэталі і аналізуюць іх, чым даюць болей повныя адказы, меншае колькасць галюцынацый і стабільнейшы, болей персоналізаваны досвід. Пам’ятка агента пераходзіць з хранення інформацыі да з’ўязку знаёмасцей, і гэты пераход дазволяе AI-асістэнтам растаць з асістэнтов, якія разумеюць кантэкст, да асістэнтов, якія можаць разважаць у кантэксце.