Практычныя нататкі: «RAG мёртвы» — LLM Wiki Андрэя Карпаці як наступны крок

Наступныя прыміткі паказваюць практычны падход да рашынення тэкста «RAG Is Dead. LLM Wiki — Andrej Karpathy’s Idea — Is What Comes Next». Акцэнт ставіцца на контракты, перакананняя і мескі для коду, а не на мотывацыйныя аспекты. Калі працуеце над адмітарным раздэлам, спачатку запісайце контракт: неабяжлівыя даныя, сігнал успеху і тое, што выканаецца у разы ўзельнага нявыпалення. Такі чэрнік дапамагае заліцьварыць пазнейшыя змены ў кодзе. Документавайце як «шчаслівы» падход, так і падход для вяселення. Перапрыбуткі, людзкія контралі і обработка некорэктных паведамленняў ёсць часткай продукту, а не чыставаючымі елементамі.

Што такое LLM Wiki?

Што такое LLM Wiki? Ён працюе найкрашча, калі яго розглядаць як меравальную плошчу. Зафіксавайце адны ідэальны прыклад, адну справу з бягамі і прыметку па поверненню да пачатковага стану пры расшырэнні масштаба. Валіце варою маленькія, тэставальныя елементы замест большых скрыптов. Калі якісь крок збягае, прычына бягу должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Задаўце ліміт токенав на кожны рунг і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

Чатыры способы рэалізацыі

«Чатыры рэалізацыі» працуюць наяўней, калі іх спрыяваць як мерыемую паверхню. Зафіксавайце адна ідэальная транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштабы. Спрыяйце гэтам этапу як кантракту межа вхіднымі данымі і падтвердзенымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаць крытэрыя успеху і не падзеўляйцеся частым, непূরным выкананням задач. Задаць бюджэт токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

1. nashsu/llm_wiki — Дэсктопны прыстрой

1. nashsu/llm_wiki — Дэсктопны ўсёработка працуе наякша, калі яго спрыяваць як меравальную плошчу. Зберажыце адны ідэальны прыклад працы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць сферу прыменнення. Запісвайце час выканання задач і кост токеноў або запытаў разам з рэзультатамі ўсёработкі. Відразлівае паказанне костаў запобегае неспадзяваным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя асяроддзя. Задаце бюджэт токеноў на кожны раунд і на кожную сесію. Агентскія інструменты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмаверсіям ператварыцца на неспадзяваныя рахункі.
2. nashsu/llm_wiki — Дэсктопны ўсёработка працуе наякша, калі яго спрыяваць як меравальную плошчу. Зберажыце адны ідэальны прыклад працы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расшырваць сферу прыменнення. Дакументавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкія контрольны пункты і обработка некорэктных запытаў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

git clone https://github.com/nashsu/llm_wiki.git
cd llm_wiki
npm install
npm run tauri dev

2. nvk/llm-wiki — Адэнтны плагін

Для 2. nvk/llm-wiki — The Agent Plugin: перад змянайом код неабяжна задаць вхідныя даны, адміністратара крока і крытэрыя завершэння. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не прабуючы спадарацца прыватны стан. Валідзіце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выконваецца, прычына нехацька вказваць на адзін конкрэтны аспект, а не на заплутаны ланцюг задач. Калі наступны крок — гэта код або вызов інструмента, валідзіце структураваныя выходны даны з парадаксамі, а не просты прозаічны тэкст.

# For Claude Code users
claude plugin install wiki@llm-wiki

# For Codex users
codex plugin marketplace add nvk/llm-wiki# For any LLM agent (including local)
git clone https://github.com/nvk/llm-wiki.git
cp llm-wiki/AGENTS.md ./AGENTS.md
# Pass AGENTS.md as the system prompt to your local agent runner

/wiki init                              # Create ~/wiki/
/wiki:research "machine learning" --sources 10
@wiki query "what is attention mechanism"
@wiki audit                             # Find gaps

3. Pratiyush/llm-wiki — The Transcript Wiki

Для пункта 3. Pratiyush/llm-wiki — The Transcript Wiki, перад змянайом код неабяжна задаць вхідныя даны, адміністратара крока і крытэрыя завершэння. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозруючы прыхованы стан. Спрыяйце цім этапу як даговору межа вхіднымі данымі і паверанымі выходнымі рэзультатамі. Даць назвы артыфактам, задаць перакананні на успех і адмовіцца ад беззвучнага частковага завершэння. Калі наступны крок — гэта код або вызов інструмента, валідаваць структураваныя выходныя даны з валідацыёю схемы, а не просты прозаўны тэкст.

git clone https://github.com/Pratiyush/llm-wiki.git
cd llm-wiki
./setup.sh            # or setup.bat on Windows
pip install -e .

llmwiki sync          # Parse your transcripts
llmwiki build         # Generate static HTML
llmwiki serve         # Browse at http://localhost:8080

llmwiki mcp start

4. lucasastorian/llmwiki — The MCP-Powered Wiki

Для 4. lucasastorian/llmwiki — Вікі, якая працюе на базе MCP, паказвайце вхідныя даны, адміністратара крока і крэтырыя для завершэння пры зміне коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю без адгадвання захаванага стану. Запісуйце час выканання і кост токена або запыту разам з функцыйнальнымі рэзультатамі. Відразувыя даны пра косцы запобегаюць неспакоўным рахункам, калі парадок пераходзіць з дэмавайго сераўера у спяльныя сераўеры. Калі наступны крок — гэта код або вызов інструмента, валічыце структураваныя выходныя даны з паўнай верыфікацыей схемы працою над вольным тэкстам. Для 4. lucasastorian/llmwiki — Вікі, якая працюе на базе MCP, паказвайце вхідныя даны, адміністратара крока і крэтырыя для завершэння пры зміне коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю без адгадвання захаванага стану. Документуйце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што будзе дадаўце пазней.

і т. п.

git clone https://github.com/lucasastorian/llmwiki.git
cd llmwiki

cd api && pip install -r requirements.txt && cd ..
cd web && npm install && cd ..export ANTHROPIC_API_KEY=your_key_here
./llmwiki init
./llmwiki open ~/your-documents

Кой мадэль вам трэба выкарыстоўваць?

Калі працуеце над пытаннем «Кой мадэль вам трэба выкарыстоўваць?», спачатку запісайце умовы дагавору: неабходныя даны, сігнал успеху і тое, што выходзіць на падчасныя неудачы. Такі чарт дапамагае залічнаць змяны ў кодзе пазней. Валічыце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выходзіць, неудача должна адносіцца да адной адпаведальнасці, а не да заплутанага ланца задач. Зберагайце у кэшы стабільныя інструкцыі сістэмы і схемы інструментаў. Перадзял у тое ж самае прамаргінале — частая прычына вітрачання рэсурсаў.

Ollama проты vLLM

Калі працюеце над параганамі Ollama vs vLLM, спачатку запісайце угоду: неабяжлівыя даныя, сігнал успеху і тое, што выходзіць у разе частковага невыпання. Такі спіс контролю дапамагае заліцьварыць пазнейшыя змены ў кодзе. Спрэцьвачайце гэты этап як угоду межа данымі і перакананымі выходамі. Дайце назву рэзультатам, задацьце крытэрыя успеху і не прымайце часткова завершанне без паведамлення. Зявляйце логі з ідэнтыфікаторам запросу, ідэнтыфікаторам мадэлі і часам адзначэння кожнага вызову. Без такога следу перыадычныя кантакты з прадастальнікам выглядаюць як багі ў прыемніку.

Рэкамендаціі па мадэлях

Калі працюеце з рэкамендацыямі модэляў, спачатку запісайце угоду: неабходныя даны, сігнал успеху і тое, што выканаецца у разы частковага нявыполнення. Такі спіс контроля дапамагае заліцварыць пазнейшыя змены ў кодзе. Запісвайце час выканання і кост токеноў або запытаў разам з функцыйнальнымі рэзултатамі. Відразы костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмавайшага рэжыма ў спяльныя сераўры. Зберагайце у кэшы стабільныя інструкцыі сістэмы і схемы інструментаў. Перадача тых самых даных знову ёсць частым выклікам для рэсурсаў. Калі працюеце з рэкамендацыямі модэляў, спачатку запісайце угоду: неабходныя даны, сігнал успеху і тое, што выканаецца у разы частковага нявыполнення. Такі спіс контроля дапамагае заліцварыць пазнейшыя змены ў кодзе. Дакументавайце як шлях успеху, так і шлях вяснавання сітуацыі. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных запытаў ёсць часткай продукту, а не пазнейшым дапрацоўкам.

Работа з Ollama

Работа з Ollama будзе найэфектывнейшая, калі ўваходзіць у працэс як меркаваная структура. Запісаўце адна ідэальная транскрыпцыя, адзін прыклад неудачы і прыметкі па поверненню да попярэднья версіі пры расшырэнні масштаба. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выходзіць, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцюг задач. Зафіксавайце інтэрпрэтара і файл з правіламі залежнасцяў пры тым, як учыце цікл. Разніця межу лептопам і сістэмай CI — гэта найчастэйшая тыха прычына збою ў дэманстраціях API.

ollama pull qwen2.5:14b

# The API is now at http://localhost:11434
# OpenAI-compatible endpoint: http://localhost:11434/v1

Работа з vLLM

Работа з vLLM будзе найэфектывнейшая, калі яго спрыяваць як меравальную плошчу. Зафіксавце адны ідэальны прыклад работы, адну сітуацыю неудачы і прыметкі па поверненню да пачатковага стану, перш чым расшырваць масштабы. Спрыявайце гэты этап як кантракт межа вхіднымі данымі і паверынутымі выходамі. Даўце назвы артыфактам, задаце крытэрыя успеху і адмовіцеся ад тыхняй частковай працы без паведамлення. Задаце ліміт токеноў на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расшырваюць кантэкст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўлівыя рахункі.

pip install vllm

vllm serve Qwen/Qwen2.5-14B-Instruct \
  --max-model-len 131072 \
  --host 0.0.0.0 \
  --port 8000

vllm serve Qwen/Qwen2.5-1M \
  --enable-chunked-prefill \
  --max-model-len 1000000

Выбір правільнай рэалізацыі

Выбір правільнай рэалізацыі дае найлепшыя рэзультаты, калі яго рассматрываць як параметр, які можна змерыць. Зберагчыце адны ідэальны прыклад работы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштабы. Запісвайце час выканання задач і вартасць токеноў чы выкарыстоўвання запітаў разам з функцыональнымі рэзултатамі. Відразувая візуабельнасць вартасцей можна ухіліцца ад неспакою, калі працэс пераходзіць з дэмаверсіі ў спяльныя сераўы. Задаць ліміты на колькасць токеноў за раунд і за сесію. Інструменты з агентным падходам актыўна расшырваюць кантэкст; жорсткія ліміты не дазволяюць дэмаверсіям ператварыцца на неспакойныя рахункі. Выбір правільнай рэалізацыі дае найлепшыя рэзультаты, калі яго рассматрываць як параметр, які можна змерыць. Зберагчыце адны ідэальны прыклад работы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расшырваць масштабы. Дакументавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкі контроль і обработка некорэктных паведамленняў ёсць часткай продукту, а не етапамі далейшай доўнелівання.

Чаму гэта важна

Кабы зразумець, чаму гэта важна, перад змянайом код неабходна ўзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння. Аператары должны магчымае перадзягнуць крок з вядомай точкі контролю, не падозрываючы схованы стан. Валідзіце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына неха вказывае на адну адпаведальнасць, а не на заплутаны працэс. Калі наступны крок — гэта код або вызов інструмента, валідзіце структураваныя выходны даны з парадактамі схемы замест вольнага фармата тэксту.

Спіс пераканае для пачатку

Для чарткі з пачатку працы неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння перад змінайом коду. Аперацыяныя працавнікі павінны магчымае перадзягаць крок з вядомай точкі контролю, не падозрываючы схованы стан. Спрыяйце гэтам этапу як даговору між вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, узначыце перакананні успеху і адмовіцеся ад тыхоўскага частковага завершэння. Калі наступны крок — гэта код або вызов інструмента, валідаванне за дапамою схемы лепша, чым вольная проза з структураванымі выходнымі данымі.

Пашанацькі паведамленне ад нашага заснавальніка

Для паведамлення ад нашага заснавальніка неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры зміне коду. Аперацыйныя спецыялісты должны магчыма ўвайсці крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выканання і вартасць токена або запыту разам з функцыйнальнымі рэзултатамі. Відразы вартасці з самага пачатку запобегае неспакоўным рахункам, калі працэс пераходзіць з дэмовай асяроддзя ў спакульную. Калі наступны крок — гэта код або вызов інструмента, валідуйце структураваныя выходныя даны за дапамою схемы, а не простае тэкстовае выказванне. Для паведамлення ад нашага заснавальніка неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і крытэрыя завершэння пры зміне коду. Аперацыйныя спецыялісты должны магчыма ўвайсці крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Дакументавайце як «шчаслівы» шлях, так і шлях вяснавання проблем. Перапрыбуткі, людзкія контрольныя пункты і обработка некорэктных паведамленняў ёсць часткай продукту, а не чымсь, што дадаецца пазней.

Чэк-ліст для аперацый

Для канцэларскага чак-ліста, пры змяне коду, неабходна ясная ваказка пра вхідныя даны, адміністратара практыкі і крэтыяры завершэння. Аперацыйныя працавнікі павінны магчымаць перзапуск практыкі з вядомага контрольнага пункту, не спрабоўваючы здогадвацца пра схованы стан.

Конфігурацыю трэба зберагаць праза код аплікацыі. Файлы сяродавішча, хранальнікі секрэтных дадзеных і флагі функцыйяў павінны знаходзіцца ў адном месцы, якое працавнікі можуць пераглядаць, не чытаючы весь код.

Калі наступны крок — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даны з перакананнем схэмы, чым вольныя тэкстовыя апісанні.

Перад налаштаванням запытаў трэба замерыць рэгрэт на фіксаванай сэтке запытаў. Частае змяненне запытаў рэдка калі-небудзь выправляе слабыя аспекты адналічэння дадзеных.

Работу з выкананнем трэба залічваць дышучай, а складныя вырахункі — выпраўляць праз мемаізацыю толькі пасля замероў. Недакладная мемаізацыя можа сховаць багі, вызваные застарэлымі дадзеннямі.

Калі чыгуць бюджэт, дадзіце тэст на выкананне крытычнага шляху ў сістэме CI з вікорыстанням фіксатываў, а не рэальных платных API.

Перш чым пераходзіць да наступнага крока, заморозьце версіі, зафіксавайце «золаты» транскрыпты для крытычнага шляху і паказвайце способы абраткі змян. У спадзеленых срэдах неабходны ліміты на колькасць запытоў, перакананні ў прыналежнасці і чысткі власнік для змены секрэтных даных. Лепш выбіраць простую надзею на надзейнасць, чым крэатывныя, але еднакратныя дамы.

Прыметка для a71fa3c414a4: не кладзіце ключы прадаўцаў у рэпазітарый, задаце ліміт на токены на кожную сесію і зберагаце транскрыпты разам з фіксатывамі, каб пазнейшыя змены модэляў заставаліся пораўнаныя.