Практычныя прытамулкі: RAG ўжо не існуе. LLM Wiki — ідея Андрэя Карпаты — гэта тое, што будзе далей.

Наступныя прыміткі паказваюць практычны падход да рашынення тэкста «RAG Is Dead. LLM Wiki — Andrej Karpathy’s Idea — Is What Comes Next». Акцэнт ставіцца на контракты, перакананняя та мескі для коду, а не на мотывацыйныя аспекты. Калі працуеце над адмітарным разделам, спачатку запісайце контракт: неабяжлівыя даннэ, сігнал успеху та тое, што выканаецца у разы ўзельнага нявыпалення. Такі чэрнік дапамагае заліцьварыць пазнейшыя змены ў кодзе. Документавайце як «шчаслівы» падход, так і падход для вяселення. Перапрыбуткі, людзкія контралі та обработка некоректных паведамленняў є часткай продукту, а не чыставаючымі елементамі.

Што такое LLM Wiki?

Што такое LLM Wiki? Ён працюе найкраща, калі яго розглядаць як меравальную плошчу. Зафіксавайце адны ідеальны прыклад, адну справу з бягамі і прыметку па поверненню да пачатковага стану пры расшырэнні масштаба. Валіце варою маленькія, тэставальныя елементы замест большых скрыптов. Калі якісь крок збягае, прычына бягу должна вказываць на адну конкрэтную адпаведальнасць, а не на заплутаны ланцюг задач. Задаўце ліміт токенав на кожны рунг і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

Чатыры способы рэалізацыі

«Чатыры рэалізацыі» працуюць наяўней, калі іх спрыяваць як мерыемую паверхню. Зафіксавайце адна ідеальная транскрыпцыя, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Спрыяйце гэтам этапу як кантракту межа вхіднымі даннымі і падтвердзенымі выходнымі рэзультатамі. Дайце назвы артыфактам, задаць критэрыя успеху і не падзеўляйцеся частым, непূরным выкананням задач. Задаць бюджет токенав на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўныя рахункі.

1. nashsu/llm_wiki — Дэсктопны прыстрой

1. nashsu/llm_wiki — Дэсктопны ўсёработка працуе наякша, калі яго спрыяваць як меравальную плошчу. Зберажыце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць сферу прыменнення. Запісвайце час выканання задач і кост токеноў або запытаў разам з рэзультатамі ўсёработкі. Відразлівае паказанне костаў запобегае неспадзяваным рахункам, калі працэс пераходзіць з дэмаверсіі ў спяльныя среды. Задаце бюджет токеноў на кожны раунд і на кожную сесію. Агентскія інструменты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэмаверсіям ператварыцца на неспадзяваныя рахункі.
2. nashsu/llm_wiki — Дэсктопны ўсёработка працуе наякша, калі яго спрыяваць як меравальную плошчу. Зберажыце адны ідеальны прыклад роботы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану перш чым расширваць сферу прыменнення. Дакументавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкія контрольны пункты і обработка некоректных запытаў є частью продукту, а не чымсь, што дадаецца пазней.

git clone https://github.com/nashsu/llm_wiki.git
cd llm_wiki
npm install
npm run tauri dev

2. nvk/llm-wiki — Адэнтны плагін

Для 2. nvk/llm-wiki — The Agent Plugin: перад змянайом код неабяжна задаць вхідныя даны, адміністратара крока і критэрыя завершэння. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не прабуючы спадарацца прыватны стан. Валідзіце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выконваецца, прычына нехацька вказваць на адзін конкрэтны аспект, а не на заплутаны ланцюг задач. Калі наступны крок — це код або вызов інструмента, валідзіце структураваныя выходны даны з парадаксамі, а не просты прозаічны текст.

# For Claude Code users
claude plugin install wiki@llm-wiki

# For Codex users
codex plugin marketplace add nvk/llm-wiki# For any LLM agent (including local)
git clone https://github.com/nvk/llm-wiki.git
cp llm-wiki/AGENTS.md ./AGENTS.md
# Pass AGENTS.md as the system prompt to your local agent runner

/wiki init                              # Create ~/wiki/
/wiki:research "machine learning" --sources 10
@wiki query "what is attention mechanism"
@wiki audit                             # Find gaps

3. Pratiyush/llm-wiki — The Transcript Wiki

Для пункта 3. Pratiyush/llm-wiki — The Transcript Wiki, перад змянайом код неабяжна задаць вхідныя даны, адміністратара крока і критэрыя завершэння. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю, не падозрюючы прыхованы стан. Спрыяйце цім этапу як даговору межа вхіднымі данымі і паверанымі выходнымі рэзультатамі. Даць назвы артыфактам, задаць перакананні на успех і адмовіцца ад беззвучнага частковага завершэння. Калі наступны крок — це код або вызов інструмента, валідаваць структураваныя выходныя даны з валідацыёю схемы, а не просты прозаўны текст.

git clone https://github.com/Pratiyush/llm-wiki.git
cd llm-wiki
./setup.sh            # or setup.bat on Windows
pip install -e .

llmwiki sync          # Parse your transcripts
llmwiki build         # Generate static HTML
llmwiki serve         # Browse at http://localhost:8080

llmwiki mcp start

4. lucasastorian/llmwiki — The MCP-Powered Wiki

Для 4. lucasastorian/llmwiki — Вікі, яка працюе на базе MCP, паказвайце вхідныя даны, адміністратара крока і крэтырыя для завершэння пры зміне коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю без адгадвання захаванага стану. Запісуйце час выконання і кост токена або запыту разам з функцыйнальнымі рэзультатамі. Відразувыя даны пра косцы запобегаюць неспакоўным рахункам, калі парадок пераходзіць з дэмавайго сераўера у спяльныя сераўеры. Калі наступны крок — це код або вызов інструмента, валічыце структураваныя выходныя даны з паўнай верыфікацыей схемы працою над вольным текстам. Для 4. lucasastorian/llmwiki — Вікі, яка працюе на базе MCP, паказвайце вхідныя даны, адміністратара крока і крэтырыя для завершэння пры зміне коду. Аператары должны магчымаць перзапуск крока з вядомай точкі контролю без адгадвання захаванага стану. Документуйце як шлях успеху, так і шлях вярнення да нормальнага стану. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных паведамленняў є часткай продукту, а не чымсь, што будзе дадаўце пазней.

і т. п.

git clone https://github.com/lucasastorian/llmwiki.git
cd llmwiki

cd api && pip install -r requirements.txt && cd ..
cd web && npm install && cd ..export ANTHROPIC_API_KEY=your_key_here
./llmwiki init
./llmwiki open ~/your-documents

Кой модель вам трэба выкарыстоўваць?

Калі працуеце над пытаннем «Кой модель вам трэба выкарыстоўваць?», спачатку запісайце умовы дагавору: неабходныя даны, сігнал успеху і тое, што выходзіць на падчасныя неудачы. Такі чарт дапамагае залічнаць змяны ў кодзе пазней. Валічыце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выходзіць, неудача должна адносіцца да адной адпаведальнасці, а не да заплутанага ланца задач. Зберагайце у кэшы стабільныя інструкцыі системы і схемы інструментаў. Перадзял у тое ж самае прамаргінале — частая прычына витрачання ресурсаў.

Ollama проты vLLM

Калі працюеце над параганамі Ollama vs vLLM, спачатку запісайце угоду: неабяжлівыя даннэ, сігнал успеху і тое, што выходзіць у разе частковага невыпання. Такі список контролю дапамагае заліцьварыць пазнейшыя змены ў кодзе. Спрэцьвачайце гэты этап як угоду межа даннэмі і перакананымі выходамі. Дайце назву рэзультатам, задацьте критэрыя успеху і не прымайце часткова завершанне без паведамлення. Зявляйце логі з ідэнтыфікаторам запросу, ідэнтыфікаторам моделі і часам адзначэння кожнага вызову. Без такога следу періадычныя кантакты з прадастальнікам выглядаюць як багі ў прыемніку.

Рэкамендаціі па моделях

Калі працюеце з рекамендацыямі модэляў, спачатку запісайце угоду: неабходныя даны, сигнал успеху і тое, што выканаецца у разы частковага нявыполнення. Такі список контроля дапамагае заліцварыць пазнейшыя змены ў кодзе. Запісвайце час выканання і кост токеноў або запытаў разам з функцыйнальнымі рэзултатамі. Відразы костаў з самага пачатку запобегае неспакойным рахункам, калі працэс пераходзіць з дэмавайшага режыма ў спяльныя сераўры. Зберагайце у кэшы стабільныя інструкцыі системы і схемы інструментаў. Перадача тых самых даных знову є частым выклікам для ресурсаў. Калі працюеце з рекамендацыямі модэляў, спачатку запісайце угоду: неабходныя даны, сигнал успеху і тое, што выканаецца у разы частковага нявыполнення. Такі список контроля дапамагае заліцварыць пазнейшыя змены ў кодзе. Дакументавайце як шлях успеху, так і шлях вяснавання ситуацыі. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных запытаў є частью продукту, а не пазнейшым дапрацоўкам.

Работа з Ollama

Работа з Ollama будзе найэфектывнейшая, якщо ўваходзіць у працэс як меркаваная структура. Запісаўце адна ідеальная транскрыпцыя, адзін прыклад неудачы і прыметкі па поверненню да попярэднья версіі пры расшырэнні масштаба. Валіце маленькія, тэставаныя елементы замест большых скрыптов. Калі якісь крок не выходзіць, прычына неудачы павінна вказываць на адную адпаведальнасць, а не на заплутаны ланцюг задач. Зафіксавайце інтэрпретара і файл з правіламі залежнасцяў пры тым, як учыце цікл. Разніця межу лептопам і системай CI — гэта найчастэйшая тыха прычына збою ў дэманстраціях API.

ollama pull qwen2.5:14b

# The API is now at http://localhost:11434
# OpenAI-compatible endpoint: http://localhost:11434/v1

Работа з vLLM

Работа з vLLM будзе найэфектывнейшая, якщо яго спрыяваць як меравальную плошчу. Зафіксавце адны ідеальны прыклад работы, адну ситуацыю неудачы і прыметкі па поверненню да пачатковага стану, перш чым расширваць масштабы. Спрыявайце гэты этап як кантракт межа вхіднымі даннымі і паверынутымі выходамі. Даўце назвы артыфактам, задаце критэрыя успеху і адмовіцеся ад тыхняй частковай роботы без паведамлення. Задаце ліміт токеноў на кожны раунд і на кожную сесію. Інструменты-агенты агрэсывна расширваюць контекст; строгі ліміты не дазволяюць дэмам ператварыцца на неспакоўлівыя рахункі.

pip install vllm

vllm serve Qwen/Qwen2.5-14B-Instruct \
  --max-model-len 131072 \
  --host 0.0.0.0 \
  --port 8000

vllm serve Qwen/Qwen2.5-1M \
  --enable-chunked-prefill \
  --max-model-len 1000000

Выбір правильнай рэалізацыі

Выбір правильнай рэалізацыі дае найкращыя результаты, калі яго рассматрываць як параметр, які можна змерыць. Зберагчыце адны ідеальны прыклад работы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Запісвайце час выканання задач і вартасць токеноў чы выкарыстоўвання запитаў разам з функцыональнымі рэзултатамі. Відразувая візуабельнасць вартасцей можна ухиліцца ад неспакою, калі процес пераходзіць з дэмаверсіі ў спяльныя сераўы. Задаць ліміты на колькість токеноў за раунд і за сесію. Інструменты з агентным падходам актыўна расширваюць контекст; жорсткія ліміты не дазволяюць дэмаверсіям ператварыцца на неспакойныя рахункі. Выбір правильнай рэалізацыі дае найкращыя результаты, калі яго рассматрываць як параметр, які можна змерыць. Зберагчыце адны ідеальны прыклад работы, адзін прыклад неудачы і запіс пра вярнэнне да пачатковага стану, перш чым расширваць масштабы. Дакументавайце як шлях успеху, так і шлях вярнэння да нормальнага стану. Перапрыбуткі, людзкі контроль і обработка некоректных паведамленняў є частью продукту, а не етапамі далейшай доўнелівання.

Чаму гэта важна

Кабы зразумець, чаму гэта важна, перад змянайом код неабходна ўзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння. Аператары должны магчымае перадзягнуць крок з вядомай точкі контролю, не падозрываючы схованы стан. Валідзіце маленькія, тэставаныя елементы замест большых скрыптов. Калі крок не выйшоў, прычына неха вказывае на адну адпаведальнасць, а не на заплутаны процес. Калі наступны крок — гэта код або вызов інструмента, валідзіце структураваныя выходны даны з парадактамі схемы замест вольнага формата тэксту.

Спіс пераканае для пачатку

Для чарткі з пачатку роботы неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння перад змінайом коду. Аперацыяныя працавнікі павінны магчымае перадзягаць крок з вядомай точкі контролю, не падозрываючы схованы стан. Спрыяйце гэтам этапу як даговору між вхіднымі данымі і перакананымі выходнымі рэзультатамі. Даўце назвы артыфактам, узначыце перакананні успеху і адмовіцеся ад тыхоўскага частковага завершэння. Калі наступны крок — це код або вызов інструмента, валідаванне за дапамою схемы лепша, чым вольная проза з структураванымі выходнымі даннымі.

Пашанацькі паведамленне ад нашага заснавальніка

Для паведамлення ад нашага заснавальніка неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння пры зміне коду. Аперацыйныя спецыялісты должны магчыма ўвайсці крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Запісвайце час выконання і вартасць токена або запыту разам з функцыйнальнымі рэзултатамі. Відразы вартасці з самага пачатку запобегае неспакоўным рахункам, калі процес пераходзіць з дэмовай среды ў спакульную. Калі наступны крок — це код або вызов інструмента, валідуйце структураваныя выходныя даны за дапамою схемы, а не простае тэкстовае выказванне. Для паведамлення ад нашага заснавальніка неабяжна ўзначыць вхідныя даны, адпаведальнага за крок і критэрыя завершэння пры зміне коду. Аперацыйныя спецыялісты должны магчыма ўвайсці крок з вядомага пункта контролю, не спрабоўваючы здагадвацца пра схованы стан. Дакументавайце як «шчаслівы» шлях, так і шлях вяснавання проблем. Перапрыбуткі, людзкія контрольныя пункты і обработка некоректных паведамленняў є частью продукту, а не чымсь, што дадаецца пазней.

Чэк-ліст для аперацый

Для канцэларскага чак-ліста, пры змяне коду, неабходна ясная ваказка пра вхідныя даны, адміністратара практыкі і крэтыяры завершэння. Аперацыйныя працавнікі павінны магчымаць перзапуск практыкі з вядомага контрольнага пункту, не спрабоўваючы здогадвацца пра схованы стан.

Конфігурацыю трэба зберагаць праза код аплікацыі. Файлы сяродавішча, хранальнікі секрэтных дадзеных і флагі функцыйяў павінны знаходзіцца ў адном месцы, якое працавнікі можуць пераглядаць, не чытаючы весь код.

Калі наступны крок — гэта код або вызов інструмента, лепш выкарыстоўваць структураваныя выходныя даны з перакананнем схэмы, чым вольныя тэкстовыя апісанні.

Перад налаштаванням запытаў трэба замерыць рэгрэт на фіксаванай сэтке запытаў. Частае змяненне запытаў рэдка калі-небудзь выправляе слабыя аспекты адналічэння дадзеных.

Работу з выкананнем трэба залічваць дышучай, а складныя вырахункі — выпраўляць праз мемаізацыю толькі пасля замероў. Недакладная мемаізацыя можа сховаць багі, вызваные застарэлымі дадзеннямі.

Калі чыгуць бюджет, дадзіце тэст на выкананне критычнага шляху ў системе CI з викорыстанням фіксатываў, а не рэальных платных API.

Перш чым пераходзіць да наступнага крока, заморозьце версіі, зафіксавайце «золаты» транскрыпты для критычнага шляху і паказвайце способы абраткі змян. У спадзеленых средах неабходны ліміты на колькасць запытоў, перакананні ў прыналежнасці і чысткі власнік для змены секрэтных даных. Лепш выбіраць простую надзею на надзейнасць, чым крэатывныя, але еднакратныя дамы.

Прыметка для a71fa3c414a4: не кладзіце ключы прадаўцаў у репазітарый, задаце ліміт на токены на кожную сесію і зберагаце транскрыпты разам з фіксатывамі, каб пазнейшыя змены модэляў заставаліся пораўнаныя.