Статьи для тех, кто
выводит стек в прод
Материалы о React, Node.js, TypeScript и AI. Переведённый текст показывается, если он есть. Если нет — вы видите английский текст и пометку об этом.
Тег: scraping
Скрапинг производства за пределами защиты от ботов: работоспособные шаблоны
Сбор публичных данных, защищенных от ботов с использованием Node.js: ограничения по частоте запросов, соблюдение правил анонимности, фиктивные ответы 200 и пути запросов, устойчивые к блокировкам.
17 мин чтенияНастройки LangChain WebBaseLoader для сохранения текста страницы и удаления Chrome
WebBaseLoader загружает страницы в раздел Документы. SoupStrainer, заголовки, SSL, прокси-серверы, таймауты, ограничения скорости и сессии определяют, будет ли в процессе обработки RAG получен текст статьи или лишний навигационный контент.
5 мин чтенияПочему повышение конкурентности приводит к ошибкам HTTP 429: скорость запуска и лимиты по хосту
Увеличение количества работников без регулирования скорости запуска и лимитов на одного хоста приводит к всплескам нагрузки, вызывающим ошибки 429. Пропускная способность достигается за счёт контролируемой одновременной работы, механизмов откладывания запросов и разумного проектирования очередей.
16 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.