Артыкулы для тых, хто
выводзіць стэк у прод
Матэрыялы пра React, Node.js, TypeScript і AI. Перакладзены тэкст паказваецца, калі ён ёсць. Калі не — вы бачыце англійскі тэкст і пазнаку пра гэта.
Тэг: benchmarking
RAG ці граф ведаў? 2160 ацэненых адказаў і ўплыў мадэлі
RAG супраць графа ведаў у лічбах: 2160 ацэненых адказаў для трох сямействаў мадэляў і 120 пытанняў. Пераможца мяняецца ў залежнасці ад мадэлі, і менавіта мадэль важыць найбольш.
9 хв чытанняСкількі запыткаў на самае справа можа обрабацаваць сервер Node.js?
Скількіх запітоў насправды можа апрацуе сервер Node.js? Тэсты навантажэння Express на Heroku і AWS у параўнанні з Django, оцінка працездатнасці у 40 тыс. запітоў на секунду, а такса, што спам’чвае API.
6 хв чытанняToolCallingAgent супраць CodeAgent на лакальных мадэлях Qwen2.5 14B
ToolCallingAgent і CodeAgent у smolagents на Mac з M4: хуткасць і дакладнасць маршрутызацыі з лакальнымі мадэлямі Qwen2.5 14B instruct і coder пры розных тэмпературах.
4 хв чытанняКалі мадэль ніколі не завершае працу: мовчазныя невыпадкі, якія залішаюцца непазначанымі у рэйтынгах галюцынацый.
Два пункты контролю, две формы квантавання і два часу выканання булі прыменены на выдуманных назвах: адзін мадэль застаецца мовчазным прыблізна на калькі хвілін, а рэтэльны оценяльнік выявляе тыя балы, якія працяглі залішыцца незафіксаванымі.
11 хв чытанняЧы гэты большыя LoRA адрабо? Ацэніце точнасць па адносу да косту, а не за іншымі факторамі.
Маленькій прарок, які апрацоўвае рэцепты LoRA як даныя і відображае дакладнасць, час навчання, затрагання і памяць, тож вібік рэйтынгування і колькасці повторэнь залежыць ад цыфр.
5 хв чытанняПрактычныя нататкі: MTG Bench — навошта тэставаць LLM на Magic: The Gathering
Практычны разбор тэмы «MTG Bench і навошта тэставаць LLM на Magic: The Gathering»: кантракты, праверкі і гатовыя фрагменты кода для каманд, якія ўкараняюць гэты падыход.
11 хв чытанняNode.js протык Go для JSON API: аднаковая працэздатнасць, на 2,6 раза меней памяці
Паралельныя тэсты на навантажэнне ідэентычных служб HTTP на базе Node.js і Go паказваюць, дзе перапісва прыносіць парадоксальныя выгоды (выкарыстоўванне памяці), а дзе — ні (пропускная здатнасць і затрымка).
8 хв чытанняFugu Ultra: Як мадэль-оркестратор на базе AI кантэнуе GPT і Claude
Пасвячана таму, як Sakana AIのFugu Ultra v2 распрацоўвае задачы за дапамогою спецыялізаваных модэляў у замен на аднаго велікага LLM, а таксі яго пасункі ў співалеўнанні з крэтарыямі, цэнамі і прозрачнасцю.
10 хв чытання
Пра гэтыя артыкулы
Ацэнка за 24 гадзіны
Патрэбны такі стэк у аператарскім слоі? Дашліце брыф — ацэнка за 24 гадзіны.