Małe, wyspecjalizowane modele w cichy sposób przewyższają gigantyczne LLM.
Model logiki z 3 parametrami B przewyższa model LLM o 120 miliardów parametrów w formalnym rozumowaniu na zwykłym sprzęcie, generując więcej tokenów na sekundę. Dlaczego dopasowanie zadania jest ważniejsze niż sama wielkość modelu.
Nie potrzebujesz potężnego komputera, aby zauważyć dziwne zachowanie małych modeli w ostatnich czasach. Wiele laptopów ma trudności z jednoczesnym uruchamianiem dwóch kart przeglądarki i serwera deweloperskiego, a mimo to właśnie o takim sprzęcie jest ta historia.
Dlatego gdy model z 3 miliardami parametrów zaczął być porównywany pozytywnie z modelem posiadającym 120 miliardów parametrów, naturalną reakcją było sceptycyzm, a nie entuzjazm.
Twierdzenia typu „mały model pokonuje gigantycznego modelu” zwykle rozpadają się, gdy spojrzy się poza nagłówek i przyjrzeć się rzeczywistym danym z testów.
Zbadanie liczb stojących za jednym takim twierdzeniem ujawniło coś ciekawszego niż pojedynczy wyjątek.
Istnieje rosnąca grupa małych modeli, które stopniowo stają się na tyle skuteczne, by mieć znaczenie, a ten trend wydaje się w dużej mierze pozostawać niezauważony.
Im głębiej się przyglądamy, tym bardziej wydaje się, że prawdziwym punktem nie jest stwierdzenie „małe zwyciężają duże”. Chodzi raczej o dopasowanie rozmiaru modelu do rzeczywistych wymagań zadania.
Model, który to zapoczątkował
Model ten nazywa się TwIL-LM3 i został opublikowany przez webAI 10 sierpnia 2026 roku.
Jest to wersja dostosowana modelu SmolLM3-3B od Hugging Face, stworzona z myślą o jednym, konkretnym celu: logice formalnej.
Gdy podamy mu zdanie napisane zwykłym językiem angielskim, przetłumacza je na logikę pierwszego rzędu. Następnie sprawdza, czy podana konkluzja faktycznie wynika z podanych założeń.
To nie jest asystent do rozmów, ani nie przeznaczony do pisania twórczego. To czyste rozumowanie dedukcyjne – ten sam rodzaj myślenia, który leży u podstaw zasad przestrzegania regulacji, języka umów oraz ścieżek audytowych.
W tym konkretnym zadaniu model ten przewyższa model gpt-oss-120B firmy OpenAI mniej więcej czterdzieści razy pod względem rozmiaru, osiągając lepsze wyniki w czterech z pięciu kategorii w własnym zestawie testów rozumowania formalnego webAI.
Jest również znacznie szybszy: około 2,6 raza szybszy w własnych testach wydajności przepustowości webAI, przy jeszcze większej różnicy w niektórych pomiarach, chociaż oba modele nie były testowane w identycznych warunkach sprzętowych.
Dlatego dokładny współczynnik szybkości wymaga ostrożności. Mimo to ogólny trend jest jasny: mniejszy model jest szybszy.
Część szczera, której większość artykułów unika
Oto ta część, która zwykle zostaje pominięta w takich opracowaniach.
GPT-OSS-120B nadal wygrywa, jeśli weźmiemy pod uwagę średnią wszystkich sześciu kategorii oceny. Qwen3-8B również przewyższa TwIL-LM3 pod względem głównej metryki oceny, chociaż duża część tej przewagi wynika z bardziej luźnej metody oceny. Przy surowszych kryteriach oceny oba modele są niemal na równi.
Zatem historia nie brzmi tak:
"Mały model obala gigantycznego modelu. Wszystko w AI właśnie się zmieniło."
Bliższe jest to stwierdzeniu:
"Mały, specjalnie zaprojektowany model wyraźnie wygrywa w jednej konkretnej zadaniu, do którego został stworzony."
To o wiele mniej dramatyczne twierdzenie, ale jest dokładne i można powiedzieć, że bardziej przydatne.
Dokładnie tutaj małe modele zaczynają udowadniać swoją wartość.
Model o pojemności 3B nie musi przewyższać modelu o pojemności 120B we wszystkich aspektach.
Wystarczy, że będzie wystarczająco dobry w jednym wąskim, powtarzalnym lub kosztownym zadaniu.
Pomyśl o kalkulatorze. Nikt nie nazywa go gorszym komputerem tylko dlatego, że nie może edytować filmów. Jest cenny właśnie dlatego, że został stworzony do wykonywania jednej konkretnej funkcji. Małe modele AI mogą działać według tej samej logiki.
Należy zwrócić uwagę na jedną zastrzeżenie: TwIL-LM3 dostępny jest pod licencją niekomercyjną.
To nadaje się do nauki i eksperymentowania. Jednak wdrożenie go w produkcie mającym na celu generowanie przychodów wymagałoby odrębnego porozumienia licencyjnego z webAI.
To, co jest ważne dla osób bez wysokiej klasy sprzętu
wersja 3B dostępna jest jako plik skwantyzowany o wielkości 1,78 GB. Spokojnie mieści się w 4 GB pamięci VRAM lub może działać na procesorze CPU. Według webAI generuje ona około 300 tokenów na sekundę w MacBooku z procesorem M2.
Istnieje również lżejsza wersja 1,7B zaprojektowana specjalnie do działania na telefonach.
Jest to kompaktowy adapter LoRA o rozmiarze 289 MB, umieszczony na wierzchu modelu SmolLM2-1,7B, i podobno mniej więcej podwaja dokładność rozumowania modelu bazowego.
To coś, nad czym warto się zatrzymać – model o rozmiarze telefonu wykonywający formalne rozumowanie logiczne, całkowicie wewnątrz urządzenia.
Nic nie musi opuszczać urządzenia, i to właśnie dlatego webAI celuje w sektory takie jak ochrona zdrowia, finanse i farmacja, gdzie dane często nie mogą opuszczać lokalnej infrastruktury.
Testowanie na naprawdę starym sprzęcie
Tabele benchmarków pokazują tylko część obrazu, więc warto rozważyć, co się dzieje, gdy SmolLM3 3B jest testowany na sprzęcie dalekim od stacji roboczych przeznaczonych do pracy z AI.
Urządzenie testowe to Dell OptiPlex 3020M o następujących specyfikacjach:
- Intel Core i5-4590T
- 4 rdzenie CPU
Próbowano wersję ggml-org/SmolLM3 3B z użyciem kwantyzacji Q4_K_M.
Oto szczegóły, które warto podkreślić.
Zadano prosty prompt w stylu programisty: poproszono model o działanie jako programista i stworzenie kilku różnych implementacji funkcji faktoryjnej.
Model rozważył kilka podejść, w tym zarówno implementacje rekurencyjne, jak i iteracyjne.
Podczas jednego uruchomienia interfejs pokazał prędkość około 24,83 tokena na sekundę, a pierwszy wynik pojawił się po około 0,8 sekundy.
Próbowano również prostego promptu konwersacyjnego w postaci zwykłego powitania.
To wymiana danych dała przeciętną szybkość około 36,45 tokenów na sekundę.
Następnie ponownie uruchomiono zapytanie typu factorial, tym razem z większą uwagą obserwując, w jaki sposób model nad nim rozmyślał.
Tym razem model spędził więcej czasu na przemyśleniach, a zmierzona szybkość generowania spadła do około 5,39 tokenów na sekundę.
To zróżnicowanie jest w rzeczywistości istotnym punktem danych.
Nic z tego nie wskazuje na to, że stary komputer stacjonarny przekształcił się w jakąś potęgę sztucznej inteligencji. Oczywiście tak się nie stało.
Szybkość zmieniała się w zależności od charakteru zadania, długości wyniku oraz stopnia wewnętrznego rozumowania wykonywanego przez model. Ale to nie jest właściwie główny wniosek.
Prawdziwym wnioskiem jest to, że model o pojemności 3 miliardów parametrów generował funkcjonalne wyniki na dziesięcioletnim komputerze biurowym wyposażonym jedynie w 16 GB pamięci i pozbawionym karty graficznej, zachowując się w dużej mierze jak zwykły lokalny asystent.
Nie było potrzeby żadnej chmurowej API.
Nie użyto wynajętej instancji GPU.
W tle nie działał żaden serwer o pojemności 80 GB.
Jest to po prostu starszy komputer stacjonarny, który samodzielnie uruchamiał ten model.
To test stanowi podstawę twierdzenia, że do uzyskania użytecznych wyników z takiego modelu nie jest potrzebna karta graficzna. Nie chodzi o stwierdzenie, że każdy model o pojemności 3 miliardów parametrów osiąga identyczne szybkości na każdym urządzeniu, lecz o opis tego, co wydarzyło się na jednym skromnym, niepozornym sprzęcie.
Przykład z rzeczywistego świata – więc nie jest to abstrakcja
Załóżmy małą firmę z sektora fintech, której zespół ds. zgodności opracował politykę w prostym języku: transakcje przekraczające określony próg kwotowy, pochodzące z kont jeszcze dość nowych, muszą być automatycznie oznaczone w celu ręcznej weryfikacji, zamiast być przetwarzane bez żadnych reakcji.
A teraz załóżmy, że pojawi się transakcja o kwocie wyraźnie przekraczającej ten próg, z konta otwartego mniej niż dwa tygodnie wcześniej, a system jej nie oznaczył.
Czy to narusza politykę?
Człowiek może to ustalić w ciągu kilku sekund. Ale system obsługujący tysiące transakcji dziennie nie może polegać na tym, że każdy przypadek będzie sprawdzany ręcznie przez człowieka.
Z kolei duże modele hostowane w chmurze zazwyczaj są kosztowne, wolniejsze, a w regulowanym środowisku finansowym często nawet nie pozwalają na dostęp do surowych danych.
Nikt nie chce, aby każda transakcja była sprawdzana ręcznie przez człowieka.
Nikt też nie chce przesyłać wrażliwych danych finansowych do usług chmurowych tylko po to, by rozwiązać proste pytanie logiczne.
To właśnie taki rodzaj problemu ma za zadanie rozwiązywać dedykowany model logiki formalnej.
Zasada leżąca u podstaw może być przedstawiona mniej więcej w ten sposób:
- Kwota przekracza ustalony próg → prawda
- Okres istnienia konta jest poniżej ustalonego limitu → prawda
- Oba warunki są spełnione → prawda
- Transakcja powinna zostać zaznaczona → prawda
- Czy rzeczywiście została zaznaczona? → fałsz
- Wniosek: zasada została złamana → prawda
Tutaj nie ma znaczenia to, czy model posiada jakieś rzeczywiste rozumienie tego, czym jest konto bankowe.
Nie wymaga to kreatywności ani domysłów – wystarczy krok po kroku prowadzić dedukcję przy użyciu taniego sprzętu w zwykłym biurze, bez wysyłania żadnych danych na zewnątrz.
Dlatego właśnie model specjalistyczny, który nie wygląda tak imponująco, może okazać się ważniejszy w codziennym użytku biznesowym niż bardziej efektowny model uniwersalny. Umowy, warunki ubezpieczeniowe, listy kontrolne bezpieczeństwa, zasady audytu sformułowane prostym językiem – to wszystko to po prostu logiczna struktura przykryta profesjonalnym formułowaniem.
Istnieje jeszcze jedno zastosowanie, które uważam za szczególnie interesujące: wykorzystanie TwIL-LM3 jako warstwy weryfikacyjnej nad innym modelem.
Idea jest prosta. Pozwól swojemu dużemu modelowi uniwersalnemu przygotować odpowiedź jak zwykle, a następnie przekaż tę odpowiedź małemu modelowi skupionemu na logice i poproś go o sprawdzenie, czy rozumowanie rzeczywiście jest spójne.
Załóżmy sobie kompaktowego, szybkiego sprawdzacza faktów siedzącego obok dużego, kreatywnego pisarza. Połączenie tych dwóch narzędzi ledwo stanowi koszt.
To nie jedyne, o którym warto wiedzieć
Gdy zaczynasz szukać, okazuje się, że kategoria modeli, które sprawnie działają na skromnym sprzęcie bez problemów, jest znacznie bardziej zatłoczona, niż się spodziewano. Kilka modeli, które warto mieć na oku:
- SmolLM3-3B – model bazowy, na którym dostosowano TwIL-LM3. Sam w sobie jest już sprawnym modelem uniwersalnym o pojemności 3B, posiadającym funkcję rozumowania w dwóch trybach, która umożliwia mu rozwiązywanie problemów krok po kroku lub udzielanie bezpośrednich odpowiedzi, a jego wagi są w pełni dostępne publicznie.
Żaden z tych modeli nie jest dokładnie ukrytym skarbem. Ale łatwo jest niedocenić postępy, jakie zaszły w niszowej części tego obszaru, dopóki nie zaczynasz szukać konkretnego modelu i przypadkowo nie natrafiasz na całą rodzinę porównywalnych modeli znajdujących się tuż obok niego.
Dlaczego to faktycznie ma znaczenie
Niedawno „praca na laptopie” i „naprawdę przydatny” wydawały się przeciwstawnymi skrajnościami w procesie kompromisowania. Trzeba było wybrać jedno z nich.
To rozdzielenie zmniejsza się szybciej, niż większość ludzi mogłaby przypuszczać. TwIL-LM3 jest najnowszym i najłatwiej dostępnym dowodem na tę zmianę – nie dlatego, że jest najpotężniejszym modelem dostępnym na rynku, ale dlatego, że jego wąska specjalizacja jest celowa, a nie ograniczeniem.
Wciąż jest coś nieco sprzecznego z intuicją w tym, że model tak wyspecjalizowany, stworzony wyłącznie do jednej umiejętności, przyciąga uwagę zamiast szerszego, uniwersalnego modelu o mniejszych możliwościach. Ale to może być właśnie główny wniosek z tego tekstu.
Naj szybszym sposobem na to, by model o pojemności 3 miliardów parametrów mógł konkurować z modelem o pojemności 120 miliardów, nie jest uczynienie go inteligentniejszym we wszystkim. Chodzi o to, by przestać wymagać od niego doskonałości we wszystkim i pozwolić mu się skupić.
Jeśli twoja konfiguracja przypomina zwykłe urządzenia konsumenckie, warto się nad tą ideą zastanowić. Nie jesteś tak bardzo wykluczony z możliwości pracy z zaawansowaną sztuczną inteligencją, jak mogłoby to sugerować doniesienia o ogromnych klastrach GPU.
Literatura pokrewna
- Wewnątrz agenta AI: modele, narzędzia, pamięć i uświadomione myślenie wyjaśnione — Opisuje podstawową architekturę agentów AI – cele, modele, narzędzia, pamięć i procesy myślowe – oraz przedstawia praktyczny przykład agenta badawczego opartego na Pythonie.
- Wybieranie i dostosowywanie modeli embeddingowych dla systemów RAG w produkcji — Dowiedz się, jak modele embeddingowe przekształcają tekst w wektory nadające się do wyszukiwania, dlaczego słownictwo specjalistyczne zakłóca funkcjonowanie wyszukiwania semantycznego oraz jak wybierać, kompresować i dostosowywać modele do zastosowań RAG w produkcji.