Artykuły dla tych, którzy
wdrażają stack
Oryginalne materiały o React, Node.js, TypeScript i AI — z tej samej praktyki co nasze oprogramowanie operatorskie. Treść artykułów po angielsku.
Tag: interpretability
Superpozycja w sieciach neuronowych: modele przykładowe, SAE oraz łączenie cech
Jak sieci przechowują więcej cech niż wymiary, jakie są koszty zakłóceń oraz dlaczego rzadkie autoenkodery mogą łączyć cechy, których dane nie potrafią rozdzielić.
19 min czytaniaTo, co odkrywa agent do porównywania modeli: zmiany stylu przyćmiewają drobne modyfikacje.
Agent do różnicowania modeli przeprowadził audyt drobnej optymalizacji LoRA w dziedzinie finansów: 82% prób wykryło zmianę długości i struktury, podczas gdy zamierzona zmiana w sposobie rozumowania pozostała niewidoczna.
15 min czytaniaKopiowanie samodzielnie, porażka w grupie: kruchość kontekstowa tokenów, które przechodzą test kopiowania w izolacji.
Przegląd ośmiu modeli o otwartej wadze w celu wybrania tokenów, które poprawnie kopiują się samodzielnie, ale są pomijane lub modyfikowane w kontekście, przy jednoczesnej weryfikacji geometrii embeddingów, zachowania zadania oraz wykorzystania narzędzi.
32 min czytaniaKruche tokeny i ciche substytucje: geometryczne wyjaśnienie niektórych halucynacji
Niektóre halucynacje wynikają z uszkodzonych lub kruchych tokenów, które są zastępowane przez sąsiednie elementy przed rozpoczęciem procesu rozumowania. Przykłady, wskaźniki dla poszczególnych modeli oraz prosty test.
7 min czytania
O tych artykułach
Wycena w 24 h
Potrzebujesz tego stacka w warstwie operatorskiej? Wyślij brief — wycena w 24 h.