Статті для тих, хто
виводить стек у прод
Оригінальні матеріали про React, Node.js, TypeScript і AI — з тієї ж практики, що й наше операторське ПЗ. Текст статей англійською.
Тег: interpretability
Суперпозиція в нейронних мережах: моделі-іграшки, SAE та об’єднання ознак
Як мережі зберігають більше ознак, ніж є розміри, які витрати спричиняє перешкоджання, та чому розріджені автоенкодери можуть об’єднувати ознаки, які дані не можуть розділити.
19 хв читанняЩо знаходить агент для виявлення відмінностей моделей: зміни стилю переважають над незначною налаштуваністю моделі.
Агент для модельного диференціювання перевірив процес фінансової налаштування LoRA: 82% випробувань виявили зміни у довжині та структурі, тоді як бажана зміна логіки залишилася непоміченою.
15 хв читанняКопіювання окремо – невдача в колективі: контекстуальна крихкість токенів, які проходять тест копіювання в ізольованому середовищі.
Перевірка восьми моделей з відкритою вагою на токени, які правильно копіюються окремо, але втрачають свою функцію або змінюються в контексті, з перевіркою геометрії ембеддингів, збереження завдання та використання інструментів.
32 хв читанняКрихкі токени та беззвучна заміна: геометричне пояснення деяких галюцинацій
Деякі галюцинації виникають через пошкоджені або крихкі токени, які під час початку процесу міркувань замінюються на сусідні токени. Приклади, показники для різних моделей та простий тест.
7 хв читання
Про ці статті
Оцінка за 24 години
Потрібен такий стек в операторському шарі? Надішліть бриф — оцінка за 24 години.