Статьи для тех, кто
выводит стек в прод
Оригинальные материалы о React, Node.js, TypeScript и AI — из той же практики, что и наше операторское ПО. Текст статей на английском.
Тег: interpretability
Суперпозиция в нейронных сетях: упрощенные модели, SAE и слияние признаков
Как сети хранят больше признаков, чем имеется размерностей, какова стоимость взаимного влияния, и почему разреженные автоэнкодеры могут объединять признаки, которые данные не могут разделить.
19 мин чтенияЧто обнаруживает агент для сравнения моделей: изменения стиля перекрывают незначительные корректировки.
Агент для обнаружения отклонений от модели проверил процесс тонкой настройки LoRA в финансовой сфере: 82% примеров выявили изменения в длине и структуре, в то время как запланированное изменение логики осталось незамеченным.
15 мин чтенияКопируются в одиночку, терпят неудачу в компании: контекстуальная хрупкость токенов, проходящих тест на копирование в изоляции.
Проверка восьми моделей с открытой весовой структурой на токены, которые правильно копируются в одиночку, но теряются или изменяются в контексте, с анализом геометрии вкладок, сохранения задачи и использования инструментов.
32 мин чтенияХрупкие токены и бесшумная замена: геометрическое объяснение некоторых галлюцинаций
Некоторые галлюцинации возникают из-за поврежденных или хрупких токенов, которые заменяются на близлежащие до начала процесса рассуждения. Примеры, показатели по моделям и простой тест.
7 мин чтения
О этих статьях
Оценка за 24 часа
Нужен такой же стек в операторском слое? Пришлите бриф — оценка за 24 часа.