Объяснение рекуррентной глубины: циклические трансформеры и скрытое обоснование
Как трансформеры с повторяющейся глубиной (с циклами) принимают решения на основе скрытого состояния, почему лаборатории их используют, что показывают восемь лет научных статей, и какое это имеет значение для локального ИИ и надзора.
Большинство современных моделей рассуждения могут продолжать последовательную мысль только путем записи её в виде токенов, поэтому протоколы типа «цепочка мыслей» стали основным инструментом для отслеживания действий модели. Происходят периодические изменения глубины обработки: модель снова запускает часть своей структуры слоев на своём скрытом состоянии перед тем, как что-либо выдать, в результате чего часть процесса «мышления» так и не превращается в текст. В этой статье объясняется, как работает этот механизм, почему он настолько экономически привлекателен, какие уже опубликованные исследования его демонстрируют, и какие последствия он может иметь для открытых моделей, работающих на собственном оборудовании, а также для всех, кто полагается на анализ процесса рассуждения модели.
Знакомая схема: скрытый механизм, открытое воспроизведение
История с моделями для логических рассуждений уже происходила однажды. Когда в 2024 году OpenAI выпустила o1, модель обдумывала ответ перед тем, как его дать, но её логика оставалась скрытой и сокращенной, причем компания открыто заявила, что такое сокрытие было намеренным. Многие наблюдатели предполагали, что соответствующая технология останется проприетарной в течение многих лет. Однако чуть более года спустя DeepSeek опубликовала R1 с открытыми весами и видимыми следами логических рассуждений, и открытое сообщество быстро воспроизвело этот подход, как только его алгоритм стал общедоступным.
Паттерн повторяется просто: закрытая лаборатория выпускает ту или иную функцию, сохраняя механизм её работы непрозрачным, а позже открытые исследователи воспроизводят её и выпускают бесплатно. В случае с DeepSeek ситуация выглядит аналогично, за исключением одного важного отличия: открытые реализации с опубликованными весами уже существовали до того, как была подтверждена даже закрытая версия.
Что подтверждено относительно Astra, а что — нет
OpenAI запустила Astra 2 сентября 2026 года. Здесь важно разделять утверждения, поскольку самое интересное — это именно то, что не является официальным.
Подтверждено OpenAI
- Astra — это первая модель, которую компания оценила как «критическую» с точки зрения кибербезопасности.
- Она набрала 100% на тесте ExploitBench, в ходе которого модели находят и используют реальные уязвимости программного обеспечения.
- Она поставляется с механизмами отслеживания логики мышления, которые анализируют её письменные рассуждения.
Упоминалось, но не подтверждено
1 сентября The Information сообщила, что Astra использует рекуррентную структуру, то есть внутренние циклы рассуждений. OpenAI ни не подтвердила, ни не опровергла это. Это наиболее достоверное сообщение, основанное на проверенных источниках, а не слухах, но его не следует считать установленным фактом.
Заявлено, но невозможно проверить
Главный учёный Якуб Пачоцкий публично заявил, что глубина графа вычислений Astra «на два порядка меньше, чем у GPT-4». Если это верно, это означает, что циклы в модели намеренно устроены простыми, а процесс рассуждения модели лишь незначительно менее прозрачен, чем у традиционной модели с одним проходом. Фактическое значение не было опубликовано, поэтому посторонние не могут проверить этот показатель; его приходится принимать на веру.
Чистая спекуляция
Утверждения о том, что Astra на самом деле является загадочным «GPT-6», не имеют подтверждения. Никто вне компании об этом не знает.
Почему вопрос о мониторинге настолько актуален
В июле 2025 года сорок один исследователь из OpenAI, DeepMind, Anthropic и Британского института безопасности ИИ совместно подписали документ с позицией по вопросу мониторинга процесса принятия решений. В нем конкретно предупреждалось, что архитектуры скрытого рассуждения, которые работают с векторами вместо слов, могут закрыть возможности для мониторинга, от которых во многом зависят современные методы обеспечения безопасности. Пачочки был одним из подписавших. Если информация верна, лаборатория уже разослала архитектуру того типа, которую её собственный ведущий учёный назвал риском для эффективного контроля. Чтобы узнать больше о том, как Astra сравнивается с другими передовыми ИИ-агентами, ознакомьтесь с нашим сравнением Astra, Flash, Fable и Mythos.
Как работает рекуррентная глубина
Стандартный трансформер проходит через каждый слой своей стековой структуры ровно один раз. Если модели требуется дополнительная последовательная обработка для решения задачи, единственный способ — генерировать больше токенов: каждый шаг логического рассуждения соответствует ещё одной проходке модели, причем каждый шаг представляет собой читаемый текст.
Модель с рекуррентной глубиной делит стек на три части. Введение преобразует входные данные в скрытое состояние, к этому состоянию несколько раз применяется основной блок, а заключение преобразует итоговое состояние в выходные данные. На приведённой ниже диаграмме показано сравнение этих двух подходов; обратите внимание, что циклический основной блок использует одни и те же веса при каждой проходке, а все повторения завершаются до того, как будет сгенерировано хотя бы одно слово.
Standard: token → L1 → L2 → ... → L96 → out
(one pass; "extra thinking" = more visible words)
Astra: token → PRELUDE → [ CORE × R ] → CODA → out
↑
the same block of layers, re-run on the
model's own hidden state, R times -
before a single word is written
Если представить это в виде формулы, одна итерация выглядит как h_next = f(h_current), причем функция f каждый раз оперирует той же группой слоев. Этапы с номером два и выше не вводят новых параметров; они просто снова применяют те же веса к состоянию, которое постоянно меняется. Полезной аналогией может служить черновик, который несколько раз перерабатывается в узком кругу, причем на рассмотрение представляется только окончательная версия.
Ключевой вывод заключается в следующем: все итерации после первой происходят полностью в векторном пространстве, и векторы не оставляют никаких записей. Ничего из информации об этих промежуточных этапах не записывается в местах, доступных для чтения монитором.
Количество итераций цикла R также является настройкой во время выполнения, а не отдельной моделью. Один и тот же чекпоинт может работать при R=1 в бюджетной версии и при R=20 в премиум-версии. Снаружи видны запрос и ответ; количество внутренних проходов остается невидимым, если только провайдер не сообщит об этом.
Почему лаборатории этого хотят: стоимость осмысления вслух
На мгновение отложим вопросы безопасности, поскольку экономические аргументы сами по себе достаточно убедительны.
Метод последовательного мышления работает как телеграф, взимающий плату за каждое слово. Каждый токен рассуждения генерируется последовательно, все последующие токены учитывают его, и он занимает место в кэше KV на протяжении всего запроса. В итоге провайдеры взимают с клиентов плату за каждый токен за работу самой модели.
Латентные циклы обеспечивают последовательные вычисления без генерации дополнительных токенов. Нет затрат на генерацию каждой мысли, нет увеличения длины контекста и нет дополнительной нагрузки на кэш. При масштабе в миллиарды запросов на рассуждения в день принятие решения о внутреннем выполнении рассуждений является как стратегическим, так и техническим выбором. Это также хорошо сочетается с поэтапной ценовой политикой: один и тот же чекпоинт, применяемый большее количество раз, позволяет отвечать на более сложные вопросы за более высокую цену, а метка «рассуждение» покрывает разницу в стоимости.
Два способа приобретения возможностей: широкий или глубокий
Если вы выполняете инференс локально, баланс интересов выглядит иначе. Сейчас существуют две разные стратегии, которые потребляют разные ресурсы.
Самый распространённый подход у наиболее открытых моделей — использование метода смеси экспертов широкого типа. Например, Flash-Next от Qwen поддерживает 512 экспертов, причём активируется лишь около 2% из них на каждый токен. Это параллельные вычисления, ограниченные объёмом памяти; на MacBook с 64 ГБ оперативной памяти, по имеющимся данным, он способен обрабатывать примерно 30 токенов в секунду.
Использование большого объема памяти стоит дорого, причем память уже считается дефицитным и дорогим компонентом. На момент написания этого текста средняя цена набора памяти DDR5 объемом 64 ГБ выросла с примерно 191 доллара в августе 2025 года до примерно 1 118 долларов год спустя, что соответствует увеличению примерно на 485% — более высокому показателю, чем у большинства других комплектующих ПК, включая графические процессоры. Причиной этого является развитие ИИ-инфраструктуры: производители памяти перенаправляют производство на высокоскоростную память для ускорителей в центрах обработки данных, крупные технологические компании заранее резервируют мощности, и ожидается, что дефицит сохранится до 2027 года. Рассматривайте эти цифры как краткосрочную информацию и проверяйте актуальные данные рынка перед тем, как полагаться на них.
Вместо этого рекуррентная глубина увеличивается глубоко: те же слои обрабатываются R раз. Это занимает время. На локальном оборудовании каждый дополнительный цикл снижает скорость декодирования; при R=4 модель, которая декодировала 30 токенов в секунду, будет работать примерно на уровне 7. Модель с циклами на ноутбуке не выдает очевидных сбоев, она просто замедляется по мере увеличения глубины.
Это объясняет её привлекательность. Циклы позволяют извлечь больше вычислений из каждого байта весов, который необходимо загружать из памяти, а пропускная способность памяти является ограничивающим фактором. Арифметические блоки, выполняющие дополнительные проходы, в любом случае часто находятся в состоянии простоя между загрузками из памяти. Широкие модели тратят ресурс, за который все соперничают; глубокие модели тратят ресурс, который клиенты центров обработки данных никогда не видят в деталях. Однако на собственном компьютере вы видите это непосредственно в виде более низкого числа токенов в секунду.
Путь исследований: восемь лет открытых статей
Ни одна из основных идей не является секретом. Основной механизм описан в открытой литературе с 2018 года, и прочтение этих статей позволит лучше понять модели с циклами, чем любое официальное объявление о продукте.
Разделение весов между слоями (2018–2019)
- Universal Transformer (Dehghani и др., 2018). Изначальная концепция цикла: многократное применение одинаковых слоев с общими параметрами. Он превосходил трансформеры такого же размера в задачах GLUE, используя примерно четверть количества операций FLOPs, и получил большое количество цитат, однако никто не внедрил его в промышленных масштабах.
- ALBERT (2019). Использовал разделение слоев в качестве техники сжатия, показав, что повторное использование слоев дешевле, чем создание дополнительных уникальных слоев.
Расчеты в латентном пространстве (2024–2025)
- Coconut (Meta, декабрь 2024 г.). В заголовке статьи «Обучение ЯИ-моделей рассуждать в непрерывном латентном пространстве» описывается суть идеи: промежуточные шаги рассуждения сохраняются в скрытых векторах, а только вывод преобразуется в текст. При выполнении задач планирования этот подход превзошел метод цепочки мыслей, при этом количество видимых шагов было меньше, что является прямым вызовом предположению о том, что чем больше письменных объяснений, тем лучше качество рассуждения.
- Huginn (Geiping и др., февраль 2025 г.), «Масштабирование вычислительных ресурсов во время тестирования с использованием латентного рассуждения». Модель с 3,5 млрд параметров, обученная на 800 млрд токенов. При неизменности весов и данных и изменении количества циклов с r=1 до r=32 показатель ARC-E вырос с 34,9 до 69,9, причем качество рассуждения улучшилось до уровня, эквивалентного модели с 50 млрд параметров.
Открытые веса и масштабирование (2025–2026)
- Ouro / LoopLM (ByteDance, октябрь 2025 г.). Самый практически значимый вариант, поскольку веса модели опубликованы на Hugging Face. В эту серию входят модели с 1,4 млрд и 2,6 млрд параметров, обученные на 7,7 триллиона токенов; согласно отчетам, они сопоставимы по производительности с передовыми моделями с 12 млрд параметров. В ходе контролируемых экспериментов улучшения были объяснены более эффективным использованием знаний, а не увеличением их объема: эти модели не хранят больше фактов, но лучше ими пользуются. Команда также обнаружила, что следы процесса рассуждения LoopLM более тесно соответствуют его окончательным ответам, чем следы метода цепочки мыслей.
В совокупности механизм, данные экспериментов, способы масштабирования и инструменты измерения уже некоторое время доступны публике. Новым является их применение на практике, а не сама идея.
Что это, вероятно, означает для открытых моделей и локальной инференции
Приведенное ниже — это прогнозы, а не факты, но каждый из них основан на вышеупомянутых исследованиях.
Открытая версия с циклами, скорее всего, уже близко
Эффективным способом масштабирования является использование архитектуры смеси экспертов в циклической форме, и ведущие семейства открытых моделей, такие как Qwen и DeepSeek, уже основаны на этой архитектуре. Добавление рекуррентного ядра к существующей модели типа MoE представляет собой постепенное улучшение, а не полную переработку, поэтому вполне разумно ожидать появления открытой версии с рекуррентным ядром в течение одного-двух поколений моделей, вероятно, с акцентом на возможность более длительного обработки информации, а не на увеличение размера модели.
Меньшие файлы при сохранении тех же возможностей
При локальной обработке данных доминирующим фактором был размер файлов: огромные файлы весов, ограничения оперативной памяти и необходимость ручного переноса слоев экспертных знаний лишь для того, чтобы модель поместилась. Если модель размером 1,4 млрд параметров действительно может конкурировать с плотными моделями объемом 12 млрд параметров, это означает замену загрузки файлов размером 24 ГБ на загрузку файлов размером примерно 3 ГБ. Такую модель можно доработать с помощью технологии LoRA на бытовом оборудовании, что освобождает память для более длинных контекстов. Эффективность использования памяти на единицу данных изменится в пользу пользователей с одной видеокартой или ноутбуком. Если вы сравниваете локальные модели с хостинговыми API с точки зрения устойчивости, наша статья о риске зависимости от доступа к ИИ рассматривает более широкий спектр соотношений преимуществ и недостатков.
Аппаратное обеспечение типа Edge отлично подходит для использования циклов
Циклы потребляют вычислительные ресурсы, а не пропускную способность памяти, и у устройств вроде машин на базе Apple Silicon достаточно вычислительных мощностей по сравнению с их пропускной способностью. Такое соотношение плохо подходило для прошлого поколения задач инференса, но хорошо подходит для текущего. Модели с циклами также благоприятствуют оптимизации ядра: меньше различных операций, а веса остаются в кэше на протяжении нескольких обработок. Недостающим элементом является программное обеспечение. Для того чтобы местные пользователи могли получить выгоду, таким средам выполнения, как llama.cpp и MLX, потребуется явная поддержка рекуррентной глубины и адаптивного раннего выхода.
Глубина может стать настройкой для пользователя
Благодаря рекурсии по токенам небольшая модель может использовать вычислительные ресурсы крупной модели только там, где это необходимо: быстро для обычного текста и с большой глубиной обработки для сложных задач. Точно так же, как сегодня вы настраиваете температуру выбора элементов (см. нашу инструкцию по температуре, top-k и top-p), вы можете выбрать лимит глубины обработки для каждого запроса. Результаты тестов с использованием инструментов указывают на то же: агенты, которые планируют действия, вызывают инструменты и отслеживают состояние, получают наибольшую пользу от дополнительной глубины обработки, что именно необходимо локальному помощнику для программирования.
Открытые модели могут изменить баланс между прозрачностью и производительностью
Инструмент opaque-serial-depth является общедоступным. Закрытые поставщики могут использовать циклы с необнародованной величиной R, но любой, у кого есть открытые веса модели, может напрямую измерить скрытую глубину её рассуждений. Поэтому использование открытых моделей не обязательно влечёт за собой повторение проблемы непрозрачности; число, скрываемое закрытыми лабораториями, может стать измеримым и опубликованным параметром открытой модели. Результаты исследования Ouro также предупреждают о неправильном предположении, что скрытые рассуждения по своей природе менее надёжны: их следы отслеживали окончательные ответы более точно, чем традиционный метод последовательных рассуждений.
Настоящий открытый вопрос заключается не в том, будут ли открытые модели использовать циклы, поскольку веса Ouro и Huginn уже доступны. Вопрос в том, сочетает ли сообщество циклы с единственной практикой, от которой отказались закрытые лаборатории — публикацией количества циклов.
Когда глубина рекуррентности — не подходящий инструмент
- Если вам нужны проверяемые аргументы, например в регулируемых рабочих процессах, видимая цепочка мыслей остается более удобной для анализа, чем любой скрытый процесс.
- Если на локальном устройстве задержка важнее точности, каждый дополнительный цикл напрямую снижает пропускную способность.
- Если время выполнения инференса не поддерживает рекуррентные ядра или адаптивный выход, вы пока не увидите улучшений в эффективности.
Заключение
На протяжении примерно десяти лет существования моделей языка дополнительные рассуждения приходилось выражать в тексте, и возникала необходимость в его анализе. Рекуррентная структура устраняет такую связь: модель может выполнять значимые последовательные вычисления, не генерируя слов. Окно мониторинга всё ещё существует, но оно больше не обязательно показывает всё.
В одном аспекте результаты исследований вселяют уверенность. Технологии, лежащие в основе циклических моделей, наряду с концепцией открытых весов и инструментом для измерения скрытой глубины, уже являются общедоступными. Закрытые лаборатории могут опередить всех, но открытая экосистема способна установить стандарты.
- Метод повторяющейся глубины использует один и тот же блок слоев R раз для обработки скрытого состояния, что позволяет выполнять последовательные вычисления без дополнительных токенов или параметров.
- Он идет на компромисс между памятью и временем, что делает его привлекательным для центров обработки данных и локального оборудования с высокой вычислительной мощностью, но ограниченной пропускной способностью.
- Universal Transformers, Coconut, Huginn, Mixture-of-Recursions, Ouro и циклические MoE в совокупности описывают механизм работы этих моделей и способы его масштабирования.
- Сообщения о том, что Astra использует этот метод, пока не подтверждены; считайте количество циклов вопросом, который следует задать любому поставщику.