GPT-5.6 Sol против Grok 4.5 против Gemini 3.6 Flash: создание более умного инструмента

В следующих примечаниях описывается практический подход к решению задачи «GPT-5.6 Sol против Grok 4.5 против Gemini 3.6 Flash: создание более умного маршрутизатора агентов». Основное внимание уделяется контрактам, проверкам и местам для вставки кода, а не мотивирующим формулировкам.

Перестаньте спрашивать, какая модель лучше. Маршрутизируйте каждую задачу агента с учётом риска, контекста, инструментов, размера вывода и общей стоимости.

При работе над этапом «Перестаньте спрашивать, какая модель лучше» сначала запишите контракт: необходимые входные данные, сигнал успешного выполнения и действия при частичной неудаче. Такой список помогает сохранять честность при последующих изменениях кода. Храните конфигурацию вне кода приложения. Файлы среды, хранилища секретов и флаги функций должны находиться в одном месте, чтобы операторы могли их проверять, не читая весь код. Записывайте ID запроса, ID модели и время задержки при каждом вызове. Без такой отслеживающей информации периодические ошибки поставщика кажутся багами приложения.

User request → One powerful model → Tools → Final answer

Task
  ↓
Classification and risk analysis
  ↓
Model selection
  ↓
Execution
  ↓
Validation
  ↓
Escalation when required

Модели, проходящие обработку

На этапе обработки моделей сначала запишите условия работы: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой чек-лист поможет сохранять честность при последующих изменениях кода. Документируйте одновременно успешный и восстановительный сценарии работы. Повторные попытки, проверки человеком и обработка неработоспособных сообщений являются частью продукта, а не последующими улучшениями. Записывайте идентификатор запроса, идентификатор модели и время задержки при каждом вызове. Без такой записи периодические ошибки поставщика будут выглядеть как баги приложения.

GPT-5.6 Sol

При работе над этапом GPT-5 6 Sol сначала запишите условия работы: необходимые входные данные, сигнал успешного выполнения и действия при частичной неудаче. Такой чек-лист поможет сохранять честность при последующих изменениях кода. Предпочитайте небольшие, тестируемые модули вместо обширных скриптов. Если какой-то шаг не сработает, причина должна быть связана с конкретной функцией, а не с запутанной цепочкой операций. Записывайте идентификатор запроса, идентификатор модели и время задержки при каждом вызове. Без такой отчетности периодические ошибки провайдера будут выглядеть как баги приложения.

Ценообразование для длинных контекстов GPT-5.6 Sol

При работе с этапом длинного контекста GPT-5 6 Sol сначала запишите условия соглашения: необходимые входные данные, сигнал успешного выполнения и действия при частичной неудаче. Такой список поможет избежать недопонимания при последующих изменениях кода. Рассматривайте этот этап как соглашение между входными данными и проверенными выходными результатами. Укажите названия элементов, определите критерии успешности и не допускайте молчаливого частичного выполнения задачи. Записывайте идентификатор запроса, идентификатор модели и время задержки при каждом вызове. Без такой записи периодические ошибки поставщика будут выглядеть как баги приложения.

Input:  $10 per million tokens
Output: $45 per million tokens

Цены на Grok 4.5 с длинным контекстом

При работе с этапом длинного контекста Grok 4 5 сначала запишите условия использования: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой список помогает сохранять честность при последующих изменениях кода. Записывайте время выполнения и стоимость токенов или запросов рядом с функциональными результатами. Очевидность затрат с самого начала предотвращает неожиданные счета при переходе от демо-среды к общедоступным средам. Фиксируйте идентификатор запроса, идентификатор модели и время задержки при каждом вызове. Без такой отчетности периодические ошибки поставщика могут выглядеть как баги приложения. При работе с этапом длинного контекста Grok 4 5 сначала запишите условия использования: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой список помогает сохранять честность при последующих изменениях кода. Одновременно задокументируйте успешный сценарий работы и сценарий восстановления. Повторные попытки, проверки человеком и обработка неработоспособных сообщений являются частью продукта, а не элементами последующей доработки.

Input:        $4 per million tokens
Cached input: $0.60 per million tokens
Output:       $12 per million tokens

Input:  100,000 tokens
Output: 10,000 tokens

Input:  50,000 tokens
Output: 50,000 tokens

Input tokens = 3 × output tokens

Total model and tool cost
─────────────────────────
Accepted completed tasks

Что должен оценивать роутер

Подход «Что должен оценивать роутер» работает наилучшим образом, если рассматривать его как измеримую характеристику. Сначала соберите один идеальный пример работы, один случай сбоя и запись о возврате к предыдущему состоянию, прежде чем расширять объем исследования. Лучше использовать небольшие, тестируемые единицы вместо обширных скриптов. При сбое какого-либо шага причина должна быть связана с конкретной функцией, а не с запутанной цепочкой операций. Закрепите интерпретатор и файл с информацией о зависимостях до того, как начнете работу с циклами. Различия в настройках между ноутбуком и средой CI являются наиболее распространенной причиной скрытых сбоев в демонстрациях API.

1. Тип задачи

Этап типа задачи 1 работает наилучшим образом, если рассматривать его как измеримую поверхность. Соберите один идеальный пример выполнения, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объема работ. Рассматривайте этот этап как контракт между входными данными и проверенными выходными результатами. Дайте названия создаваемым элементам, определите критерии успеха и не соглашайтесь на молчаливое частичное выполнение задачи. Заблокируйте интерпретатор и файлы зависимостей перед тем, как объяснять работу циклов. Различия в настройках между ноутбуком и средой CI являются наиболее распространенной причиной скрытых сбоев в демонстрациях API.

classification
extraction
repository_search
planning
implementation
debugging
architecture
migration
security_review
final_review
computer_use

2. Риски

Этап с двумя уровнями риска работает наилучшим образом, когда его рассматривают как измеримую поверхность. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию до расширения объема работ. Записывайте время выполнения и стоимость токенов или запросов рядом с функциональными результатами. Отслеживание затрат на раннем этапе предотвращает неожиданные счета при переходе от демо-среды к общедоступным средам. Фиксируйте настройки интерпретатора и файлы блокировки зависимостей перед тем, как объяснять работу циклов. Различия в настройках между ноутбуком и средой CI являются наиболее частой причиной скрытых сбоев в демонстрациях API. Этап с двумя уровнями риска работает наилучшим образом, когда его рассматривают как измеримую поверхность. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию до расширения объема работ. Документируйте одновременно успешный путь выполнения и путь восстановления. Повторные попытки, проверки человеком и обработка неработающих сообщений являются частью продукта, а не элементами последующей доработки.

Low:
Documentation, formatting, metadata, test generation

Medium:
Contained feature work, refactoring, ordinary bug fixes

High:
Authentication, payments, permissions, infrastructure,
database migrations, security-sensitive code

3. Размер контекста

На этапе размера контекста 3 необходимо заранее определить входные данные, ответственного за выполнение шага и критерии завершения перед изменением кода. Операторы должны иметь возможность перезапустить шаг, исходя из известной точки контроля, без необходимости угадывания скрытого состояния. Лучше использовать небольшие, тестируемые единицы кода вместо обширных скриптов. При сбое шага причина должна быть связана с конкретной функцией, а не с запутанной структурой обработки данных. Необходимо разделить процесс создания клиента от цикла обработки сообщений, чтобы можно было заменять поставщики услуг без переписывания машины состояний диалога.

4. Ожидаемый размер вывода

На этапе 4 «Ожидаемый размер вывода» необходимо заранее определить входные данные, ответственного за выполнение шага и критерии завершения перед изменением кода. Операторы должны иметь возможность перезапустить шаг, исходя из известной точки контроля, без необходимости угадывания скрытого состояния. Рассматривайте этот этап как контракт между входными данными и проверенными результатами. Укажите названия результатов работы, определите критерии успеха и не допускайте молчаливого частичного завершения задачи. Отделите процесс создания клиента от цикла обработки сообщений, чтобы можно было заменять поставщиков услуг без переписывания машины состояний диалога.

5. Необходимые инструменты

На этапе «5 необходимых инструментов» необходимо определить входные данные, ответственного за выполнение шага и критерии завершения перед внесением изменений в код. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Записывайте время выполнения и стоимость токенов или запросов рядом с функциональными результатами. Отображение стоимости заранее предотвращает неожиданные счета при переходе с демо-среды в общедоступные среды. Разделяйте процесс создания клиента от цикла обработки сообщений, чтобы можно было заменять поставщиков без переписывания машины состояний обмена сообщениями. На этапе «5 необходимых инструментов» необходимо определить входные данные, ответственного за выполнение шага и критерии завершения перед внесением изменений в код. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Документируйте одновременно «идеальный путь» и пути восстановления. Повторные попытки, проверки человеком и обработка неработающих сообщений являются частью продукта, а не элементами последующей доработки.

6. Прошлые сбои

При работе над этапом «6. Прошлые сбои» сначала запишите условия контракта: необходимые входные данные, сигнал о успешном выполнении и действия при частичном сбое. Такой чек-лист поможет сохранять честность при последующих изменениях кода. Предпочитайте небольшие, тестируемые модули большим скриптам. Когда какой-то шаг сбивается, причина должна указывать на конкретную ответственность, а не на запутанную цепочку операций. Записывайте идентификатор запроса, идентификатор модели и время задержки при каждом вызове. Без такой отслеживающей информации периодические ошибки поставщика кажутся багами приложения.

Практическая политика маршрутизации

При работе над этапом «Практическая политика маршрутизации» сначала запишите контракт: необходимые входные данные, сигнал о успехе и действия при частичной неудаче. Такой список поможет избежать некорректных изменений в коде позже. Рассматривайте этот этап как контракт между входными данными и проверенными выходными результатами. Дайте названия соответствующим элементам, определите критерии успеха и не допускайте молчаливого частичного выполнения задачи. Записывайте идентификатор запроса, идентификатор модели и время задержки при каждом вызове. Без такой отчетности периодические ошибки поставщика будут выглядеть как баги приложения.

Маршрутизация к Gemini 3.6 Flash для:

При работе над этапом «Маршрут к Gemini 3» сначала запишите условия взаимодействия: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой список помогает сохранять честность при последующих изменениях кода. Записывайте время выполнения и стоимость токенов или запросов рядом с функциональными результатами. Очевидность затрат с самого начала предотвращает неожиданные счета при переходе от демо-среды к общедоступным средам. Фиксируйте идентификатор запроса, идентификатор модели и время задержки при каждом вызове. Без такой записи периодические ошибки поставщика могут выглядеть как баги приложения. При работе над этапом «Маршрут к Gemini 3» сначала запишите условия взаимодействия: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой список помогает сохранять честность при последующих изменениях кода. Документируйте одновременно успешный сценарий работы и сценарий восстановления. Повторные попытки, проверки человеком и обработка неработоспособных сообщений являются частью продукта, а не элементами последующей доработки.

Маршрут к Grok 4.5 для:

Путь к этапу Grok 4 работает наилучшим образом, если рассматривать его как измеримую поверхность. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объёма работ. Предпочитайте небольшие, тестируемые единицы кода вместо обширных скриптов. Когда какой-то шаг сбивается, причина сбоя должна указывать на конкретную ответственность, а не на запутанную цепочку операций. Закрепите интерпретатор и файл с информацией о зависимостях до того, как начнёте изучать циклы. Различия в настройках между ноутбуком и системой CI являются наиболее распространённой причиной скрытых сбоев в демонстрациях API.

Путь к GPT-5.6 Sol для:

Шестиступенчатый путь к GPT-5 работает наилучшим образом, если рассматривать его как измеримую структуру. Соберите один идеальный пример вывода, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объема работ. Рассматривайте этот этап как контракт между входными данными и проверенными результатами. Дайте названия всем элементам, определите критерии успеха и не соглашайтесь на молчаливое частичное выполнение задачи. Заблокируйте интерпретатор и файлы зависимостей перед тем, как научить алгоритм работе в циклах. Различия между лаптопом и средой CI являются наиболее частой причиной скрытых сбоев в демонстрациях API.

Пример реализации на TypeScript

Этап реализации типовой библиотеки TypeScript работает наилучшим образом, когда его рассматривают как измеримую среду. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объёма работ. Записывайте временные показатели, а также стоимость токенов или запросов вместе с функциональными результатами. Отслеживание затрат на раннем этапе предотвращает неожиданные расходы при переходе с демо-среды в общедоступные среды. Фиксируйте версии интерпретатора и файлов блокировки зависимостей перед изучением циклов. Различия между ноутбуком и средой CI являются наиболее частой причиной скрытых сбоев в демонстрациях API. Этап реализации типовой библиотеки TypeScript работает наилучшим образом, когда его рассматривают как измеримую среду. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объёма работ. Документируйте одновременно успешный сценарий работы и сценарий восстановления. Повторные попытки, проверки человеком и обработка неработающих сообщений являются частью продукта, а не элементами последующей доработки.

type ModelId =
  | "gpt-5.6-sol"
  | "grok-4.5"
  | "gemini-3.6-flash";

type TaskKind =
  | "classification"
  | "extraction"
  | "repository_search"
  | "planning"
  | "implementation"
  | "debugging"
  | "architecture"
  | "migration"
  | "security_review"
  | "final_review"
  | "computer_use";

type RiskLevel = "low" | "medium" | "high";

interface AgentTask {
  kind: TaskKind;
  risk: RiskLevel;

  estimatedInputTokens: number;
  estimatedOutputTokens: number;

  previousFailures: number;

  requiresComputerUse?: boolean;
  requiresXSearch?: boolean;
  requiresMcp?: boolean;
}

interface ModelPricing {
  inputPerMillion: number;
  outputPerMillion: number;
  cachedInputPerMillion?: number;

  contextWindow: number;

  longContext?: {
    threshold: number;
    inputPerMillion: number;
    outputPerMillion: number;
    cachedInputPerMillion?: number;
  };
}

const MODEL_PRICING: Record<ModelId, ModelPricing> = {
  "gpt-5.6-sol": {
    inputPerMillion: 5,
    outputPerMillion: 30,
    cachedInputPerMillion: 0.5,
    contextWindow: 1_050_000,
    longContext: {
      threshold: 272_001,
      inputPerMillion: 10,
      outputPerMillion: 45,
      cachedInputPerMillion: 1,
    },
  },

  "grok-4.5": {
    inputPerMillion: 2,
    outputPerMillion: 6,
    cachedInputPerMillion: 0.3,
    contextWindow: 500_000,
    longContext: {
      threshold: 200_000,
      inputPerMillion: 4,
      outputPerMillion: 12,
      cachedInputPerMillion: 0.6,
    },
  },

  "gemini-3.6-flash": {
    inputPerMillion: 1.5,
    outputPerMillion: 7.5,
    contextWindow: 1_000_000,
  },
};

function estimateCost(
  model: ModelId,
  inputTokens: number,
  outputTokens: number,
): number {
  const pricing = MODEL_PRICING[model];

  if (inputTokens + outputTokens > pricing.contextWindow) {
    throw new Error(
      `${model} context window exceeded: ` +
        `${inputTokens + outputTokens} tokens`,
    );
  }

  const activePricing =
    pricing.longContext &&
    inputTokens >= pricing.longContext.threshold
      ? pricing.longContext
      : pricing;

  return (
    (inputTokens / 1_000_000) *
      activePricing.inputPerMillion +
    (outputTokens / 1_000_000) *
      activePricing.outputPerMillion
  );
}

function chooseModel(task: AgentTask): ModelId {
  // Hard tool requirements come first.
  if (task.requiresXSearch) {
    return "grok-4.5";
  }

  if (task.requiresMcp) {
    return "gpt-5.6-sol";
  }

  // Escalate tasks that repeatedly fail.
  if (task.previousFailures >= 2) {
    return "gpt-5.6-sol";
  }

  // High-risk work receives stronger reasoning or review.
  if (
    task.risk === "high" ||
    task.kind === "architecture" ||
    task.kind === "migration" ||
    task.kind === "security_review" ||
    task.kind === "final_review"
  ) {
    return "gpt-5.6-sol";
  }

  // Gemini is suitable for routine UI automation.
  if (
    task.requiresComputerUse ||
    task.kind === "computer_use"
  ) {
    return "gemini-3.6-flash";
  }

  // Large prompts can make Grok's long-context tier
  // less attractive.
  if (task.estimatedInputTokens >= 200_000) {
    return "gemini-3.6-flash";
  }

  // Output-heavy coding tasks can favour Grok.
  const inputToOutputRatio =
    task.estimatedInputTokens /
    Math.max(task.estimatedOutputTokens, 1);

  if (
    task.kind === "implementation" ||
    task.kind === "debugging"
  ) {
    return inputToOutputRatio < 3
      ? "grok-4.5"
      : "gemini-3.6-flash";
  }

  // Cheap default for low-risk, input-heavy work.
  return "gemini-3.6-flash";
}

function routeTask(task: AgentTask) {
  const model = chooseModel(task);

  const estimatedCost = estimateCost(
    model,
    task.estimatedInputTokens,
    task.estimatedOutputTokens,
  );

  return {
    model,
    estimatedCost,
    reason: buildRoutingReason(task, model),
  };
}

function buildRoutingReason(
  task: AgentTask,
  model: ModelId,
): string {
  if (task.requiresXSearch) {
    return "Task requires native X search.";
  }

  if (task.previousFailures >= 2) {
    return "Escalated after repeated failures.";
  }

  if (task.risk === "high") {
    return "High-risk task requires stronger reasoning.";
  }

  if (task.estimatedInputTokens >= 200_000) {
    return "Large input makes long-context pricing relevant.";
  }

  if (model === "grok-4.5") {
    return "Output-heavy coding task.";
  }

  return "Low-risk, input-heavy agent task.";
}

Добавление проверки перед переходом на более высокий уровень

На этапе добавления проверки перед переходом необходимо определить входные данные, ответственного за выполнение шага и критерии завершения работы до внесения изменений в код. Операторы должны иметь возможность перезапустить шаг, исходя из известной точки контроля, без необходимости угадывания скрытого состояния. Лучше использовать небольшие, тестируемые единицы кода вместо обширных скриптов. При сбое шага причина сбоя должна указывать на конкретного ответственного, а не на сложную структуру обработки данных. Необходимо разделить процесс формирования сообщений от клиентом и цикл обработки сообщений, чтобы можно было заменять поставщиков услуг без переписывания машины состояний диалога.

interface RunResult {
  model: ModelId;
  success: boolean;

  inputTokens: number;
  outputTokens: number;
  toolCalls: number;

  testsPassed?: boolean;
  lintPassed?: boolean;
  typecheckPassed?: boolean;

  changedFiles: string[];
  estimatedCost: number;
  latencyMs: number;

  failureReason?: string;
}

function shouldEscalate(result: RunResult): boolean {
  if (!result.success) return true;
  if (result.testsPassed === false) return true;
  if (result.lintPassed === false) return true;
  if (result.typecheckPassed === false) return true;

  return false;
}

Использование иерархии уровней обработки проблем

Для использования этапа иерархии управления кризисами необходимо заранее определить входные данные, ответственного за выполнение шага и критерии завершения перед изменением кода. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Рассматривайте этот этап как контракт между входными данными и проверенными результатами. Дайте названия элементам, определите критерии успеха и не допускайте молчаливого частичного завершения задачи. Отделите процесс создания клиента от цикла обработки сообщений, чтобы можно было заменять поставщиков без переписывания машины состояний диалога.

Low-risk agent task
Gemini 3.6 Flash
        ↓ failure
Grok 4.5
        ↓ failure
GPT-5.6 Sol

Grok 4.5
    ↓ failed tests or repeated loop
GPT-5.6 Sol

GPT-5.6 Sol implementation
           ↓
Independent review by another model
           ↓
Automated checks
           ↓
Human approval

Отдельное планирование, выполнение и анализ

Для отдельного этапа планирования и выполнения необходимо заранее определить входные данные, ответственного за шаг и критерии завершения перед изменением кода. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Записывайте время выполнения и стоимость токенов или запросов рядом с функциональными результатами. Отображение стоимости заранее предотвращает неожиданные счета при переходе с демо-среды в общедоступные среды. Разделяйте создание клиента от цикла обработки сообщений, чтобы можно было заменять поставщиков без переписывания машины состояний разговора. Для отдельного этапа планирования и выполнения необходимо заранее определить входные данные, ответственного за шаг и критерии завершения перед изменением кода. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Документируйте одновременно «идеальный» путь выполнения и путь восстановления. Повторные попытки, проверки человеком и обработка неработающих сообщений являются частью продукта, а не добавлениями позже.

Отладка.

Рабочий процесс программирования с учётом затрат

На этапе реализации рабочего процесса программирования с учётом затрат сначала запишите условия работы: необходимые входные данные, сигнал успешного выполнения и действия при частичной неудаче. Такой список помогает сохранять честность при последующих изменениях кода. Предпочитайте небольшие, тестируемые единицы кода вместо обширных скриптов. Если какой-то шаг не сработает, причина должна быть связана с конкретной функцией, а не с запутанной цепочкой операций. Записывайте идентификатор запроса, идентификатор модели и время задержки при каждом вызове. Без такой отслеживающей информации периодические ошибки поставщика могут выглядеть как баги приложения.

Gemini 3.6 Flash
→ Gather repository context
→ Classify the task
→ Identify relevant files

Grok 4.5
→ Implement the change
→ Run tests
→ Repair ordinary failures

GPT-5.6 Sol
→ Review only if risk is high
→ Resolve ambiguous failures

Рабочий процесс миграции с высоким риском

При работе над этапом рабочего процесса миграции с высоким риском сначала запишите условия контракта: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой чек-лист поможет сохранять честность при последующих изменениях кода. Рассматривайте этот этап как контракт между входными данными и проверенными выходными результатами. Укажите названия элементов, определите критерии успеха и не допускайте безответственного частичного выполнения задачи. Записывайте идентификатор запроса, идентификатор модели и время задержки при каждом вызове. Без такой записи периодические ошибки поставщика будут выглядеть как баги приложения.

GPT-5.6 Sol
→ Design the migration plan
→ Identify rollback requirements

Grok 4.5
→ Implement isolated migration steps

GPT-5.6 Sol
→ Review the patch and failure modes

Automated pipeline
→ Test, lint, scan and stage

Human reviewer
→ Approve production execution

Создание набора данных для оценки на основе реальных задач

При работе над этапом создания набора данных для оценки сначала запишите условия использования: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой список поможет сохранять честность при последующих изменениях кода. Записывайте время выполнения и стоимость токенов или запросов рядом с функциональными результатами. Отслеживание затрат на раннем этапе предотвращает неожиданные счета при переходе от демо-среды к общедоступным средам. Фиксируйте идентификатор запроса, идентификатор модели и время задержки при каждом вызове. Без такой записи периодические ошибки поставщика могут выглядеть как баги приложения. При работе над этапом создания набора данных для оценки сначала запишите условия использования: необходимые входные данные, сигнал о успешном выполнении и действия при частичной неудаче. Такой список поможет сохранять честность при последующих изменениях кода. Одновременно задокументируйте успешный сценарий работы и сценарий восстановления. Повторные попытки, проверки человеком и обработка неработоспособных сообщений являются частью продукта, а не элементами последующей доработки.

Task category
Selected model
Input and output tokens
Tool calls
Latency
Retries
Estimated cost
Test result
Human corrections
Files reverted
Final acceptance status
Escalation path

Стоимость за принятую задачу

Показатель стоимости за принятую задачу наиболее эффективен, когда рассматривается как измеримая величина. Соберите один идеальный пример выполнения, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объема работ. Предпочитайте небольшие, тестируемые единицы кода вместо обширных скриптов. При сбое какого-либо шага причина должна быть связана с конкретной ответственностью, а не с запутанной цепочкой операций. Закрепите интерпретатор и файл блокировки зависимостей перед тем, как объяснять работу циклов. Различия в настройках между ноутбуком и средой CI являются наиболее распространенной причиной скрытых сбоев в демонстрациях API.

Total cost, including retries
─────────────────────────────
Number of accepted tasks

Уровень успеха при первой попытке

Этап процента успеха при первой попытке работает наилучшим образом, если рассматривать его как измеримую величину. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объёма работ. Рассматривайте этот этап как контракт между входными данными и проверенными выходными результатами. Дайте названия соответствующим элементам, определите критерии успеха и не соглашайтесь на молчаливое частичное выполнение задачи. Заблокируйте интерпретатор и файлы зависимостей перед тем, как использовать циклы. Различия в работе на ноутбуке и в среде CI являются наиболее распространённой причиной скрытых сбоев в демонстрациях API.

Tasks accepted without retry
────────────────────────────
Total tasks

Время коррекции человеком

Этап коррекции человеком работает наилучшим образом, когда рассматривается как измеримая величина. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объема работ. Записывайте временные показатели, а также стоимость токенов или запросов рядом с функциональными результатами. Отображение стоимости на раннем этапе предотвращает неожиданные счета при переходе от демо-среды к общедоступным средам. Фиксируйте версию интерпретатора и файлы блокировки зависимостей перед тем, как объяснять работу циклов. Различия между ноутбуком и средой CI являются наиболее распространенной причиной скрытых сбоев в демо-версиях API. Этап коррекции человеком работает наилучшим образом, когда рассматривается как измеримая величина. Соберите один идеальный пример работы, один случай сбоя и записку о возврате к предыдущему состоянию перед расширением объема работ. Документируйте одновременно успешный путь выполнения и путь восстановления. Повторные попытки, проверки человеком и обработка неработающих сообщений являются частью продукта, а не элементами последующей доработки.

Чрезмерная частота изменений

На этапе изменения частоты, когда это не нужно, необходимо заранее определить входные данные, ответственного за выполнение шага и критерии завершения перед внесением изменений в код. Операторы должны иметь возможность перезапустить шаг, исходя из известной точки контроля, без необходимости угадывать скрытое состояние. Лучше использовать небольшие, тестируемые единицы кода вместо обширных скриптов. При сбое шага причина должна быть связана с конкретной функцией, а не с запутанной структурой обработки данных. Необходимо разделить процесс создания клиента от цикла обработки сообщений, чтобы можно было заменять поставщики услуг без переписывания машины состояний диалога.

Маршрутизатор должен оставаться заменяемым

Для этой стадии маршрутизации необходимо заранее определить входные данные, ответственного за выполнение шага и критерии завершения перед изменением кода. Операторы должны иметь возможность перезапустить шаг с известной точки контроля, не догадываясь о скрытом состоянии. Рассматривайте эту стадию как контракт между входными данными и проверенными выходными результатами. Укажите названия элементов, определите критерии успеха и не допускайте безответственного частичного выполнения задачи. Разделяйте процесс создания клиента от цикла обработки сообщений, чтобы можно было заменять поставщики услуг без переписывания машины состояний диалога.

Gemini is always cheap.
Grok is always best for implementation.
Sol is always the strongest.

Итоговая рекомендация по маршрутизации

Gemini 3.6 Flash

Grok 4.5

GPT-5.6 Sol

Официальные источники

Чек-лист операций