Главная / Статьи

Отладка серверлесс-версии Apache Spark с использованием Gemini, MCP и навыков агента

Отладка серверless Apache Spark с помощью Gemini: от вставки отчетов об ошибках в чат до агента, который считывает логи пакетных заданий через сервер MCP и устраняет проблемы в PySpark.

Издатель: REACTAPP.TOP6 мин чтения1459 слов

Источники: Debugging Serverless Apache Spark using Gemini with MCP

Каждый, кто работает с Apache Spark в крупном масштабе, знает, насколько сложно выяснить причину сбоя пакетной задачи. Настоящая причина обычно скрыта среди сотен строк логов исполнителей, трейсов стека JVM и потоков Cloud Logging. В итоге приходится переключаться между вкладками браузера, искать пути в Cloud Storage и вручную редактировать скрипты PySpark на своем ноутбуке.

Генеративные модели могут ускорить этот процесс, но степень их эффективности зависит от одного фактора — контекста, который они могут видеть. В следующих разделах рассматриваются четыре уровня контекста, от отсутствия контекста до готового к повторному использованию руководства для команды, с применением Managed Service for Apache Spark, Antigravity CLI и сервера протокола удаленного контекста моделей Spark от Google (MCP).

Уровень ноль: вставка в окно чата

Задание PySpark терпит неудачу из-за неопределённых ошибок вроде SparkException или AttributeError. Первое, что приходит в голову, — скопировать трейс-код в чат в сети. Вот пример из скрипта с именем spark_job.py:

py4j.protocol.Py4JJavaError: An error occurred while calling o80.load.
org.apache.spark.SparkException: Job aborted due to stage failure.
Traceback (most recent call last):
  File "spark_job.py", line 26, in main
    df_with_status = df.withColunm("status", lit("active"))
AttributeError: 'DataFrame' object has no attribute 'withColunm'

Модель чата быстро обнаружит опечатку и предложит заменить withColunm на withColumn. Однако она действует слепо:

  • Она не может открыть ваш локальный файл spark_job.py, поэтому вам придётся самостоятельно найти соответствующую строку, внести изменения и сохранить файл.
  • Она не может проверить статус беспроводных пакетных заданий или получить логи их выполнения в реальном времени.
  • Она не может просмотреть ваши бакеты, разрешения учётной записи сервиса или настройки пакетных заданий.

Если причиной сбоя является отсутствие бакета или субсети без функции Private Google Access, чат может дать только общие предположения.

Уровень один: контекст файла из терминала

Инструмент Google Antigravity CLI, запускаемый как agy, — это инструмент программирования, ориентированный на терминал. Он работает в вашей рабочей среде, поэтому может напрямую читать и изменять ваши файлы.

В процессе используются два отдельных уровня аутентификации. Первый — это стандартные учетные данные приложения: выполнение команды gcloud auth application-default login предоставляет командам gcloud, клиентским библиотекам и серверу Spark MCP возможность взаимодействовать с ресурсами вашего проекта. Второй уровень — это собственная сессия интерфейса командной строки. При первом запуске agy просит вас войти с помощью учетной записи Google и доверить рабочее пространство, что предоставляет ему доступ к моделям Gemini.

Затем убедитесь, что идентификатор вашего проекта экспортирован:

export GOOGLE_CLOUD_PROJECT="$PROJECT_ID"

По умолчанию CLI запрашивает разрешение перед чтением или записью файлов. С использованием флага неконсольного вывода (-p) любые запросы на подтверждение молча отклоняются, если только не настроено автоматическое одобрение. Файл settings.json с параметром toolPermission, установленным в значение always-proceed, вместе с списком разрешенных операций с файлами позволяет агенту анализировать и исправлять скрипты:

mkdir -p ~/.gemini/antigravity-cli
cat << 'EOF' | tee ~/.gemini/antigravity-cli/settings.json ~/.gemini/jetski/cli/settings.json ~/.gemini/antigravity/settings.json ~/.gemini/settings.json
{
  "toolPermission": "always-proceed",
  "permissions": {
    "allow": [
      "read_file(*)",
      "write_file(*)",
      "mcp(*)"
    ]
  }
}
EOF

Имейте в виду, что функция автоматического выполнения операций ставит безопасность на второе место ради удобства, поэтому ограничьте список разрешённых элементов и используйте его в рабочей среде, которой доверяете.

Теперь попросите его обработать несработавший скрипт:

agy -p "examine spark_job.py, fix the DataFrame method typo, and save the file"

При локальном доступе агент открывает файл spark_job.py, находит строку withColunm, заменяет её на withColumn и сохраняет файл на том же месте. Копирование между окнами не происходит.

Второй уровень: контекст инфраструктуры через сервер Spark MCP

Синтаксические ошибки — это простые случаи. Пайплайны в крупном масштабе чаще всего терпят неудачу на уровне инфраструктуры: отсутствие наборов данных, несоответствия прав доступа, проблемы с средой выполнения. Именно здесь на помощь приходит MCP. Это открытый стандарт, позволяющий ИИ-агентам подключаться к внешним API и источникам данных; Google предоставляет удаленный сервер Spark MCP, который делает API управляемой службы Apache Spark доступными в виде инструментов для вызова.

  • Конечная точка: https://dataproc-$REGION.googleapis.com/mcp
  • Транспорт: HTTP
  • Среди инструментов — list_batches, get_batch, list_jobs и get_job, а также другие

Зарегистрируйте сервер в глобальном конфигурационном файле ~/.gemini/config/mcp_config.json:

mkdir -p ~/.gemini/config
cat << EOF | tee ~/.gemini/config/mcp_config.json
{
  "mcpServers": {
    "spark": {
      "serverUrl": "https://dataproc-${REGION}.googleapis.com/mcp"
    }
  }
}
EOF

После этого агент сможет видеть вашу инфраструктуру. Если пакетная обработка потерпела неудачу в Google Cloud, выполните следующее:

agy -p "inspect my latest failed Spark batch via MCP, identify the root cause, and fix spark_job.py so it succeeds"

Вот последовательность действий:

  1. CLI запрашивает у удаленного сервера MCP, какие инструменты доступны, и находит list_batches и get_batch.
  2. Он вызывает list_batches, чтобы определить самую недавнюю выполняемую задачу.
  3. Он вызывает get_batch, чтобы узнать статус сбоя и получить информацию об ошибках JVM из Cloud Logging, например, FileNotFoundException при использовании несуществующего пути вида gs://.
  4. Он открывает локальный файл spark_job.py, находит строку с этим некорректным путем и удаляет соответствующую ссылку. В данном примере он может просто вывести результат вместо того, чтобы сохранить его.
  5. Он обеспечивает корректное освобождение ресурсов с помощью spark.stop() и сохраняет исправленный файл.

Одного запроса оказалось достаточно, чтобы агент диагностировал сбой в облаке и обновил локальный исходный код.

Третий уровень: шаблоны действий как навыки агента

Как только процедура устранения неполадок будет работать, запакуйте её в виде навыка агента. Навык представляет собой папку с инструкциями, скриптами и файлами контекста, в которой находится файл SKILL.md, обучающий агента выполнению повторяющихся операционных задач.

Создайте папку .agents/skills/spark-troubleshooter/ и запишите туда описание навыка:

mkdir -p .agents/skills/spark-troubleshooter
cat << 'EOF' > .agents/skills/spark-troubleshooter/SKILL.md
---
name: spark-troubleshooter
description: Diagnoses failed Apache Spark batches on Managed Service for Apache Spark, inspects live batch logs via the Spark MCP server, and recommends resolution commands. Use when troubleshooting Spark job failures.
---

# Spark Troubleshooter Skill

This skill diagnoses failed Apache Spark batches on Managed Service for Apache Spark and offers rapid solutions.

## Instructions
1. Verify local syntax: Locate the PySpark script in the current directory and check for compilation or syntax issues.
2. Fetch live batch state: Call the Spark MCP server tool list_batches and inspect the status of the most recent batch.
3. Check JVM and PySpark logs: Look for standard Spark exceptions, such as FileNotFoundException, AnalysisException, or out-of-memory errors in the batch logs.
4. Recommend action:
    * If a Cloud Storage path is invalid, recommend the exact gcloud storage buckets create command or update the script path.
    * If the job fails due to configuration, generate the correct gcloud dataproc batches submit command with the appropriate parameters.
    * If a syntax error is detected, fix the code in-place.
    * For other errors, recommend a fix.
EOF

Поскольку он находится в каталоге проекта .agents/skills/, CLI сам находит его. Затем:

agy -p "Diagnose why my last Spark batch failed and recommend a fix"

Агент следует шагам вашего плана действий и возвращает сфокусированный план:

[Spark Troubleshooter] Running diagnostic playbook...
- Local Syntax: OK (spark_job.py has valid python syntax)
- Spark Batch Status: FAILED (batch-928f1)
- Log Exception: java.io.FileNotFoundException for gs://my-missing-bucket/input.csv

Recommendation:
The bucket gs://my-missing-bucket does not exist. Run this command to create it:

  gcloud storage buckets create gs://my-missing-bucket --location=$REGION

Once created, submit the batch again with:

  gcloud dataproc batches submit pyspark spark_job.py \
      --region=$REGION \
      --deps-bucket=gs://$BUCKET_NAME

Загрузите папку .agents/skills/ в Git, и все, кто скачивает репозиторий, получат одинаковую автоматизированную помощь при устранении неполадок.

Вариант консоли: Gemini в Cloud Logging

Если вы предпочитаете работать в консоли Google Cloud, в Cloud Logging есть встроенные функции ИИ. Когда сбивается бесслужебный пакет Spark:

  1. Откройте страницу пакетов в консоли Managed Service for Apache Spark.
  2. Выберите сбойный пакет и нажмите View Logs.
  3. Найдите строку с ошибкой в Logs Explorer.
  4. Нажмите Investigate log или иконку Gemini sparkle.

Gemini сразу же читает содержимое логов, выделяет исключение PySpark и предлагает способы его устранения, без необходимости копирования конфиденциальных данных куда-либо еще.

Краткое описание развития

Помощь ИИ в работе с данными масштабируется в зависимости от контекста:

  1. Отсутствие контекста, как в веб-чате, позволяет давать общие рекомендации, но не позволяет анализировать код или проверять инфраструктуру.
  2. Контекст файлов из Antigravity CLI считывает локальный код и непосредственно вносит исправления синтаксиса.
  3. Контекст инфраструктуры из Spark MCP запрашивает информацию о текущем состоянии задач, считывает данные из Cloud Logging и связывает сбои во время выполнения с их источником.
  4. Кодированный контекст в Agent Skills превращает многоэтапные инструкции в команды, которые можно использовать всей командой.

Чтобы попробовать это на практике, Google публикует курс по инженерии платформ для Managed Service for Apache Spark с использованием Gemini и MCP. Существует аналогичный курс для Google Kubernetes Engine, охватывающий схожие сценарии использования.