Головна / Статті

Відлагодження Serverless Apache Spark за допомогою Gemini, MCP та Agent Skills

Дебагування серверлессого Apache Spark за допомогою Gemini: від вставки повідомлень про помилки у чат до агента, який читає журнали операцій пакетами через сервер MCP та виправляє проблеми в PySpark.

Видавець: REACTAPP.TOP6 хв читання1459 слів

Джерела: Debugging Serverless Apache Spark using Gemini with MCP

Кожен, хто використовує Apache Spark у масштабних проектах, знає, наскільки складно з’ясувати причину завершення роботи пакетної задачі. Справжня причина часто ховається серед сотень рядків журналів виконавців, слідів стеку JVM та потоків Cloud Logging. Доводиться постійно перемикатися між вкладками браузера, шукати дані у каталогах Cloud Storage та вручну редагувати скрипти PySpark на своєму ноутбуці.

Генеративні моделі можуть прискорити цей процес, але ступінь їхньої корисності залежить від одного фактора – контексту, який вони можуть бачити. У наступних розділах розглядаються чотири рівні контексту, від відсутності контексту до створення повторно використовуваного посібника для команди, з використанням Managed Service for Apache Spark, Antigravity CLI та сервера протоколу Google’s remote Spark Model Context Protocol (MCP).

Рівень нуль: вставка тексту у вікно чату

Завдання PySpark зазнає невдачі через якусь нечітку причину, таку як SparkException або AttributeError. Першою реакцією є копіювання запису про помилку до веб-чату. Ось приклад з скрипту під назвою spark_job.py:

py4j.protocol.Py4JJavaError: An error occurred while calling o80.load.
org.apache.spark.SparkException: Job aborted due to stage failure.
Traceback (most recent call last):
  File "spark_job.py", line 26, in main
    df_with_status = df.withColunm("status", lit("active"))
AttributeError: 'DataFrame' object has no attribute 'withColunm'

Модель чату швидко виявить опечатку та запропонує замінити withColunm на withColumn. Але вона працює сліпо:

  • Вона не може відкрити ваш файл spark_job.py локально, тож вам доводиться самостійно знайти потрібний рядок, внести зміни та зберегти його.
  • Вона не може перевірити статус бatch-завдань без сервера чи отримати живі логи виконання.
  • Вона не може переглянути ваші бакети, права облікового запису сервісу чи налаштування batch-завдань.

Якщо причиною помилки є відсутній бакет чи підмережа без приватного доступу до Google, чат може лише надати загальні припущення.

Рівень один: контекст файлу з терміналу

Google Antigravity CLI, який викликається як agy, — це інструмент для програмування, орієнтований на термінал. Він працює у вашому робочому просторі, тож може безпосередньо читати та змінювати ваші файли.

Використовуються два окремі рівні автентифікації. Перший — це стандартні облікові дані додатку: виконання команди gcloud auth application-default login надає командам gcloud, клієнтським бібліотекам та серверу Spark MCP можливість працювати з ресурсами вашого проєкту. Другий — це власна сесія CLI. Під час першого запуску agy просить вас увійти за допомогою облікового запису Google та надати довіру робочому простору, що дає йому доступ до моделей Gemini.

Потім переконайтеся, що ідентифікатор вашого проєкту експортований:

export GOOGLE_CLOUD_PROJECT="$PROJECT_ID"

За замовчуванням CLI запитує дозвіл перед читанням або записом файлів. За допомогою флага неконсольного виводу (-p) будь-які запити на підтвердження мовчки відхиляються, якщо тільки не налаштовано автоматичне схвалення. Файл settings.json, у якому параметр toolPermission встановлений на значення always-proceed, разом із списком дозволених операцій з файлами, дозволяє агенту перевіряти та виправляти скрипти:

mkdir -p ~/.gemini/antigravity-cli
cat << 'EOF' | tee ~/.gemini/antigravity-cli/settings.json ~/.gemini/jetski/cli/settings.json ~/.gemini/antigravity/settings.json ~/.gemini/settings.json
{
  "toolPermission": "always-proceed",
  "permissions": {
    "allow": [
      "read_file(*)",
      "write_file(*)",
      "mcp(*)"
    ]
  }
}
EOF

Пам’ятайте, що безпека операцій завжди має бути на першому місці через зручність, тож тримайте список дозволених елементів обмеженим та використовуйте його у робочому просторі, якому довіряєте.

Тепер попросіть його обробити несправний скрипт:

agy -p "examine spark_job.py, fix the DataFrame method typo, and save the file"

З локальним доступом агент відкриває spark_job.py, знаходить withColunm, замінює його на withColumn та зберігає файл на тому самому місці. Копіювання між вікнами не відбувається.

Рівень два: контекст інфраструктури через сервер Spark MCP

Синтаксичні помилки — це простий випадок. Пайплайни у масштабі частіше зазнають невдач на рівні інфраструктури: відсутні набори даних, неузгодження прав, проблеми з середовищем виконання. Саме тут на допомогу приходить MCP. Це відкритий стандарт, який дозволяє AI-агентам під’єднуватися до зовнішніх API та джерел даних, а Google пропонує віддалений сервер Spark MCP, який робить API Managed Service for Apache Spark доступними як інструменти для виклику.

  • Кінцева точка: https://dataproc-$REGION.googleapis.com/mcp
  • Транспорт: HTTP
  • Серед інструментів є list_batches, get_batch, list_jobs та get_job.
  • Зареєструйте сервер у глобальному конфігураційному файлі ~/.gemini/config/mcp_config.json:

    mkdir -p ~/.gemini/config
    cat << EOF | tee ~/.gemini/config/mcp_config.json
    {
      "mcpServers": {
        "spark": {
          "serverUrl": "https://dataproc-${REGION}.googleapis.com/mcp"
        }
      }
    }
    EOF
    

    Після цього агент може бачити вашу інфраструктуру. Якщо пакет завершився невдачею у Google Cloud, виконайте:

    agy -p "inspect my latest failed Spark batch via MCP, identify the root cause, and fix spark_job.py so it succeeds"
    

    Ось послідовність дій:

    1. CLI запитує віддалений сервер MCP, які інструменти існують, і знаходить list_batches та get_batch.
    2. Він викликає list_batches, щоб знайти вашу останню операцію.
    3. Він викликає get_batch, щоб отримати інформацію про стан помилки та витягнути помилку JVM з Cloud Logging, наприклад FileNotFoundException для шляху введення типу gs://, якого немає.
    4. Він відкриває локальний файл spark_job.py, знаходить рядок із цим некоректним шляхом та видаляє посилання на нього. У цьому прикладі він може просто вивести результат замість того, щоб зберегти його.
    5. Він переконується, що ресурси були належним чином звільнені за допомогою spark.stop(), та зберігає виправлений файл.

    Одне запитання — і агент діагностував проблему в хмарі та оновив локальний код.

    Рівень третій: плани дій як навички агента

    Як тільки процедура усунення несправностей почне працювати, запакуйте її як навичку агента. Навичка — це папка з інструкціями, скриптами та файлами контексту, яка містить файл SKILL.md, і призначена для навчання агента повторюваним операційним завданням.

    Створіть папку .agents/skills/spark-troubleshooter/ та запишіть туди навичку:

    mkdir -p .agents/skills/spark-troubleshooter
    cat << 'EOF' > .agents/skills/spark-troubleshooter/SKILL.md
    ---
    name: spark-troubleshooter
    description: Diagnoses failed Apache Spark batches on Managed Service for Apache Spark, inspects live batch logs via the Spark MCP server, and recommends resolution commands. Use when troubleshooting Spark job failures.
    ---
    
    # Spark Troubleshooter Skill
    
    This skill diagnoses failed Apache Spark batches on Managed Service for Apache Spark and offers rapid solutions.
    
    ## Instructions
    1. Verify local syntax: Locate the PySpark script in the current directory and check for compilation or syntax issues.
    2. Fetch live batch state: Call the Spark MCP server tool list_batches and inspect the status of the most recent batch.
    3. Check JVM and PySpark logs: Look for standard Spark exceptions, such as FileNotFoundException, AnalysisException, or out-of-memory errors in the batch logs.
    4. Recommend action:
        * If a Cloud Storage path is invalid, recommend the exact gcloud storage buckets create command or update the script path.
        * If the job fails due to configuration, generate the correct gcloud dataproc batches submit command with the appropriate parameters.
        * If a syntax error is detected, fix the code in-place.
        * For other errors, recommend a fix.
    EOF
    

    Оскільки воно знаходиться у каталозі проєкту .agents/skills/, CLI знаходить його самостійно. Потім:

    agy -p "Diagnose why my last Spark batch failed and recommend a fix"
    

    Агент дотримується кроків вашого плану дій та повертає чіткий план:

    [Spark Troubleshooter] Running diagnostic playbook...
    - Local Syntax: OK (spark_job.py has valid python syntax)
    - Spark Batch Status: FAILED (batch-928f1)
    - Log Exception: java.io.FileNotFoundException for gs://my-missing-bucket/input.csv
    
    Recommendation:
    The bucket gs://my-missing-bucket does not exist. Run this command to create it:
    
      gcloud storage buckets create gs://my-missing-bucket --location=$REGION
    
    Once created, submit the batch again with:
    
      gcloud dataproc batches submit pyspark spark_job.py \
          --region=$REGION \
          --deps-bucket=gs://$BUCKET_NAME
    

    Збережіть папку .agents/skills/ у Git, і кожен, хто завантажуватиме репозиторій, отримає однакову автоматизовану допомогу у вирішенні проблем.

    Опція консолі: Gemini у Cloud Logging

    Якщо ви волієте працювати у консолі Google Cloud, у Cloud Logging є вбудовані функції ШІ. Коли зазнає невдачі безсерверний батч Spark:

    1. Відкрийте сторінку батчів у консолі Managed Service for Apache Spark.
    2. Виберіть невдалий батч та натисніть View Logs.
    3. Знайдіть рядок з помилкою у Logs Explorer.
    4. Натисніть Investigate log або іконку Gemini sparkle.

    Gemini безпосередньо читає вміст журналу, підсвічує виняток PySpark та пропонує способи його виправлення, без необхідності копіювати конфіденційні дані кудись ще.

    Коротко про прогрес

    Допомога ШІ у роботі з даними масштабується в залежності від контексту:

    1. Відсутність контексту, як у веб-чаті, дозволяє надавати загальні поради, але не дозволяє працювати з кодом чи перевіряти інфраструктуру.
    2. Контекст файлів з Antigravity CLI читає локальний код та вносить корективи до синтаксису безпосередньо на місці.
    3. Контекст інфраструктури з Spark MCP запитує стан поточних завдань, читає записи з Cloud Logging та пов’язує проблеми під час виконання з їхнім джерелом.
    4. Кодований контекст у Agent Skills перетворює багатоетапні інструкції на команди, які можна використовувати знову для всієї команди.

    Щоб спробувати це на практиці, Google опублікував курс з інженерії платформ для Managed Service for Apache Spark з використанням Gemini та MCP. Існує також подібний курс для Google Kubernetes Engine, який охоплює схожі сценарії використання.