Галоўная / Артыкулы

Адладка serverless Apache Spark з Gemini, MCP і навыкамі агента

Адладка serverless Apache Spark з Gemini: ад устаўкі трасіровак у чат да агента, які чытае журналы пакетаў праз MCP-сервер і выпраўляе код PySpark.

Выдавец: REACTAPP.TOP6 хв чытання1459 слоў

Крыніцы: Debugging Serverless Apache Spark using Gemini with MCP

Кожны, хто адмініструе Apache Spark у масштабных сістэмах, ведае, насколькі клопатна ў задачу з’ясавання прычыны завершэння пакетной задачы. Асалідная прычына часта заховваецца сярод сотняў рэкордаў журналу выканання, следаў стэка JVM і стрымоў Cloud Logging. У такім разе даводзіцца перыходзіць з вокна браузера ў вокано, шукаць па шляхам у Cloud Storage і ручна правяраць скрыпты PySpark на сваём ноутбуку.

Генератыўныя мадэлі можу прышвартаваць гэты працэс, але ступень ўпоркі залежыць ад адной рэчы — кантэксту, які ўмогацьвае іх працаваць. У наступных раздзелах рассматрываюцца чатыры рэвэля кантэксту, ад ўсёж нямае до можна выкарыстанага команднага плану, з выкорыстанням Managed Service для Apache Spark, Antigravity CLI і сервера протаколу далёкага кантэксту модэля Spark (MCP) ад Google.

Рэвэль нуль: копіюванне ў вокано чату

Задача PySpark не выканана з-за якогась нечыяснага падзею, такой як SparkException або AttributeError. Першыя думкі — копіюваць трэйсбек у веб-чат. Вось прыклад з скрыпту пад назвай spark_job.py:

py4j.protocol.Py4JJavaError: An error occurred while calling o80.load.
org.apache.spark.SparkException: Job aborted due to stage failure.
Traceback (most recent call last):
  File "spark_job.py", line 26, in main
    df_with_status = df.withColunm("status", lit("active"))
AttributeError: 'DataFrame' object has no attribute 'withColunm'

Мадэль чату быстра адактуець памылку і запрасіць змяніць withColunm на withColumn. Але ён працуе слепа:

  • Ён не можа ачысці ваш spark_job.py у локальной памяці, таму вам трэба самому знайсці ўпорк, выправіць яго і запісаць.
  • Ён не можа пераканаліць статус батч-задання без сервера чы скасці логів выканання.
  • Ён не можа адгледзець вашы бакеты, правыя доступу до сэрвіснага акаунта чы настройкі батч-задання.

Калі прычына абярэння — відсутны бакет чы падсет без прыватнага доступу да Google, чат можа толькі даваць загальныя прыпускі.

Рэгламент першага рангу: кантэкст файлу з тэрміналу

Google Antigravity CLI, які вызываецца як agy, — гэта інструмент для програмавання, які працуе пераважна з тэрміналам. Ён запускаецца у вашай рабочай прасторы, таму можа безпасэчна чытаць і змяніць вашы файлы.

Участвуюць два адзінольныя слою автанацыі. Першы — гэта стандартныя кранты прылады: запуск команды gcloud auth application-default login дае камандам gcloud, бібліятэкам кліента і серверу Spark MCP можлівасць працаваць з рэсурсамі вашага праекту. Другі — гэта сэанс самай CLI. Пры першым запуске agy просіць вас заўважыцца на адначыну Google і дазволіць робочай прастору, што дае яй доступ да модэляў Gemini.

Потым пераканайцеся, што ID вашага праекту быў экспортаваны:

export GOOGLE_CLOUD_PROJECT="$PROJECT_ID"

Па ўзначэнні CLI запытае разрэшэння пры чытанні або запісе файлаў. За дапамогою флага некінетычнага выдрукавання (-p) будзе тыха адмовлена ўсё, што трэбуе падтверджэння, калі толькі не ўстановлена автаматычная згода. Файл settings.json, у яком toolPermission заданы на always-proceed, а таксама спіс дазволеных операцый з файламі, дозволяе агенту пераглядаць і вылечваць скрыпты:

mkdir -p ~/.gemini/antigravity-cli
cat << 'EOF' | tee ~/.gemini/antigravity-cli/settings.json ~/.gemini/jetski/cli/settings.json ~/.gemini/antigravity/settings.json ~/.gemini/settings.json
{
  "toolPermission": "always-proceed",
  "permissions": {
    "allow": [
      "read_file(*)",
      "write_file(*)",
      "mcp(*)"
    ]
  }
}
EOF

Згадайце, што для зручнасці абавесць часта выканання транзакцый, таму трэба зменшыць спіс дазволеных элементоў і вікорыстоўваць яго толькі у рабочай суперакту, якой вы давераеце.

Цяпер папросіце яго абработаць неякшы скрыпт:

agy -p "examine spark_job.py, fix the DataFrame method typo, and save the file"

За дапамою локальнага доступу агент ачынае файл spark_job.py, знаходзіць элемент withColunm, зменшвае яго на withColumn і захоўвае файл на тым жа месцы. Не адбываецца копіюванне межаў вікнаў.

Вторы рэвень: інфраструктурны кантэкст праз сервер Spark MCP

Сінтаксічныя памылкі — гэта просты случай. У масштабаваных пілотах часта выклікаюцься проблемы на рэвене інфраструктуры: відсутнасць набораў дадзеных, несувярэннасці прав, проблемы з сераўным аптаматам. Сюдзеўж і прыходзіць MCP. Цэльне відкрыты стандарт, які дазволяе агентам AI з’яўляцца паўз зовнішнія API і крыніцы дадзеных, а Google прысвячае удалёны сервер Spark MCP, які робіць API Managed Service for Apache Spark доступным як інструменты для вызову.

  • Канец паўтарэння: https://dataproc-$REGION.googleapis.com/mcp
  • Транспорт: HTTP
  • Серэд інструментаў ёсць list_batches, get_batch, list_jobs і get_job.
  • Зарэгіструйце сервер у глобальным файле налаштоўкаў ~/.gemini/config/mcp_config.json:

    mkdir -p ~/.gemini/config
    cat << EOF | tee ~/.gemini/config/mcp_config.json
    {
      "mcpServers": {
        "spark": {
          "serverUrl": "https://dataproc-${REGION}.googleapis.com/mcp"
        }
      }
    }
    EOF
    

    Калі гэта налажана, агент можа бачыць вашу інфраструктуру. Пасля таго, калі пакет не выканаецца на Google Cloud, запускайце:

    agy -p "inspect my latest failed Spark batch via MCP, identify the root cause, and fix spark_job.py so it succeeds"
    

    Гэтая ўпорадкаўка выглядае так:

    1. CLI запытае даўній сервер MCP пра наявныя інструменты і знаходзіць list_batches і get_batch.
    2. Ён вызывае list_batches, ўбачыць вашу найсяроднейшую експаніяцыю.
    3. Ён вызывае get_batch, каб прачытаць статус абякання і выкарыстаць памылку JVM з Cloud Logging, напрыклад FileNotFoundException для шляху вводу gs://, якога няма.
    4. Ён ачынае локальны файл spark_job.py, знаходзіць рэч, якая чытае той паследні шлях, і адмаўляе гэтыя рэферэнсы. У гэтым прыкладзе ён можа выдрукаваць рэзультаты замест таго, каб іх запісаць.
    5. Ён пераканаецца, што рэсурсы былі чыста зваліканыя за дапамогою spark.stop(), і запісвае выправлены файл.

    Адна запытка, і агент дыяганаваў абяканне ў воблаку і апдэйтаваў локальны выканак.

    Трыцяты ўрад: планы дзеяння як навыкі агента

    Калі процедура адклекчэння проблем стане эфкарна, запакаваеце яе як Навык агента. Навык — гэта папка з інструкцыямі, скрыптамі і файламі кантэксту, якая мае файл SKILL.md і служыць для навучэння агента паўтаральным задачам.

    Створыце папку .agents/skills/spark-troubleshooter/ і запісаце там навык:

    mkdir -p .agents/skills/spark-troubleshooter
    cat << 'EOF' > .agents/skills/spark-troubleshooter/SKILL.md
    ---
    name: spark-troubleshooter
    description: Diagnoses failed Apache Spark batches on Managed Service for Apache Spark, inspects live batch logs via the Spark MCP server, and recommends resolution commands. Use when troubleshooting Spark job failures.
    ---
    
    # Spark Troubleshooter Skill
    
    This skill diagnoses failed Apache Spark batches on Managed Service for Apache Spark and offers rapid solutions.
    
    ## Instructions
    1. Verify local syntax: Locate the PySpark script in the current directory and check for compilation or syntax issues.
    2. Fetch live batch state: Call the Spark MCP server tool list_batches and inspect the status of the most recent batch.
    3. Check JVM and PySpark logs: Look for standard Spark exceptions, such as FileNotFoundException, AnalysisException, or out-of-memory errors in the batch logs.
    4. Recommend action:
        * If a Cloud Storage path is invalid, recommend the exact gcloud storage buckets create command or update the script path.
        * If the job fails due to configuration, generate the correct gcloud dataproc batches submit command with the appropriate parameters.
        * If a syntax error is detected, fix the code in-place.
        * For other errors, recommend a fix.
    EOF
    

    Паколькі ён знаходзіцца ў каталозе .agents/skills/ праекта, CLI сама яго знаходзіць. Потым:

    agy -p "Diagnose why my last Spark batch failed and recommend a fix"
    

    Агент выконвае крокі з вашага плану дзеяння і вяртае сфармаваны план:

    [Spark Troubleshooter] Running diagnostic playbook...
    - Local Syntax: OK (spark_job.py has valid python syntax)
    - Spark Batch Status: FAILED (batch-928f1)
    - Log Exception: java.io.FileNotFoundException for gs://my-missing-bucket/input.csv
    
    Recommendation:
    The bucket gs://my-missing-bucket does not exist. Run this command to create it:
    
      gcloud storage buckets create gs://my-missing-bucket --location=$REGION
    
    Once created, submit the batch again with:
    
      gcloud dataproc batches submit pyspark spark_job.py \
          --region=$REGION \
          --deps-bucket=gs://$BUCKET_NAME
    

    Зберажыце папку .agents/skills/ у Git, і кожны, хто завантажыць рэпазітары, будзе мець аднаковую аўтаматызаваную дапамогу у рашэнні проблем.

    Варыянт консолі: Gemini у Cloud Logging

    Калі вы воліяеце застацца ў консалі Google Cloud, у Cloud Logging ёсць вбудованыя функцыі ШЫ. Калі збійнае батч-заданне серверлесс-Spark:

    1. Ачыніце стороніцу батч-заданняў у консалі Managed Service для Apache Spark.
    2. Выберыце збійнае батч-заданне і нажміце «View Logs».
    3. Знайдзіце лінію з адказам пра бяду ў Logs Explorer.
    4. Нажміце «Investigate log» або айконку Gemini sparkle.

    Gemini чытае тэкст лога на месцы, выявляе адказы PySpark і прыказвае способы ўладзення з проблемай, без неабяжнасці копіраваць чулівыя даны куды-небудзь.

    Короткая характарыстыка прыгодзе

    Дапамога ШЫ у працы з дадзеннямі расшырваецца ў залежнасці ад кантэксту:

    1. Без жаднога кантэксту, як у веб-чаце, даёцца загальныя парады і немагчыма працаваць з кодам чыстая пераканаліць інфраструктуру.
    2. Кантэкст файла з Antigravity CLI чытае локальны код і выконвае паследованні сінтаксісу пры самай месцы.
    3. Кантэкст інфраструктуры з Spark MCP запытае статус жывых заданняў, чытае логі з Cloud Logging і выявляе прычыны падзейнаў у часе выканання.
    4. Кодаваны кантэкст у Agent Skills ператварае багаташагонаўскі план дзействаў у командны каманды, які можна вікорыстоўваць знову.

    Ёнколі спробаваць усё самому, Google публікуе курсавую працу па інжынерыі платформ для Managed Service for Apache Spark з Gemini і MCP. Існуе таксама адпоўнае заведанне для Google Kubernetes Engine, якое расглядае падобныя сцэнарыі вікорыстання.