Адладка serverless Apache Spark з Gemini, MCP і навыкамі агента
Адладка serverless Apache Spark з Gemini: ад устаўкі трасіровак у чат да агента, які чытае журналы пакетаў праз MCP-сервер і выпраўляе код PySpark.
Крыніцы: Debugging Serverless Apache Spark using Gemini with MCP
Кожны, хто адмініструе Apache Spark у масштабных сістэмах, ведае, насколькі клопатна ў задачу з’ясавання прычыны завершэння пакетной задачы. Асалідная прычына часта заховваецца сярод сотняў рэкордаў журналу выканання, следаў стэка JVM і стрымоў Cloud Logging. У такім разе даводзіцца перыходзіць з вокна браузера ў вокано, шукаць па шляхам у Cloud Storage і ручна правяраць скрыпты PySpark на сваём ноутбуку.
Генератыўныя мадэлі можу прышвартаваць гэты працэс, але ступень ўпоркі залежыць ад адной рэчы — кантэксту, які ўмогацьвае іх працаваць. У наступных раздзелах рассматрываюцца чатыры рэвэля кантэксту, ад ўсёж нямае до можна выкарыстанага команднага плану, з выкорыстанням Managed Service для Apache Spark, Antigravity CLI і сервера протаколу далёкага кантэксту модэля Spark (MCP) ад Google.
Рэвэль нуль: копіюванне ў вокано чату
Задача PySpark не выканана з-за якогась нечыяснага падзею, такой як SparkException або AttributeError. Першыя думкі — копіюваць трэйсбек у веб-чат. Вось прыклад з скрыпту пад назвай spark_job.py:
py4j.protocol.Py4JJavaError: An error occurred while calling o80.load.
org.apache.spark.SparkException: Job aborted due to stage failure.
Traceback (most recent call last):
File "spark_job.py", line 26, in main
df_with_status = df.withColunm("status", lit("active"))
AttributeError: 'DataFrame' object has no attribute 'withColunm'
Мадэль чату быстра адактуець памылку і запрасіць змяніць withColunm на withColumn. Але ён працуе слепа:
- Ён не можа ачысці ваш
spark_job.pyу локальной памяці, таму вам трэба самому знайсці ўпорк, выправіць яго і запісаць. - Ён не можа пераканаліць статус батч-задання без сервера чы скасці логів выканання.
- Ён не можа адгледзець вашы бакеты, правыя доступу до сэрвіснага акаунта чы настройкі батч-задання.
Калі прычына абярэння — відсутны бакет чы падсет без прыватнага доступу да Google, чат можа толькі даваць загальныя прыпускі.
Рэгламент першага рангу: кантэкст файлу з тэрміналу
Google Antigravity CLI, які вызываецца як agy, — гэта інструмент для програмавання, які працуе пераважна з тэрміналам. Ён запускаецца у вашай рабочай прасторы, таму можа безпасэчна чытаць і змяніць вашы файлы.
Участвуюць два адзінольныя слою автанацыі. Першы — гэта стандартныя кранты прылады: запуск команды gcloud auth application-default login дае камандам gcloud, бібліятэкам кліента і серверу Spark MCP можлівасць працаваць з рэсурсамі вашага праекту. Другі — гэта сэанс самай CLI. Пры першым запуске agy просіць вас заўважыцца на адначыну Google і дазволіць робочай прастору, што дае яй доступ да модэляў Gemini.
Потым пераканайцеся, што ID вашага праекту быў экспортаваны:
export GOOGLE_CLOUD_PROJECT="$PROJECT_ID"
Па ўзначэнні CLI запытае разрэшэння пры чытанні або запісе файлаў. За дапамогою флага некінетычнага выдрукавання (-p) будзе тыха адмовлена ўсё, што трэбуе падтверджэння, калі толькі не ўстановлена автаматычная згода. Файл settings.json, у яком toolPermission заданы на always-proceed, а таксама спіс дазволеных операцый з файламі, дозволяе агенту пераглядаць і вылечваць скрыпты:
mkdir -p ~/.gemini/antigravity-cli
cat << 'EOF' | tee ~/.gemini/antigravity-cli/settings.json ~/.gemini/jetski/cli/settings.json ~/.gemini/antigravity/settings.json ~/.gemini/settings.json
{
"toolPermission": "always-proceed",
"permissions": {
"allow": [
"read_file(*)",
"write_file(*)",
"mcp(*)"
]
}
}
EOF
Згадайце, што для зручнасці абавесць часта выканання транзакцый, таму трэба зменшыць спіс дазволеных элементоў і вікорыстоўваць яго толькі у рабочай суперакту, якой вы давераеце.
Цяпер папросіце яго абработаць неякшы скрыпт:
agy -p "examine spark_job.py, fix the DataFrame method typo, and save the file"
За дапамою локальнага доступу агент ачынае файл spark_job.py, знаходзіць элемент withColunm, зменшвае яго на withColumn і захоўвае файл на тым жа месцы. Не адбываецца копіюванне межаў вікнаў.
Вторы рэвень: інфраструктурны кантэкст праз сервер Spark MCP
Сінтаксічныя памылкі — гэта просты случай. У масштабаваных пілотах часта выклікаюцься проблемы на рэвене інфраструктуры: відсутнасць набораў дадзеных, несувярэннасці прав, проблемы з сераўным аптаматам. Сюдзеўж і прыходзіць MCP. Цэльне відкрыты стандарт, які дазволяе агентам AI з’яўляцца паўз зовнішнія API і крыніцы дадзеных, а Google прысвячае удалёны сервер Spark MCP, які робіць API Managed Service for Apache Spark доступным як інструменты для вызову.
- Канец паўтарэння:
https://dataproc-$REGION.googleapis.com/mcp - Транспорт: HTTP
list_batches, get_batch, list_jobs і get_job.Зарэгіструйце сервер у глобальным файле налаштоўкаў ~/.gemini/config/mcp_config.json:
mkdir -p ~/.gemini/config
cat << EOF | tee ~/.gemini/config/mcp_config.json
{
"mcpServers": {
"spark": {
"serverUrl": "https://dataproc-${REGION}.googleapis.com/mcp"
}
}
}
EOF
Калі гэта налажана, агент можа бачыць вашу інфраструктуру. Пасля таго, калі пакет не выканаецца на Google Cloud, запускайце:
agy -p "inspect my latest failed Spark batch via MCP, identify the root cause, and fix spark_job.py so it succeeds"
Гэтая ўпорадкаўка выглядае так:
- CLI запытае даўній сервер MCP пра наявныя інструменты і знаходзіць
list_batchesіget_batch. - Ён вызывае
list_batches, ўбачыць вашу найсяроднейшую експаніяцыю. - Ён вызывае
get_batch, каб прачытаць статус абякання і выкарыстаць памылку JVM з Cloud Logging, напрыкладFileNotFoundExceptionдля шляху вводуgs://, якога няма. - Ён ачынае локальны файл
spark_job.py, знаходзіць рэч, якая чытае той паследні шлях, і адмаўляе гэтыя рэферэнсы. У гэтым прыкладзе ён можа выдрукаваць рэзультаты замест таго, каб іх запісаць. - Ён пераканаецца, што рэсурсы былі чыста зваліканыя за дапамогою
spark.stop(), і запісвае выправлены файл.
Адна запытка, і агент дыяганаваў абяканне ў воблаку і апдэйтаваў локальны выканак.
Трыцяты ўрад: планы дзеяння як навыкі агента
Калі процедура адклекчэння проблем стане эфкарна, запакаваеце яе як Навык агента. Навык — гэта папка з інструкцыямі, скрыптамі і файламі кантэксту, якая мае файл SKILL.md і служыць для навучэння агента паўтаральным задачам.
Створыце папку .agents/skills/spark-troubleshooter/ і запісаце там навык:
mkdir -p .agents/skills/spark-troubleshooter
cat << 'EOF' > .agents/skills/spark-troubleshooter/SKILL.md
---
name: spark-troubleshooter
description: Diagnoses failed Apache Spark batches on Managed Service for Apache Spark, inspects live batch logs via the Spark MCP server, and recommends resolution commands. Use when troubleshooting Spark job failures.
---
# Spark Troubleshooter Skill
This skill diagnoses failed Apache Spark batches on Managed Service for Apache Spark and offers rapid solutions.
## Instructions
1. Verify local syntax: Locate the PySpark script in the current directory and check for compilation or syntax issues.
2. Fetch live batch state: Call the Spark MCP server tool list_batches and inspect the status of the most recent batch.
3. Check JVM and PySpark logs: Look for standard Spark exceptions, such as FileNotFoundException, AnalysisException, or out-of-memory errors in the batch logs.
4. Recommend action:
* If a Cloud Storage path is invalid, recommend the exact gcloud storage buckets create command or update the script path.
* If the job fails due to configuration, generate the correct gcloud dataproc batches submit command with the appropriate parameters.
* If a syntax error is detected, fix the code in-place.
* For other errors, recommend a fix.
EOF
Паколькі ён знаходзіцца ў каталозе .agents/skills/ праекта, CLI сама яго знаходзіць. Потым:
agy -p "Diagnose why my last Spark batch failed and recommend a fix"
Агент выконвае крокі з вашага плану дзеяння і вяртае сфармаваны план:
[Spark Troubleshooter] Running diagnostic playbook...
- Local Syntax: OK (spark_job.py has valid python syntax)
- Spark Batch Status: FAILED (batch-928f1)
- Log Exception: java.io.FileNotFoundException for gs://my-missing-bucket/input.csv
Recommendation:
The bucket gs://my-missing-bucket does not exist. Run this command to create it:
gcloud storage buckets create gs://my-missing-bucket --location=$REGION
Once created, submit the batch again with:
gcloud dataproc batches submit pyspark spark_job.py \
--region=$REGION \
--deps-bucket=gs://$BUCKET_NAME
Зберажыце папку .agents/skills/ у Git, і кожны, хто завантажыць рэпазітары, будзе мець аднаковую аўтаматызаваную дапамогу у рашэнні проблем.
Варыянт консолі: Gemini у Cloud Logging
Калі вы воліяеце застацца ў консалі Google Cloud, у Cloud Logging ёсць вбудованыя функцыі ШЫ. Калі збійнае батч-заданне серверлесс-Spark:
- Ачыніце стороніцу батч-заданняў у консалі Managed Service для Apache Spark.
- Выберыце збійнае батч-заданне і нажміце «View Logs».
- Знайдзіце лінію з адказам пра бяду ў Logs Explorer.
- Нажміце «Investigate log» або айконку Gemini sparkle.
Gemini чытае тэкст лога на месцы, выявляе адказы PySpark і прыказвае способы ўладзення з проблемай, без неабяжнасці копіраваць чулівыя даны куды-небудзь.
Короткая характарыстыка прыгодзе
Дапамога ШЫ у працы з дадзеннямі расшырваецца ў залежнасці ад кантэксту:
- Без жаднога кантэксту, як у веб-чаце, даёцца загальныя парады і немагчыма працаваць з кодам чыстая пераканаліць інфраструктуру.
- Кантэкст файла з Antigravity CLI чытае локальны код і выконвае паследованні сінтаксісу пры самай месцы.
- Кантэкст інфраструктуры з Spark MCP запытае статус жывых заданняў, чытае логі з Cloud Logging і выявляе прычыны падзейнаў у часе выканання.
- Кодаваны кантэкст у Agent Skills ператварае багаташагонаўскі план дзействаў у командны каманды, які можна вікорыстоўваць знову.
Ёнколі спробаваць усё самому, Google публікуе курсавую працу па інжынерыі платформ для Managed Service for Apache Spark з Gemini і MCP. Існуе таксама адпоўнае заведанне для Google Kubernetes Engine, якое расглядае падобныя сцэнарыі вікорыстання.