Startseite / Artikel

Fehlerbehebung bei serverlosen Apache Spark-Anwendungen mit Gemini, MCP und Agent Skills

Debugging serverloser Apache Spark mit Gemini: von dem Einfügen von Tracebacks in Chats bis hin zu einem Agenten, der Batch-Logs über einen MCP-Server liest und PySpark repariert.

Verlag: REACTAPP.TOP6 Min. Lesezeit1459 Wörter

Quellen: Debugging Serverless Apache Spark using Gemini with MCP

Jeder, der Apache Spark in großem Maßstab betreibt, weiß, wie mühsam es ist herauszufinden, warum eine Batch-Aufgabe fehlgeschlagen ist. Die eigentliche Ursache versteckt sich meist in Hunderten von Ausführungsprotokollen, JVM-Stacktraces und Cloud-Logging-Datenströmen. Man wechselt ständig zwischen Browsertabellen, durchsucht Cloud-Storage-Pfade und bearbeitet PySpark-Skripte manuell auf dem Laptop.

Generative Modelle können diesen Prozess beschleunigen, doch inwieweit sie helfen, hängt von einer Sache ab: dem Kontext, den sie einsehen können. In den folgenden Abschnitten werden vier Ebenen des Kontexts erläutert – von keiner bis hin zu einem wiederverwendbaren Team-Playbook – unter Verwendung von Managed Service for Apache Spark, der Antigravity CLI sowie Gooogles Remote Spark Model Context Protocol (MCP)-Server.

Ebene null: Einfügen in ein Chat-Fenster

Eine PySpark-Aufgabe fehlschlägt mit einer vagen Meldung wie SparkException oder AttributeError. Der erste Impuls ist, den Stacktrace in ein Chatten-Tool zu kopieren. Hier ist ein Beispiel aus einem Skript mit dem Namen spark_job.py:

py4j.protocol.Py4JJavaError: An error occurred while calling o80.load.
org.apache.spark.SparkException: Job aborted due to stage failure.
Traceback (most recent call last):
  File "spark_job.py", line 26, in main
    df_with_status = df.withColunm("status", lit("active"))
AttributeError: 'DataFrame' object has no attribute 'withColunm'

Ein Chat-Modell wird den Tippfehler schnell erkennen und vorschlagen, withColunm in withColumn zu ändern. Doch es arbeitet blind:

  • Es kann Ihre lokale Datei spark_job.py nicht öffnen, sodass Sie die betreffende Zeile manuell finden, bearbeiten und speichern müssen.
  • Es kann den Status von serverlosen Batch-Prozessen nicht überprüfen oder Echtzeit-Ausführungsprotokolle abrufen.
  • Es kann sich nicht Ihre Bucket-Einstellungen, Berechtigungen des Service Accounts oder Batch-Einstellungen ansehen.

Falls das Problem darin besteht, dass ein Bucket fehlt oder eine Subnetzgruppe keinen Private Google Access hat, kann der Chat nur allgemeine Vermutungen anstellen.

Ebene eins: Dateikontext aus der Terminal

Die Google Antigravity CLI, die als agy aufgerufen wird, ist ein coding-Agent, der primär über das Terminal genutzt wird. Da sie in Ihrem Arbeitsbereich läuft, kann sie Ihre Dateien direkt lesen und ändern.

Zwei getrennte Authentifizierungsebenen sind beteiligt. Die erste ist die Standardanmeldeinformationen der Anwendung: Das Ausführen von gcloud auth application-default login gibt den gcloud-Befehlen, den Clientbibliotheken sowie dem Spark MCP-Server die Möglichkeit, auf die Ressourcen Ihres Projekts zuzugreifen. Die zweite Ebene ist die eigene Sitzung der CLI. Beim ersten Start bittet agy Sie, sich mit einem Google-Konto anzumelden und dem Arbeitsbereich zu vertrauen, was ihm Zugang zu Gemini-Modellen gewährt.

Sorgen Sie anschließend dafür, dass Ihre Projekt-ID exportiert wurde:

export GOOGLE_CLOUD_PROJECT="$PROJECT_ID"

Standardmäßig bittet die CLI um Erlaubnis, bevor sie Dateien lesen oder schreiben. Mit dem nicht-interaktiven Druck-Flag (-p) wird jede Aktion, die eine Bestätigung erfordert, stillschweigend abgelehnt, es sei denn, eine automatische Genehmigung ist eingerichtet. Ein settings.json, in dem toolPermission auf always-proceed gesetzt ist, zusammen mit einer Allowlist für Dateioperationen, ermöglicht es dem Agenten, Skripte zu überprüfen und zu reparieren:

mkdir -p ~/.gemini/antigravity-cli
cat << 'EOF' | tee ~/.gemini/antigravity-cli/settings.json ~/.gemini/jetski/cli/settings.json ~/.gemini/antigravity/settings.json ~/.gemini/settings.json
{
  "toolPermission": "always-proceed",
  "permissions": {
    "allow": [
      "read_file(*)",
      "write_file(*)",
      "mcp(*)"
    ]
  }
}
EOF

Achten Sie darauf, dass der „Immer fortfahren“-Modus die Sicherheit zugunsten der Bequemlichkeit opfert, daher halten Sie die Erlaubnisliste eng gefasst und verwenden Sie sie in einem Arbeitsbereich, dem Sie vertrauen.

Fragen Sie es nun, den fehlerhaften Skript abzufangen:

agy -p "examine spark_job.py, fix the DataFrame method typo, and save the file"

Durch lokalen Zugriff öffnet der Agent spark_job.py, findet withColunm, ändert es in withColumn um und speichert die Datei an derselben Stelle. Es findet keine Kopie zwischen den Fenstern statt.

Stufe zwei: Infrastrukturkontext über den Spark MCP-Server

Syntaxfehler sind der einfachere Fall. Pipelines in großem Maßstab versagen häufig auf der Infrastrukturebene: fehlende Datensätze, Berechtigungsprobleme, Probleme mit der Laufzeitumgebung. Genau da kommt MCP ins Spiel. Es handelt sich um einen offenen Standard, der es KI-Agenten ermöglicht, mit externen APIs und Datenquellen zu verbinden, wobei Google einen entfernten Spark MCP-Server anbietet, der die Managed Service for Apache Spark API als aufrufbare Tools bereitstellt.

  • Endpunkt: https://dataproc-$REGION.googleapis.com/mcp
  • Transport: HTTP
  • Zu den Tools gehören unter anderem list_batches, get_batch, list_jobs und get_job.

Registrieren Sie den Server in der globalen Konfigurationsdatei ~/.gemini/config/mcp_config.json:

mkdir -p ~/.gemini/config
cat << EOF | tee ~/.gemini/config/mcp_config.json
{
  "mcpServers": {
    "spark": {
      "serverUrl": "https://dataproc-${REGION}.googleapis.com/mcp"
    }
  }
}
EOF

Sobald das eingerichtet ist, kann der Agent Ihre Infrastruktur einsehen. Wenn eine Batch-Aufgabe in Google Cloud fehlschlägt, führen Sie Folgendes aus:

agy -p "inspect my latest failed Spark batch via MCP, identify the root cause, and fix spark_job.py so it succeeds"

Hier ist die folgende Abfolge:

  1. Die CLI fragt den entfernten MCP-Server, welche Tools vorhanden sind, und findet list_batches sowie get_batch.
  2. Sie ruft list_batches auf, um Ihre neueste Ausführung zu finden.
  3. Sie ruft get_batch auf, um den Fehlerzustand zu lesen und den JVM-Fehler aus Cloud Logging abzurufen, beispielsweise einen FileNotFoundException für einen nicht existierenden gs://-Eingabepfad.
  4. Sie öffnet das lokale spark_job.py, findet die Zeile, die diesen fehlerhaften Pfad liest, und entfernt die Referenz darauf. In diesem Beispiel wird möglicherweise der Ausgabeinhalt ausgegeben anstatt gespeichert.
  5. Sie stellt sicher, dass Ressourcen mit spark.stop() ordnungsgemäß freigegeben werden, und schreibt die korrigierte Datei.

Mit nur einer Anfrage diagnostizierte das Agent eine Cloud-Fehler und aktualisierte die lokale Quelle.

Ebene drei: Playbooks als Agent-Fähigkeiten

Sobald eine Fehlerbehebungsroutine funktioniert, packen Sie sie als Agent-Skill zusammen. Eine Skill ist ein Ordner mit Anweisungen, Skripten und Kontextdateien, der durch eine SKILL.md-Datei strukturiert ist und dem Agenten eine wiederkehrende Betriebsaufgabe beibringt.

Erstellen Sie .agents/skills/spark-troubleshooter/ und fügen Sie die Skill hinzu:

mkdir -p .agents/skills/spark-troubleshooter
cat << 'EOF' > .agents/skills/spark-troubleshooter/SKILL.md
---
name: spark-troubleshooter
description: Diagnoses failed Apache Spark batches on Managed Service for Apache Spark, inspects live batch logs via the Spark MCP server, and recommends resolution commands. Use when troubleshooting Spark job failures.
---

# Spark Troubleshooter Skill

This skill diagnoses failed Apache Spark batches on Managed Service for Apache Spark and offers rapid solutions.

## Instructions
1. Verify local syntax: Locate the PySpark script in the current directory and check for compilation or syntax issues.
2. Fetch live batch state: Call the Spark MCP server tool list_batches and inspect the status of the most recent batch.
3. Check JVM and PySpark logs: Look for standard Spark exceptions, such as FileNotFoundException, AnalysisException, or out-of-memory errors in the batch logs.
4. Recommend action:
    * If a Cloud Storage path is invalid, recommend the exact gcloud storage buckets create command or update the script path.
    * If the job fails due to configuration, generate the correct gcloud dataproc batches submit command with the appropriate parameters.
    * If a syntax error is detected, fix the code in-place.
    * For other errors, recommend a fix.
EOF

Weil es sich im Verzeichnis .agents/skills/ des Projekts befindet, findet die CLI es von selbst. Anschließend:

agy -p "Diagnose why my last Spark batch failed and recommend a fix"

Der Agent befolgt die Schritte Ihres Playbooks und liefert einen zielgerichteten Plan:

[Spark Troubleshooter] Running diagnostic playbook...
- Local Syntax: OK (spark_job.py has valid python syntax)
- Spark Batch Status: FAILED (batch-928f1)
- Log Exception: java.io.FileNotFoundException for gs://my-missing-bucket/input.csv

Recommendation:
The bucket gs://my-missing-bucket does not exist. Run this command to create it:

  gcloud storage buckets create gs://my-missing-bucket --location=$REGION

Once created, submit the batch again with:

  gcloud dataproc batches submit pyspark spark_job.py \
      --region=$REGION \
      --deps-bucket=gs://$BUCKET_NAME

Commitzen Sie den Ordner .agents/skills/ in Git – so erhält jeder, der das Repository herunterlädt, dieselbe automatisierte Fehlerbehebung.

Konsolenoption: Gemini in Cloud Logging

Falls Sie lieber in der Google Cloud-Konsole bleiben möchten, gibt es dort integrierte KI-Funktionen in Cloud Logging. Wenn eine serverlose Spark-Batch-Ausführung fehlschlägt:

  1. Öffnen Sie die Seite „Batches“ in der Konsole für den Managed Service for Apache Spark.
  2. Wählen Sie die fehlgeschlagene Batch-Ausführung aus und klicken Sie auf „Logs ansehen“.
  3. Finden Sie die Fehlerzeile im Logs Explorer.
  4. Klicken Sie auf „Log untersuchen“ oder das Gemini-Symbol.

Gemini liest den Log-Inhalt direkt vor, markiert die PySpark-Exception und schlägt Lösungen vor – ohne dass Sie sensible Daten irgendwo kopieren müssen.

Zusammenfassung des Fortschritts

Die KI-Hilfe in der Datenverarbeitung skaliert mit dem Kontext:

  1. Ohne Kontext, wie bei einem Web-Chat, werden allgemeine Ratschläge gegeben, es ist jedoch nicht möglich, Code zu bearbeiten oder die Infrastruktur zu überprüfen.
  2. Durch den Dateikontext der Antigravity CLI wird der lokale Code gelesen und syntaktische Fehler direkt behoben.
  3. Durch den Infrastrukturkontext der Spark MCP wird der aktuelle Job-Zustand abgefragt, Cloud-Logging-Daten ausgewertet und Laufzeitfehler auf ihre Ursache zurückgeführt.
  4. Durch den kodifizierten Kontext in Agent Skills wird ein mehrschrittiger Ablauf in einen wiederverwendbaren Befehl für ein ganzes Team umgewandelt.

Um es selbst auszuprobieren, veröffentlicht Google ein Codelab zu Plattformengineering für Managed Service for Apache Spark mit Gemini und MCP. Es existiert außerdem ein ähnliches Lab für Google Kubernetes Engine, das vergleichbare Anwendungsfälle behandelt.