Débogage de Serverless Apache Spark à l’aide de Gemini, MCP et des compétences d’agent
Débogage d’Apache Spark sans serveur avec Gemini : de la copie des erreurs dans le chat à un agent qui lit les journaux de batch via un serveur MCP et corrige PySpark.
Sources: Debugging Serverless Apache Spark using Gemini with MCP
Tout ceux qui gèrent Apache Spark à grande échelle savent à quel point il est fastidieux de déterminer pourquoi un job par lots a échoué. La véritable cause se cache souvent au milieu de centaines de lignes de logs des exécutants, d’empreintes d’stack JVM et de flux Cloud Logging. On se retrouve à naviguer entre des onglets de navigateur, à fouiller dans les chemins du Cloud Storage et à modifier manuellement des scripts PySpark sur son ordinateur portable.
Les modèles génératifs peuvent accélérer ce processus, mais leur efficacité dépend d’un seul facteur : le contexte qu’ils peuvent prendre en compte. Les sections suivantes présentent quatre niveaux de contexte, allant du néant à un guide réutilisable pour l’équipe, en utilisant le Managed Service for Apache Spark, l’Antigravity CLI ainsi que le serveur MCP (Remote Spark Model Context Protocol) de Google.
Niveau zéro : coller dans une fenêtre de chat
Une tâche PySpark échoue avec une erreur vague comme SparkException ou AttributeError. On a tendance à copier le traceback dans un chat en ligne. Prenons celui-ci, provenant d’un script nommé spark_job.py :
py4j.protocol.Py4JJavaError: An error occurred while calling o80.load.
org.apache.spark.SparkException: Job aborted due to stage failure.
Traceback (most recent call last):
File "spark_job.py", line 26, in main
df_with_status = df.withColunm("status", lit("active"))
AttributeError: 'DataFrame' object has no attribute 'withColunm'
Un modèle de chat détectera rapidement l’erreur de frappe et suggérera de remplacer withColunm par withColumn. Mais il fonctionne à l’aveugle :
- Il ne peut pas ouvrir votre fichier local
spark_job.py, il vous faut donc trouver la ligne, l’éditer et la sauvegarder manuellement. - Il ne peut pas vérifier l’état des traitements batch sans serveur ni récupérer les journaux d’exécution en temps réel.
- Il ne peut pas consulter vos buckets, les permissions de votre compte de service ou les paramètres des traitements batch.
Si l’échec est dû à l’absence d’un bucket ou à une sous-réseau sans accès privé Google, le chat ne peut que faire des suppositions générales.
Niveau un : contexte du fichier depuis la terminal
Google Antigravity CLI, invoqué sous le nom de agy, est un agent de codage axé sur la terminal. Il s’exécute dans votre espace de travail, ce qui lui permet de lire et de modifier vos fichiers directement.
Deux niveaux d’authentification distincts sont impliqués. Le premier concerne les identifiants par défaut de l’application : l’exécution de gcloud auth application-default login permet aux commandes gcloud, aux bibliothèques clients et au serveur Spark MCP d’accéder aux ressources de votre projet. Le second correspond à la session propre à l’interface en ligne de commande. Lors du premier démarrage, agy vous demande de vous connecter avec un compte Google et d’accorder confiance à l’espace de travail, ce qui lui donne accès aux modèles Gemini.
Vérifiez ensuite que l’ID de votre projet a été exporté :
export GOOGLE_CLOUD_PROJECT="$PROJECT_ID"
Par défaut, l’interface en ligne de commande demande l’autorisation avant de lire ou d’écrire des fichiers. Avec le flag d’impression non interactif (-p), toute demande nécessitant une confirmation est simplement rejetée, sauf si l’approbation automatique est activée. Un fichier settings.json où la valeur de toolPermission est définie sur always-proceed, accompagné d’une liste blanche pour les opérations sur les fichiers, permet à l’agent d’examiner et de corriger les scripts :
mkdir -p ~/.gemini/antigravity-cli
cat << 'EOF' | tee ~/.gemini/antigravity-cli/settings.json ~/.gemini/jetski/cli/settings.json ~/.gemini/antigravity/settings.json ~/.gemini/settings.json
{
"toolPermission": "always-proceed",
"permissions": {
"allow": [
"read_file(*)",
"write_file(*)",
"mcp(*)"
]
}
}
EOF
Gardez à l’esprit que les transactions « toujours continuer » privilégient la commodité au détriment de la sécurité ; restreignez donc la liste des autorisations et utilisez-la dans un espace de travail que vous considérez fiable.
Demandez maintenant à l’outil de gérer le script défaillant :
agy -p "examine spark_job.py, fix the DataFrame method typo, and save the file"
Avec un accès local, l’agent ouvre spark_job.py, trouve withColunm, le change en withColumn et enregistre le fichier à l’endroit même. Aucune copie n’est effectuée entre les fenêtres.
Niveau deux : contexte d’infrastructure via le serveur Spark MCP
Les erreurs de syntaxe sont les cas les plus simples. Les pipelines à grande échelle échouent plus fréquemment au niveau de l’infrastructure : données manquantes, incohérences de permissions, problèmes d’environnement de exécution. C’est là que le MCP entre en jeu. Il s’agit d’une norme ouverte qui permet aux agents IA de se connecter à des API externes et à des sources de données, et Google propose un serveur Spark MCP distant qui expose l’API Managed Service for Apache Spark sous forme d’outils pouvant être appelés.
- Point de terminaison :
https://dataproc-$REGION.googleapis.com/mcp - Transport : HTTP
- Les outils incluent
list_batches,get_batch,list_jobsetget_job, entre autres
Enregistrez le serveur dans le fichier de configuration globale ~/.gemini/config/mcp_config.json :
mkdir -p ~/.gemini/config
cat << EOF | tee ~/.gemini/config/mcp_config.json
{
"mcpServers": {
"spark": {
"serverUrl": "https://dataproc-${REGION}.googleapis.com/mcp"
}
}
}
EOF
Avec cela en place, l’agent peut voir votre infrastructure. Lorsqu’un lot échoue sur Google Cloud, exécutez :
agy -p "inspect my latest failed Spark batch via MCP, identify the root cause, and fix spark_job.py so it succeeds"
Voici la séquence qui suit :
- La CLI demande au serveur MCP distant quels outils sont disponibles et trouve
list_batchesainsi queget_batch. - Elle appelle
list_batchespour localiser la dernière exécution. - Elle appelle
get_batchpour lire l’état d’échec et récupérer l’erreur JVM depuis Cloud Logging, comme uneFileNotFoundExceptionpour un chemin d’entréegs://qui n’existe pas. - Elle ouvre le fichier local
spark_job.py, trouve la ligne qui lit ce chemin incorrect et supprime cette référence. Dans cet exemple, elle peut afficher la sortie au lieu de la sauvegarder. - Elle s’assure que les ressources sont libérées correctement avec
spark.stop()et enregistre le fichier corrigé.
Avec une seule demande, l’agent a diagnostiqué une panne dans le cloud et mis à jour la source locale.
Niveau trois : les playbooks en tant que compétences de l’agent
Lorsqu’une routine de dépannage fonctionne, encapsulez-la en tant que compétence d’agent. Une compétence est un dossier contenant des instructions, des scripts et des fichiers de contexte, structuré par un SKILL.md, qui enseigne à l’agent une tâche opérationnelle récurrente.
Créez le dossier .agents/skills/spark-troubleshooter/ et rédigez la compétence correspondante :
mkdir -p .agents/skills/spark-troubleshooter
cat << 'EOF' > .agents/skills/spark-troubleshooter/SKILL.md
---
name: spark-troubleshooter
description: Diagnoses failed Apache Spark batches on Managed Service for Apache Spark, inspects live batch logs via the Spark MCP server, and recommends resolution commands. Use when troubleshooting Spark job failures.
---
# Spark Troubleshooter Skill
This skill diagnoses failed Apache Spark batches on Managed Service for Apache Spark and offers rapid solutions.
## Instructions
1. Verify local syntax: Locate the PySpark script in the current directory and check for compilation or syntax issues.
2. Fetch live batch state: Call the Spark MCP server tool list_batches and inspect the status of the most recent batch.
3. Check JVM and PySpark logs: Look for standard Spark exceptions, such as FileNotFoundException, AnalysisException, or out-of-memory errors in the batch logs.
4. Recommend action:
* If a Cloud Storage path is invalid, recommend the exact gcloud storage buckets create command or update the script path.
* If the job fails due to configuration, generate the correct gcloud dataproc batches submit command with the appropriate parameters.
* If a syntax error is detected, fix the code in-place.
* For other errors, recommend a fix.
EOF
Puisqu’il se trouve dans le répertoire .agents/skills/ du projet, la CLI le détecte automatiquement. Ensuite :
agy -p "Diagnose why my last Spark batch failed and recommend a fix"
L’agent suit les étapes de votre feuille de route et vous retourne un plan ciblé :
[Spark Troubleshooter] Running diagnostic playbook...
- Local Syntax: OK (spark_job.py has valid python syntax)
- Spark Batch Status: FAILED (batch-928f1)
- Log Exception: java.io.FileNotFoundException for gs://my-missing-bucket/input.csv
Recommendation:
The bucket gs://my-missing-bucket does not exist. Run this command to create it:
gcloud storage buckets create gs://my-missing-bucket --location=$REGION
Once created, submit the batch again with:
gcloud dataproc batches submit pyspark spark_job.py \
--region=$REGION \
--deps-bucket=gs://$BUCKET_NAME
Committez le dossier .agents/skills/ dans Git, afin que tous ceux qui téléchargent le répertoire bénéficient du même dépannage automatisé.
Option de la console : Gemini dans Cloud Logging
Si vous préférez rester dans la console Google Cloud, Cloud Logging dispose de fonctionnalités d’IA intégrées. Lorsqu’un lot Spark sans serveur échoue :
- Ouvrez la page des lots de la console du Service géré pour Apache Spark.
- Sélectionnez le lot qui a échoué et cliquez sur « Afficher les journaux ».
- Localisez la ligne d’erreur dans l’Explorateur des journaux.
- Cliquez sur « Examiner le journal » ou sur l’icône en forme d’étoile de Gemini.
Gemini lit directement le contenu du journal, met en évidence l’exception PySpark et propose des solutions, sans que vous ayez besoin de copier des traces sensibles n’importe où.
En bref, l’évolution
L’aide fournie par l’IA en ingénierie des données s’adapte au contexte :
- Aucun contexte, comme dans une chatbox en ligne, ne permet de donner des conseils généraux et il est impossible d’analyser du code ou de vérifier l’infrastructure.
- Le contexte de fichier fourni par Antigravity CLI lit le code local et applique des corrections syntaxiques directement sur place.
- Le contexte d’infrastructure fourni par Spark MCP interroge l’état en temps réel des tâches, lit les traces de Cloud Logging et relie les pannes en cours d’exécution à leur source.
- Le contexte codifié dans les Agent Skills transforme un plan en plusieurs étapes en une commande réutilisable pour toute l’équipe.
Pour essayer cela en pratique, Google publie un codelab sur l’ingénierie de plateforme pour Managed Service for Apache Spark avec Gemini et MCP. Un laboratoire similaire existe pour Google Kubernetes Engine couvrant des cas d’usage comparables.