Inicio / Artículos

Depuración de Apache Spark sin servidor con Gemini, MCP y habilidades de agente

Depuración de Apache Spark sin servidor con Gemini: desde pegar mensajes de error en el chat hasta un agente que lee los registros por lotes a través de un servidor MCP y corrige PySpark.

Editor: REACTAPP.TOP6 min de lectura1459 palabras

Fuentes: Debugging Serverless Apache Spark using Gemini with MCP

Cualquiera que ejecute Apache Spark a gran escala sabe lo tedioso que es averiguar por qué murió un trabajo por lotes. La verdadera causa suele quedar oculta entre cientos de líneas de registro del ejecutor, trazas de pila de la JVM y flujos de Cloud Logging. Al final uno se ve obligado a pasar de una pestaña del navegador a otra, buscar en rutas de Cloud Storage y editar manualmente los scripts PySpark en su ordenador portátil.

Los modelos generativos pueden acelerar este proceso, pero su utilidad depende de un único factor: el contexto que pueden ver. Las secciones siguientes explican cuatro niveles de contexto, desde ninguno hasta un manual reutilizable para el equipo, utilizando Managed Service for Apache Spark, la Antigravity CLI y el servidor de Google Remote Spark Model Context Protocol (MCP).

Nivel cero: pegar en una ventana de chat

Un trabajo de PySpark falla con un mensaje vago como SparkException o AttributeError. La reacción instintiva es copiar el rastro de errores a un chat en la web. Tomen este, de un script llamado spark_job.py:

py4j.protocol.Py4JJavaError: An error occurred while calling o80.load.
org.apache.spark.SparkException: Job aborted due to stage failure.
Traceback (most recent call last):
  File "spark_job.py", line 26, in main
    df_with_status = df.withColunm("status", lit("active"))
AttributeError: 'DataFrame' object has no attribute 'withColunm'

Un modelo de chat detectará rápidamente el error tipográfico y sugerirá cambiar withColunm por withColumn. Pero funciona a ciegas:

  • No puede abrir su archivo local spark_job.py, por lo que debe encontrar la línea, editarla y guardarla manualmente.
  • No puede verificar el estado de los procesos batch sin servidor ni obtener registros de ejecución en tiempo real.
  • No puede consultar sus buckets, los permisos de la cuenta de servicio ni las configuraciones de batch.

Si el problema se debe a la falta de un bucket o a una subred sin acceso privado a Google, el chat solo puede ofrecer conjeturas generales.

Nivel uno: contexto del archivo desde la terminal

Google Antigravity CLI, al que se accede mediante agy, es un agente de programación orientado a la terminal. Funciona en su espacio de trabajo, por lo que puede leer y modificar sus archivos directamente.

Se involucran dos capas separadas de autenticación. La primera son las Credenciales Predeterminadas de la Aplicación: ejecutar gcloud auth application-default login permite que los comandos de gcloud, las bibliotecas del cliente y el servidor Spark MCP tengan la forma de actuar sobre los recursos de su proyecto. La segunda es la propia sesión de la CLI. Al iniciarse por primera vez, agy le pide que inicie sesión con una cuenta de Google y confíe en el espacio de trabajo, lo cual le da acceso a los modelos Gemini.

Luego asegúrese de que su ID de proyecto esté exportado:

export GOOGLE_CLOUD_PROJECT="$PROJECT_ID"

Por defecto, la CLI solicita permiso antes de leer o escribir archivos. Con la bandera de impresión no interactiva (-p), cualquier solicitud que requiera confirmación es rechazada silenciosamente a menos que se haya configurado la aprobación automática. Un settings.json con toolPermission establecido en always-proceed, además de una lista blanca para las operaciones de archivos, permite al agente inspeccionar y corregir scripts:

mkdir -p ~/.gemini/antigravity-cli
cat << 'EOF' | tee ~/.gemini/antigravity-cli/settings.json ~/.gemini/jetski/cli/settings.json ~/.gemini/antigravity/settings.json ~/.gemini/settings.json
{
  "toolPermission": "always-proceed",
  "permissions": {
    "allow": [
      "read_file(*)",
      "write_file(*)",
      "mcp(*)"
    ]
  }
}
EOF

Tenga en cuenta que las operaciones de ejecución automática priorizan la comodidad sobre la seguridad, por lo que mantenga la lista de permisos reducida y úsela en un entorno de trabajo en el que confíe.

Ahora pídale que maneje el script con errores:

agy -p "examine spark_job.py, fix the DataFrame method typo, and save the file"

Con acceso local, el agente abre spark_job.py, encuentra withColunm, lo cambia por withColumn y guarda el archivo en su lugar. No hay necesidad de copiar entre ventanas.

Nivel dos: contexto de infraestructura a través del servidor Spark MCP

Los errores de sintaxis son el caso más sencillo. Las pipelines a gran escala suelen fallar en la capa de infraestructura: conjuntos de datos faltantes, incoherencias en los permisos, problemas en el entorno de ejecución. Ahí es donde entra en juego MCP. Se trata de un estándar abierto que permite a los agentes de IA conectarse a APIs y fuentes de datos externas, y Google ofrece un servidor Spark MCP remoto que expone la API del Servicio Gestionado para Apache Spark como herramientas llamables.

  • Endpoint: https://dataproc-$REGION.googleapis.com/mcp
  • Transporte: HTTP
  • Las herramientas incluyen list_batches, get_batch, list_jobs y get_job, entre otras

Registre el servidor en el archivo de configuración global ~/.gemini/config/mcp_config.json:

mkdir -p ~/.gemini/config
cat << EOF | tee ~/.gemini/config/mcp_config.json
{
  "mcpServers": {
    "spark": {
      "serverUrl": "https://dataproc-${REGION}.googleapis.com/mcp"
    }
  }
}
EOF

Una vez que esto esté configurado, el agente podrá ver su infraestructura. Después de que un lote falle en Google Cloud, ejecute:

agy -p "inspect my latest failed Spark batch via MCP, identify the root cause, and fix spark_job.py so it succeeds"

A continuación se muestra la secuencia que sigue:

  1. La CLI pregunta al servidor MCP remoto qué herramientas existen y encuentra list_batches y get_batch.
  2. Llama a list_batches para localizar la ejecución más reciente.
  3. Llama a get_batch para leer el estado de error y obtener el mensaje de error de la JVM desde Cloud Logging, como un FileNotFoundException cuando el camino de entrada gs:// no existe.
  4. Abre el archivo local spark_job.py, encuentra la línea que utiliza ese camino incorrecto y elimina esa referencia. En este ejemplo podría imprimir el resultado en lugar de guardarlo.
  5. Asegura que los recursos se liberen correctamente con spark.stop() y escribe el archivo corregido.

Con una sola solicitud, el agente diagnosticó la falla en la nube y actualizó el código local.

Nivel tres: plantillas como habilidades del agente

Una vez que funcione una rutina de solución de problemas, empáquela como una Habilidad del Agente. Una habilidad es una carpeta con instrucciones, scripts y archivos de contexto, guiada por un SKILL.md, que enseña al agente una tarea operativa recurrente.

Cree .agents/skills/spark-troubleshooter/ y escriba la habilidad:

mkdir -p .agents/skills/spark-troubleshooter
cat << 'EOF' > .agents/skills/spark-troubleshooter/SKILL.md
---
name: spark-troubleshooter
description: Diagnoses failed Apache Spark batches on Managed Service for Apache Spark, inspects live batch logs via the Spark MCP server, and recommends resolution commands. Use when troubleshooting Spark job failures.
---

# Spark Troubleshooter Skill

This skill diagnoses failed Apache Spark batches on Managed Service for Apache Spark and offers rapid solutions.

## Instructions
1. Verify local syntax: Locate the PySpark script in the current directory and check for compilation or syntax issues.
2. Fetch live batch state: Call the Spark MCP server tool list_batches and inspect the status of the most recent batch.
3. Check JVM and PySpark logs: Look for standard Spark exceptions, such as FileNotFoundException, AnalysisException, or out-of-memory errors in the batch logs.
4. Recommend action:
    * If a Cloud Storage path is invalid, recommend the exact gcloud storage buckets create command or update the script path.
    * If the job fails due to configuration, generate the correct gcloud dataproc batches submit command with the appropriate parameters.
    * If a syntax error is detected, fix the code in-place.
    * For other errors, recommend a fix.
EOF

Dado que se encuentra en el directorio .agents/skills/ del proyecto, la CLI lo localiza por sí sola. Luego:

agy -p "Diagnose why my last Spark batch failed and recommend a fix"

El agente sigue los pasos de su guía y devuelve un plan bien definido:

[Spark Troubleshooter] Running diagnostic playbook...
- Local Syntax: OK (spark_job.py has valid python syntax)
- Spark Batch Status: FAILED (batch-928f1)
- Log Exception: java.io.FileNotFoundException for gs://my-missing-bucket/input.csv

Recommendation:
The bucket gs://my-missing-bucket does not exist. Run this command to create it:

  gcloud storage buckets create gs://my-missing-bucket --location=$REGION

Once created, submit the batch again with:

  gcloud dataproc batches submit pyspark spark_job.py \
      --region=$REGION \
      --deps-bucket=gs://$BUCKET_NAME

Guarde la carpeta .agents/skills/ en Git y todos los que descarguen el repositorio recibirán la misma solución automática de problemas.

Opción de la consola: Gemini en Cloud Logging

Si prefiere quedarse en la consola de Google Cloud, existen funciones de IA integradas en Cloud Logging. Cuando falla un lote Spark sin servidor:

  1. Abra la página de lotes de la consola del Servicio Gestionado para Apache Spark.
  2. Elija el lote fallido y haga clic en Ver registros.
  3. Busque la línea de error en el Explorador de registros.
  4. Haga clic en Investigar registro o en el ícono de Gemini sparkle.

Gemini lee directamente el contenido del registro, resalta la excepción de PySpark y sugiere soluciones, sin que sea necesario copiar rastros sensibles a ningún lugar.

Resumen del progreso

La ayuda de la IA en ingeniería de datos escala según el contexto:

  1. El contexto nulo, como en un chat web, brinda consejos generales y no permite manipular código ni verificar la infraestructura.
  2. El contexto de archivo del Antigravity CLI lee el código local y aplica correcciones sintácticas directamente en él.
  3. El contexto de infraestructura del Spark MCP consulta el estado actual de los trabajos, lee los registros de Cloud Logging y relaciona las fallas en tiempo de ejecución con su origen.
  4. El contexto codificado en las Agent Skills convierte un procedimiento de múltiples pasos en una orden reutilizable para todo el equipo.

Para probarlo en persona, Google publica un codelab sobre ingeniería de plataformas para Managed Service for Apache Spark con Gemini y MCP. Existe un laboratorio similar para Google Kubernetes Engine que aborda casos de uso similares.

Lecturas relacionadas