Strona główna / Artykuły

Rozwiązywanie problemów w Serverless Apache Spark przy użyciu Gemini, MCP oraz umiejętności agenta

Debugowanie bezserwerowego Apache Spark przy użyciu Gemini: od wklejania informacji o błędach do czatu po agenta, który odczytuje logi zbiorcze za pośrednictwem serwera MCP i naprawia problemy w PySpark.

Wydawca: REACTAPP.TOP6 min czytania1459 słów

Źródła: Debugging Serverless Apache Spark using Gemini with MCP

Każdy, kto zarządza Apache Spark na dużą skalę, wie, jak uciążliwe jest ustalenie przyczyny awarii zadań batchowych. Prawdziwa przyczyna często kryje się w setkach linii z dzienników wykonawców, śladach stosu JVM oraz strumieniach Cloud Logging. W rezultacie musimy przechodzić między kartami przeglądarki, przeszukiwać ścieżki w Cloud Storage i ręcznie edytować skrypty PySpark na swoim laptopie.

Modele generatywne mogą to przyspieszyć, ale stopień ich skuteczności zależy od jednej rzeczy: kontekstu, jaki są w stanie dostrzec. Poniższe sekcje omawiają cztery poziomy kontekstu, od braku go całkowicie aż po wielokrotnie używalny plan działania zespołu, wykorzystując Managed Service for Apache Spark, Antigravity CLI oraz serwer protokołu Google’s remote Spark Model Context Protocol (MCP).

Poziom zero: wklejanie do okna czatu

Zadanie w PySpark zawodzi z jakimś niejasnym komunikatem typu SparkException lub AttributeError. Pierwszą reakcją jest skopiowanie ścieżki błędu do czatu internetowego. Oto przykład z skryptu o nazwie spark_job.py:

py4j.protocol.Py4JJavaError: An error occurred while calling o80.load.
org.apache.spark.SparkException: Job aborted due to stage failure.
Traceback (most recent call last):
  File "spark_job.py", line 26, in main
    df_with_status = df.withColunm("status", lit("active"))
AttributeError: 'DataFrame' object has no attribute 'withColunm'

Model czatowy szybko zauważy błąd pisowni i zaproponuje zmianę withColunm na withColumn. Jednak działa ślepo:

  • Nie może otworzyć twojego lokalnego pliku spark_job.py, więc musisz samodzielnie znaleźć odpowiedni wiersz, go edytować i zapisać.
  • Nie może sprawdzić stanu zadań batchowych typu serverless ani pobrać aktualnych dzienników wykonywania.
  • Nie może przejrzeć twoich pojemników, uprawnień konta usługowego ani ustawień batchowych.

Jeśli przyczyną awarii jest brakujący pojemnik lub podsieć bez Private Google Access, czat może jedynie przedstawić ogólne przypuszczenia.

Poziom pierwszy: kontekst pliku z terminala

Google Antigravity CLI, uruchamiany jako agy, to narzędzie programistyczne skoncentrowane na terminalu. Działa w twoim środowisku pracy, więc może bezpośrednio czytać i edytować twoje pliki.

Zaangażowane są dwa oddzielne warstwy autoryzacji. Pierwszą jest domyślna tożsamość aplikacji: uruchomienie polecenia gcloud auth application-default login umożliwia poleceniom gcloud, bibliotekom klienta oraz serwerowi Spark MCP dostęp do zasobów twojego projektu. Drugą jest własna sesja interfejsu CLI. Podczas pierwszego uruchomienia agy prosi o zalogowanie się przy użyciu konta Google i zaufanie do przestrzeni roboczej, co daje mu dostęp do modeli Gemini.

Następnie upewnij się, że ID twojego projektu zostało wyeksportowane:

export GOOGLE_CLOUD_PROJECT="$PROJECT_ID"

Domyślnie interfejs wiersza poleceń prosi o zgodę przed czytaniem lub zapisywaniem plików. Przy użyciu flagi drukowania nieinteraktywnego (-p) wszelkie prośby wymagające potwierdzenia są cicho odrzucane, chyba że skonfigurowano automatyczne zatwierdzenie. Plik settings.json, w którym wartość toolPermission jest ustawiona na always-proceed, w połączeniu z listą uprawnień do operacji na plikach, umożliwia agentowi inspekcję i naprawę skryptów:

mkdir -p ~/.gemini/antigravity-cli
cat << 'EOF' | tee ~/.gemini/antigravity-cli/settings.json ~/.gemini/jetski/cli/settings.json ~/.gemini/antigravity/settings.json ~/.gemini/settings.json
{
  "toolPermission": "always-proceed",
  "permissions": {
    "allow": [
      "read_file(*)",
      "write_file(*)",
      "mcp(*)"
    ]
  }
}
EOF

Należy pamiętać, że opcja „zawsze kontynuuj” stawia bezpieczeństwo na drugim planie ze względu na wygodę, dlatego należy utrzymywać listę dozwolonych elementów w wąskim zakresie i używać jej w środowisku, któremu ufasz.

Teraz poproś o obsługę błędnego skryptu:

agy -p "examine spark_job.py, fix the DataFrame method typo, and save the file"

Z dostępem lokalnym agent otwiera plik spark_job.py, znajduje funkcję withColunm, zmienia ją na withColumn i zapisuje plik w tym samym miejscu. Nie ma konieczności kopiowania danych między oknami.

Poziom drugi: kontekst infrastruktury poprzez serwer Spark MCP

Błędy składniowe to prosty przypadek. W większych systemach pipeline częściej zawodzą na poziomie infrastruktury: brak zestawów danych, niezgodności uprawnień, problemy z środowiskiem działania. Właśnie tu przydaje się MCP – to otwarty standard umożliwiający agentom AI połączenie się z zewnętrznymi API i źródłami danych, a Google oferuje zdalny serwer Spark MCP, który udostępnia API Managed Service for Apache Spark jako narzędzia dostępne do wywołania.

  • Endpoint: https://dataproc-$REGION.googleapis.com/mcp
  • Transport: HTTP
  • Narzędzia obejmują między innymi list_batches, get_batch, list_jobs oraz get_job

Zarejestruj serwer w pliku konfiguracyjnym globalnej instancji ~/.gemini/config/mcp_config.json:

mkdir -p ~/.gemini/config
cat << EOF | tee ~/.gemini/config/mcp_config.json
{
  "mcpServers": {
    "spark": {
      "serverUrl": "https://dataproc-${REGION}.googleapis.com/mcp"
    }
  }
}
EOF

Gdy to zostanie ustawione, agent będzie mógł zobaczyć twoją infrastrukturę. Po nieudanej transakcji zbiorczej w Google Cloud wykonaj:

agy -p "inspect my latest failed Spark batch via MCP, identify the root cause, and fix spark_job.py so it succeeds"

Oto kolejność działań:

  1. CLI pyta zdalny serwer MCP, jakie narzędzia są dostępne, i znajduje list_batches oraz get_batch.
  2. Wywołuje list_batches, aby zlokalizować najnowsze uruchomienie.
  3. Wywołuje get_batch, aby odczytać stan błędu i pobrać informację o błędzie JVM z Cloud Logging, na przykład FileNotFoundException w przypadku ścieżki wejściowej gs://, która nie istnieje.
  4. Otwiera lokalny plik spark_job.py, znajduje wiersz zawierający tę błędną ścieżkę i usuwa odniesienie do niej. W tym przykładzie może wyświetlić wynik zamiast go zapisać.
  5. Upewnia się, że zasoby zostaną prawidłowo zwolnione za pomocą spark.stop(), i zapisuje poprawiony plik.

Jedno polecenie – a agent zdiagnozował awarię w chmurze i zaktualizował lokalne źródło.

Poziom trzeci: playbooki jako umiejętności agenta

Gdy rutyna rozwiązywania problemów zadziała, zapakuj ją jako umiejętność agenta. Umiejętność to folder zawierający instrukcje, skrypty i pliki kontekstowe, opisany plikiem SKILL.md, który uczy agenta wykonywania powtarzających się zadań operacyjnych.

Stwórz katalog .agents/skills/spark-troubleshooter/ i napisz tam umiejętność:

mkdir -p .agents/skills/spark-troubleshooter
cat << 'EOF' > .agents/skills/spark-troubleshooter/SKILL.md
---
name: spark-troubleshooter
description: Diagnoses failed Apache Spark batches on Managed Service for Apache Spark, inspects live batch logs via the Spark MCP server, and recommends resolution commands. Use when troubleshooting Spark job failures.
---

# Spark Troubleshooter Skill

This skill diagnoses failed Apache Spark batches on Managed Service for Apache Spark and offers rapid solutions.

## Instructions
1. Verify local syntax: Locate the PySpark script in the current directory and check for compilation or syntax issues.
2. Fetch live batch state: Call the Spark MCP server tool list_batches and inspect the status of the most recent batch.
3. Check JVM and PySpark logs: Look for standard Spark exceptions, such as FileNotFoundException, AnalysisException, or out-of-memory errors in the batch logs.
4. Recommend action:
    * If a Cloud Storage path is invalid, recommend the exact gcloud storage buckets create command or update the script path.
    * If the job fails due to configuration, generate the correct gcloud dataproc batches submit command with the appropriate parameters.
    * If a syntax error is detected, fix the code in-place.
    * For other errors, recommend a fix.
EOF

Ponieważ znajduje się w katalogu projektu .agents/skills/, interfejs wiersza poleceń znajduje go samodzielnie. Następnie:

agy -p "Diagnose why my last Spark batch failed and recommend a fix"

Agent realizuje kroki z twojego planu działania i przygotowuje skoncentrowany plan:

[Spark Troubleshooter] Running diagnostic playbook...
- Local Syntax: OK (spark_job.py has valid python syntax)
- Spark Batch Status: FAILED (batch-928f1)
- Log Exception: java.io.FileNotFoundException for gs://my-missing-bucket/input.csv

Recommendation:
The bucket gs://my-missing-bucket does not exist. Run this command to create it:

  gcloud storage buckets create gs://my-missing-bucket --location=$REGION

Once created, submit the batch again with:

  gcloud dataproc batches submit pyspark spark_job.py \
      --region=$REGION \
      --deps-bucket=gs://$BUCKET_NAME

Zapisz folder .agents/skills/ do Git, a wszyscy, którzy pobrają repozytorium, otrzymają tę samą automatyczną pomoc w rozwiązywaniu problemów.

Opcja konsoli: Gemini w Cloud Logging

Jeśli wolisz pozostać w konsoli Google Cloud, w Cloud Logging dostępne są wbudowane funkcje AI. Gdy batch Spark bez serwera zawiedzie:

  1. Otwórz stronę z batchami w konsoli Managed Service for Apache Spark.
  2. Wybierz nieudany batch i kliknij „View Logs”.
  3. Znajdź linię z błędem w Logs Explorer.
  4. Kliknij „Investigate log” lub ikonę Gemini sparkle.

Gemini odczytuje treść logu na miejscu, zaznacza wyjątek PySpark i proponuje rozwiązania, bez konieczności kopiowania wrażliwych danych gdziekolwiek indziej.

Krótka charakterystyka postępu

Pomoc AI w inżynierii danych rozwija się w zależności od kontekstu:

  1. Braak kontekstu, podobnie jak w czacie internetowym, pozwala udzielać ogólnych porad i nie umożliwia analizy kodu ani weryfikacji infrastruktury.
  2. Kontekst pliku z Antigravity CLI odczytuje lokalny kod i wprowadza poprawki składniowe bezpośrednio w nim.
  3. Kontekst infrastruktury z Spark MCP sprawdza aktualny stan zadań, odczytuje dane z Cloud Logging oraz łączy błędy podczas wykonywania z ich źródłem.
  4. Kontekst skodyfikowany w Agent Skills przekształca wieloetapowe procedury w komendy nadające się do ponownego użycia przez cały zespół.

Aby spróbować tego na własnej skórze, Google opublikował codelab dotyczący inżynierii platform dla Managed Service for Apache Spark z użyciem Gemini i MCP. Istnieje również podobny lab dla Google Kubernetes Engine, obejmujący porównywalne przypadki użycia.

Literatura pokrewna