Agentyjna konserwacja predykcyjna w OpenVINO: jeden pipeline, pięć zastosowań przemysłowych
Jak pipeline OpenVINO i LangGraph przekształca prognozy w dowody oraz zlecenia w różnych systemach, takich jak panele słoneczne, linie energetyczne, dane audio i rasterowe na sprzęcie Intel.
Źródła: Building an Agentic AI Predictive Maintenance Pipeline with OpenVINO™ and Intel® Metro AI Suite
Rurociągi, urządzenia użyteczności publicznej oraz inne kluczowe zasoby wymagają ciągłej inspekcji, aby zapobiec awariom, wyciekom i incydentom bezpieczeństwa. Konserwacja prowadzona wyłącznie reaktywnie lub według kalendarza oznacza częste wizyty ciężarówek, przeoczenie wczesnych sygnałów uszkodzeń oraz rozproszone dowody podczas audytu. Sztuczna inteligencja typu agencyjny umożliwia ciągłe monitorowanie i szybsze reagowanie, co przynosi oszczędności w postaci mniej wizyt na miejscu, skraca czas przestoju, poprawia bezpieczeństwo i pozostawia dokładne zapisy gotowe do audytu.
W tym tekście omówiono projekt z Google Summer of Code 2026, który wykorzystał model konserwacji predykcyjnej Intel Metro AI Suite oparty na OpenVINO i rozszerzył go o nowe przypadki zastosowania oraz zestawy danych.
Luka pomiędzy prognozą a decyzją
Modell może dostarczyć tysiące prognoz, ale osoba otrzymująca te informacje nadal potrzebuje trzech odpowiedzi: co się stało, dlaczego i co sprawdzić dalej. Etykieta z oceną pewności nie dostarcza tych informacji. Praktyczny proces musi przechowywać dowody za każdym wynikiem, przyjmować różne rodzaje danych wejściowych i umożliwiać ludziom analizę wyników bez konieczności zrozumienia kodu, który je generuje.
Cel projektu polegał dokładnie na tym. Połączył on proces wyciągania wniosków z modelem z strukturyzowanym przechowywaniem danych, skoordynował agenty AI, pytania w języku naturalnym oraz zgłoszenia oparte na dowodach, wszystko to w ramach jednego procesu pracy.
Jak składa się ten proces
Przetwarzanie rozpoczyna się od modelu OpenVINO, którego wyniki są zapisywane do plików JSONL oraz bazy danych SQLite. Następnie proces LangGraph koordynuje trzy agenty: jeden odpowiedzialny za strategię, drugi za analizę, a trzeci za dostarczanie dowodów. Użytkownicy mogą następnie przeglądać wyniki poprzez czat lub zgłaszać zapytania, wspierając je odpowiednimi dowodami.
Cztery ulepszenia wpłynęły na rozwój tego rozwiązania i miały na celu poprawę użyteczności, zrozumiałości, rozszerzalności oraz zakresu zastosowań. Są to różne poprawki, ale wszystkie funkcjonują w ramach tego samego procesu od początku do końca.
Cztery wkłady
Jedna kategoria na każdy typ pytania
Wcześniej użytkownik musiał wybrać między trybem analizy, dowodów a SQL przed wpisaniem czegokolwiek. Oznaczało to konieczność znajomości sposobu podziału elementów wewnętrznych systemu, co jest trudnym wymogiem dla operatora. Nowe rozwiązanie rozpoznaje intencję i automatycznie wysyła pytanie do odpowiedniego backendu, zarówno w linii poleceń, jak i w interfejsie internetowym. Nikt już nie musi wybierać trybu.
Pytania dotyczące surowych odczytów z czujników
Konfigurowalna struktura SQLite została rozszerzona, aby przechowywać surowe wartości z czujników, poziom pewności dla poszczególnych modalności oraz metadane dotyczące przypadku użycia. Dzięki temu możliwe stają się pytania takie jak: które próbki miały wyższy poziom pewności związany z czujnikami niż z obrazami? Warunek sformułowany w języku naturalnym jest przekształcany w zapytanie do bazy danych, które zwraca odpowiadające im wartości pomiarowe, etykiety oraz rekordy źródłowe. Ten sam kontekst dociera również do agentów odpowiedzialnych za polityki i analizy. Kluczowe jest możliwość śledzenia, ponieważ przechowywane surowe wartości i metadane łączą każdą odpowiedź z rekordami, z których pochodzi.
Nowe modele bez konieczności przekompilowania
Pierwotny punkt wejścia do procesu inferencji obsługiwał zbyt wiele zadań. Został podzielony na odrębne komponenty: ustawienia, routowanie, obsługi specyficzne dla poszczególnych modeli, krok wykonywania obliczeń, zapisywanie wyników oraz tworzenie wykresów. Teraz dysponent wybiera niewielki, skoncentrowany na konkretnym zadaniu komponent obsługujący, podczas gdy wspólne elementy zajmują się zachowaniami charakterystycznymi dla wszystkich przypadków użycia. Dodanie nowego typu danych oznacza teraz konieczność napisania odpowiedniego komponentu obsługującego oraz pliku konfiguracyjnego, przy jednoczesnym ponownym wykorzystaniu pozostałych elementów cyklu życia aplikacji.
Pięć przypadków zastosowania przemysłowego w jednym środowisku wykonawczym
Dane wejściowe, cele przewidywań oraz informacje pomocnicze różnią się w tych pięciu przypadkach, ale wszystkie korzystają z tej samej infrastruktury. Omówiono cztery typy danych wejściowych: dane tablicowe, obrazy, audio z tekstem oraz dane rastrowe z tekstem.
Rurociągi naftowe i gazowe. Tabela z danymi operacyjnymi i materiałowymi jest podawana do modelu OpenVINO MLP, który jednocześnie przewiduje dwa aspekty: stan rurociągu oraz stratę grubości ściany. Dane wejściowe obejmują informacje geometryczne, materiałowe oraz wartości związane z eksploatacją i korozją. Każda przetworzona записka dostarcza klasę stanu oraz szacunek straty grubości, przy czym oba te elementy pozostają powiązane z oryginalnymi pomiarami. Dzięki temu połączeniu kolejne elementy procesu mogą wyjaśnić wynik, korzystając z rzeczywistych danych operacyjnych, a proces pracy obejmuje również analizę skupioną na korozji.
Panely słoneczne. Detektor w stylu YOLO oparty na OpenVINO szuka defektów na obrazach elektroluminescencyjnych pojedynczokanałowych komórek słonecznych i przechowuje ramki ograniczające jako dowody. W jednym przykładzie czerwona ramka oznacza rzeczywisty pęknięcie w kształcie gwiazdy, które detektor powinien wykryć. Ocena przeprowadzona na wszystkich 19 150 obrazach testowych dała wartość F1 wynoszącą 0,8277. Przewidziana ramka jest przechowywana wraz z jej klasą i poziomem pewności, dzięki czemu użytkownik może zobaczyć, gdzie znaleziono defekt.
Przenoszenie mocy. Dostrojony model YOLOv8s-cls sortuje obrazy linii przesyłowych do trzech kategorii obwodów. Obsługuje zarówno obrazy syntetyczne, jak i te z rzeczywistego świata, co sprawdza, czy jeden klasyfikator radzi sobie z renderowanymi widokami obwodów oraz zdjęciami z inspekcji terenowych. Na 348 obrazach pozostawionych do testowania poprawnie zidentyfikował 334 przypadki, co daje dokładność na poziomie 0,9598. Obie grupy obrazów przechodzą identyczne procesy przetwarzania wstępnego i inferencji.
Konserwacja środowiska operacyjnego. W tym przypadku klip audio jest połączony z napisem. Oba elementy są przetwarzane oddzielnie, klasyfikowane przez dwa gałęzie sieci MLP OpenVINO, a następnie łączone poprzez fuzję późną. Przykładem jest nagranie dotyczące obrabiarek obrotowych, do którego dołączono napis o wibracjach narzędzia elektrycznego podczas pracy. Ramka wideo dostarcza kontekstu dla czytelnika, ale danymi wejściowymi dla modelu są dźwięk z klipu oraz tekst. Gałęzie te pozostają dostępne do indywidualnej inspekcji aż do połączenia ich wyników.
Oczyszczanie wody. 15-kanałowy fragment rastera Sentinel-2 jest połączony z opisem środowiskowym, na przykład takim, który opisuje hrabstwo w Arizonie pod kątem ewapotranspiracji, opadów, głębokości wód gruntowych i powierzchniowych. Charakterystyki statystyczne z rastera oraz cechy TF-IDF z tekstu przechodzą przez oddzielne gałęzie OpenVINO przed końcową fuzją, co pozwala zachować pewność każdej z gałęzi. Generowana jest wersja w formacie JPEG, aby ludzie mogli zobaczyć przykład, ale sam model wykorzystuje oryginalny wielokanałowy tablicę NumPy. Przegląd można również dołączyć do zgłoszenia, dostarczając w ten sposób widocznego dowodu na wielomodalną prognozę.
Działanie na sprzęcie Intel
Każdy model został zaimplementowany w formacie OpenVINO IR, a konfigurowalny punkt wejścia obsługuje obrazy, tablicowe wektory z czujników, cechy audio oraz sparowane dane multimodalne. Kod został zweryfikowany na karcie graficznej Intel, a proces przetwarzania w ramach całego pipeline potwierdzono również na procesorze NPU Intel, w tym przy generowaniu plików wyjściowych w formacie JSONL i SQLite.
Testowanie czegoś więcej niż tylko dokładności
Weryfikacja wykraczała poza prostą dokładność modelu. Każdy proces został przetestowany od ładowania modelu i strukturyzowanego wyjścia, poprzez mechanizmy agentów, interfejsy, dowody, zgłoszenia, aż po wykonywanie na sprzęcie Intel. Sprawdzenia obejmowały zarówno granice pomiędzy poszczególnymi komponentami, jak i wyniki działania pojedynczych modeli.
To, co pokazują demo
Dwie prezentacje pokazują, jak działa system. Pierwsza dotyczy orkiestracji w tle – zaczyna się od wyników inferencji w wspólnym warstwie danych. Agent polityki filtruje je zgodnie z skonfigurowaną polityką, a agent analityczny podsumowuje ich znaczenie z punktu widzenia operacyjnego. Następnie agent dowodów grupuje każdy wynik wraz z jego danymi źródłowymi i metadanymi w taką strukturę, która umożliwia śledzenie. Razem przekształcają one wyniki modelu przechowywane w strukturalną analizę oraz dowody gotowe do przeanalizowania.
Druga prezentacja dotyczy zintegrowanego czatu – użytkownicy przeglądają podsumowania analiz, sprawdzają dowody i filtrować wyniki, a także wyszukują ustrukturyzowane dane dotyczące konserwacji. Po przeprowadzeniu dochodzenia mogą utworzyć zgłoszenie konserwacyjne w celu dalszych działań. Pokazuje to całą ścieżkę od analizy wyników do złożenia zgłoszenia.
Lekcje wynikające z projektu
Głównym problemem projektowym było znalezienie równowagi pomiędzy ponownym użyciem a zachowaniem specyficznym dla danej modalności. Wszystkie pięć przypadków wykorzystuje te same komponenty: konfiguracji, wykonania, przechowywania oraz agentów, natomiast małe procesory zajmują się przetwarzaniem wstępnym i końcowym niezbędnym dla każdego typu danych. Unika się duplikacji, nie zmuszając do przechodzenia bardzo różnych danych przez identyczną logikę.
Wyniki również przemawiają przeciw przechowywaniu samego etykietu. Gdy surowe wartości z czujników, ramki ograniczające, poziom pewności dla poszczególnych gałęzi, metadane oraz wstępne widoki źródła są przekazywane razem z prognozą, każdy wynik pozostaje powiązany z dowodami, które zarówno ludzie, jak i agenci mogą przeanalizować.
W przypadku rozwiązań multimodalnych późna fuzja umożliwia oddzielne śledzenie gałęzi audio, tekstu i rastrowych obrazów. Obecne równe ważenie jest proste i powtarzalne, chociaż wagи nabyte lub dynamicznie skalibrowane mogłyby lepiej odzwierciedlać stopień niezawodności poszczególnych modalności.
Szczegółowa warstwa nie zastępuje modeli predykcyjnych. Organizuje przechowywane wyniki, pobiera dowody wspierające i kieruje pytanie do odpowiedniej analizy lub operacji w bazie danych. Walidacja obejmuje oceniane zbiory danych oraz sprzęt Intel, a rzeczywiste wdrożenia nadal wymagają testowania, monitorowania i kalibracji dostosowanej do konkretnego miejsca działania.
Od prototypu do planu
To, co zaczęło się jako system stworzony do jednego przypadku użycia, stało się bardziej modułowe, multimodalne i skierowane na użytkownika. OpenVINO dostarcza wspólną warstwę inferencji, a strukturyzowane przechowywanie w połączeniu z skoordynowanymi agentami przekształca wyniki modelu w informacje, które osoba może przeanalizować i na podstawie których podejmować działania. Ten sam proces – od danych przemysłowych, przez inferencję i dowody, aż po eksplorację w języku naturalnym i tworzenie zapytań – jest teraz stosowany w kilku obszarach konserwacji.
Pozycje pokrewne
- Przepływy pracy LangGraph Multi-Agent: porównanie zespołu a nadzorcy — Podziel przepływ pracy LangGraph na podagenty z funkcją checkpointingu, a następnie stwórz asystenta finansowego działającego zarówno jako zespół, jak i nadzorca, aby sprawdzić, w którym momencie każdy z tych modeli przestaje być skuteczny.
- Agent finansowy QuickBooks działający na lokalnym LLM za pomocą Ollamy i LangChain — Agent ReAct na bazie Qwen 3.5 9B i karty RTX 4070 odczytuje dane z QuickBooks w czasie rzeczywistym bez żadnych kosztów chmurowych. Zobacz kod, wyniki oraz znane ograniczenia.