Агентно-ориентированный прогнозируемый технический обслуживание с использованием OpenVINO: один конвейер, пять промышленных сценариев применения.

Трубопроводы, коммунальные сети и другие важнейшие активы требуют постоянной проверки для предотвращения сбоев, утечек и аварий. Техническое обслуживание, основанное исключительно на реакции на события или графике, приводит к частым выездам специалистов, упуску сигналов о дефектах на ранних этапах, а также к разрозненным документам при проведении аудита. Искусственный интеллект в формате агентов позволяет осуществлять непрерывный мониторинг и принимать меры раньше, что сокращает количество выездов на объект, уменьшает время простоя, повышает безопасность и обеспечивает наличие документации, готовой к аудиту.

В данной статье рассматривается проект Google Summer of Code 2026, в котором была использована концепция прогнозируемого технического обслуживания из Intel Metro AI Suite, разработанная на базе OpenVINO, и она была дополнена новыми случаями применения и наборами данных.

Разрыв между прогнозом и решением

Модель может сгенерировать тысячи прогнозов, но человек, получающий результаты, всё равно хочет получить три ответа: что произошло, почему и что проверять дальше. Метка с оценкой уверенности этого не даёт. Практическая система должна хранить доказательства, лежащие в основе каждого результата, принимать различные виды входных данных и позволять людям анализировать результаты без необходимости понимания кода, на котором они основаны.

Проект был направлен именно на это. Он связал процесс вывода результатов модели с структурированным хранением, координировал действия ИИ-агентов, вопросы на естественном языке и задачи, основанные на доказательствах, всё это в рамках одного рабочего процесса.

Как составляется эта система

Обработка начинается с модели OpenVINO, результаты работы которой записываются в файлы JSONL и в базу данных SQLite. Затем рабочий процесс LangGraph координирует действия трех агентов: одного для формирования политики, одного для анализа и одного для обработки доказательств. Пользователи могут изучать результаты через чат или подавать заявки, обоснованные соответствующими доказательствами.

Работа над проектом включала четыре улучшения, направленных на повышение удобства использования, объяснимости, расширяемости и спектра применения. Это разные решения, но все они входят в один целостный поток обработки.

Четыре вклада

Одна форма для каждого типа вопроса

Ранее пользователь должен был выбирать между режимами анализа, анализа данных и SQL перед вводом любого текста. Это требовало знания того, как разделены внутренние компоненты системы, что является сложной задачей для оператора. Новая версия автоматически определяет намерение пользователя и направляет вопрос в соответствующий бэкенд как в командной строке, так и в веб-интерфейсе. Теперь выбирать режим больше не нужно.

Вопросы о сырых показателях датчиков

Настроимая схема SQLite была расширена для хранения необработанных значений датчиков, уровня достоверности для каждого типа данных и метаданных о сценарии использования. Это позволяет задавать такие вопросы: какие образцы имели более высокий уровень достоверности датчиков по сравнению с уровнем достоверности изображений? Условие, сформулированное на естественном языке, преобразуется в запрос к базе данных, который возвращает соответствующие показатели, метки и исходные записи. Тот же контекст поступает также к агентам, отвечающим за политики и анализ. Важна прослеживаемость, поскольку сохраняемые необработанные значения и метаданные связывают каждый ответ с записью, откуда он взят.

Новые модели без пересоздания

Исходная точка ввода данных для инференции обрабатывала слишком много задач. Её разделили на отдельные компоненты: настройки, маршрутизация, обработчики для отдельных моделей, шаг выполнения, запись результатов и графики. Теперь диспетчер выбирает небольшой, специализированный обработчик, в то время как общие компоненты отвечают за поведение, характерное для всех сценариев использования. Для добавления нового типа данных теперь достаточно написать соответствующий обработчик и конфигурацию, а остальные этапы жизненного цикла будут использоваться повторно.

Пять промышленных сценариев использования в одной среде выполнения

Входные данные, цели прогнозирования и доказательства различаются в этих пяти сценариях, но они используют одну и ту же базовую инфраструктуру. Покрываются четыре типа входных данных: табличные данные, изображения, аудио с текстом и растровые данные с текстом.

Трубопроводы нефти и газа. Таблицевые данные о режиме работы и материалах поступают в модель OpenVINO MLP, которая одновременно прогнозирует два показателя: состояние трубопровода и уменьшение толщины стенки. В качестве входных данных используются геометрические характеристики, материал, параметры работы и данные, связанные с коррозией. Каждая обработанная запись позволяет определить класс состояния и оценить степень уменьшения толщины, причем оба показателя остаются связанными с первоначальными измерениями. Благодаря этой связи последующие системы могут объяснить результат, опираясь на реальные показатели работы, а рабочий процесс включает анализ, сосредоточенный на проблеме коррозии.

Солнечные панели. Детектор OpenVINO в стиле YOLO ищет дефекты на одноканальных изображениях электролюминесценции солнечных элементов и сохраняет прямоугольники ограничения как доказательства. На одном из примеров красный прямоугольник обозначает реальную трещину в виде звезды, которую детектор должен обнаружить. Результаты оценки всех 19,150 тестовых изображений показали значение F1 в 0.8277. Прогнозируемый прямоугольник сохраняется вместе с его классом и уровнем уверенности, что позволяет пользователю увидеть место обнаружения дефекта.

Передача энергии. Доработанная модель YOLOv8s-cls сортирует изображения линий электропередачи по трем категориям цепей. Она обрабатывает как синтетические, так и реальные изображения, что позволяет проверить, справляется ли один классификатор как с визуализациями цепей, так и с фотографиями, полученными в ходе выездной проверки. На 348 изображениях, не использованных в тестировании, модель правильно определила 334 случая, что соответствует точности 0.9598. Оба вида изображений проходят одинаковую предварительную обработку и инференцию.

Техническое обслуживание операционной среды. В данном примере аудиоклип сочетается с подписью. Оба элемента обрабатываются отдельно, классифицируются с помощью двух ветвей модели OpenVINO MLP, а затем объединяются с использованием метода позднего слияния. Пример, относящийся к вращающимся машинам, сопровождался подписью о вибрации электроинструмента во время работы. Видеокадр предоставляет контекст для человеческого читателя, но входными данными для модели являются аудио с клипа и текст. Ветви модели остаются доступными для индивидуального анализа до тех пор, пока их результаты не будут сведены вместе.

Очистка воды. Патч растра Sentinel-2 с 15 каналами сочетается с текстовым описанием окружающей среды, например, описанием округа в Аризоне с данными об испарении и транспирации, осадках, глубине грунтовых вод и глубине поверхностных вод. Статистические характеристики растра и характеристики TF-IDF из текста обрабатываются через отдельные ветви OpenVINO перед финальным слиянием, что позволяет сохранить уровень уверенности каждой ветви. Генерируется превью в формате JPEG, чтобы люди могли посмотреть пример, но сама модель использует исходный многоканальный массив NumPy. Превью также можно прикрепить к заявке, предоставляя видимые доказательства многомодального прогноза.

Работа на аппаратуре Intel

Каждая модель была реализована в формате OpenVINO IR, причем единая настраиваемая точка входа обрабатывает изображения, табличные векторы датчиков, аудио-характеристики и парные мультимодальные данные. Код был проверен на процессоре Intel GPU, а процесс инференса в рамках всей системы также подтверждён на процессоре Intel NPU, включая генерацию выходных данных в форматах JSONL и SQLite.

Тестирование не только точности

Проверка выходила за рамки оценки точности модели. Каждый рабочий процесс тестировался начиная с загрузки модели и форматирования выходных данных через различные агенты, интерфейсы, элементы доказательств, тикеты и до выполнения на оборудовании Intel. Проверки охватывали как взаимодействие между компонентами, так и результаты работы отдельных моделей.

Что показывают демонстрации

Два вида отображения показывают, как работает система. Первый — это оркестрация на стороне сервера. Она начинается с результатов инференса в общем слое данных. Агент политик фильтрует их в соответствии с настроенной политикой, а агент анализа обобщает их операционное значение. Затем агент доказательств объединяет каждый результат вместе с исходными данными и метаданными в отслеживаемую запись. Вместе они превращают результаты работы модели в структурированный анализ и доказательства, готовые к рассмотрению.

Второй вид — это единый чат. Пользователи просматривают краткие отчеты анализа, изучают доказательства и фильтруют результаты, а также запрашивают структурированные данные об техническом обслуживании. После анализа они могут создать заявку на обслуживание для дальнейшего рассмотрения. Это демонстрирует весь путь от изучения результатов до подачи заявки.

Уроки, извлеченные при проектировании

Центральной проблемой проектирования было сбалансирование возможности повторного использования и специфического поведения для разных модалитетов. Все пять случаев используют одинаковые компоненты конфигурации, выполнения, хранения и агентов, в то время как небольшие обработчики обеспечивают предварительную и последующую обработку, необходимую для каждого типа данных. Это позволяет избежать дублирования без применения одинаковой логики к сильно различающимся входным данным.

Результаты также указывают на нецелесообразность хранения лишь метки. Поскольку сырые значения датчиков, области ограничения, уровни уверенности для каждой ветви, метаданные и превью исходного материала передаются вместе с прогнозом, каждый результат остается связанным с доказательствами, которые могут изучить как люди, так и агенты.

В случае мультимодальных сценариев позднее объединение данных позволяет сохранять возможность отслеживания аудио-, текстовой и растровой информации по отдельности. Текущее равное взвешивание просто и воспроизводимо, хотя взвешивание, полученное методами машинного обучения или динамически настроенное, может лучше отражать степень надежности каждой модалитета.

Слой агентов не заменяет прогностические модели. Он организует сохранённые результаты, загружает подтверждающие данные и направляет вопрос к соответствующей процедуре анализа или операции в базе данных. Проверка охватывает оцениваемые наборы данных и аппаратное обеспечение Intel, однако в реальных условиях всё равно потребуются тестирование, мониторинг и калибровка с учётом особенностей конкретного места размещения.

От прототипа к плану

То, что изначально было конвейером, созданным для одного конкретного случая использования, стало более модульным, мультимодальным и ориентированным на пользователя. OpenVINO обеспечивает общий слой инференса, а структурированное хранение в сочетании с скоординированными агентами преобразует результаты работы модели в информацию, которую человек может изучить и использовать. Тот же путь — от промышленных данных через процесс инференса и анализа данных до исследования с использованием естественного языка и формирования задач — теперь используется в нескольких областях технического обслуживания.