RU2815254C1 - Способ автоматического выявления отсутствующих элементов грузового вагона в круглосуточном режиме - Google Patents

Abstract

Изобретение относится к методам оптического контроля подвижного железнодорожного состава. В способе предварительно обученную нейронную сеть запускают в цикле обработки изображений с камер для обнаружения заданных элементов вагона, детектируют нужные элементы вагона, определяют номер вагона, после чего осуществляют запрос по полученному номеру вагона в базу данных вагонов, получая список и количество элементов, наличие которых необходимо контролировать в заданном вагоне; далее, сопоставляя этот список с компилированным набором, определяют, все ли элементы вагона, которые необходимо контролировать, найдены на изображениях вагона; если есть отсутствующие или несоответствующие вагону элементы, то их заносят в список неисправностей данного вагона. Достигается возможность выявления отсутствующих элементов грузового вагона. 1 з.п. ф-лы, 13 ил.

Description

Изобретение относится к автоматическим средствам оптического контроля подвижного железнодорожного состава и может использоваться для автоматической регистрации и распознавания номеров железнодорожных вагонов и цистерн на железно дорожных узлах, транзитных станциях, подъездах к пунктам разгрузки/загрузки, а также для подсчета количества вагонов, осуществления контроля за состоянием вагонов и цистерн, осуществлять также соответствие типа тормозной колодки модели вагона, выявлять отсутствие элементов грузового вагона.

Из уровня техники известно решение по патенту RU2508216, публикация: 2014.02.27, в котором описан автоматический идентификатор номера вагона, отличающийся тем, что он содержит навигационный приемник ГЛОНАСС/GPS, энергонезависимые часы реального времени, модем GSM/GPRS с двумя SIM-картами, контроллер, энергонезависимую память, узел запуска контроллера при появлении внешнего питания или начале движения вагона, модуль питания и автономный источник электропитания, причем к контроллеру подключены навигационный приемник ГЛОНАСС/GPS, энергонезависимые часы реального времени, модем GSM/GPRS, узел запуска контроллера при появлении внешнего питания или в начале движения вагона и энергонезависимая память, а модуль питания от бортовой электрической сети и автономный источник электропитания подключены независимо друг от друга ко всем энергопотребляющим элементам идентификатора.

Недостатком решения является зависимость от наличия автономного источника электропитания, которые в условиях сильных морозов спустя непродолжительное время быстро разряжаются. Кроме того, не везде на территории России есть сотовая связь и в зонах тайги

Также известно решение https://controleng.ru/wp-content/uploads/4960.pdf , в котором описан АППАРАТНО-ПРОГРАММНЫЙ КОМПЛЕКС ОПТОЭЛЕКТРОННОЙ ИДЕНТИФИКАЦИИ ОБЪЕКТОВ ПОДВИЖНОГО СОСТАВА ЖЕЛЕЗНОДОРОЖНОГО ТРАНСПОРТА, который позволяет распознавать в автоматическом режиме номера грузовых вагонов железнодорожных составов. Первое внедрение состоялось в июне 2005 г. на ст. Череповец-1 Северной железной дороги. Разработка получила название ARSCIS (Automated RollingStocked Cars Identification System).

Наиболее близким аналогом является система оптического контроля грузовых вагонов и цистерн СОК-ТЕГ (https://teg.ru.com/wp-content/uploads/2020/06/sok-teg.pdf , опубл.: июнь 2020), которая предназначена для автоматической регистрации и распознавания номеров железнодорожных вагонов и цистерн на железно дорожных узлах, транзитных станциях, подъездах к пунктам разгрузки/загрузки, а так же для регистрации номеров транспортных контейнеров, перемещаемых железно дорожным транспортом в целях получения оперативной информации в автоматическом режиме о передвижении подвижного состава объектов железных дорог, поиска вагонов по их инвентарным номерам, подсчета количества вагонов, осуществления контроля за состоянием вагонов и цистерн.

Технической проблемой известных решений является возможность вести лишь досчет вагонов и фиксировать их номера.

Задачей изобретения является усовершенствование известных систем.

Техническим результатом изобретения является возможность во время движения подвижного состава помимо распознавания номеров вагонов, анализа и формирования полученных данных с учетом модели вагона, выявлять также отсутствие необходимых элементов грузового вагона или определять их несоответствие.

Указанный технический результат достигается за счет того, что заявлен способ автоматического выявления отсутствующих элементов грузового вагона в круглосуточном режиме, характеризующийся тем, что используют пост контроля, оснащенный видеокамерами и осветителями для круглосуточной съемки, с помощью которого автоматически во время прохода состава производят загрузку изображений с камер на сервер обработки, где формируют изображения вагонов с разных ракурсов, распознают номера вагонов, формируют данные с учетом модели вагона, отличающийся тем, что видеокамеры с осветителями на посту контроля размещают по обе стороны от железнодорожного полотна по высоте на уровне расположения необходимых элементов грузового вагона, которые требуется идентифицировать, при этом способ осуществляют в следующей последовательности этапов:

- используя предварительно обученную нейронную сеть запускают в цикле обработку всех изображений со всех камер для обнаружения заданных элементов вагона, причем после обработки изображения формируют список объектов из заданных элементов вагона, при этом каждый объект описывают теми же числами, как и в разметке на изображении;

- по результатам обработки всех изображений для каждого типа объектов создают таблицу данных, состоящую из строк и столбцов, где элементами строк являются вагоны, а элементами столбцов являются: камера, номер изображения с данной камеры, время формирования данного изображения, местоположение элемента на изображении;

- анализируя полученную таблицу данных для элемента автосцепки вагона, и, имея номера кадров для каждой из автосцепок, выделяют для каждого вагона набор фотографий с каждой из камер, формируя для каждого из вагонов массив данных из наборов трех чисел: номер камеры, номер первой фотографии для данного вагона с данной камеры, номер последней фотографии для данного вагона с данной камеры; причем количество таких наборов соответствует количеству используемых камер;

- сопоставляя между собой таблицу данных и массив данных, получают компилированный набор и количество элементов, которые были обнаружены для определенного вагона;

- на следующем этапе для каждого из вагонов выбирают фотографии с камер, настроенных на распознавание номера вагона, загружают этот набор фотографий на компиляцию в программу распознавания восьмизначных номеров железнодорожных вагонов, на выходе получают номер вагона, причем если номер вагона не распознался, то по нему устанавливают метку, что вагон не обрабатывался;

- после чего делают запрос по полученному номеру вагона в базу данных вагонов, получая список и количество элементов, наличие которых на данном вагоне необходимо контролировать;

- далее, сопоставляя этот список с компилированным набором, определяют, все ли элементы вагона, которые необходимо контролировать, найдены на изображениях вагона; если есть отсутствующие или несоответствующие вагону элементы, то их заносят в список неисправностей данного вагона.

Предпочтительно, по окончании обработки состава формируют список необработанных вагонов, если таковые имелись, с указанием порядкового номера с головы, список вагонов с отсутствующими интересующими элементами с указанием номера вагона и списка не найденных элементов, и список номеров вагонов, у которых были найдены все элементы.

Краткое описание чертежей

На Фиг. 1 показана схема поста контроля с установленными видеокамерами согласно заявленного изобретения.

На Фиг. 2 - Фиг. 5, Фиг. 9 - Фиг. 11 показаны примеры детектирования элементов вагона.

На Фиг. 6 и Фиг. 7 приведены примеры разметки с помощью программы LabelImg.

На Фиг. 8 показан пример детектирования номера вагона.

На Фиг. 12 и Фиг. 13 приведены примеры определения типа тормозной колодки.

На чертежах: 1 - пост контроля, 2 - видеокамеры на уровне номера вагона, 3 - видеокамеры на уровне автоспепки вагона, 4 - видеокамеры на уровне буксы колесной пары вагона, 5 - вспомогательный столб, 6 - буксовый узел, 7 - автоспепка вагона, 8 - видеокамеры 8 для отслеживания содержимого вагонов.

Осуществление изобретения

Способ предназначен для автоматического выявления отсутствующих элементов грузового вагона в круглосуточном режиме, распознавания номеров вагонов, анализа и формирования полученных данных с учетом модели вагона, а также передачи полученных показаний в информационные системы заказчика.

Способ может быть реализован с использованием модулей видеофиксации, установленных на посту контроля 1 и связанных проводным или беспроводным способом с автоматизированным рабочим местом (АРМ) оператора, где установлен сервер с соответствующим программным обеспечением. Видеокамеры 2, 3, 4 с осветителями 5 (для работы в ночном режиме) на посту контроля 1 размещают по высоте на уровне расположения необходимых элементов грузового вагона, которые требуется идентифицировать.

Например, камеры 2 устанавливаются на уровне номера вагона по обе стороны от железнодорожного полотна на опорах поста контроля 1, камеры 3 - на уровне автоспепки 7 вагона, камеры 4 - на уровне буксового узла 6 колесной пары вагона. При необходимости пост контроля 1 дополнительно оснащают вспомогательными столбами 5, на которых размещают на том же уровне еще такие же видеокамеры 2, 3, 4. Также, на верхней балке поста контроля 1 могут размещаться видеокамеры 8 для отслеживания содержимого вагонов. Расположение камер 2, 3, 4 на заданной высоте относительно элементов вагона необходимо для целей точной идентификации элементов вагона, чтобы они не были под большим углом наклона сверху или снизу, который сильно искажает идентифицируемый объект и усложняет его распознавание.

При проходе поезда через пост контроля 1, который оснащен по меньшей мере видеокамерами 2, 3, 4 с осветителями (могут быть как отдельными, так и встроенными в камеры) для круглосуточной съемки, автоматически формируются изображения вагона с разных ракурсов. Заданные математические алгоритмы при использовании нейросетей производят обработку результатов поиска объектов на изображениях вагонов. Алгоритм анализа данных позволяет распознавать номера вагонов, формировать данные с учетом модели вагона, определять соответсвие типа тормозной колодки модели вагона, выявлять отсутствие элементов грузового вагона.

Основные этапы работы программы выявления отсутствующих элементов на вагоне характеризуются следующими этапами:

После прохода очередного состава производится закачка изображений с камер на сервер обработки, который связан с видеокамерами 2, 3, 4, 8 проводной или беспроводной связью. Сервер обработки установлен на АРМ оператора. На сервере установлено соответствующее программное обеспечение (ПО), в частности - ПО нейронной сети.

На втором этапе используется нейронная сеть. Например, можно использовать скрипт detect из библиотеки YOLO, с помощью которого запускают в цикле обработку всех изображений со всех камер с целью обнаружения интересующих нас элементов.

Для выявления отсутствующих или несоответствующих вагону элементов нейронную сеть сначала нужно обучить.

Для этого предварительно отбирается набор изображений с интересующими нас объектами.

Далее, например, в нейронной сети YOLO выполняется так называемая процедура разметки - для каждого изображения <image_name>.jpg создается файл <image_name>.txt, в котором перечислены элементы, имеющиеся на этом изображении и параметры прямоугольников, внутри которых эти элементы располагаются.

Для упрощения данной процедуры можно использовать, например, программу LabelImg. Она соотносит детектированный объект с его местоположением на изображении.

На Фиг.6 приведен пример разметки с помощью программы LabelImg,
при этом содержание файла разметки выглядит следующим образом, как показано в таблице 1:

Таблица 1

0	0.276562	0.395625	0.189062	0.218750
6	0.414062	0.453125	0.190625	0.313750
3	0.695703	0.185000	0.116406	0.250000
2	0.893359	0.204375	0.077344	0.241250
4	0.732812	0.610000	0.104688	0.192500

В таблице 1 первый столбец - числовой идентификатор элемента, второй и третий столбец - относительные координаты центра ограничивающего прямоугольника, а четвертый и пятый столбец - относительные размеры ограничивающего прямоугольника.

После подбора достаточного количества изображений (не менее 1000 нахождений каждого из элементов) и их разметки с помощью скрипта train.py из библиотеки YOLO производится обучение нейросети.

Для обучения подготавливают массив из более 1000 картинок.

Используя библиотеку YOLOv5 и предобученную систему весов, переобучают на нужные объекты. То есть, вручную просматривают картинки, указывают нейросети, как выглядит и называется каждый предназначенный для поиска объект. Для обработки изображений используется программа train.

Для разметки координат используют программу LabelImg (см. https://russianblogs.com/article/24391005208/). Она соотносит детектированный объект с его местоположением на изображении.

Функция detect обрабатывает все изображения и формирует список: название фото - название объекта, координата; название объекта 2 - координата 2; и т.д.

В результате получаются такие изображения с обозначением детектированных объектов как на Фиг.7.

Примеры подробной настройки нейросети для детекции объектов показаны, например, в https://newtechaudit.ru/nastrojka-nejroseti-detekczia-obektov/ или в https://develop-nil.com/kak-sozdat-svoj-sobstvennyj-object-detector/.

Пример обнаружения приведен на Фиг.5, где найдены два крюка (lhook, rhook), штурвал (helm), буксовый узел (oldbox) 6 и автосцепка (coupler) 7. Результатом обработки изображения является список объектов, при этом каждый объект описывается такими же числами (числовой идентификатор элемента, относительные координаты центра ограничивающего прямоугольника, относительные размеры ограничивающего прямоугольника), как и в разметке.

Пример 1 результата записи списка для приведенного изображения:

[[2,0.828516,0.164375,0.0976562,0.24375],[0,0.214844,0.4175,0.2,0.21],[4,0.598047,0.14375,0.122656,0.2675],[6,0.677734,0.621875,0.110156,0.18875],[7,0.317578,0.523125,0.180469,0.27875]].

По результатам обработки всех изображений внутри программы для каждого типа объектов создается таблица данных, состоящая из строк и столбцов, где элементами строк являются вагоны, а элементами столбцов являются: камера, номер изображения с данной камеры, время формирования данного изображения, местоположение элемента на изображении.

Анализируя массив из предыдущего пункта для элемента автосцепка 7, и, имея номера кадров для каждой из автосцепок 7, выделяют для каждого вагона набор фотографий с каждой из камер, формируя для каждого из вагонов массив из наборов трех чисел (номер камеры, номер первой фотографии для данного вагона с данной камеры, номер последней фотографии для данного вагона с данной камеры). Количество таких троек соответствует количеству камер. В итоге, в результате выполнения функций из вышеприведенных этапов получают для каждого из элементов набор номеров фотографий, где он был найден и для каждого из вагонов - набор номеров фотографий, относящихся к данному вагону.

Сопоставляя между собой таблицу данных и массив данных, получают компилированный набор и количество элементов, которые были обнаружены для определенного вагона.

Примеры работы с моделями YOLOv5 см. на https://vc.ru/newtechaudit/326571-ispolzovanie-yolov5-dlya-zadachi-detekcii, а также на https://habr.com/ru/articles/576738/).

Благодаря использованию нейросети обеспечивается возможность детекции, то есть «просматривать» изображение один раз, что значительно ускоряет обработку данных для получения результата.

Примеры поиска объектов на изображениях вагонов при помощи нейросетей показаны на Фиг.2-Фиг.5.

Набор изображений для каждого из вагонов обрабатывается с помощью библиотеки iANRCR Pyhton (также реализованной на основе архитектуры YOLO, см.: https://intbusoft.com/ianrcr/) с целью распознавания номера вагона (пример такого распознавания номера показан на Фиг.8).

На следующем этапе для каждого из вагонов выбирают фотографии с камер, настроенных на распознавание номера вагона, загружают этот набор фотографий на компиляцию в программу распознавания восьмизначных номеров железнодорожных вагонов, на выходе получают номер вагона, причем если номер вагона не распознался, то по нему устанавливают метку, что вагон не обрабатывался.

В качестве программы распознавания восьмизначных номеров железнодорожных вагонов можно использовать комплект средств разработки для распознавания номеров железнодорожных вагонов iANRCR SDK, например: https://intbusoft.com/2023/01/ianrcrpython/. iANRCR SDK - это комплект средств разработки для распознавания восьмизначных номеров железнодорожных вагонов. Основная цель - обеспечить автоматизированное распознавание номеров на основе библиотеки компьютерного зрения OpenCV. Основной язык использования библиотеки - C/C++. Версия 2.0.1.0 откомпилирована с версиями OpenCV 3.4.

Например, фотографии с камер, настроенных на распознавание номера вагона, передают на набор в функцию ia.process из библиотеки iANRCR и на выходе получают номер вагона. Если номер вагона не распознался, то по нему устанавливается признак, что вагон не обрабатывался. Пример работы iANRCR SDK описан в https://intbusoft.com/wp-content/uploads/2021/01/iANRCR.pdf.

Делая запрос по полученному номеру вагона в базу данных заказчика, получают список и количество элементов, наличие которых на данном вагоне важно заказчику.

Таким образом, библиотека iANRCR SDK определяет номер вагона, в соответствии со стандартами маркировки вагонов РЖД. Распознанный номер (со своей вероятностью) присваивается уже распознанному массиву объектов. После чего он привязан уже не к порядковому, а к инвентарному номеру вагона.

Пример 1 определения номера вагона.

Программный комплекс iANRCR SDK находит по номеру вагона строку в Excel, вычитывает целиком строку.

Если номер вагона не распознан целиком (в 8-значном формате РЖД), то алгоритм останавливается.

Например, в таблице 2 ниже видно, что строка была найдена и выбрана командой по SQL-запросу вида: SELECT * FROM Wagon WHERE number=61621843

Запрос из базы данных программное оебспечение делает в автоматическом режиме. База вагонов может храниться как на сервере АРМ оператора, так и на любом другом, откуда подгружаться через сеть интернет на сервер АРМ оператора. База формируется на основании данных, переданных заказчиком.

База данных представлена таблицей Wagonсо следующими полями: number-номер вагона, type-тип вагона (полувагон, цистерна, платформа и т.п.). Далее идет список элементов (расширяемый по мере необходимости и возможности нейросети), на нахождение которых на фотографиях обучена нейросеть. Если значение данного поля нулевое, то контролировать наличие данного элемента на вагоне не требуется. Ненулевое значение поля - количество элементов данного типа, наличие которых необходимо контролировать на данном вагоне.

Пример 2.

Из таблицы 3 видно, что вагон с номером 61621843 подлежит контролю по всем критериям элементов, а у вагона 50016260 крюки отсутствуют (hook) и не проверяются.

Таблица 3

number	type	helm	hook	break_cyl	double_chamber_tank	spare_tank
61621843	box	1	24	1	1	1
. . .
50016260	tank	1	0	1	1	1

Далее, сопоставляя полученный список и количество элементов с компилированным набором, определяют, все ли элементы вагона, которые необходимо контролировать, найдены на изображениях вагона. Если есть отсутствующие или несоответствующие вагону элементы, то их заносят в список неисправностей данного вагона.

Система должна по меньшей мере выявлять отсутствие следующих элементов грузового вагона (см. примеры Фиг.9-Фиг.11):

- стояночный тормоз (штурвал);

- авторежим;

- балка опорная авторежима;

- тормозная колодка;

- запорное устройство крышки люка;

- пружина (внешняя для пружин, видимых со стороны борта вагона);

- авторегулятор;

- блокиратор;

- шунт.

Найденное несоответствие выделяется цветом на изображениях.

Для определения соответствия вычитают из количества найденных элементов, количество искомых. Если полученное значение больше или равно 0, то количество соответствует. Если число отрицательное, то не соответствует.

Пример 3 определения несоответствия.

В таблице 2, а также из сравнения Фиг.3 (исходное состояние вагона по данным заказчика) и Фиг.4 (контрольное состояние вагона на момент проверки), можно видеть несоответствие.

Из таблицы 2 для вагона 50016260 и Фиг.3 видно, что по данным заказчика на нем должен стоять штурвал (helm), поскольку данные указывают для этого элемента значение 1.

Но при контрольной проверке (Фиг.4) того же вагона 50016260 штурвал (helm) обнаружен не был, поскольку данные указывают для этого элемента значение 0.

В результате, программа фиксирует красным цветом для элемента штурвал (helm) вагона 50016260 значение 0 и заносит данные о его отсутствии в журнал.

Формирование данных осуществляется также с учётом модели вагона.

После прохождения поезда наборы изображений, полученные с камер, подвергаются обработке с помощью нейросети.

Одним из объектов, которые детектирует нейросеть, является автосцепка 7. Имея информацию, в каких кадрах найдена автосцепка 7, выделяют наборы изображений по каждому из вагонов. Соответственно, удается определять, какие объекты и в каком количестве были детектированы на каждом из вагонов.

Существует несколько моделей вагонов. И для каждого существует свой «набор» элементов. Таких как: штурвал, тормозная колодка, тормозной цилиндр, двухкамерный резервуар, запасной бак, автосцепка 7, лестница, буксовый узел 6.

Так, возможно определение соответствия типу тормозной колодки модели вагона. Тормозные колодки бывают двух типов: длинные и короткие. Алгоритм определяет их по длине. Если в базе указано, что вагон укомплектован длинной колодкой, а стоит короткая, то оператор должен это знать (короткая колодка менее эффективная, и могут возникнуть проблемы с торможением; также использование длинной колодки вместо короткой нецелесообразно). Например, на Фиг.12 детектирована короткая тормозная колодка, а на Фиг.13 - длинная тормозная колодка.

По окончании обработки состава формируется список необработанных вагонов (если таковые имелись) с указанием порядкового номера с головы, список вагонов с отсутствующими интересующими элементами с указанием номера вагона и списка не найденных элементов, и список номеров вагонов, у которых были найдены все элементы.

Claims (2)

1. Способ автоматического выявления отсутствующих элементов грузового вагона в круглосуточном режиме, характеризующийся тем, что используют пост контроля, оснащенный видеокамерами и осветителями для круглосуточной съемки, с помощью которого автоматически во время прохода состава производят загрузку изображений с камер на сервер обработки, где формируют изображения вагонов с разных ракурсов, распознают номера вагонов, формируют данные с учетом модели вагона, отличающийся тем, что видеокамеры с осветителями на посту контроля размещают по обе стороны от железнодорожного полотна по высоте на уровне расположения необходимых элементов грузового вагона, которые требуется идентифицировать, при этом способ осуществляют в следующей последовательности этапов: используя предварительно обученную нейронную сеть, запускают в цикле обработку всех изображений со всех камер для обнаружения заданных элементов вагона, причем после обработки изображения формируют список объектов из заданных элементов вагона, при этом каждый объект описывают теми же числами, как и в разметке на изображении; по результатам обработки всех изображений для каждого типа объектов создают таблицу данных, состоящую из строк и столбцов, где элементами строк являются вагоны, а элементами столбцов являются: камера, номер изображения с данной камеры, время формирования данного изображения, местоположение элемента на изображении; анализируя полученную таблицу данных для элемента автосцепки вагона и имея номера кадров для каждой из автосцепок, выделяют для каждого вагона набор фотографий с каждой из камер, формируя для каждого из вагонов массив данных из наборов трех чисел: номер камеры, номер первой фотографии для данного вагона с данной камеры, номер последней фотографии для данного вагона с данной камеры; причем количество таких наборов соответствует количеству используемых камер; сопоставляя между собой таблицу данных и массив данных, получают компилированный набор и количество элементов, которые были обнаружены для определенного вагона; на следующем этапе для каждого из вагонов выбирают фотографии с камер, настроенных на распознавание номера вагона, загружают этот набор фотографий на компиляцию в программу распознавания восьмизначных номеров железнодорожных вагонов, на выходе получают номер вагона, причем если номер вагона не распознался, то по нему устанавливают метку, что вагон не обрабатывался; после чего делают запрос по полученному номеру вагона в базу данных вагонов, получая список и количество элементов, наличие которых на данном вагоне необходимо контролировать; далее, сопоставляя этот список с компилированным набором, определяют, все ли элементы вагона, которые необходимо контролировать, найдены на изображениях вагона; если есть отсутствующие или несоответствующие вагону элементы, то их заносят в список неисправностей данного вагона.

2. Способ по п.1, отличающийся тем, что по окончании обработки состава формируют список необработанных вагонов, если таковые имелись, с указанием порядкового номера с головы, список вагонов с отсутствующими интересующими элементами с указанием номера вагона и списка ненайденных элементов и список номеров вагонов, у которых были найдены все элементы.