RU2796975C1 - Method and device for machine determination of functional state of bearing rollers of conveyor belt unit - Google Patents

Abstract

FIELD: unmanned vehicles.

SUBSTANCE: unmanned vehicle is provided with an image sensor system by means of which the belt conveyor unit is sensor-controlled in the form of recorded thermal image data. According to the registered image data of the conveyor belt unit, the position of the recognition image area in which the portion of the bearing roller is displayed, is automatically determined. For the detected position of the recognizable image area from the image data in the thermal image data, the position of the analyzed image area is set accordingly. At each position of the analyzed image area, the thermal image data is automatically analyzed to automatically determine the functional status of the bearing rollers. The image data also contains photo image data in addition to thermal image data, which is registered as photo image data. The registered image data of the conveyor belt system, in which the position of the recognizable image area is automatically determined, is photo image data. The photo image data areas are automatically detected as image data areas, and the position of each detected photo image data area is automatically created as the position of the recognized image area.

EFFECT: functional state of the bearing rollers is determined.

15 cl, 3 dwg

Description

Изобретение относится к способу машинного определения функционального состояния несущих роликов ленточной конвейерной установки во время ее эксплуатации, причем предусмотрено по меньшей мере одно беспилотное транспортное средство по меньшей мере с одной системой датчиков изображения, посредством которой ленточная конвейерная установка по меньшей мере местами контролируется сенсорно в виде данных изображения, причем данные изображения по меньшей мере одного участка ленточной конвейерной установки регистрируются в виде данных теплового изображения. Далее изобретение относится к способу идентификации поврежденных несущих роликов ленточной конвейерной установки на основе вышеназванного способа, а также устройству для машинного определения функционального состояния несущих роликов ленточной конвейерной установки во время ее эксплуатации, содержащему по меньшей мере одно движущееся вдоль по меньшей мере одного участка ленточной конвейерной установки беспилотное транспортное средство по меньшей мере с одной системой датчиков изображения, посредством которой ленточная конвейерная установка, по меньшей мере, на части секций контролируется сенсорно в виде данных изображения, и по меньшей мере одно тепловизионное устройство для регистрации данных теплового изображения.The invention relates to a method for machine determination of the functional state of the carrier rollers of a conveyor belt installation during its operation, wherein at least one unmanned vehicle is provided with at least one image sensor system, by means of which the belt conveyor installation is at least locally controlled by sensors in the form of data images, wherein the image data of at least one section of the conveyor belt installation is recorded as thermal image data. Further, the invention relates to a method for identifying damaged carrier rollers of a belt conveyor installation based on the above method, as well as a device for machine determination of the functional state of the carrier rollers of a belt conveyor installation during its operation, containing at least one moving along at least one section of the belt conveyor installation an unmanned vehicle with at least one image sensor system, by means of which the conveyor belt installation, at least in part of the sections, is controlled by sensors in the form of image data, and at least one thermal imaging device for recording thermal image data.

Для транспортировки сыпучих грузов, например вскрыши, руд, топлив, стройматериалов и т.п., на заданное расстояние (путь транспортировки) в качестве стационарных или полустационарных транспортеров непрерывного действия часто используются ленточные конвейерные установки (ленточные конвейеры). В ленточной конвейерной установке бесконечная конвейерная лента (несущая лента) приводится по меньшей мере одной приводной станцией (приводным барабаном) в огибающее движение. При этом конвейерная лента в качестве верхней ветви направляется между двумя поворотными станциями, на которых она отклоняется поворотным валиком, от (начальной) поворотной станции к другой (концевой) поворотной станции. От концевой поворотной станции отклоненная конвейерная лента в качестве нижней ветви возвращается к начальной поворотной станции, там снова отклоняется и направляется снова в качестве верхней ветви. Как правило, верхняя ветвь образует при этом грузовую ветвь (рабочую ветвь, тяговую ветвь), а нижняя ветвь – холостую ветвь. По всей длине пути транспортировки конвейерная лента поддерживается на верхней и нижней ветвях несущими роликами (ходовыми роликами), которые служат несуще-направляющими элементами.For transportation of bulk cargo, such as overburden, ores, fuels, building materials, etc., over a given distance (transportation route), belt conveyor installations (belt conveyors) are often used as stationary or semi-stationary continuous conveyors. In a belt conveyor installation, an endless conveyor belt (carrier belt) is driven by at least one drive station (drive drum) into an envelope movement. In this case, the conveyor belt is guided as an upper run between two turning stations, where it is deflected by a turning roller, from a (start) turning station to another (end) turning station. From the end turning station, the deflected conveyor belt returns as a lower run to the starting turning station, where it deflects again and is guided again as an upper run. As a rule, the upper branch forms a cargo branch (working branch, traction branch), and the lower branch forms an idle branch. Along the entire length of the transportation path, the conveyor belt is supported on the upper and lower branches by carrier rollers (running rollers), which serve as carrier-guiding elements.

Вследствие большей вместимости и лучшего ведения материалов помимо конвейерных лент плоской формы (в плосколенточной конвейерной установке) для транспортировки сыпучих грузов используются также конвейерные ленты с лотковой верхней ветвью (в виде лотковой ленты в лотковой ленточной конвейерной установке, например с V-образным лотком в случае двух несущих роликов или с U-образным лотком, например в случае трех, четырех, пяти или более несущих роликов) или со свернутой верхней ветвью (в виде рукавной ленты/трубчатой ленты, соответственно в рукавной ленточной конвейерной установке). В зависимости от задачи транспортировки направляемая с лотковой или свернутой верхней ветвью конвейерная лента возвращается с плоской, лотковой или даже свернутой нижней ветвью. При этом часто в случае сильнее загруженной верхней ветви встречается U-образный лоток, а в случае возвращающейся нижней ветви – плоская форма или V-образный лоток.Due to the higher capacity and better handling of materials, in addition to flat conveyor belts (in a flat belt conveyor system), conveyor belts with a trough top run (in the form of a trough belt in a trough belt conveyor system, for example with a V-shaped tray in the case of two carrier rollers or with a U-shaped tray, for example in the case of three, four, five or more carrier rollers) or with a rolled-up upper branch (in the form of a sleeve belt / tubular belt, respectively in a sleeve belt conveyor installation). Depending on the transport task, a conveyor belt guided with a troughed or rolled-up top run returns with a flat, troughed or even rolled-up bottom run. In this case, often in the case of a more heavily loaded upper branch, a U-shaped flume is encountered, and in the case of a returning lower branch, a flat shape or V-shaped flume is encountered.

Бесконечно огибающая конвейерная лента на пути транспортировки должна поддерживаться и направляться при загруженной верхней ветви, как и при возвращенной нижней ветви (там в незагруженном или загруженном состоянии), причем поддержка особенно важна для загруженной части конвейерной ленты. В качестве несущих и направляющих элементов для поддержки и ведения используются несущие ролики в конструкции несущего остова, станции несущих роликов (станции ходовых роликов), причем несущие ролики обеспечивают контакт качения между конструкцией несущего остова и конвейерной лентой. Несущие ролики имеют ходовой поверхностный участок, который ограничен с торцов двумя колпачковыми участками, днищами несущих роликов. Как правило, ходовой поверхностный участок образован цилиндрообразным отрезком стальной трубы, причем для этого возможны также другие материалы и геометрические формы. Колпачковые участки образованы обычно литыми колпачками или колпачками из листовой стали, которые запрессованы или вварены в торцевые отверстия ходового поверхностного участка. На каждом колпачковом участке предусмотрена опора для размещения проходящей через несущий ролик оси или входящей во внутреннюю часть несущего ролика цапфы оси. Опорами являются подшипники качения (которые в большинстве случае образуют неотъемлемые составные части колпачкового участка), так что несущие ролики установлены посредством внутренней опоры с возможностью вращения. Типичные выполнения несущих роликов являются объектом промышленных норм и директив (например, DIN 15207, DIN 22112 или VDI 2341).The endlessly wrapping conveyor belt on the transport path must be supported and guided with the top run loaded as well as with the bottom run returned (there in an unloaded or loaded state), the support being especially important for the loaded part of the conveyor belt. As bearing and guiding elements for support and guidance, carrier rollers in the structure of the carrier frame, carrier roller stations (running roller stations) are used, and the carrier rollers provide rolling contact between the structure of the carrier frame and the conveyor belt. The carrier rollers have a running surface section, which is limited at the ends by two cap sections, the bottoms of the carrier rollers. As a rule, the running surface section is formed by a cylindrical section of a steel pipe, and other materials and geometries are also possible for this. The cap sections are usually formed by cast or sheet steel caps which are pressed or welded into the end holes of the running surface section. On each cap section, a support is provided for accommodating an axle passing through the carrier roller or an axle entering the inner part of the carrier roller of the trunnion. The bearings are rolling bearings (which in most cases form an integral part of the cap section), so that the carrier rollers are rotatably mounted by means of an internal bearing. Typical designs of carrier rollers are subject to industry standards and directives (eg DIN 15207, DIN 22112 or VDI 2341).

На станции несущих роликов по меньшей мере один несущий ролик установлен и опирается с возможностью вращения, обычно на станции несущих роликов расположены несколько несущих роликов, прежде всего на станциях несущих роликов для лотковых или свернутых конвейерных лент. Станции несущих роликов представляют собой, следовательно, точки опоры для конвейерной ленты и выполнены обычно в виде жесткой структуры остова (станина с несущими роликами, станина с ходовыми роликами, станина с роликами, роликовая опора), в которой оси отдельных несущих роликов расположены либо жестко, либо в виде подвижной структуры (гирлянда несущих роликов, гирлянда ходовых роликов). В такой подвижной структуре оси отдельных несущих роликов расположены подвижно по отношению друг к другу, например за счет того, что они соединены между собой цепями. Станции несущих роликов могут быть позиционированы вдоль пути транспортировки индивидуально, в рамках вышестоящей структуры остова могут быть соединены с соседними станциями несущих роликов или же могут быть выполнены в виде неотъемлемой составной части несущего остова ленточной конвейерной установки. Общее число несущих роликов на каждую станцию несущих роликов возникает, следовательно, из числа несущих роликов на каждую станцию несущих роликов и числа станций несущих роликов на всем пути транспортировки; оно зависит, тем самым, от расстояния между несущими роликами в направлении транспортировки.In the carrier roller station, at least one carrier roller is mounted and rotatably supported, usually several carrier rollers are located in the carrier roller station, in particular in the carrier roller stations for trough or coiled conveyor belts. The carrier roller stations are therefore the bearing points for the conveyor belt and are usually designed as a rigid frame structure (carrier roller frame, roller frame, roller frame, roller support), in which the axes of the individual carrier rollers are located either rigidly, or in the form of a movable structure (a garland of carrier rollers, a garland of running rollers). In such a movable structure, the axes of the individual carrier rollers are arranged movably with respect to each other, for example by being connected to each other by chains. Carrier roller stations can be positioned individually along the conveying path, connected to adjacent carrier roller stations within the superordinate frame structure, or can be made as an integral part of the carrier frame of the conveyor belt installation. The total number of carrier rollers per carrier roller station therefore arises from the number of carrier rollers per carrier roller station and the number of carrier roller stations along the entire transport path; it thus depends on the distance between the carrier rollers in the direction of transport.

Конвейерная лента ленточной конвейерной установки содержит обычно верхнюю и нижнюю покрывающие плиты, между которыми расположен несущий элемент (каркас), выполненный в виде вкладыша. Этот каркас состоит из одного или нескольких волокнистых слоев, заделанных в резину. Волокнистый слой служит, прежде всего, в качестве продольной основы (тяговой основы, тяговой основы ленты), так что волокна расположены для этого, будучи ориентированы в продольном направлении конвейерной ленты. При эксплуатации растягивающие усилия, действующие в направлении транспортировки (т.е. в направлении движения конвейерной ленты и, тем самым, в ее продольном направлении), передаются или отводятся через эти волокна. Как правило, продольными основами являются текстильные ткани, стальные тросы, высокопрочные полимеры или соответствующие композитные системы. В качестве поперечного армирования часто предусмотрены дополнительные прочностные основы, которые расположены, будучи ориентированы поперек продольного направления, и усиливают конвейерную ленту поперек направления транспортировки. Как правило, этими дополнительными прочностными основами являются стальные тросы или текстильные ткани. Верхней и нижней покрывающими плитами конвейерной ленты являются резиновые слои, причем верхняя покрывающая плита (несущий слой, несущая сторона) служит для приема сыпучего материала, а нижняя покрывающая плита (ходовой слой, ходовая сторона) находится в контакте с поворотными валиками, приводными барабанами, несущими роликами и прочими направляюще-опорными элементами. Вследствие прямого контакта верхней покрывающей плиты с отчасти острокромочной конвейерной лентой верхняя покрывающая плита выполнена, как правило, износостойкой и имеет бóльшую толщину, чем нижняя покрывающая плита. Толщина нижней покрывающей плиты со стороны несущих роликов лежит у многих конвейерных лент в диапазоне 3-5 мм.The conveyor belt of a belt conveyor installation usually contains upper and lower cover plates, between which there is a bearing element (frame) made in the form of an insert. This carcass consists of one or more fibrous layers embedded in rubber. The fibrous layer serves primarily as a longitudinal support (traction support, belt traction support), so that the fibers are arranged for this, being oriented in the longitudinal direction of the conveyor belt. During operation, tensile forces acting in the direction of transport (ie in the direction of travel of the conveyor belt and thus in its longitudinal direction) are transmitted or discharged via these fibers. As a rule, the longitudinal supports are textile fabrics, steel cables, high-strength polymers or appropriate composite systems. As transverse reinforcement, additional strength bases are often provided, which are located, being oriented transversely to the longitudinal direction, and reinforce the conveyor belt transversely to the conveying direction. As a rule, these additional strength bases are steel cables or textile fabrics. The upper and lower cover plates of the conveyor belt are rubber layers, with the upper cover plate (carrier layer, carrier side) serving to receive bulk material, and the lower cover plate (running layer, running side) in contact with turning rollers, drive drums, bearing rollers and other guide-support elements. Due to the direct contact of the upper cover plate with the somewhat sharp-edged conveyor belt, the upper cover plate is generally wear-resistant and thicker than the lower cover plate. The thickness of the bottom cover plate on the side of the carrier rollers is in the range of 3-5 mm for many conveyor belts.

В зависимости от области применения и вида конвейерной ленты ленточные конвейерные установки подвержены воздействию различных нагрузок и окружающих условий. Так, требования к ленточным конвейерным установкам в открытых горных разработках отличаются от ленточных конвейерных установок, используемых в подземных горных разработках; то же относится к географическому месту применения, например в приполярных областях или в тропиках. Индивидуальные условия эксплуатации ленточной конвейерной установки приводят к удельному износу отдельных компонентов такой установки, поэтому в короткие промежутки времени требуется регулярный контроль функционального состояния всех изнашивающихся компонентов ленточной конвейерной установки. Прежде всего, контроль несущих роликов и, в частности, их опор (подшипников качения) является сложным, т.к. любая ленточная конвейерная установка имеет большое число несущих роликов, которые иначе, нежели, например, сама конвейерная лента, стационарны и потому могут контролироваться всегда только в соответствующем месте монтажа. Именно у несущих роликов окружающий климат, а также вид и характер конвейерной ленты в значительной степени сказываются на износе и определяют, тем самым, требования к качеству несущих роликов. Если, например, функция несущих роликов и, в частности, их опор, нарушена, то повышается сопротивление качению, которое несущие ролики противопоставляют движению конвейерной ленты в направлении транспортировки. Следствием этого является не только повышенная потребность в энергии при транспортировке материала, но и возникает также риск повреждения конвейерной ленты и потому полного выхода из строя всей ленточной конвейерной установки. Чтобы своевременно перед полным выходом из строя можно было выявить несущие ролики с нарушенной функцией и заменить их, необходимо контролировать критические параметры несущих роликов в короткие промежутки времени.Depending on the application and type of conveyor belt, belt conveyor systems are subject to different loads and environmental conditions. Thus, the requirements for belt conveyor installations in open pit mining are different from belt conveyor installations used in underground mining; the same applies to the geographical location of application, for example in the subpolar regions or in the tropics. Individual operating conditions of a belt conveyor installation lead to specific wear of individual components of such an installation, therefore, regular monitoring of the functional state of all wearing components of a belt conveyor installation is required in short periods of time. First of all, the control of the carrier rollers and, in particular, their bearings (rolling bearings) is difficult, because. Any conveyor belt installation has a large number of carrier rollers, which, in contrast to, for example, the conveyor belt itself, are stationary and therefore can always be controlled only at the appropriate installation site. It is on carrier rollers that the ambient climate and the type and nature of the conveyor belt have a significant effect on wear and thus determine the quality requirements of carrier rollers. If, for example, the function of the carrier rollers, and in particular their bearings, is impaired, the rolling resistance increases, which the carrier rollers oppose to the movement of the conveyor belt in the conveying direction. The consequence of this is not only an increased need for energy during the transport of the material, but there is also a risk of damage to the conveyor belt and therefore the complete failure of the entire conveyor belt installation. In order to be able to identify the carrier rollers with impaired function in time before a complete failure and replace them, it is necessary to control the critical parameters of the carrier rollers in short periods of time.

Следствием повышенного сопротивления качению несущих роликов является повышенная температура опор, так что температура несущих роликов и, в частности, опор может служить индикатором возможных нарушений функции. Так, функциональность и ожидание срока службы опор несущих роликов могут оказаться тем хуже, чем больше опора нагревается в режиме транспортировки. При этом возникающий у опоры износ зависит, в том числе, от смазки и качества используемых несущих роликов (в частности, качества опор). Другими факторами, которые у опор могут приводить к повышенному износу и, тем самым, к повышенным рабочим температурам, является, например, повышенная частота вращения (в соответствии с высокими скоростями конвейерной ленты и/или малыми диаметрами несущих роликов), повышенная, действующая на несущие ролики радиальная нагрузка или большее расстояние между соседними станциями несущих роликов. Поэтому для контроля износа в ленточных конвейерных установках в равные промежутки времени контролируется обычно температура несущих роликов, чтобы можно было определить их функциональное состояние. В случае наблюдаемого при этом возрастания температуры нарушение функции обнаруживается заранее, так что заранее могут быть приняты соответствующие меры, чтобы минимизировать простои ленточных конвейерных установок.The consequence of the increased rolling resistance of the carrier rollers is an increased temperature of the bearings, so that the temperature of the carrier rollers and in particular of the bearings can be an indicator of possible malfunctions. Thus, the functionality and life expectancy of carrier roller bearings can become worse the more the bearing is heated during transport. In this case, the wear that occurs at the bearing depends, among other things, on the lubrication and the quality of the carrier rollers used (in particular, the quality of the bearings). Other factors that can lead to increased wear and thus higher operating temperatures in bearings are, for example, higher speeds (according to high conveyor belt speeds and/or small diameters of the carrier rollers), increased speed acting on the carrier rollers radial load or greater distance between adjacent carrier roller stations. Therefore, to control wear in belt conveyor installations, the temperature of the carrier rollers is usually monitored at regular intervals so that their functional state can be determined. In the case of an increase in temperature observed in this case, a malfunction is detected in advance, so that appropriate measures can be taken in advance to minimize downtimes of the belt conveyor installations.

До сих пор у большинства ленточных конвейерных установок температура несущих роликов измеряется персоналом, который все несущие ролики ленточной конвейерной установки инспектирует вручную по всей длине пути транспортировки на их работоспособность и при этом преодолевает расстояния между несущими роликами ленточной конвейерной установки пешком, на велосипеде или на машине. Такая инспекция осуществляется путем визуального, акустического контроля или измерения температуры, например с помощью неподвижно установленных температурных зондов, радиационного термометра (инфракрасного измерительного прибора, пирометра) или тепловизионной камеры.Until now, in most belt conveyor systems, the temperature of the carrier rollers is measured by personnel who manually inspect all the carrier rollers of the belt conveyor system along the entire length of the transport path for their operability and at the same time overcome the distances between the carrier rollers of the conveyor belt system on foot, by bicycle or by car. Such inspection is carried out by visual, acoustic or temperature measurement, for example with fixed temperature probes, a radiation thermometer (infrared measuring instrument, pyrometer) or a thermal imaging camera.

Промышленные ленточные конвейерные установки при скоростях конвейерной лент в несколько метров в секунду и производительностью в несколько килотонн в час могут иметь пути транспортировки длиной 10 км и более. Каждая станция несущих роликов может содержать несколько несущих роликов, а расстояния между соседними станциями несущих роликов могут составлять 2 м и менее, так что в ленточной конвейерной установке могут находиться несколько тысяч несущих роликов. В частности, при добыче минерального сырья, например в открытых горных разработках, в одном месте общая длина всех ленточных конвейерных установок может вполне превышать 100 км. При результирующем из этого большом числе несущих роликов обход или объезд ленточных конвейерных установок на всех путях транспортировки соответствующим сервисным специалистом с регулярно повторяющейся по времени последовательностью связан с высокими затратами труда, следствием чего являются соответствующие издержки. Поэтому для их снижения принимается также в расчет увеличение межинспекционных интервалов. Если же отдельные несущие ролики инспектируются в слишком большие интервалы времени, то это повышает риск выхода из строя ленточной конвейерной установки.Industrial belt conveyor installations with conveyor belt speeds of several meters per second and a capacity of several kilotons per hour can have transport paths of 10 km or more. Each carrier roller station may contain several carrier rollers, and the distances between adjacent carrier roller stations may be 2 m or less, so that several thousand carrier rollers may be in a conveyor belt installation. In particular, in the extraction of mineral raw materials, for example in open-cast mining, in one place the total length of all belt conveyor installations may well exceed 100 km. With the resultant large number of carrier rollers, bypassing or bypassing conveyor belt installations on all conveying paths by the respective service technician in a regularly repeated time sequence is associated with high labor inputs, resulting in corresponding costs. Therefore, to reduce them, an increase in inspection intervals is also taken into account. However, if individual carrier rollers are inspected at too long intervals, this increases the risk of failure of the conveyor belt system.

Кроме того, в зависимости от сервисного специалиста ручной контроль функционирования связан с определенным диапазоном колебаний в отношении конкретного проведения инспекции, что негативно сказывается на воспроизводимости выявленного функционального состояния несущих роликов и, тем самым, на надежности инспекции в целом. Кроме того, при контроле отдельных несущих роликов, в принципе, нельзя исключать также ошибки сервисного специалиста (например, зарегистрированные данные о функциональном состоянии, качестве и ожидаемом сроке службы несущих роликов или об обслуживании ленточных конвейерных установок могут быть выявлены неполностью или неправильно). В общем, у традиционного контроля функционального состояния несущих роликов ленточной конвейерной установки речь идет, следовательно, о малопрозрачном процессе, что вследствие связанной с этим ненадежности может привести, в свою очередь, к повышению затрат труда (например, из-за двойных определений), которые несут с собой повышение издержек.In addition, depending on the service technician, manual control of the function is associated with a certain range of fluctuations in relation to a particular inspection, which negatively affects the reproducibility of the detected functional state of the carrier rollers and, therefore, the reliability of the inspection as a whole. In addition, when inspecting individual carrier rollers, in principle, errors by the service technician also cannot be ruled out (for example, recorded data on the functional state, quality and expected service life of the carrier rollers or on the maintenance of conveyor belt systems may not be fully or incorrectly identified). In general, conventional monitoring of the functional state of the carrier rollers of a conveyor belt system is therefore a non-transparent process, which, due to the associated unreliability, can in turn lead to increased labor costs (for example, due to double determinations), which bring with them an increase in costs.

Из публикаций "A UAV-Based Framework for Semi-Automated Thermographic Inspection of Belt Conveyors in the Mining Industry" R. Carvalho et al. [Sensors, Vol. 20, Nr. 8 (2020), p. 2243ff.] и "An inspection robot using infrared thermography for belt conveyor" W. Yang und X. Zheng [submitted 2019 to the 13th Internationalen Conference on Ubiquitous Robots and Ambient Intelligence (URAI) from 2016, p. 1-6], известны автоматические и полуавтоматические методы, в которых данные теплового изображения передают для анализа данных после сегментации и оценки путем классификации, для того чтобы определить поврежденные несущие ролики. Однако с учетом современного уровня техники, надежность такой оценки данных теплового изображения остается ниже идеальной.From "A UAV-Based Framework for Semi-Automated Thermographic Inspection of Belt Conveyors in the Mining Industry" by R. Carvalho et al. [Sensors, Vol. 20, no. 8 (2020), p. 2243ff.] and "An inspection robot using infrared thermography for belt conveyor" W. Yang und X. Zheng [submitted 2019 to the 13th Internationalen Conference on Ubiquitous Robots and Ambient Intelligence (URAI) from 2016, p. 1-6], automatic and semi-automatic methods are known in which thermal image data is transmitted for data analysis after segmentation and evaluation by classification in order to determine damaged carrier rollers. However, given the current state of the art, the reliability of such an estimate of thermal image data remains less than ideal.

Вследствие этого задачей настоящего изобретения является создание способа, который позволил бы устранить вышеназванные недостатки и, в частности, определять функциональное состояние несущих роликов ленточной конвейерной установки более надежным и воспроизводимым образом, чем это удавалось до сих пор, и в то же время снизить требуемые затраты труда и издержки, а также в отношении функционального состояния несущих роликов обеспечить бóльшую прозрачность и обеспечить дополнительно эксплуатанту и обслуживающему персоналу также документирование состояния несущих роликов и истории обслуживания. Благодаря этому должен быть реализован также простой и надежный контроль функционального состояния несущих роликов, проводимый также в течение длительного времени в короткие промежутки времени и не приводящий за счет этого к высоким затратам на персонал. В рамках этого контроля должны заранее обнаруживаться износ несущих роликов, а также возникновение нарушающих функцию аномалий, прежде чем возникнут критические ситуации, чтобы можно было проактивно противодействовать им и сократить расходы на обслуживание и простои несущих роликов по сравнению с традиционными способами. Далее желательно создать способ, на основе которого можно было бы делать прогнозы о будущем временнóм развитии функционального состояния индивидуальных несущих роликов и в соответствии с этими прогнозами дать рекомендацию по специфическим планам обслуживания, с помощью которых можно было бы оптимизировать эффективность эксплуатации установки и минимизировать возможные простои. Другая задача заключается в том, чтобы создать устройство, которое обеспечивало бы вышеназванные преимущества.Therefore, the object of the present invention is to provide a method which would make it possible to eliminate the above disadvantages and, in particular, to determine the functional state of the carrier rollers of a belt conveyor installation in a more reliable and reproducible manner than has been possible so far, and at the same time to reduce the required labor costs. and costs, as well as with regard to the functional state of the carrier rollers, provide more transparency and ensure that the operator and maintenance personnel also document the condition of the carrier rollers and service history. As a result, a simple and reliable monitoring of the functional state of the carrier rollers should also be realized, which can also be carried out for a long time at short intervals and does not lead to high personnel costs. As part of this monitoring, wear of the carrier rollers and the occurrence of disruptive anomalies must be detected in advance, before critical situations occur, so that they can be proactively counteracted and reduce maintenance costs and downtime of the carrier rollers compared to traditional methods. Further, it is desirable to provide a method on the basis of which it would be possible to make predictions about the future temporal development of the functional state of the individual carrier rollers and, in accordance with these predictions, to recommend specific maintenance plans, with which it would be possible to optimize the operating efficiency of the installation and minimize possible downtime. Another task is to create a device that would provide the above advantages.

Эти задачи решаются посредством способа машинного определения функционального состояния несущих роликов ленточной конвейерной установки во время ее эксплуатации, способа идентификации функционально-нарушенных несущих роликов ленточной конвейерной установки, включающего в себя способ машинного определения функционального состояния несущих роликов, а также устройства для машинного определения функционального состояния несущих роликов ленточной конвейерной установки во время ее эксплуатации с признаками независимых пунктов формулы. Предпочтительные варианты приведены в зависимых пунктах формулы, нижеследующем описании и на чертежах.These problems are solved by means of a method for machine determination of the functional state of the carrier rollers of a belt conveyor installation during its operation, a method for identifying functionally impaired carrier rollers of a belt conveyor installation, including a method for machine determination of the functional state of the carrier rollers, as well as a device for machine determination of the functional state of the carrier rollers of a belt conveyor installation during its operation with signs of independent claims. Preferred options are shown in the dependent claims, the following description and the drawings.

Изобретение включает в себя способ машинного определения функционального состояния несущих роликов ленточной конвейерной установки во время ее эксплуатации, причем предусмотрено по меньшей мере одно беспилотное транспортное средство по меньшей мере с одной системой датчиков изображения, посредством которой ленточная конвейерная установка, по меньшей мере, местами контролируется сенсорно в виде данных изображения, причем данные изображения по меньшей мере одного участка ленточной конвейерной установки регистрируются как данные теплового изображения, причем в зарегистрированных данных изображения ленточной конвейерной установки автоматически определяется по меньшей мере одно положение области распознаваемого изображения, в котором отображен по меньшей мере один участок несущего ролика, для каждого выявленного положения области распознаваемого изображения из данных изображения в данных теплового изображения устанавливается соответственно положение области анализируемого изображения, и в каждом положении области анализируемого изображения автоматически анализируются данные теплового изображения, чтобы автоматически определить функциональное состояние несущих роликов, при этом данные изображения, которые могут быть зарегистрированы с помощью системы датчиков изображения, также содержат данные фотоизображения помимо данных теплового изображения, при этом данные изображения по меньшей мере одного участка ленточной конвейерной системы (1) также регистрируются как данные фотоизображения, причем зарегистрированные данные изображения ленточной конвейерной системы (1), в которых автоматически определяется по меньшей мере одно положение области распознаваемого изображения, являются данными фотоизображения, области данных фотоизображения автоматически выявляются в качестве областей данных изображения, и положение каждой выявленной области данных фотоизображения автоматически создается как положение области распознаваемого изображения. При этом, в частности, значение имеют участки несущих роликов, содержащие их опоры (подшипники качения).The invention includes a method for machine determination of the functional state of the carrier rollers of a conveyor belt installation during its operation, wherein at least one unmanned vehicle is provided with at least one image sensor system, by means of which the belt conveyor installation is at least locally controlled by sensors in the form of image data, wherein the image data of at least one portion of the conveyor belt is registered as thermal image data, wherein at least one position of a recognizable image area in which at least one portion of the carrier is displayed is automatically determined in the registered image data of the conveyor belt. roller, for each detected position of the recognizable image area from the image data in the thermal image data, the position of the analysis image area is set accordingly, and at each position of the analysis image area, the thermal image data is automatically analyzed to automatically determine the functional state of the carrier rollers, while the image data that can be registered by the image sensor system, also contain photo image data in addition to thermal image data, wherein the image data of at least one section of the conveyor belt system (1) is also recorded as photo image data, the registered image data of the conveyor belt system (1), in which at least one position of the recognizable image area is automatically determined are photo image data, the photo image data areas are automatically detected as image data areas, and the position of each detected area of the photo image data is automatically created as the position of the recognizable image area. In this case, in particular, the sections of the carrier rollers containing their supports (rolling bearings) are important.

Способ машинного определения функционального состояния несущих роликов ленточной конвейерной установки является способом, при котором для отдельных роликов или большого числа несущих роликов машинным путем определяются соответствующие функциональные состояния индивидуальных несущих роликов, т.е. при существенном участии машины. При этом функциональным состоянием является состояние несущего ролика в отношении того, насколько он может выполнять свою определенную задачу, т.е. поддержку конвейерной ленты в обкатывающем движении, которое оказывает продольному движению конвейерной ленты небольшое (в идеальном случае пренебрежимо малое) механическое сопротивление; функция несущего ролика, который не выполняет или недостаточно выполняет эту задачу, нарушена. Предпочтительно при таком способе определяются функциональные состояния всех несущих роликов. Поскольку способ ограничен определением функционального состояния несущих роликов, этим нельзя обнаружить возможные нарушения функции других компонентов ленточной конвейерной установки, например повреждения конвейерной ленты. Правда, при необходимости, можно дополнить заявленный способ другими мероприятиями и создать, таким образом, комбинированный новый способ, который позволил бы дополнительно к функциональному состоянию несущих роликов определить также нарушение функций других компонентов.The method for machine determination of the functional state of the carrier rollers of a belt conveyor is a method in which, for individual rollers or a plurality of carrier rollers, the corresponding functional states of the individual carrier rollers are determined by machine, i. e. with significant involvement of the machine. In this case, the functional state is the state of the carrier roller in terms of how it can perform its specific task, i.e. supporting the conveyor belt in a rolling motion, which provides a slight (ideally negligible) mechanical resistance to the longitudinal movement of the conveyor belt; the function of a carrier roller that does not perform or insufficiently performs this task is impaired. Preferably, in this way, the functional states of all carrier rollers are determined. Since the method is limited to determining the functional state of the carrier rollers, it is not possible to detect possible malfunctions of other components of the conveyor belt installation, such as damage to the conveyor belt. True, if necessary, it is possible to supplement the claimed method with other measures and thus create a combined new method that would allow, in addition to the functional state of the carrier rollers, to determine the violation of the functions of other components.

Важно, что заявленный способ служит для определения функционального состояния во время эксплуатации ленточной конвейерной установки, так что для определения функционального состояния не требуется прерывать ее работу. Данное определение функционального состояния основано на возникающем при эксплуатации ленточной конвейерной установки выделении тепла несущими роликами, так что данный способ подходит, прежде всего, для применения при текущей эксплуатации.It is important that the claimed method serves to determine the functional state during operation of the conveyor belt installation, so that it is not necessary to interrupt its operation in order to determine the functional state. This determination of the functional state is based on the generation of heat generated by the carrier rollers during operation of the conveyor belt system, so that this method is particularly suitable for use in ongoing operation.

Для осуществления заявленного способа предусмотрено по меньшей мере одно беспилотное транспортное средство по меньшей мере с одной системой датчиков изображения, при необходимости, также несколько беспилотных транспортных средств. Под транспортным средством понимается любое средство передвижения или любой подвижной состав, независимо от того, подходит ли оно/он для перевозки пассажиров или нет. В принципе, этот термин включает в себя, в частности, сухопутные транспортные средства (наземные транспортные средства), например дорожные транспортные средства (например, на шинах), транспортные средства повышенной проходимости (например, на шинах или гусеницах), рельсовые транспортные средства, воздушный транспорт (летательные аппараты) и водный транспорт, а также, в частности, колейные транспортные средства (с движением в рельсовой колее и без него, например рельсовые транспортные средства или канатные дороги) и неколейные транспортные средства. Особенно благоприятно, если в данном случае в качестве транспортного средства используется парящая платформа (мультикоптер, в частности квадрокоптер). Возможны также варианты этого, например свисающая с направляющего кабеля гондола и т.п. Беспилотным транспортным средством (дроном) является транспортное средство, в или на котором во время движения отсутствует или не должен находиться человек, в самом широком смысле этот термин включает в себя также мобильные роботы. Беспилотное транспортное средство может быть выполнено любым, например, в виде беспилотного, дистанционно управляемого транспортного средства (remotely operated vehicle, ROV) или в виде полуавтономного беспилотного транспортного средства, прежде всего, однако, также в виде автономного беспилотного транспортного средства. Дистанционно управляемым транспортным средством является транспортное средство, управляемое и контролируемое операторами, которые, однако, не находятся в или на нем; такое дистанционное управление часто реализовано как дистанционное радиоуправление. В качестве операторов рассматриваются люди или же внешние устройства регулирования, которые не находятся на транспортном средстве; такое внешнее устройство регулирования может быть реализовано, например, в виде внешнего устройства обработки данных. У полуавтономного транспортного средства речь идет о частично автоматизированном транспортном средстве, в котором оператор при работе может выполнять отдельные задания, что может происходить, например, в рамках дистанционного управления. В противоположность этому автономным транспортным средством является транспортное средство, которое самостоятельно движется вперед, тем самым, самостоятельно оперирует (т.е. без непосредственного воздействия водителя или оператора) и при этом ведет себя в значительной степени автономно. Автономное транспортное средство содержит устройство регулирования, которое находится на нем. Обычно автономное транспортное средство следует заданной трассе, причем она может быть задана, например, в виде управляемых путевых точек. Этими путевыми точками транспортное средство управляет, например, с помощью спутниковой системы определения положения, например приемника для спутниковой системы навигации, такой как GPS, или с помощью системы оптической регистрации изображений. Как правило, автономное транспортное средство содержит дополнительные системы, которые обеспечивают автономное движение (автоматизированное движение, пилотируемое движение), например систему предотвращения столкновений или систему автоматической ориентации, чтобы обеспечить в заданных путевых точках оптимальную ориентацию для наилучшей регистрации данных изображения целевых объектов.To implement the claimed method, at least one unmanned vehicle is provided with at least one image sensor system, if necessary, also several unmanned vehicles. A vehicle means any vehicle or rolling stock, whether it is suitable for the carriage of passengers or not. In principle, this term includes, in particular, land vehicles (ground vehicles), e.g. transport (aircraft) and water transport, as well as, in particular, tracked vehicles (with and without tracked traffic, such as rail vehicles or cable cars) and non-tracked vehicles. It is especially advantageous if in this case a hovering platform (multicopter, in particular quadrocopter) is used as a vehicle. Variations of this are also possible, such as a gondola hanging from a guide cable, etc. An unmanned vehicle (drone) is a vehicle in or on which there is no or should not be a person during movement, in the broadest sense this term also includes mobile robots. The unmanned vehicle can be made in any form, for example, as an unmanned, remotely operated vehicle (ROV) or as a semi-autonomous unmanned vehicle, primarily, however, also as an autonomous unmanned vehicle. A remote-controlled vehicle is a vehicle driven and controlled by operators who, however, are not in or on it; such a remote control is often implemented as a radio remote control. Operators are considered to be people or external control devices that are not on the vehicle; such an external control device can be implemented, for example, in the form of an external data processing device. A semi-autonomous vehicle is a partially automated vehicle in which the operator can perform individual tasks during work, which can take place, for example, within the framework of remote control. In contrast, an autonomous vehicle is a vehicle that propels itself forward, thereby autonomously operating (ie without direct input from the driver or operator) and yet behaves to a large extent autonomously. An autonomous vehicle contains a control device that is on it. Typically, an autonomous vehicle follows a predetermined path, which may be specified, for example, in the form of controlled waypoints. These waypoints are controlled by the vehicle, for example, by means of a satellite positioning system, such as a receiver for a satellite navigation system such as GPS, or by means of an optical imaging system. Typically, an autonomous vehicle contains additional systems that provide autonomous movement (automated movement, manned movement), such as a collision avoidance system or an automatic orientation system, to provide optimal orientation at given waypoints for the best registration of image data of the target objects.

В качестве системы датчиков изображения предусмотрено сенсорное устройство (детектор), которое, в частности, визуализирующим способом создает из измеренных величин реального объекта его окружения количественное двух- или трехмерное изображение и выдает его в виде данных изображения. Эти измеренные величины и/или выведенная из них информация подвергаются/подвергается системой датчиков пространственному разрешению и посредством дополнительных параметров, например интенсивностей и/или цветов, кодируются/кодируется в виде (в частности, цифровых) данных изображения, т.е. наборов данных, в которых соответствующая информация об отображенных объектах представлена взаимосвязанной по содержанию. Двухмерными изображениями являются, прежде всего, видеоизображения (отображения), в которых точки расположены двухмерно; такие двухмерные изображения могут быть созданы и отображены, например, моно- или стереоскопическими. В противоположность этому трехмерными изображениями являются, прежде всего, видеоизображения, точки которых расположены трехмерно, например, в виде облаков точек. Помимо представления точек изображений, двух- и трехмерные изображения могут быть составлены также из элементарных двух- или трехмерных геометрических форм (примитивов, основных объектов, графических основных форм, пространственных эталонных основных форм, например для двухмерной векторной графики или 3D-моделей) или могут быть их комбинациями с точками изображений. Такая система датчиков содержит по меньшей мере одно сенсорное устройство, однако, кроме того, может содержать и дополнительные сенсорные устройства. Измеренными величинами могут быть, в частности, длина волны и интенсивность идущего от объекта (излученного, отраженного или рассеянного) электромагнитного излучения в диапазоне длин волн от 100 нм до 1 мм. В этом случае сенсорными устройствами могут быть такие сенсорные устройства, как камеры, например фотокамеры для съемки неподвижных изображений (отдельных изображений), или кинокамеры для съемки подвижных изображений (фильмы, видео), в частности тепловизионное сенсорное устройство, фотосенсорное устройство или ультрафилетовое сенсорное устройство. Тепловизионным сенсорным устройством может быть, например, тепловизионная камера (термографическая камера, термальная камера, термальная видеокамера, термовидеокамера, инфракрасная камера, тепловизор), посредством которого регистрируется, прежде всего, инфракрасное излучение (ИК-излучение, тепловое излучение) в диапазоне длин волн от 700 нм до 1 мм и создается в виде данных теплового изображения, в частности, в ближнем инфракрасном диапазоне (NIR) от 700 до 1000 нм или в среднем инфракрасном диапазоне (МIR) от 3,5 до 15 мкм. Фотосенсорным устройством может быть, например, например фотокамера (оптическая камера, RGB-камера), посредством которой регистрируется, прежде всего, видимый свет в диапазоне длин волн от 380 до 780 нм (в частности, до 700 нм) и создается в виде данных фотоизображения. Ультрафилетовым видеосенсорным устройством может быть, например, ультрафиолетовая камера (УФ-камера), посредством которой регистрируется, прежде всего, ультрафиолетовое излучение (УФ-излучение) и создается в виде ультрафиолетовых данных изображения. В сенсорном устройстве изображение может создаваться визуализирующим способом также из других измеренных величин, например из времени прохождения или частотного сдвига переданного сенсорным устройством и отраженного от окружающего пространства сигнала, из которого способом сканирования (например, лазерное сканирование, лидар/ладар, сонар или радар) получают информацию о расстоянии с пространственным разрешением и создают в виде данных изображения расстояния. Далее беспилотное транспортное средство может содержать, помимо системы датчиков изображения, дополнительные сенсорные устройства, чтобы регистрировать другие параметры из окружающего пространства или в окружающем пространстве.As an image sensor system, a sensor device (detector) is provided, which, in particular, generates a quantitative two- or three-dimensional image from the measured values of a real object of its environment in a visual way and outputs it as image data. These measured values and/or the information derived from them are subjected/subjected by the sensor system to a spatial resolution and, by means of additional parameters, such as intensities and/or colors, are encoded/encoded in the form of (in particular digital) image data, i.e. data sets in which the relevant information about the displayed objects is presented as interconnected in content. Two-dimensional images are, first of all, video images (displays) in which dots are located two-dimensionally; such two-dimensional images can be created and displayed, for example, mono- or stereoscopic. In contrast, three-dimensional images are primarily video images, the points of which are arranged in three dimensions, for example in the form of point clouds. In addition to representing image points, 2D and 3D images can also be composed of elementary 2D or 3D geometric shapes (primitives, basic objects, graphical basic shapes, spatial reference basic shapes, e.g. for 2D vector graphics or 3D models) or can be their combinations with image points. Such a sensor system comprises at least one sensor device, but may also contain additional sensor devices. The measured quantities can be, in particular, the wavelength and the intensity of the electromagnetic radiation coming from the object (radiated, reflected or scattered) in the wavelength range from 100 nm to 1 mm. In this case, the sensor devices may be sensor devices such as cameras, such as cameras for capturing still images (single images), or cameras for capturing moving images (movies, videos), in particular a thermal imaging sensor device, a photosensor device or an ultraviolet sensor device. The thermal imaging sensor device can be, for example, a thermal imaging camera (thermographic camera, thermal camera, thermal video camera, thermal video camera, infrared camera, thermal imager), by means of which infrared radiation (IR radiation, thermal radiation) in the wavelength range from 700 nm to 1 mm and is generated as thermal image data, in particular in the near infrared (NIR) range from 700 to 1000 nm or in the mid infrared range (MIR) from 3.5 to 15 µm. The photosensor device can be, for example, for example a still camera (optical camera, RGB camera) by means of which, in particular, visible light in the wavelength range from 380 to 780 nm (in particular up to 700 nm) is detected and generated as photo image data. . The ultraviolet video sensor device can be, for example, an ultraviolet camera (UV camera) with which primarily ultraviolet radiation (UV radiation) is detected and generated as ultraviolet image data. In a sensor device, an image can also be generated visually from other measured values, for example, from the transit time or frequency shift of a signal transmitted by the sensor device and reflected from the surrounding space, from which a scanning method (for example, laser scanning, lidar / ladar, sonar or radar) is obtained distance information with a spatial resolution, and is created as distance image data. Further, the unmanned vehicle may contain, in addition to the image sensor system, additional sensor devices to register other parameters from the surrounding space or in the surrounding space.

Согласно изобретению, далее предусмотрено, что посредством системы датчиков ленточная конвейерная установка, по меньшей мере, местами контролируется сенсорно в виде данных изображения, причем данные изображения по меньшей мере одного участка ленточной конвейерной установки регистрируются в виде данных теплового изображения. Такие данные теплового изображения содержат в качестве измеренной величины часто только значение интенсивности, которое коррелирует с интенсивностью излученного поверхностью отображенного объекта инфракрасного излучения и, тем самым, представляет пространственную характеристику температуры поверхности объекта. Дополнительно к данным теплового изображения датчики используются для регистрации также данных другого изображения, например данные фотоизображения. Для регистрации беспилотное транспортное средство может двигаться, например, вдоль по меньшей мере одного участка ленточной конвейерной установки, например от собственного привода на нем самом или от внешнего привода. Контроль ленточной конвейерной установки, по меньшей мере, местами может включать в себя также то, что контролировать можно всю ленточную конвейерную установку (например, в виде динамических изображений, которые записываются при движении беспилотного транспортного средства вдоль всей ленточной конвейерной установки). Как правило, из-за размера системы датчиков посредством ее сенсорного устройства контролируется, однако, соответственно только участок ленточной конвейерной установки (и, тем самым, сенсорно). При этом возможно, чтобы для участков ленточной конвейерной установки, на которых несущие ролики отсутствуют, не регистрировались никакие данные изображения. Независимо от этого для регистрации несущих роликов по всей длине ленточной конвейерной установки на практике вполне могут использоваться несколько беспилотных транспортных средств, или контроль всей ленточной конвейерной установки делится на несколько отдельных этапов, на которых сенсорно контролируется соответственно только часть ленточной конвейерной установки.According to the invention, it is further provided that, by means of a sensor system, the conveyor belt installation is at least locally sensor-controlled in the form of image data, the image data of at least one section of the conveyor belt installation being recorded as thermal image data. Such thermal image data often contains, as a measured quantity, only an intensity value that correlates with the intensity of infrared radiation emitted by the surface of the imaged object and thus represents a spatial characteristic of the surface temperature of the object. In addition to the thermal image data, the sensors are also used to acquire other image data, such as photographic image data. For registration, the unmanned vehicle can move, for example, along at least one section of the belt conveyor installation, for example from its own drive on itself or from an external drive. The control of the conveyor belt installation, at least in places, may also include that the entire conveyor belt installation can be monitored (for example, in the form of dynamic images that are recorded as the unmanned vehicle moves along the entire conveyor belt installation). As a rule, due to the size of the sensor system, however, only a section of the conveyor belt installation is monitored by means of its sensor device (and thus sensory). In this case, it is possible that no image data is recorded for sections of the belt conveyor installation in which there are no carrier rollers. Regardless of this, in practice, several unmanned vehicles may well be used to register the carrier rollers along the entire length of the conveyor belt installation, or the control of the entire belt conveyor installation is divided into several separate stages, in which only a part of the conveyor belt installation is sensor-controlled, respectively.

Согласно изобретению, далее предусмотрено, что в зарегистрированных данных изображения ленточной конвейерной установки автоматически определяется по меньшей мере одно положение области распознаваемого изображения, в котором отображен по меньшей мере один участок одного несущего ролика. «Автоматически» означает, что система выполняет конкретное действие – здесь определение положения области распознаваемого изображения – в рамках автоматического хода процесса по установленному плану или по отношению к установленным состояниям без необходимости для этого непосредственного вмешательства обслуживающего персонала; тем самым, не исключено, что автоматическое выполнение конкретного действия может быть прервано вмешательством обслуживающего персонала, например в случае опасности, или что при осуществлении этапов вне автоматически выполняемого действия возможно (или даже требуется) вмешательство обслуживающего персонала или что действие перед его конкретным выполнением было подготовлено обслуживающим персоналом, например при программировании соответствующей системы управления или регулирования или при тренировке в связи с машинным обучением.According to the invention, it is further provided that in the recorded image data of the conveyor belt installation, at least one position of the area of the recognizable image is automatically determined, in which at least one section of one carrier roller is displayed. "Automatically" means that the system performs a specific action - here the determination of the position of the area of the recognized image - within the framework of the automatic course of the process according to the established plan or in relation to the established states without the need for this direct intervention of the attendants; thus, it is possible that the automatic execution of a specific action can be interrupted by the intervention of the operating personnel, for example in case of danger, or that when performing steps outside the automatically performed action, intervention of the operating personnel is possible (or even required), or that the action was prepared before its specific execution. operating personnel, for example when programming the corresponding control or regulation system or during training in connection with machine learning.

В данном случае в данных изображения автоматически определяется по меньшей мере одно положение области распознаваемого изображения. «По меньшей мере, одно положение области распознаваемого изображения» означает, что определяются также несколько положений области распознаваемого изображения; если в данных изображения положение области распознаваемого изображения не определяется, то не требуется подвергать эти данные дальнейшей обработке. Положением области распознаваемого изображения является положение области данных изображения (т.е. области в пределах данных изображения), в которой был обнаружен заданный целевой объект или его части, например в виде результата сравнения изображений или распознавания узора. При сравнении изображений зарегистрированные данные изображения сравниваются непосредственно с заданными сравнительными данными изображения, записанными в более ранний момент времени. При распознавании узора зарегистрированные данные изображения (при необходимости, после предварительной обработки для уменьшения данных, т.е. чтобы уменьшить комплексность данных изображения за счет удаления нежелательных или нерелевантных данных изображения, например в рамках операций с фильтрацией, операций с пороговыми значениями, операций усреднения или операций нормирования) подвергаются операции получения и уменьшения признаков, после чего осуществляются классификация признаков по соответствующим классам и распознавание изображений. У данных изображения ленточной конвейерной установки в качестве соответствующих классов идентифицируемых объектов помимо несущих роликов (включая опоры этих роликов) рассматриваются и другие компоненты установки, например элементы конструкции несущего остова, фундаменты, конвейерные ленты, поворотные станции, подпорки, направляющие щитки, кабели, шланги и т.п., а также транспортируемый материал или часто встречающиеся окружающие структуры, например скалы. Области изображений, в которых находятся структуры, относящиеся не к несущим роликам, а, напротив, к другим целевым объектам, могут быть исключены из дальнейшего анализа. Обычно при классификации на основе нескольких классов объектам для каждого класса присваивают сначала соответствующее значение вероятности, после чего объект наконец относят к классу с наивысшим значением вероятности.In this case, at least one position of the recognizable image area is automatically determined in the image data. "At least one position of the recognizable image area" means that several positions of the recognizable image area are also determined; if the position of the area of the recognizable image is not determined in the image data, then it is not necessary to subject this data to further processing. The position of the area of the recognized image is the position of the area of the image data (ie, the area within the image data) in which the specified target object or parts thereof have been detected, for example, as a result of image comparison or pattern recognition. When comparing images, the registered image data is compared directly with the predetermined comparison image data recorded at an earlier point in time. In pattern recognition, the recorded image data (if necessary, after pre-processing to reduce the data, i.e. to reduce the complexity of the image data by removing unwanted or irrelevant image data, for example, as part of filtering operations, thresholding operations, averaging operations, or normalization operations) are subjected to the operations of obtaining and reducing features, after which the classification of features according to the corresponding classes and image recognition are carried out. In the image data of a conveyor belt installation, in addition to the carrier rollers (including the supports of these rollers), other components of the installation are considered as relevant classes of identifiable objects, such as structural elements of the carrier frame, foundations, conveyor belts, turning stations, supports, guide plates, cables, hoses and the like, as well as the transported material or the often occurring surrounding structures, such as rocks. Image areas containing structures that are not related to carrier rollers, but, on the contrary, to other target objects, can be excluded from further analysis. Typically, when classifying based on multiple classes, objects for each class are first assigned an appropriate probability value, after which the object is finally assigned to the class with the highest probability value.

В данном случае речь идет, прежде всего, о том, чтобы обнаружить несущие ролики и их части, поэтому классификация отдельных элементов из данных изображения по классу «несущие ролики и их части» могло было бы быть достаточным. Классификацией называется объединение (подразделение, отнесение) объектов с помощью определенных признаков по предварительно установленным классам (группам, количествам, категориям), которые сообща образуют классификацию, т.е. собрание абстрактных классов (концепций, типов, категорий), которые используются для отграничения и упорядочивания. Однако также возможно и целесообразно отнести большое число отдельных элементов не просто к единственному классу, а к большому числу разных классов. Вместо этого возможно также автоматически определить в зарегистрированных данных изображения ленточной конвейерной установки по меньшей мере одно положение области распознаваемого изображения за счет того, что в видеоданных автоматически распознаются области данных изображения, в которых отображен по меньшей мере один распознаваемый объект, в распознанных, таким образом, областях данных изображения среди распознаваемых объектов автоматически распознаются несущие ролики или участки несущих роликов и для каждого распознанного несущего ролика, а также для каждого распознанного участка несущего ролика в качестве положения области распознаваемого изображения создается положение области данных изображения, в которой отображен несущий ролик или участок несущего ролика. Таким образом, среди распознаваемых объектов распознаются только несущие ролики или участки несущих роликов, а распознаваемые объекты распределяются, следовательно, не по другим, также возможным классам, например как элементы конструкции несущего остова, фундаменты, конвейерные ленты, поворотные станции, подпорки, кабели, шланги, транспортируемый материал или окружающие структуры, а при распознавании ограничились бы распознаванием несущих роликов и их участков. Вследствие ограничения распознавания распознаваемых объектов только одним классом, а именно классом несущих роликов или их участков, этап распознавания резко упрощается.In this case, it is primarily a matter of detecting the carrier rollers and their parts, so the classification of individual elements from the image data into the class "carrier rollers and their parts" could be sufficient. Classification is the association (subdivision, assignment) of objects with the help of certain characteristics according to pre-established classes (groups, quantities, categories), which together form a classification, i.e. collection of abstract classes (concepts, types, categories) that are used for delimitation and ordering. However, it is also possible and reasonable to assign a large number of individual elements not just to a single class, but to a large number of different classes. Instead, it is also possible to automatically determine in the registered image data of the conveyor belt installation at least one position of the area of the recognizable image, due to the fact that in the video data the areas of the image data in which at least one recognizable object is displayed are automatically recognized, in the thus recognized of the image data areas among the recognized objects, the carrier rollers or carrier roller portions are automatically recognized, and for each carrier roller detected and for each carrier roller portion recognized, the position of the image data area in which the carrier roller or carrier roller portion is displayed is generated as the position of the recognition image area. . In this way, only carrier rollers or carrier roller sections are recognized among the objects to be recognized, and the objects to be recognized are therefore not assigned to other, also possible classes, such as structural elements of the carrier frame, foundations, conveyor belts, turning stations, props, cables, hoses. , transported material or surrounding structures, while recognition would be limited to recognition of the carrier rollers and their sections. By limiting the recognition of recognizable objects to only one class, namely the class of carrier rollers or portions thereof, the recognition step is drastically simplified.

Если в данных изображения определяется участок, на котором отображен и распознается по меньшей мере один участок несущего ролика (т.е. один объект или несколько объектов, выбранных из перечня, включающего в себя несущий ролик или участок несущего ролика, что включает в себя, следовательно, также большое число несущих роликов или большое число их участков, а также их комбинации), то положение распознанного участка в пределах данных изображения представляет собой положение области распознаваемого изображения. Обычно область распознаваемого изображения выбирается так, чтобы несущий ролик или его участок располагался в ней по центру. Форма области распознаваемого изображения, положение которой в пределах данных изображения представляет собой положение области распознаваемого изображения, может быть выбрана произвольной, как правило, выбирается простая геометрическая форма, которая обрамляет распознанную структуру несущего ролика в виде рамки, например для двухмерных наборов данных изображения – это прямоугольник, окружность или эллипс, а для трехмерных наборов данных изображения – прямоугольный параллелепипед, шар или цилиндр (разумеется, возможны и более сложные формы, например двух- или трехмерные сплайны). В случае двухмерных наборов данных изображения соответствующее положение области распознаваемого изображения указывается целесообразно в виде двухмерных координат области распознаваемого изображения, например в виде декартовых координат или полярных координат в пределах данных изображения, а в случае трехмерных наборов данных изображения – в виде трехмерных координат области распознаваемого изображения, например в виде декартовых координат, сферических координат или цилиндрических координат в пределах данных изображения. В случае прямоугольной рамки положение может указываться, следовательно, например посредством координат противоположных углов (т.е. в виде двух пар декартовых координат), а в случае круглой рамки – например, посредством центра и радиуса (т.е. пары декартовых координат и расстояния).If a portion is determined in the image data in which at least one carrier roller portion is displayed and recognized (i.e., one object or multiple objects selected from a list including a carrier roller or a carrier roller portion, which includes, therefore, , also a large number of carrier rollers or a large number of portions thereof, as well as combinations thereof), the position of the recognized portion within the image data is the position of the area of the recognized image. Typically, the region of the image to be recognized is chosen so that the carrier roller or portion thereof is centered therein. The shape of the recognizable image area, the position of which within the image data is the position of the recognizable image area, can be chosen arbitrarily, generally, a simple geometric shape is chosen that frames the recognized structure of the carrier roller as a frame, for example, for two-dimensional image data sets, it is a rectangle , circle, or ellipse, and for 3D image datasets, a cuboid, sphere, or cylinder (of course, more complex shapes are possible, such as 2D or 3D splines). In the case of two-dimensional image datasets, the corresponding position of the area of the image to be recognized is indicated expediently in the form of two-dimensional coordinates of the area of the image to be recognized, for example in the form of Cartesian coordinates or polar coordinates within the image data, and in the case of three-dimensional image datasets, in the form of three-dimensional coordinates of the area of the image to be recognized, for example, as Cartesian coordinates, spherical coordinates, or cylindrical coordinates within the image data. In the case of a rectangular box, the position can therefore be indicated, for example, by means of the coordinates of opposite corners (i.e., in the form of two pairs of Cartesian coordinates), and in the case of a circular frame, for example, by means of the center and radius (i.e., a pair of Cartesian coordinates and a distance ).

Согласно изобретению, способ осуществляется таким образом, что данные изображения, которые могут быть зарегистрированы с помощью системы датчиков изображения, также содержат данные фотоизображения помимо данных теплового изображения, при этом данные изображения по меньшей мере одного участка ленточной конвейерной установки также фиксируются как данные фотоизображения, зарегистрированные данные изображения ленточной конвейерной установки, в которых автоматически определяют по меньшей мере одно положение области распознаваемого изображения, являются данными фотоизображения, в которых области данных фотоизображения автоматически выявляются как области данных изображения, и положение каждой выявленной области данных фотоизображения автоматически создается как положение области распознаваемого изображения. В результате система датчиков беспилотного летательного аппарата также имеет сенсорное устройство фотоизображения, в дополнение к сенсорному устройству теплового изображения. Данные изображения регистрируются с обоих сенсорных устройств формирования изображения, при этом данные теплового изображения и соответствующие данные фотоизображения регистрируются по меньшей мере на одном участке ленточной конвейерной установки. Данные фотоизображения используют для автоматического определения положений областей распознаваемых изображений, в которых (положениях) изображены несущие ролики или участки несущих роликов. На основе положений области распознаваемого изображения, определенных из данных фотоизображения, устанавливают соответствующие положения области анализируемого изображения в данных теплового изображения, в котором затем анализируют данные теплового изображения. Обычно датчики фотоизображения дают более высокое разрешение изображения, чем сенсорные устройства теплового изображения, и более того, сенсорные устройства теплового изображения обычно регистрируют лишь одну измеряемую переменную (температуру поверхности объекта, часто кодированную как монохромная интенсивность или как цвет), в то время как датчики фотоизображения обычно регистрируют по меньшей мере две измеряемые переменные (интенсивность света и цвет/длина волны света). Поэтому для выявления целевых объектов, таких как несущие ролики, например, путем сравнения изображения и распознавания узора, данные фотоизображения обычно дают больше информации, чем данные теплового изображения. Кроме того, данные теплового изображения обычно отображают только форму целевого объекта, в то время как данные фотоизображения представляют другие структурные элементы, такие как текстура поверхности и тени, которые не распознаются на тепловом изображении. Поэтому, когда используются фотоизображения, более высокое качество распознавания, основанное на различимых и характерных отображаемых элементах фотоизображений, могут быть преобразованы в менее различимые тепловые изображения. Таким образом, обнаружение на основе данных фотоизображения является значительно более надежным, чем обнаружение на основе данных теплового изображения.According to the invention, the method is carried out in such a way that the image data that can be captured by the image sensor system also contains photo image data in addition to thermal image data, image data of at least one section of the conveyor belt installation is also captured as photo image data recorded the conveyor belt image data in which at least one position of the recognition image area is automatically determined is photo image data in which the areas of the photo image data are automatically detected as image data areas, and the position of each detected area of the photo image data is automatically created as the position of the recognition image area. As a result, the UAV sensor system also has a photo image sensor device, in addition to the thermal image sensor device. Image data is acquired from both sensory imaging devices, wherein thermal image data and corresponding photo image data are acquired in at least one section of the conveyor belt installation. The photographic image data is used to automatically determine the positions of the areas of the recognized images, in which (positions) the carrier rollers or portions of the carrier rollers are depicted. Based on the positions of the area of the recognizable image determined from the photo image data, the corresponding positions of the area of the analyzed image in the thermal image data are set, in which the thermal image data is then analyzed. Typically, photoimaging sensors provide higher image resolution than thermal imaging sensors, and moreover, thermal imaging sensors usually only record one measurable variable (the temperature of the surface of an object, often coded as monochrome intensity or as color), while photoimaging sensors typically at least two measurable variables (light intensity and light color/wavelength) are recorded. Therefore, for identifying targets such as carrier rollers, for example, by image comparison and pattern recognition, photo image data typically provides more information than thermal image data. In addition, thermal image data usually displays only the shape of the target object, while photo image data represents other structural elements such as surface texture and shadows that are not recognized in a thermal image. Therefore, when photographic images are used, higher recognition quality based on distinguishable and characteristic display elements of photographic images can be converted into less distinct thermal images. Thus, detection based on photo image data is significantly more reliable than detection based on thermal image data.

Этот способ может быть объединен со способом, в котором зарегистрированными данными изображения являются дополнительные данные теплового изображения; в результате параллельного использования двух типов данных изображения для распознавания – а именно данных фотоизображения в дополнение к данным теплового изображения – может быть дополнительно повышена точность распознавания, что может быть предпочтительно особенно в условиях плохой освещенности. This method can be combined with a method in which the recorded image data is additional thermal image data; by using two types of image data for recognition in parallel, namely, photo image data in addition to thermal image data, the recognition accuracy can be further improved, which can be advantageous especially in low light conditions.

Согласно изобретению, далее предусмотрено, что для каждого выявленного положения области распознаваемого изображения из данных изображения автоматически устанавливается соответственно положение области анализируемого изображения в данных теплового изображения. Положением области анализируемого изображения является положение в данных теплового изображения, в которых после установления проводится анализ, чтобы определить функциональное состояние изображенных в области распознаваемого изображения несущих роликов. Полученная из данных изображения информация о положениях области распознаваемого изображения переносится, следовательно, на области анализируемого изображения в данных теплового изображения. Если сенсорное устройство, с помощью которого были зарегистрированы данные изображения, использовавшиеся для идентификации областей распознаваемого изображения, расположено пространственно вплотную к тепловизионному сенсорному устройству, и оба сенсорных устройства ориентированы одинаково, то положения области распознаваемого изображения могут быть заимствованы даже без изменений в виде соответствующих положений области анализируемого изображения. Если сенсорные устройства разные и имеют отличия, например, в отношении углов изображений, размеров полей изображений, положений и ориентаций, то предварительно определяются статические геометрические отличия, и в данный момент времени определяются динамические отличия (например, вследствие расположения сенсорных устройств на подвижных руках роботов), так что из положений области распознаваемого изображения геометрически определяются соответственно ответные положения области анализируемого изображения.According to the invention, it is further provided that for each detected position of an image area to be recognized from the image data, the position of the analyzed image area in the thermal image data is automatically set accordingly. The position of the analysis image area is a position in the thermal image data at which, after being established, an analysis is performed to determine the functional state of the carrier rollers depicted in the recognition image area. The information obtained from the image data about the positions of the area of the image to be recognized is therefore transferred to the areas of the analyzed image in the thermal image data. If the sensor device with which the image data used to identify areas of the image to be recognized was acquired is spatially adjacent to the thermal imaging sensor device, and both sensor devices are oriented in the same way, the positions of the area of the image to be recognized can be adopted even without changes in the form of the corresponding positions of the area. analyzed image. If the sensor devices are different and have differences, for example, in relation to image angles, image field sizes, positions and orientations, then static geometric differences are preliminarily determined, and dynamic differences are determined at a given time (for example, due to the location of sensor devices on the moving arms of robots) , so that from the positions of the region of the recognized image, the corresponding positions of the region of the analyzed image are geometrically determined, respectively.

Согласно изобретению, наконец предусмотрено, что в каждом установленном положении области анализируемого изображения автоматически анализируются данные теплового изображения, чтобы автоматически определить функциональное состояние несущих роликов. В рамках анализа данных теплового изображения в пределах каждого положения области анализируемого изображения (корреспондирует с соответствующим положением области распознаваемого изображения) для каждого полностью или частично отображенного в данных теплового изображения несущего ролика автоматически на основе содержащейся в данных теплового изображения тепловой информации (температурной информации) точек определяется данное функциональное состояние. За счет того, что анализу подвергаются не все данные теплового изображения теплового изображения, а лишь небольшая, специфическая для детали часть этих данных, гарантируется, что для определения функционального состояния привлекаются, прежде всего, релевантные данные, так что за счет этого, вообще, возможен надежный и одновременно прозрачный автоматический анализ с целесообразными результатами высокой значимости. Даже если заявленный способ может применяться при определении функционального состояния отдельных несущих роликов, он дает особые преимущества при определении для большого числа несущих роликов, в частности при одновременном определении функциональных состояний нескольких несущих роликов станины или гирлянды, а также при перекрывающем изображения определении функционального состояния одного несущего ролика, представленного на нескольких изображениях. В равной мере этот способ особенно целесообразен в случае лотковых или свернутых конвейерных лент, т.к. в таких системах несущие ролики лишь в меньшей степени закрыты другими элементами ленточной конвейерной установки, так что они особенно легкодоступны для автоматизированной инспекции.Finally, according to the invention, it is provided that at each set position of the analyzed image area, thermal image data is automatically analyzed in order to automatically determine the functional state of the carrier rollers. Within the analysis of thermal image data, within each position of the analyzed image area (corresponds to the corresponding position of the recognized image area), for each carrier roller fully or partially displayed in the thermal image data, the thermal information (temperature information) of the dots contained in the thermal image data is automatically determined this functional state. Due to the fact that not all data of the thermal image of the thermal image are analyzed, but only a small, workpiece-specific part of this data, it is ensured that the relevant data are primarily involved in determining the functional state, so that due to this, in general, it is possible reliable and at the same time transparent automatic analysis with reasonable results of high significance. Even if the claimed method can be used in determining the functional state of individual carrier rollers, it offers particular advantages when determining for a large number of carrier rollers, in particular when determining the functional states of several carrier rollers of a frame or garland, as well as when determining the functional state of one carrier overlapping images. video shown in several images. Equally, this method is particularly advantageous in the case of tray or rolled conveyor belts, as in such systems, the carrier rollers are only to a lesser extent covered by other elements of the belt conveyor system, so that they are particularly easily accessible for automated inspection.

Заявленный способ включает в себя различные этапы, на которых осуществляется автоматическая оценка, например в рамках распознавания или классификации. Такая автоматическая оценка происходит, например, при автоматическом распознавании областей данных изображения (там, в частности, при автоматической идентификации областей данных изображения, в которых изображены распознаваемые объекты, а также при автоматическом отнесении распознаваемого объекта к определенному классу, в частности к несущим роликам или участкам несущих роликов), при анализе данных теплового изображения в положении области анализируемого изображения (там, в частности, при автоматическом выборе данных теплового изображения в установленных положениях области анализируемого изображения и при автоматической привязке выявленных температурных данных к определенному функциональному состоянию), при автоматическом прогнозе срока службы несущих роликов и автоматическом составлении планов обслуживания или при основанном на изображениях определении положения. Согласно заявленному способу, отдельные этапы, на которых осуществляется автоматическая оценка, могут быть реализованы, в принципе, произвольно, например, за счет твердых правил условий оценки и соответствующих предельных значений. Однако особенно предпочтительно, если отдельные из этих автоматических оценок или несколько – при необходимости, даже все – автоматические оценки осуществляются в рамках методов, основанных на машинном обучении (machine learning, ML), поэтому данное выполнение особенно предпочтительно. Машинным обучением называется метод, при котором учебные алгоритмы из обученных примерных данных (тренировочных данных) создают комплексную статистическую модель. Эта модель может затем применяться к данным того же рода, что и примерные данные, или сопоставимого с примерными данными рода, чтобы получить автоматическую оценку без программирования для этого оценочной схемы. Такая статистическая модель может быть создана, например, на основе искусственных нейросетей (artificial neuronal network, ANN, KNN). Они образованы большим числом узлов, расположенных в виде слоев (уровней) в структурах данных. На этапе обучения обычно в соединениях между узлами варьируются значимости (факторы весомости), пока не будут получены результаты, соответствующие введенным данным. Если критерий или структурный элемент, который может служить основой оценки, заранее известен, то этот критерий включается в процессе обучения и сообщается искусственной нейросети. Такая искусственная нейросеть может быть реализована, в принципе, в самом беспилотном транспортном средстве или же отделена от него, например на внешнем устройстве обработки данных, например сервере или в облачных вычислениях (Cloud).The claimed method includes various stages in which automatic evaluation is carried out, for example, within the framework of recognition or classification. Such automatic evaluation occurs, for example, in the automatic recognition of image data areas (there, in particular, in the automatic identification of image data areas in which recognizable objects are shown, as well as in the automatic assignment of a recognizable object to a certain class, in particular to carrier rollers or areas carrying rollers), when analyzing thermal image data at the position of the analyzed image area (there, in particular, when automatically selecting thermal image data at the set positions of the analyzed image area and automatically linking the detected temperature data to a certain functional state), when automatically predicting the service life carrier rollers and automatic maintenance scheduling or image-based positioning. According to the method according to the invention, the individual steps in which the automatic evaluation takes place can in principle be implemented arbitrarily, for example by fixed rules for evaluation conditions and corresponding limit values. However, it is particularly preferred if some of these automatic evaluations or several - if necessary, even all - automatic evaluations are carried out within the framework of methods based on machine learning (machine learning, ML), so this implementation is particularly preferable. Machine learning is a method in which training algorithms from trained sample data (training data) create a complex statistical model. This model can then be applied to data of the same kind as the example data, or of a comparable kind to the example data, to obtain an automatic score without programming a scoring schema for it. Such a statistical model can be created, for example, on the basis of artificial neural networks (ANN, KNN). They are formed by a large number of nodes located in the form of layers (levels) in data structures. During the training phase, values (weight factors) are usually varied in the connections between nodes until results are obtained that correspond to the input data. If the criterion or structural element that can serve as the basis for the assessment is known in advance, then this criterion is included in the learning process and reported to the artificial neural network. Such an artificial neural network can be implemented, in principle, in the unmanned vehicle itself or separated from it, for example, on an external data processing device, such as a server or in cloud computing (Cloud).

Согласно одному варианту, способ может быть осуществлен при этом так, что данные изображения по меньшей мере одного участка ленточной конвейерной установки регистрируются как данные теплового изображения за счет того, что по меньшей мере одно беспилотное транспортное средство по меньшей мере с одной системой датчиков изображения, содержащей по меньшей мере одно тепловизионное сенсорное устройство для регистрации данных теплового изображения, движется вдоль по меньшей мере одного участка ленточной конвейерной установки, с помощью системы датчиков изображения регистрируются данные изображения по меньшей мере одного участка ленточной конвейерной установки, включающие в себя по меньшей мере данные теплового изображения, в зарегистрированных данных изображения ленточной конвейерной установки автоматически определяется по меньшей мере одно положение области распознаваемого изображения за счет того, что в зарегистрированных данных изображения автоматически распознаются области данных изображения, в которых отображен по меньшей мере один участок несущего ролика, и положение соответственно распознанной области данных изображения автоматически создается в виде положения области распознаваемого изображения соответствующего несущего ролика, для каждого выявленного положения области распознаваемого изображения из данных изображения автоматически устанавливается соответственно положение области анализируемого изображения в данных теплового изображения за счет того, что для каждого выявленного положения области распознаваемого изображения несущего ролика из данных изображения автоматически устанавливается соответственно положение области анализируемого изображения несущего ролика в данных теплового изображения, которое пространственно корреспондирует с соответствующим положением области распознаваемого изображения из данных изображения, в каждом установленном положении области анализируемого изображения автоматически анализируются данные теплового изображения за счет того, что в установленном положении области анализируемого изображения несущего ролика из данных теплового изображения автоматически определяются температурные данные соответствующего несущего ролика, и выявленные из положении области анализируемого изображения температурные данные автоматически привязываются к функциональному состоянию соответствующих несущих роликов.According to one variant, the method can be carried out in such a way that the image data of at least one section of the conveyor belt installation is recorded as thermal image data due to the fact that at least one unmanned vehicle with at least one image sensor system containing at least one thermal imaging sensor device for recording thermal image data moves along at least one section of the conveyor belt installation, using the image sensor system, image data of at least one section of the conveyor belt installation is recorded, including at least thermal image data , in the registered image data of the conveyor belt installation, at least one position of the area of the recognized image is automatically determined by the fact that in the registered image data, areas of the image data in which at least one section of the carrier roller is displayed, and the position of the recognized data area respectively image is automatically created as the position of the recognizable image area of the corresponding carrier roller, for each detected position of the recognizable image area from the image data, the position of the analyzed image area in the thermal image data is automatically set accordingly, due to the fact that for each detected position of the recognizable image area of the carrier roller from the data image area is automatically set to the position of the analysis image area of the carrier roller in the thermal image data, which spatially corresponds to the corresponding position of the area of the image being recognized from the image data, at each set position of the analysis image area, the thermal image data is automatically analyzed due to the fact that at the set position of the area of the analyzed image The temperature data of the corresponding carrier roller is automatically determined from the thermal image data, and the temperature data detected from the position of the analyzed image area is automatically linked to the functional state of the respective carrier rollers.

При этом, следовательно, в зарегистрированных данных изображения ленточной конвейерной установки автоматически определяется по меньшей мере одно положение области распознаваемого изображения за счет того, что в зарегистрированных данных изображения автоматически распознаются сначала области данных изображения, в которых отображен по меньшей мере один участок несущего ролика. Затем автоматически создается положение соответственно распознанной области данных изображения в виде положения области распознаваемого изображения соответственно распознанного несущего ролика. Такое автоматическое распознавание области данных изображения может осуществляться, например, по принципу вышеописанного распознавания узора. Возникающую в других способах распознавания, например при сравнении изображений с историческими сравнительными данными изображения, восприимчивость к изменениям условий регистрации изображений (например, вследствие меняющейся освещенности, изменений положений съемки или временного скрытия) можно, таким образом, уменьшить и за счет этого еще больше повысить надежность и прозрачность определения функционального состояния.At the same time, therefore, at least one position of the recognizable image area is automatically determined in the registered image data of the conveyor belt installation by first automatically recognizing image data areas in which at least one carrier roller portion is displayed in the registered image data. Then, the position of the respectively recognized area of the image data is automatically generated as the position of the area of the recognized image of the respectively recognized carrier roller. Such automatic recognition of an area of image data can be carried out, for example, according to the principle of the pattern recognition described above. In other recognition methods, such as comparing images with historical comparison image data, the susceptibility to changes in image acquisition conditions (for example, due to changing illumination, changes in shooting positions, or temporal hiding) can thus be reduced and thereby further improve reliability. and transparency in determining functional status.

Для каждого выявленного положения области распознаваемого изображения несущего ролика из данных изображения автоматически устанавливается соответственно положение области анализируемого изображения несущего ролика в данных теплового изображения, которое пространственно корреспондирует с соответствующим положением области распознаваемого изображения из данных изображения. Если сенсорное устройство, с которым были зарегистрированы данные изображения, лежащие в основе определения областей распознаваемого изображения, находится близко к тепловизионному сенсорному устройству, и оба сенсорных устройства аналогичным образом ориентированы, то положение области распознаваемого изображения пространственно корреспондирует с соответствующим положением области анализируемого изображения таким образом, что оба положения в пределах соответствующих данных изображения пространственно идентичны; при равном представлении (например, в отношении угла раскрытия, разрешении элементов изображения или величины области представления данных изображения) это означает, что положение области распознаваемого изображения может быть заимствовано непосредственно как соответствующее положение области анализируемого изображения, а при отклонениях в представлении для изменения координат дополнительно требуется соответствующий перерасчет. Если оба сенсорных устройства отстоят друг от друга и/или углы рассмотрения отличаются, то требуется дополнительный геометрический перерасчет для согласования статических и/или динамических отличий, например компенсация параллакса, чтобы определить и установить из положения области распознаваемого изображения в данных изображения соответствующее, пространственно корреспондирующее положение области анализируемого изображения в данных теплового изображения. Также здесь это может принести с собой дополнительный выигрыш в эффективности и, тем самым, улучшение использования ресурсов и позволить отказаться от идентификации других целевых объектов в качестве несущих роликов.For each detected position of the recognizable image area of the carrier roller from the image data, the position of the analyzed image area of the carrier roller in the thermal image data is automatically set accordingly, which spatially corresponds to the corresponding position of the recognizable image area from the image data. If the sensor device with which the image data underlying the determination of the regions of the image to be recognized has been registered is close to the thermal imaging sensor device and both sensor devices are similarly oriented, then the position of the region of the image to be recognized spatially corresponds to the corresponding position of the region of the image to be analyzed, so that that both positions within the respective image data are spatially identical; if the representation is equal (for example, with respect to the opening angle, the resolution of the image elements, or the size of the image data representation area), this means that the position of the area of the image being recognized can be borrowed directly as the corresponding position of the area of the analyzed image, and in case of deviations in the representation, an additional change of coordinates is required corresponding recalculation. If both sensor devices are separated from each other and/or the viewing angles are different, then an additional geometric recalculation is required to accommodate the static and/or dynamic differences, such as parallax compensation, in order to determine and establish from the position of the area of the recognized image in the image data the corresponding, spatially corresponding position areas of the analyzed image in the thermal image data. Also here, it can bring with it an additional gain in efficiency and thus an improvement in the use of resources and make it possible to dispense with the identification of other targets as carrier rollers.

При анализе данных теплового изображения наконец в установленном положении области анализируемого изображения несущего ролика из данных теплового изображения автоматически определяются температурные данные соответствующего несущего ролика, и выявленные из положения области анализируемого изображения температурные данные автоматически привязываются к функциональному состоянию соответствующих несущих роликов. Температурными данными (тепловыми данными) несущих роликов могут быть, например, локальные, с пространственным разрешением температуры поверхностей несущих роликов и, в частности, их опор, а также статически выведенные из них характеристические температурные параметры соответствующего несущего ролика, которые представляют актуальное тепловое состояние, например минимальные значения, максимальные значения, средние значения, центральные значения (медиана), локальные значения накопления, а также параметры распределения температур, прежде всего, его ширина, мера рассеяния и симметрия. На основе температур поверхности и/или характеристических температурных параметров несущего ролика или участка несущего ролика определяется функциональное состояние (функциональный статус) соответствующего несущего ролика, которое привязывается к нему.When analyzing the thermal image data, finally, at the set position of the analysis image area of the carrier roller, the temperature data of the corresponding carrier roller is automatically determined from the thermal image data, and the temperature data detected from the position of the analyzed image area is automatically linked to the functional state of the respective carrier rollers. The temperature data (thermal data) of the carrier rollers can be, for example, local, spatially resolved temperatures of the surfaces of the carrier rollers and, in particular, their bearings, as well as characteristic temperature parameters statically derived from them of the respective carrier roller, which represent the current thermal state, for example minimum values, maximum values, average values, central values (median), local accumulation values, as well as temperature distribution parameters, primarily its width, scattering measure and symmetry. On the basis of the surface temperatures and/or the characteristic temperature parameters of the carrier roller or portion of the carrier roller, the functional state (functional status) of the respective carrier roller is determined and assigned to it.

Как уже сказано, в рамках способа могут осуществляться отдельные, несколько или все автоматические оценки (этапы обнаружения), основанные на машинном обучении. Согласно другому варианту, далее оказалось благоприятным, если способ осуществляется так, что качество распознавания при автоматическом определении положения области распознаваемого изображения в зарегистрированных данных изображения, в частности качество автоматического распознавания областей данных изображения, в которых отображен по меньшей мере один распознаваемый объект, в частности по меньшей мере один участок несущего ролика, и/или качество автоматического распознавания несущих роликов или участков несущих роликов в распознанных областях данных изображения повышается с помощью осуществляемого посредством искусственной нейросети метода обучения, в частности посредством одно- или многоступенчатой сверточной нейросети. Вследствие этого при автоматическом определении положения области распознаваемого изображения в зарегистрированных данных изображения качество распознавания можно улучшить с помощью метода обучения, который осуществляется посредством искусственной нейросети. Определение положения области распознаваемого изображения в зарегистрированных данных изображения включает в себя при этом по меньшей мере один этап распознавания, осуществляемый посредством искусственной нейросети. Это может быть, в частности, автоматическим распознаванием областей данных изображения, в которых отображен по меньшей мере один распознаваемый объект (в частности, несущий ролик или по меньшей мере один участок несущего ролика), или автоматическим распознаванием несущих роликов или участков несущих роликов в распознанных областях данных изображения. Качество распознавания является статистической мерой точности процесса распознавания и представляет собой долю правильно распознанных распознаваний в общем числе осуществленных, в целом распознаваний. Чем лучше распознавание, тем выше (и тем самым лучше) качество распознавания. Особенно предпочтительно, если метод обучения осуществляется посредством одно- или многоступенчатой сверточной нейросети. Последняя является искусственной нейросетью, которая способна обрабатывать представленные в виде матрицы вводные данные. Она содержит фильтрующий уровень (фильтрующий слой, сверточный слой) с одним или несколькими фильтрами (обычно 16-32 фильтра) для анализа введенных в виде матрицы данных в рамках дискретной свертки, вывод которых также содержит матричную форму. Выводные данные этого фильтрующего уровня могут служить вводными данными для следующего, при необходимости, дополнительного фильтрующего уровня, за которым следует агрегационный уровень (агрегационный слой, пулинговый слой) для передачи соответственно самого представительного сигнала на следующие уровни. Эта структура может повторяться, при необходимости, многократно, а завершается сеть по меньшей мере одним уровнем со структурой регулярной нейросети (полносвязный слой), которая связана с уровнем вывода. При этом сверточная нейросеть может быть одно- или многоступенчатой, т.е. содержать только один уровень или же несколько уровней тренируемых значимостей.As already mentioned, within the framework of the method, some, some or all of the automatic evaluations (detection steps) based on machine learning can be carried out. According to another variant, it has further proved to be advantageous if the method is carried out in such a way that the recognition quality in automatically determining the position of a recognizable image area in the registered image data, in particular the quality of automatic recognition of image data areas in which at least one recognizable object is displayed, in particular by at least one section of the carrier roller, and/or the quality of automatic recognition of the carrier rollers or sections of the carrier rollers in the recognized areas of the image data is improved by using an artificial neural network training method, in particular by means of a single or multi-stage convolutional neural network. Therefore, by automatically determining the position of the area of the image to be recognized in the registered image data, the recognition quality can be improved by a learning method which is carried out by an artificial neural network. Determining the position of the recognizable image area in the registered image data includes at least one recognition step carried out by means of an artificial neural network. This can in particular be automatic recognition of areas of image data in which at least one recognizable object is displayed (in particular a carrier roller or at least one section of a carrier roller), or automatic recognition of carrier rollers or sections of carrier rollers in the recognized areas. image data. Recognition quality is a statistical measure of the accuracy of the recognition process and represents the proportion of correctly recognized recognitions in the total number of recognized recognitions. The better the recognition, the higher (and thus better) the quality of recognition. It is particularly preferred if the learning method is carried out by means of a single or multi-stage convolutional neural network. The latter is an artificial neural network that is capable of processing input data presented in the form of a matrix. It contains a filter layer (filter layer, convolutional layer) with one or more filters (usually 16-32 filters) for analyzing data entered as a matrix within a discrete convolution, the output of which also contains a matrix form. The output of this filter layer can serve as input to the next, if necessary, additional filter layer, followed by an aggregation layer (aggregation layer, pooling layer) to pass the most representative signal to the next layers, respectively. This structure can be repeated, if necessary, many times, and the network is completed by at least one level with the structure of a regular neural network (fully connected layer), which is associated with the output level. In this case, a convolutional neural network can be single- or multi-stage, i.e. contain only one level or several levels of trainable significances.

Согласно другому варианту, способ может осуществляться далее так, что в каждом установленном положении области анализируемого изображения автоматически анализируются данные теплового изображения за счет того, что в установленных положениях области анализируемого изображения автоматически выбираются данные теплового изображения, которые являются данными теплового изображения несущих роликов, и в установленных положениях области анализируемого изображения автоматически анализируются данные теплового изображения. При этом в пределах установленных положений области анализируемого изображения автоматически выбираются данные теплового изображения, которые являются данными теплового изображения несущих роликов. Затем в установленных положениях области анализируемого изображения автоматически анализируются выбранные данные теплового изображения. Таким образом, анализ данных теплового изображения в пределах положений области анализируемого изображения ограничены такими данными теплового изображения, которые происходят, прежде всего, от несущего ролика, и не анализируются такие данные теплового изображения, которые, правда, содержатся в положениях области анализируемого изображения, однако не происходят от поверхности несущего ролика и потому не дают никакой информации об их функциональном состоянии. При этом автоматический выбор тех данных теплового изображения из положений области анализируемого изображения, которые объясняются соответственно несущими роликами или их участками, может происходить, например, методами, которые основаны на твердых правилах или на машинном обучении. Это позволяет дополнительно уменьшить учитываемый при анализе массив данных, благодаря чему не только уменьшаются затраты при определении функционального состояния, но и повышается качество при определении функционального состояния, как и, вообще, прозрачность определения.According to another variant, the method can be carried out further such that at each set position of the analyzed image area, thermal image data is automatically analyzed by the fact that at the set positions of the analyzed image area, thermal image data that is the thermal image data of the carrier rollers is automatically selected, and in the set positions of the area of the analyzed image are automatically analyzed thermal image data. Here, within the set positions of the analyzed image area, the thermal image data, which is the thermal image data of the carrier rollers, is automatically selected. The selected thermal image data is then automatically analyzed at the set positions of the analyzed image area. Thus, the analysis of thermal image data within the positions of the analyzed image area is limited to those thermal image data that originate primarily from the carrier roller, and such thermal image data is not analyzed, which, however, is contained in the positions of the analyzed image area, however, is not originate from the surface of the carrier roller and therefore do not provide any information about their functional state. In this case, the automatic selection of those thermal image data from the positions of the area of the analyzed image, which are explained respectively by the carrier rollers or their sections, can take place, for example, by methods that are based on hard rules or machine learning. This makes it possible to further reduce the amount of data taken into account in the analysis, which not only reduces costs in determining the functional state, but also increases the quality in determining the functional state, as well as, in general, the transparency of the definition.

При этом, согласно другому варианту, возможно, чтобы автоматически выбирались данные теплового изображения, лежащие на таких участках в пределах установленных положений области анализируемого изображения, в которых данные теплового изображения расположены круговыми или близкими к круговым контурами и/или в которых данные теплового изображения соответствуют температурам того же температурного уровня. При этом тепловые данные на автоматически выбранных участках представляют собой тепловые данные несущих роликов и, в частности, их опор и затем автоматически анализируются. При этом в качестве участков автоматически выбираются, следовательно, данные теплового изображения, которые лежат в пределах установленных положений области анализируемого изображения (и, тем самым, в пределах установленных областей анализируемого изображения) и в которых данные изображения расположены круговыми или близкими к круговым контурами. Тепловые данные расположены круговыми или близкими к круговым контурами тогда, когда в тепловых данных измеряемые величины (в частности, значения интенсивности, представляющие температуры поверхности) имеют пространственное распределение, форма которого выведена из окружности или перспективно искаженной окружности (например, овала, в частности эллипса), что включает в себя участки (например, дугу окружности, часть окружности, круговой сегмент, кольцо, часть кольца, отрезок кольца, часть овала, часть эллипса и т.п.); сюда относятся, разумеется, также кругообразные контуры. Такие круговые или близкие к круговым контуры могут быть, прежде всего, концентрическими или конфокальными. При этом область изображения (область анализируемого изображения) в пределах каждого положения области анализируемого изображения исследуется на кругообразные контуры, и делается выбор, например, таких участков, которые представляют собой среднее значение всех круговых или близких к круговым контуров, или их центры или фокусы идентичны или лежат близко друг к другу (т.е. на достаточно малом расстоянии друг от друга).At the same time, according to another variant, it is possible to automatically select thermal image data lying in such areas within the established positions of the analyzed image area, in which the thermal image data are located in circular or close to circular contours and/or in which the thermal image data corresponds to temperatures the same temperature level. In this case, the thermal data in the automatically selected areas are thermal data of the carrier rollers and in particular of their bearings and are then automatically analyzed. In this case, thermal image data are automatically selected as areas, which lie within the set positions of the analyzed image area (and thus within the set areas of the analyzed image) and in which the image data are arranged in circular or near-circular contours. Thermal data are arranged in circular or near-circular contours when the measured quantities in the thermal data (in particular intensity values representing surface temperatures) have a spatial distribution whose shape is derived from a circle or a perspectively distorted circle (e.g. an oval, in particular an ellipse) , which includes sections (for example, an arc of a circle, a part of a circle, a circular segment, a ring, a part of a ring, a segment of a ring, a part of an oval, a part of an ellipse, etc.); this also includes, of course, circular contours. Such circular or near-circular contours may be primarily concentric or confocal. In this case, the image area (analyzed image area) within each position of the analyzed image area is examined for circular contours, and selection is made, for example, of such areas that represent the average value of all circular or close to circular contours, or their centers or foci are identical or lie close to each other (i.e. at a sufficiently small distance from each other).

В равной степени могут автоматически выбираться данные теплового изображения, которые лежат в пределах установленных положений области анализируемого изображения и в которых данные теплового изображения соответствуют температурам того же температурного уровня. Лежащей в основе сенсорной регистрации данных теплового изображения измеряемой величиной является температура (температура поверхности) отображенного объекта. Если при этом данные теплового изображения на участках области анализируемого изображения соответствуют температурам выше или ниже определенных предельных значений или температурам из определяемого парой предельных значений интервала, то эти данные теплового изображения соответствуют температурам того же температурного уровня. При этом температуры того же температурного уровня могут быть расположены, в частности, также в пространственно взаимосвязанных диапазонах. Соответствующие предельные значения температур устанавливаются заранее. При типичной максимальной рабочей температуре поверхности несущих роликов (в частности, их опор) ленточной конвейерной установки 70°С можно, например, для температур в диапазоне от более чем 70°С до самое большее 80°С предусмотреть контроль несущего ролика в короткие интервалы времени, для температур в диапазоне от более чем 80°С до самое большее 90°С – запланировать замену несущего ролика, а для температур в диапазоне от более чем 90°С – предусмотреть немедленную замену несущего ролика. Если должны контролироваться несущие ролики только в потенциально критическом функциональном состоянии, то в этой ситуации интервалы температур могут быть установлены, например, так, что выбираются только температуры более чем 70°С. Если же документирование температурных данных желательно также для несущих роликов в надлежащем функциональном состоянии, то температурные данные могут быть определены для всех диапазонов и подвергнуты подробному анализу лишь в релевантных или представляющих потенциальный интерес температурных диапазонах. Так, например, подробному анализу могут подвергаться лишь данные теплового изображения из наивысшего измеренного интервала температур, т.е. температур более чем 90°С; если этих высоких данных теплового изображения не существует, то могут быть анализированы данные теплового изображения из интервала температур от более чем 80°С до самое большее 90°С, а если они также не существуют, то данные теплового изображения из интервала температур от более чем 70°С до самое большее 80°С, а если и они не существуют, то все данные теплового изображения.Equally, thermal image data can be automatically selected which lie within the set positions of the area of the analyzed image and in which the thermal image data corresponds to temperatures of the same temperature level. The underlying measured value for sensory recording of thermal image data is the temperature (surface temperature) of the imaged object. If, however, the thermal image data in areas of the analyzed image area correspond to temperatures above or below certain limit values or temperatures from a range defined by a pair of limit values, then these thermal image data correspond to temperatures of the same temperature level. In this case, the temperatures of the same temperature level can be located, in particular, also in spatially interconnected ranges. The corresponding temperature limits are set in advance. With a typical maximum operating surface temperature of the carrier rollers (in particular their bearings) of a belt conveyor system of 70°C, it is possible, for example, for temperatures in the range from more than 70°C to at most 80°C, to provide for monitoring the carrier roller at short intervals, for temperatures in the range from more than 80°C to at most 90°C, plan to replace the carrier roller, and for temperatures in the range from more than 90°C, plan to replace the carrier roller immediately. If the carrier rollers are to be monitored only in a potentially critical functional state, then in this situation the temperature ranges can be set, for example, so that only temperatures above 70° C. are selected. If the documentation of the temperature data is also desired for the carrier rollers in the proper functional state, then the temperature data can be determined for all ranges and subjected to a detailed analysis only in the temperature ranges that are relevant or of potential interest. For example, only thermal image data from the highest measured temperature range can be subjected to detailed analysis, i.e. temperatures over 90°C; if this high thermal image data does not exist, then thermal image data from a temperature range of more than 80°C to at most 90°C can be analyzed, and if they also do not exist, then thermal image data from a temperature range of more than 70 °C up to at most 80 °C, and if they do not exist, then all thermal image data.

Согласно обоим описанным способам, выбор может осуществляться на основе схемы твердых правил, однако предпочтительно методом, основанным на машинном обучении. Варианты используются альтернативно, однако для повышения качества распознавания могут осуществляться также комбинированно. В этом случае в установленных положениях области анализируемого изображения участки, на которых данные теплового изображения соответствуют температурам того же температурного уровня, сравниваются в отношении формы и протяженности с участками, на которых данные теплового изображения расположены круговыми или близкими к круговым контурами. Автоматически выбранными последними данными теплового изображения являются тогда данные теплового изображения области, возникающей в качестве общего пересечения множеств (площадь сечения) обоих участков из разных вариантов.In both methods described, the selection can be based on a hard rule schema, but preferably in a machine learning based manner. Variants are used alternatively, however, to improve the quality of recognition, they can also be carried out in combination. In this case, at the set positions of the area of the analyzed image, the areas in which the thermal image data correspond to temperatures of the same temperature level are compared in terms of shape and extent with the areas in which the thermal image data are located in circular or near-circular contours. The automatically selected last thermal image data is then the thermal image data of the area that occurs as a common intersection of the sets (sectional area) of both sections from different variants.

При этом, согласно другому варианту, качество распознавания при автоматическом выборе данных теплового изображения, являющихся данными теплового изображения несущих роликов, можно улучшить с помощью осуществляемого посредством искусственной нейросети метода обучения, в частности качество распознавания при автоматическом выборе данных теплового изображения, лежащих на таких участках в пределах установленных положений области анализируемого изображения, на которых данные теплового изображения расположены круговыми или близкими к круговым контурами, и/или на которых данные теплового изображения соответствуют температурам того же температурного уровня. Вследствие этого автоматические оценки, на которых основан автоматический выбор данных теплового изображения, являющихся данными теплового изображения несущих роликов, осуществляются, следовательно, в рамках методов, основанных на машинном обучении, причем качество распознавания улучшается методами обучения, осуществляемыми посредством искусственной нейросети. При этом речь может идти, в частности, об оценках, связанных с автоматическим выбором данных теплового изображения, которые расположены круговыми или близкими к круговым контурами и/или соответствуют температурам того же температурного уровня.Meanwhile, according to another embodiment, the recognition quality of automatically selecting thermal image data that is the thermal image data of the carrier rollers can be improved by an artificial neural network training method, in particular the recognition quality of automatically selecting thermal image data lying in such areas in within the set positions of the area of the analyzed image, on which the thermal image data is arranged in circular or near-circular contours, and/or on which the thermal image data corresponds to temperatures of the same temperature level. Therefore, the automatic judgments on which the automatic selection of the thermal image data being the thermal image data of the carrier rollers is based are therefore carried out within the framework of methods based on machine learning, the recognition quality being improved by the learning methods carried out by the artificial neural network. This can in particular be evaluations related to the automatic selection of thermal image data which are arranged in circular or near-circular contours and/or correspond to temperatures of the same temperature level.

Согласно другому варианту, способ может осуществляться так, что данные изображения ленточной конвейерной установки привязываются к соответствующему положению в ней и/или для установленных положений области анализируемого изображения данные теплового изображения или оценочная информация привязываются к индивидуальному несущему ролику ленточной конвейерной установки, причем привязка осуществляется посредством определения положения на основе радио, сравнения зарегистрированных данных изображения с данными сравнительного изображения, регистрации пройденного беспилотным транспортным средством пути и/или регистрации ориентации системы датчиков изображения. Такая привязка обеспечивает однозначную идентификацию представленного в данных изображения объекта. Вследствие этого данные изображения ленточной конвейерной установки, т.е. данные теплового изображения и, при необходимости, другие данные изображения, например данные фотоизображения, могут быть привязаны соответственно к положению в качестве локального положения в ленточной конвейерной установке. Локальным положением (местоположением) является однозначно установленная посредством координат точка в пространстве, т.е., например, за счет географических координат, за счет указания относительного положения в пределах ленточной конвейерной установки или за счет пройденного транспортным средством пути. Привязанным к данным изображения локальным положением может быть при этом местоположение представленных в данных изображения объектов, местоположение беспилотного транспортного средства, местоположение визуализирующего сенсорного устройства, посредством которого были зарегистрированы данные изображения, или местоположение другой установленной эталонной точки. Вместо этого или дополнительно для установленных положений области анализируемого изображения данные теплового изображения или оценочная информация могут быть привязаны соответственно к индивидуальному несущему ролику ленточной конвейерной установки. Такая привязка сопоставима с описанным выше указанием относительного положения.According to another variant, the method can be carried out in such a way that the image data of the conveyor belt installation is linked to the corresponding position in it and/or for the set positions of the area of the analyzed image, thermal image data or evaluation information is linked to an individual carrier roller of the conveyor belt installation, and the binding is carried out by determining position based on the radio, comparing the acquired image data with the comparison image data, registering the path traveled by the unmanned vehicle, and/or registering the orientation of the image sensor system. Such a binding provides a unique identification of the object represented in the image data. As a result, the image data of the conveyor belt installation, i. e. thermal image data and, if necessary, other image data, such as photographic image data, can be assigned respectively to the position as a local position in the conveyor belt installation. A local position (location) is a point in space that is uniquely determined by means of coordinates, i.e., for example, by geographical coordinates, by specifying a relative position within a conveyor belt installation or by means of a path traveled by a vehicle. The local position associated with the image data may be the location of the objects represented in the image data, the location of the unmanned vehicle, the location of the imaging sensor device by which the image data was acquired, or the location of another set reference point. Instead, or in addition to the set positions of the area of the analyzed image, the thermal image data or evaluation information can be assigned, respectively, to the individual carrier roller of the conveyor belt installation. This binding is comparable to the relative position specification described above.

Для привязки положения необходимо, следовательно, определить пространственное положение. Точное пространственное положение, при необходимости, с привлечением направления взгляда позволяет, как правило, однозначно идентифицировать соответствующий несущий ролик. Определение пространственного положения может осуществляться, в частности, посредством определения положения на основе радиосвязи, сравнения зарегистрированных данных изображения со сравнительными данными изображения, регистрации пройденного беспилотным транспортным средством пути и/или регистрации ориентации системы датчиков изображения. Определение положения на основе радиосвязи может осуществляться, например, посредством спутниковой системы навигации, такой как GPS или Галилео, радионавигационной системы наземного базирования, такой как Decca или Loran, системы ближней навигации или транспондерной системы ближнего действия, такой как RFID-транспондеры на станциях несущих роликов. Регистрация пути прохождения беспилотным транспортным средством может осуществляться, например, посредством точного отслеживания (Tracking) пройденного транспортным средством пути, а также всех изменений направления, если в качестве частичного эталона известна по меньшей мере одна точка пути, например начальная точка, конечная точка или путевая точка через самую середину. Регистрация ориентации системы датчиков изображения может осуществляться, например, посредством электронного компаса (магнетометр) или инерциального измерительного блока (inertial measurement unit, IMU) с инерциальными датчиками (инерционные датчики) на или в транспортном средстве (включая его систему датчиков), посредством которого могут регистрироваться ускорения и частоты вращения, в сочетании с регистрацией времени; вместо этого возможна также основанная на времени непрерывная регистрация данных изображения (например, в виде серийного изображения, фильма или длительной записи), при которой можно осуществлять определение ориентации на основе штампов времени и отображенных измерений направления.To bind a position, therefore, it is necessary to determine the spatial position. The exact spatial position, if necessary with reference to the direction of view, generally makes it possible to uniquely identify the corresponding carrier roller. The attitude determination can be carried out in particular by radio-based position determination, comparison of the registered image data with comparative image data, registration of the path traveled by the unmanned vehicle and/or registration of the orientation of the image sensor system. Radio-based positioning can be performed, for example, by means of a satellite navigation system such as GPS or Galileo, a land-based radio navigation system such as Decca or Loran, a short range navigation system, or a short range transponder system such as RFID transponders at carrier roller stations. . Recording the path of an unmanned vehicle can be done, for example, by tracking exactly (Tracking) the path traveled by the vehicle, as well as all changes in direction, if at least one point of the path is known as a partial reference, for example, the start point, end point or waypoint through the middle. Registration of the orientation of the image sensor system can be carried out, for example, by means of an electronic compass (magnetometer) or an inertial measurement unit (IMU) with inertial sensors (inertial sensors) on or in the vehicle (including its sensor system), by means of which the acceleration and speed, combined with time recording; instead, time-based continuous recording of image data (eg, as burst image, movie, or long-term recording) is also possible, in which orientation determination can be made based on time stamps and displayed direction measurements.

Сравнение зарегистрированных данных изображения со сравнительными данными изображения может осуществляться, например, на основе зарегистрированных посредством системы датчиков данных теплового изображения или данных фотоизображения (соответственно по отдельности или в комбинации между собой); они могут записываться моно- или стереоскопически в виде отдельных изображений, последовательностей изображений или динамических изображений. Вместо этого такие данные изображения могут регистрироваться также отдельными устройствами, например в виде данных расстояния способами сканирования, такими как лазерное сканирование (включая лазерные сканеры с тепловизионными камерами), лидар/ладар, сонар или радар. Для сопоставления эти данные изображения сравниваются со сравнительными данными изображения, например с заранее зарегистрированными сравнительными данными изображения или заранее составленной пространственной (трехмерной) моделью ленточной конвейерной установки или ее окружения, которая может иметь, например, вид трехмерного облака точек. Сравнение может быть реализовано с использованием твердых правил или в рамках машинного обучения.The comparison of the recorded image data with the comparative image data can be carried out, for example, on the basis of thermal image data or photo image data registered by the sensor system (respectively, individually or in combination); they may be recorded in mono or stereoscopically as single images, image sequences, or motion images. Instead, such image data may also be captured by separate devices, for example as distance data by scanning methods such as laser scanning (including laser scanners with thermal imaging cameras), lidar/ladar, sonar or radar. For comparison, this image data is compared with comparison image data, such as pre-registered comparison image data or a pre-built 3D model of the conveyor belt plant or its surroundings, which may be, for example, a 3D point cloud. Comparison can be implemented using hard rules or machine learning.

Иногда пространственной точности отдельных способов может быть недостаточно, чтобы обеспечить однозначную идентификацию отображенного несущего ролика. Это может быть, например, в случае традиционных GPS-систем (более высокое пространственное разрешение имеют, например, дифференциальные GPS-системы). В этом случае целесообразно применить сразу несколько способов определения положения, например дополнительно к GPS-системе использовать также компасную систему, например на основе калиброванных инерциальных датчиков, чтобы обеспечить требуемую точность.Sometimes the spatial accuracy of the individual methods may not be sufficient to provide unambiguous identification of the displayed carrier roller. This may be the case, for example, in the case of traditional GPS systems (higher spatial resolution is available, for example, in differential GPS systems). In this case, it is advisable to apply several methods for determining the position at once, for example, in addition to the GPS system, also use a compass system, for example, based on calibrated inertial sensors, to ensure the required accuracy.

Согласно другому варианту, способ может осуществляться, кроме того, так, что выявленные из положения области анализируемого изображения температурные данные автоматически привязываются к функциональному состоянию несущего ролика за счет того, что выявленные температурные данные соответствующего несущего ролика автоматически классифицируются как данное функциональное состояние из большого числа заранее установленных функциональных состояний или привязываются к данному функциональному состоянию в рамках кластерного анализа, в частности в рамках многовариантного кластерного анализа. Вследствие этого выявленные для несущего ролика температурные данные могут быть автоматически классифицированы как единственное функциональное состояние, причем это функциональное состояние происходит из большого числа заранее установленных функциональных состояний. Классы для классификации заранее устанавливаются в соответствии с требованиями конкретной ленточной конвейерной установки, а именно один для несущих роликов, у которых функциональный отказ уже произошел (т.е. для дефектного несущего ролика при полном нарушении функции), и один для несущих роликов, у которых функциональный отказ еще не произошел (независимо от того, нарушена ли функция лишь незначительно, или функциональный отказ уже произошел). Более целесообразная дифференциация обеспечивает тройную классификацию (в соответствии с разделением «хороший», «средний», «плохой» или «неизношенный», «частично изношенный» или «изношенный»), при которой различают несущие ролики, у которых нарушение функции еще не произошло, несущие ролики, у которых нарушение функции уже произошло, и несущие ролики, у которых функциональный отказ уже произошел. Кроме того, классификация может включать в себя также дополнительные классы, причем, в частности, дальнейшая дифференциация среднего из трех классов представляется целесообразной, чтобы отобразить различные состояния износа и различить различные точки для замены, например классификация, в общей сложности, по четырем, пяти, шести и более классам. Вместо классификации можно для привязки провести также кластерный анализ (агломерационный анализ), т.е. как способ объединения (группирование, кластеризация) данных в различные однородные группы (кластеры) на основе сходных структур, распознаваемых в ходе способа в массивах данных. Кластерный анализ является структурораспознающим способом, так что заранее устанавливать отдельные классы не требуется. В качестве опции кластерный анализ может быть многовариантным и, тем самым, зависеть от более чем одной переменной. Также для оценок, осуществляемых в рамках такой привязки, в частности в рамках кластерного анализа, целесообразно прибегнуть к методам, основанным на машинном обучении.According to another variant, the method can also be carried out in such a way that the temperature data detected from the position of the area of the analyzed image is automatically assigned to the functional state of the carrier roller due to the fact that the detected temperature data of the respective carrier roller is automatically classified as a given functional state from a large number in advance. established functional states or are tied to a given functional state within the framework of cluster analysis, in particular within the framework of multivariate cluster analysis. As a result, the temperature data detected for the carrier roller can be automatically classified as a single functional state, this functional state being derived from a large number of predetermined functional states. Classes for classification are pre-set according to the requirements of a particular belt conveyor installation, namely one for carrier rollers in which a functional failure has already occurred (i.e. for a defective carrier roller with a complete failure), and one for carrier rollers in which functional failure has not yet occurred (regardless of whether the function is only slightly impaired, or the functional failure has already occurred). A more useful differentiation provides a triple classification (according to the division "good", "average", "poor" or "not worn", "partially worn" or "worn"), which distinguishes between carrier rollers that have not yet suffered a malfunction , carrier rollers in which a malfunction has already occurred, and carrier rollers in which a functional failure has already occurred. In addition, the classification may also include additional classes, whereby, in particular, a further differentiation of the middle of the three classes seems appropriate in order to display different states of wear and distinguish between different points for replacement, for example, a classification of a total of four, five, six or more grades. Instead of classification, it is also possible to carry out cluster analysis (agglomeration analysis) for binding, i.e. as a way of combining (grouping, clustering) data into various homogeneous groups (clusters) based on similar structures recognized in the course of the method in data arrays. Cluster analysis is structure-aware, so there is no need to pre-set individual classes. As an option, cluster analysis can be multivariate and thus depend on more than one variable. Also, for assessments carried out within the framework of such a link, in particular within the framework of cluster analysis, it is advisable to resort to methods based on machine learning.

Согласно другому варианту, при этом может быть целесообразным, если способ осуществляется так, что в каждом установленном положении области анализируемого изображения данные теплового изображения автоматически анализируются за счет того, что в установленном положении области анализируемого изображения несущего ролика из данных теплового изображения автоматически определяются температурные данные в качестве характеристических температурных параметров соответствующего несущего ролика, причем характеристическими температурными параметрами данных теплового изображения в установленных положениях области анализируемого изображения являются, в частности, минимальные значения, максимальные значения, средние значения, центральные значения, локальные значения накопления, а также параметры распределения температур, прежде всего, его ширина, мера рассеяния и симметрия. Характеристическими температурными параметрами являются параметры, которые выведены из температуры и характеризуют актуальное состояние несущего ролика; обычно речь идет при этом о параметрах, получаемых в рамках статистического анализа локальных температур. Если данные теплового изображения непосредственно не содержат температуру поверхности, то она может быть вычислена сначала по соответствующим тепловым данным, прежде чем будет осуществлен статистический анализ температур.According to another variant, in this case, it may be expedient if the method is carried out in such a way that at each set position of the analyzed image area, the thermal image data is automatically analyzed due to the fact that at the set position of the analyzed image area of the carrier roller from the thermal image data, the temperature data in as characteristic temperature parameters of the respective carrier roller, wherein the characteristic temperature parameters of the thermal image data in the set positions of the area of the analyzed image are, in particular, minimum values, maximum values, average values, center values, local accumulation values, as well as temperature distribution parameters, in particular , its width, scattering measure and symmetry. Characteristic temperature parameters are parameters that are derived from temperature and characterize the current state of the carrier roller; usually we are talking about the parameters obtained in the framework of the statistical analysis of local temperatures. If the thermal image data does not directly contain the surface temperature, then it can be calculated first from the corresponding thermal data before statistical analysis of the temperatures is performed.

В частности, согласно другому варианту, при этом предпочтительно, если способ осуществляется так, что качество распознавания при автоматическом определении функционального состояния несущих роликов, в частности классификация данных теплого изображения, улучшается с помощью проводимого посредством искусственной нейросети метода обучения. Даже если автоматическое определение функционального состояния может осуществляться, в принципе, любыми подходящими способами, т.е. также на основе схемы твердых правил, то для автоматического определения функционального состояния применяются предпочтительно методы, основанные на машинном обучении. Вследствие этого автоматические оценки, на которых основано автоматическое определение функционального состояния несущих роликов, осуществляются, следовательно, в рамках методов, основанных на машинном обучении, причем качество этой оценки улучшается методами обучения, осуществляемыми посредством искусственной нейросети. При этом речь может идти, в частности, об оценках, связанных с классификацией данных теплового изображения.In particular, according to another variant, it is preferable if the method is carried out in such a way that the quality of recognition in the automatic detection of the functional state of the carrier rollers, in particular the classification of warm image data, is improved by means of a training method carried out by an artificial neural network. Even if the automatic determination of the functional state can be carried out, in principle, by any suitable means, i.e. also based on a scheme of hard rules, then methods based on machine learning are preferably used to automatically determine the functional state. As a result, the automatic evaluations on which the automatic determination of the functional state of the carrier rollers is based are therefore carried out within the framework of methods based on machine learning, the quality of this evaluation being improved by the learning methods carried out by means of an artificial neural network. In this case, we can talk, in particular, about the estimates associated with the classification of thermal image data.

Согласно другому варианту, способ может осуществляться, кроме того, так, что для соответствующего несущего ролика функциональное состояние, данные изображения и/или, при необходимости, выявленные температурные данные записываются в хранилище данных о функциональных состояниях. При этом получают хранилище данных о функциональных состояниях, содержащее актуальное функциональное состояние несущего ролика, преимущественно функциональные состояния всех несущих роликов ленточной конвейерной установки. Такое хранилище данных о функциональных состояниях может иметь, например, вид базы данных. Подобные хранилища с функциональными состояниями, данными изображения и/или температурными данными (включая характеристические температурные параметры) могут служить, например, в целях документирования.According to another variant, the method can also be carried out in such a way that, for the corresponding carrier roller, the functional state, the image data and/or, if necessary, the detected temperature data are recorded in the functional state data store. In this case, a storage of data on functional states is obtained, containing the actual functional state of the carrier roller, mainly the functional states of all carrier rollers of the conveyor belt installation. Such a functional state data store may take the form of a database, for example. Such stores with functional states, image data and/or temperature data (including characteristic temperature parameters) can serve, for example, for documentation purposes.

Дополнительно к актуальным данным такое хранилище данных о функциональных состояниях может содержать также исторические данные, которые представляют собой прошлые функциональные состояния. В этом виде оно может быть привлечено также в качестве основы для составления прогнозов о временнóм развитии функционального состояния несущих роликов. Сохранение соответствующих данных может при этом осуществляться в запоминающем устройстве, находящемся на беспилотном транспортном средстве, или же во внешнем запоминающем устройстве, находящемся вне беспилотного транспортного средства, например в устройстве обработки данных, например на сервере. В случае внешнего сохранения данные могут передаваться на внешнее устройство обработки данных вскоре после регистрации данных изображения (например, в режиме реального времени или со сдвигом по времени), во время инспекционной поездки беспилотного транспортного средства или же по ее окончании, например с базовой станции (сервисной станции), на которой транспортное средство находится между двумя инспекционными поездками. При этом в целях документирования сохраняются, в частности, фотоданные в виде фотоснимков (фотографии, RGB-изображения, в частности цифровые фотографии), а также данные теплового изображения в виде тепловизионных снимков (тепловые изображения, термографии, термоизображения, в частности цифровые термофотографии), причем информация о положении и информация о пути сохраняется отдельно или может содержаться в виде метаинформации в соответствующих данных изображения.In addition to the current data, such a functional state data store may also contain historical data, which represents past functional states. In this form, it can also be used as a basis for making predictions about the temporal development of the functional state of the carrier rollers. The storage of the relevant data can in this case be carried out in a storage device located on the unmanned vehicle, or in an external storage device located outside the unmanned vehicle, for example in a data processing device, for example on a server. In the case of external storage, the data may be transferred to an external data processing device shortly after the acquisition of image data (for example, real-time or time-shifted), during an inspection trip of an unmanned vehicle, or at the end of an inspection trip, for example, from a base station (service station). station) at which the vehicle is located between two inspection trips. For documentation purposes, in particular, photographic data in the form of photographs (photographs, RGB images, in particular digital photographs) as well as thermal image data in the form of thermal images (thermal images, thermography, thermal images, in particular digital thermal photographs), wherein the position information and the path information are stored separately or may be contained as meta-information in the corresponding image data.

Данные, содержащиеся в таком хранилище данных о функциональных состояниях, могут запрашиваться эксплуатантом или обслуживающим персоналом, например в текстовой форме или в виде воспроизведения изображения. Это позволяет простым образом получить обзор различной информации о состоянии, например подробной расстановке всех несущих роликов, включая индивидуальные комментарии и историю обслуживания, подробной информации о температуре индивидуальных несущих роликов, геоинформации о быстрой локализации поврежденных несущих роликов, представление о наступившем до сих пор износе и функциональных отказах всех несущих роликах, а также о прогнозируемом износе и характере отказов. Эта информация о состоянии несущих роликов и история обслуживания могут, при необходимости, дополняться вручную.The data contained in such a functional status data store may be requested by the operator or maintenance personnel, for example in textual form or as a reproduction of an image. This allows you to easily obtain an overview of various status information, such as a detailed arrangement of all carrier rollers, including individual comments and service history, detailed information on the temperature of individual carrier rollers, geo-information on the rapid localization of damaged carrier rollers, an overview of the wear that has occurred so far and functional failures of all carrier rollers, as well as predictable wear and failure patterns. This carrier roller status information and service history can be manually updated if necessary.

Далее, согласно другому варианту, может быть целесообразным, если способ осуществляется так, что в случае, если при автоматическом определении положения области распознаваемого изображения положение распознавания индивидуального несущего ролика не распознается или при анализе данных теплового изображения определяются температурные данные, не обеспечивающие определение функционального состояния, на беспилотное транспортное средство подается команда запроса, чтобы заново зарегистрировать данные изображения в зоне ленточной конвейерной установки, в которой находится индивидуальный несущий ролик. Таким образом, при ошибочной или нарушенной регистрации можно инициировать новую регистрацию данных изображения, чтобы получить для несущих роликов полный набор анализируемых данных. При этом регистрация данных изображения может быть ограничена такими несущими роликами, для которых соответствующие данные отсутствуют. Такие же действия могут быть предприняты в экстренном случае или при неисправности для индивидуального контроля причины возникших при эксплуатации неполадок.Further, according to another variant, it may be expedient if the method is carried out in such a way that if, when automatically determining the position of the area of the image to be recognized, the recognition position of the individual carrier roller is not recognized, or when analyzing thermal image data, temperature data is determined that does not provide a determination of the functional state, a query command is issued to the unmanned vehicle to re-register the image data in the area of the conveyor belt installation in which the individual carrier roller is located. In this way, in case of an erroneous or broken registration, a new registration of image data can be initiated in order to obtain a complete set of analysis data for the carrier rollers. In this case, the recording of image data can be limited to carrier rollers for which no corresponding data is available. The same actions can be taken in the event of an emergency or malfunction to individually control the cause of the malfunction that occurred during operation.

Изобретение относится далее к способу идентификации поврежденных несущих роликов ленточной конвейерной установки во время ее эксплуатации, включающему в себя описанный выше способ машинного определения функционального состояния несущих роликов ленточной конвейерной установки, причем несущие ролики с нарушенной функциональностью распознаются с помощью сравнения с историческими данными из базы данных о функциональных состояниях, определяется момент времени замены соответствующего несущего ролика, и для этого несущего ролика выявленный момент времени подается на коммуникационный интерфейс. При таком способе идентифицируются поврежденные несущие ролики ленточной конвейерной установки, которые, следовательно, уже вышли из строя или же предположительно выйдут из строя в обозримый промежуток времени. Существенным этапом этого способа является описанный выше способ машинного определения функционального состояния несущих роликов, при котором распознаются поврежденные несущие ролики. Актуально записанные данные сравниваются с историческими данными из базы данных о функциональных состояниях, и определяется оптимальный момент времени замены соответствующих несущих роликов. Чтобы определить оптимальный момент времени, учитываются как прогноз ожидаемого полного выхода из строя несущего ролика, так и специфические для установки обстоятельства, например интервалы времени обслуживания и т.п. Прогноз может быть сделан, например, с учетом исторических данных за счет того, что историческая характеристика температуры несущего ролика экстраполируется на установленную критическую максимальную температуру (например, в рамках регрессионного анализа), при которой ожидается полный выход из строя, например на температуру 90°С. Замена этого несущего ролика может осуществляться тогда автоматически в рамках того проводимого в регулярно установленные сроки мероприятия по обслуживанию, которое происходит незадолго до момента времени, в который предположительно достигается критическая максимальная температура. Также в отношении осуществляемых в рамках такого прогноза оценок целесообразно прибегнуть к методам, основанным на машинном обучении. На основе таких анализов можно составить оптимизированную по эффективности схему обслуживания всей ленточной конвейерной установки, в которой минимизированы простои и издержки на обслуживание и максимизированы интервалы замены. Выявленный, таким образом, момент времени передается на коммуникационный интерфейс, например отображается в виде визуальной информации на дисплее, посылается в виде электронной почты на заранее открытый счет, подается в виде указания по эксплуатации системе управления и контроля установки или включается в виде автоматически составленной календарной записи в программы управления сроками. Кроме того, могут быть приняты также дополнительные меры, например могут быть автоматически вызваны требуемые техники или автоматически заказаны отсутствующие необходимые запчасти.The invention further relates to a method for identifying damaged carrier rollers of a conveyor belt installation during its operation, including the above-described method of machine determination of the functional state of the carrier rollers of a conveyor belt installation, wherein carrier rollers with impaired functionality are recognized by comparison with historical data from a database of functional states, the replacement time of the corresponding carrier roller is determined, and for this carrier roller, the detected time is supplied to the communication interface. With this method, damaged carrier rollers of a belt conveyor installation are identified, which, therefore, have already failed or are expected to fail in the foreseeable period of time. An essential step of this method is the above-described method of machine determination of the functional state of the carrier rollers, in which damaged carrier rollers are recognized. The currently recorded data is compared with the historical data from the functional state database and the optimum time to replace the respective carrier rollers is determined. In order to determine the optimum point in time, both the forecast of the expected complete failure of the carrier roller and plant-specific circumstances such as service intervals and the like are taken into account. Prediction can be made, for example, from historical data by extrapolating the historical temperature profile of the carrier roller to a specified critical maximum temperature (e.g. in a regression analysis) at which complete failure is expected, e.g. 90°C. . The replacement of this carrier roller can then be carried out automatically as part of that regularly scheduled maintenance measure which takes place shortly before the point in time at which the critical maximum temperature is supposed to be reached. Also, in relation to the assessments carried out within the framework of such a forecast, it is advisable to resort to methods based on machine learning. Based on these analyses, an efficiency-optimized maintenance scheme for the entire belt conveyor installation can be drawn up, in which downtime and maintenance costs are minimized and replacement intervals are maximized. The point in time detected in this way is transmitted to the communication interface, for example displayed as visual information on the display, sent as an e-mail to a pre-opened account, provided as an operating instruction to the control and monitoring system of the plant, or included as an automatically generated calendar entry. in time management programs. In addition, additional measures can also be taken, for example, the required technicians can be called automatically or missing necessary spare parts can be automatically ordered.

Таким образом, можно дополнительно к распознаванию аномалий и актуальному износу несущих роликов в рамках инспекции и контроля прогнозировать также будущее поведение, например для профилактического обслуживания (предиктивное поддержание в исправном состоянии) или при создании цифровой модели установки.In this way, in addition to anomaly detection and actual wear of the carrier rollers, future behavior can also be predicted within the framework of inspection and control, for example for preventive maintenance (predictive maintenance) or when creating a digital plant model.

В случае непосредственно предстоящего функционального отказа несущего ролика и связанной с этим безотлагательной замены такого несущего ролика подача момента времени обслуживания на коммуникационный интерфейс может включать в себя также сигнал тревоги, при необходимости, связанный с экстренным отключением всей ленточной конвейерной установки, чтобы предотвратить дальнейшие повреждения. Тем самым, изобретение относится также к способу идентификации поврежденных несущих роликов ленточной конвейерной установки во время ее эксплуатации, включающему в себя вышеописанный способ машинного определения функционального состояния несущих роликов ленточной конвейерной установки в любых возможных вариантах, причем поврежденные несущие ролики обнаруживаются и в случае обнаружения поврежденного несущего ролика для него на коммуникационный интерфейс подается сигнал уведомления.In the event of an imminent functional failure of the carrier roller and the consequent immediate replacement of such carrier roller, the service time feed to the communication interface may also include an alarm, if necessary, associated with an emergency shutdown of the entire belt conveyor installation to prevent further damage. Thus, the invention also relates to a method for identifying damaged carrier rollers of a conveyor belt installation during its operation, which includes the above-described method of machine determination of the functional state of the carrier rollers of a conveyor belt installation in all possible ways, wherein damaged carrier rollers are detected even if a damaged carrier is detected. clip for it, a notification signal is sent to the communication interface.

Изобретение относится далее к способу создания цифровой модели ленточной конвейерной установки, включающему в себя вышеописанный способ машинного определения функционального состояния несущих роликов ленточной конвейерной установки в любых возможных вариантах, причем для соответствующего несущего ролика используются функциональное состояние и выявленные температурные данные в сочетании с другими эксплуатационными параметрами ленточной конвейерной установки в качестве базовых данных для определения поведения несущих роликов в цифровой модели. Также в этом способе заявленный способ представляет собой существенный этап, причем температурные данные каждого несущего ролика и выявленное для этого функциональное состояние используются в сочетании с другими параметрами процесса ленточной конвейерной установки в качестве базовых данных, чтобы в цифровой модели ленточной конвейерной установки смоделировать индивидуальное поведение соответствующего несущего ролика в зависимости от изменений в ходе процесса или условий процесса и чтобы на основе этих базовых данных можно было прогнозировать или симулировать ключевые индикаторы или рабочие точки ленточной конвейерной установки.The invention further relates to a method for creating a digital model of a conveyor belt installation, including the above-described method of machine determining the functional state of the carrier rollers of the conveyor belt installation in any possible ways, and for the corresponding carrier roller, the functional state and the detected temperature data are used in combination with other operational parameters of the belt conveyor. conveyor installation as the base data for determining the behavior of the carrier rollers in the digital model. Also in this method, the claimed method is an essential step, where the temperature data of each carrier roller and the functional state detected for this are used in combination with other process parameters of the conveyor belt installation as basic data in order to simulate the individual behavior of the corresponding carrier in a digital model of the conveyor belt installation. roller depending on changes in the course of the process or process conditions and that on the basis of these basic data it is possible to predict or simulate key indicators or operating points of the conveyor belt installation.

Наконец изобретение относится к устройству для машинного определения функционального состояния несущих роликов ленточной конвейерной установки во время ее эксплуатации, содержащему по меньшей мере одно движущееся вдоль по меньшей мере одного участка ленточной конвейерной установки беспилотное транспортное средство по меньшей мере с одной системой датчиков, посредством которой ленточная конвейерная установка по меньшей мере местами контролируется сенсорно в виде данных изображения, и которая содержит по меньшей мере одно тепловизионное сенсорное устройство для регистрации данных теплового изображения, устройство обработки данных для оценки зарегистрированных данных теплового изображения, чтобы определить функциональное состояние несущих роликов ленточной конвейерной установки во время ее эксплуатации, причем устройство обработки данных содержит модуль определения области изображения, автоматически определяющий в зарегистрированных данных изображения положение области распознаваемого изображения, в котором отображен по меньшей мере один участок несущего ролика, модуль установления области изображения, автоматически устанавливающий для выявленного положения области распознаваемого изображения из данных изображения соответственно положение области анализируемого изображения в данных теплового изображения, и модуль определения состояния, автоматически анализирующий в установленном положении области анализируемого изображения данные теплового изображения, чтобы автоматически определить функциональное состояние несущих роликов.Finally, the invention relates to a device for machine determination of the functional state of the carrier rollers of a belt conveyor installation during its operation, comprising at least one unmanned vehicle moving along at least one section of the belt conveyor installation with at least one sensor system, by means of which the belt conveyor the installation is at least locally controlled by a sensor in the form of image data, and which comprises at least one thermal imaging sensor device for recording thermal image data, a data processing device for evaluating the recorded thermal image data in order to determine the functional state of the carrier rollers of the conveyor belt installation during its operation, and the data processing device includes an image area determination module automatically determining, in the registered image data, the position of the area of the recognizable image in which at least one section of the carrier roller is displayed, the image area setting module, automatically setting for the detected position of the area of the recognizable image from the image data respectively, the position of the analysis image area in the thermal image data, and a state determination unit automatically analyzing at the set position of the analysis image area the thermal image data to automatically determine the functional state of the carrier rollers.

Согласно другому варианту, устройство может быть выполнено так, что модуль определения области изображения содержит модуль распознавания области изображения и интерфейсный модуль, из которых модуль распознавания области изображения автоматически распознает в зарегистрированных данных изображения области данных изображения, в которых отображен по меньшей мере один участок несущего ролика, а интерфейсный модуль автоматически создает положение распознанной области данных изображения в качестве положения области распознаваемого изображения соответствующего несущего ролика, причем модуль распознавания области изображения автоматически устанавливает для каждого выявленного положения области распознаваемого изображения несущего ролика из данных изображения соответственно положение области анализируемого изображения несущего ролика в данных теплового изображения, которое пространственно корреспондирует с соответствующим положением области распознаваемого изображения из данных изображения, причем модуль определения состояния содержит модуль анализа и модуль привязки, из которых модуль анализа автоматически определяет в установленном положении области анализируемого изображения несущего ролика из данных теплового изображения температурные данные соответствующего несущего ролика, а модуль привязки автоматически привязывает выявленные из положения области анализируемого изображения температурные данные к функциональному состоянию соответствующих несущих роликов.According to another embodiment, the device can be configured such that the image area determination module comprises an image area recognition module and an interface module, of which the image area recognition module automatically recognizes in the registered image data areas of image data in which at least one portion of the carrier roller is displayed. , and the interface module automatically creates the position of the recognized image data area as the position of the recognition image area of the corresponding carrier roller, and the image area recognition module automatically sets, for each detected position of the recognition image area of the carrier roller from the image data, respectively, the position of the analysis image area of the carrier roller in the thermal data. an image that spatially corresponds to the corresponding position of the area of the image to be recognized from the image data, the state determining module comprising an analysis module and a linking module, from which the analysis module automatically determines, at the set position of the area of the analyzed image of the carrier roller from the thermal image data, the temperature data of the corresponding carrier roller, and the linking module automatically links the temperature data detected from the position of the area of the analyzed image to the functional state of the corresponding carrier rollers.

При этом, согласно другому варианту, может быть предпочтительным, если устройство выполнено так, что устройство обработки данных (установка обработки данных) содержит по меньшей мере одну обучаемую искусственную нейросеть, посредством которой происходит по меньшей мере одно из следующих распознаваний: распознавание несущих роликов или участков несущих роликов для автоматического определения областей данных изображения в зарегистрированных данных изображения, в которых отображен по меньшей мере один участок несущего ролика, распознавание данных теплового изображения несущего ролика для автоматического определения температурных данных в установленном положении области анализируемого изображения несущего ролика, распознавание функциональных состояний несущего ролика из его выявленных температурных данных для автоматической привязки к функциональному состоянию несущих роликов.In this case, according to another variant, it may be preferable if the device is designed so that the data processing device (data processing installation) contains at least one trainable artificial neural network, through which at least one of the following recognitions occurs: recognition of carrier rollers or sections of the carrier rollers for automatically detecting image data areas in the registered image data in which at least one portion of the carrier roller is displayed, recognizing the thermal image data of the carrier roller for automatically detecting temperature data at the set position of the area of the analysis image of the carrier roller, recognizing the functional states of the carrier roller from its detected temperature data for automatic binding to the functional state of the carrier rollers.

Выше уже описаны важные составные части, а также отдельные опциональные составные части такого устройства для машинного определения функционального состояния несущих роликов ленточной конвейерной установки. Устройство обработки данных содержит модуль определения области изображения, модуль установления области изображения и модуль определения состояния. Далее модуль определения области изображения может содержать модуль обнаружения области изображения и интерфейсный модуль, а модуль определения состояния – модуль анализа и модуль привязки. В зависимости от конкретного варианта, устройство обработки данных для оценки зарегистрированных данных изображения может находиться на самом транспортном средстве или на расстоянии от него, например в виде сервера или облачных вычислений. Если устройство обработки данных находится на транспортном средстве, то данные могут передаваться от системы датчиков беспроводным путем или по кабелю для дальнейшей обработки на устройство обработки данных. Если устройство обработки данных пространственно отделено от транспортного средства, то передача данных на устройство обработки данных может происходить беспроводным путем, т.е., например, в виде радиопередачи, или же по кабелю, если транспортное средство находится на своей базовой станции. Таким образом, искусственная нейросеть может быть реализована в самом беспилотном транспортном средстве или же отделена от него, например во внешнем устройстве обработки данных.The important components have already been described above, as well as individual optional components of such a device for machine determination of the functional state of the carrier rollers of a belt conveyor installation. The data processing device comprises an image area determination unit, an image area establishment unit, and a state determination unit. Further, the image region determination module may comprise an image region detection module and an interface module, and the state determination module may comprise an analysis module and a binding module. Depending on the particular embodiment, the data processing device for evaluating the recorded image data may be located on the vehicle itself or at a distance from it, for example in the form of a server or cloud computing. If the data processing device is on the vehicle, then data can be transmitted from the sensor system wirelessly or via cable for further processing to the data processing device. If the data processing device is spatially separated from the vehicle, then the data transmission to the data processing device can take place wirelessly, ie, for example, as a radio transmission, or via cable if the vehicle is at its base station. Thus, an artificial neural network can be implemented in the unmanned vehicle itself or separated from it, for example, in an external data processing device.

Для пояснения изобретения ниже описаны репрезентативные примеры со ссылкой на соответствующие чертежи, причем поясняются также отдельные частичные этапы и процессы, которые в зависимости от желаемых целей такого способа могут почти произвольно комбинироваться между собой. Из этих примеров следуют другие преимущества и возможности применения, которые подробно описаны с помощью прилагаемых чертежей без ограничения лежащей в основе этих примеров общей идеи изобретения, причем поясняются также отдельные признаки и этапы, которые в зависимости от желаемых целей могут почти произвольно комбинироваться между собой.In order to explain the invention, representative examples are described below with reference to the respective drawings, and the individual partial steps and processes are also explained, which, depending on the desired objectives of such a method, can be almost arbitrarily combined with each other. Further advantages and possibilities of application follow from these examples, which are described in detail with the help of the accompanying drawings, without limiting the general idea of the invention underlying these examples, and individual features and steps are also explained, which, depending on the desired goals, can be almost arbitrarily combined with each other.

На чертежах схематично изображают:The drawings show schematically:

- фиг. 1: ленточную конвейерную установку с устройством для машинного определения функционального состояния несущих роликов в соответствии с одним вариантом осуществления данного изобретения;- fig. 1: a conveyor belt installation with a device for machine determination of the functional state of the carrier rollers in accordance with one embodiment of the present invention;

- фиг. 2: ленточную конвейерную установку с устройством для машинного определения функционального состояния несущих роликов в соответствии с другим вариантом осуществления данного изобретения;- fig. 2: a conveyor belt installation with a device for machine determination of the functional state of the carrier rollers in accordance with another embodiment of the present invention;

- фиг. 3: способ машинного определения функционального состояния несущих роликов ленточной конвейерной установки в соответствии с другим вариантом осуществления данного изобретения.- fig. 3: a method for machine determination of the functional state of the carrier rollers of a belt conveyor installation in accordance with another embodiment of the present invention.

На фиг. 1 схематично изображена ленточная конвейерная установка 1 с устройством для машинного определения функционального состояния несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации в соответствии с одним вариантом осуществления данного изобретения. Ленточная конвейерная установка 1 содержит конвейерную ленту 11, отклоняемую двумя поворотными валиками 12, из которых один поворотный валик 12 выполнен в виде приводного барабана (в данном случае поворотный валик 12 справа). Верхняя ветвь конвейерной ленты 11 образует грузовую ветвь, по которой транспортируемый материал движется в направлении транспортировки (обозначено стрелкой). На верхней и нижней ветвях конвейерная лента 11 поддерживается несущими роликами 13. В данном случае конвейерная лента 11 направляется плашмя, так что несущие ролики 13 на станциях несущих роликов ориентированы горизонтально; здесь конвейерная лента 11 может направляться также в виде лотковой или свернутой конвейерной ленты, причем несущие ролики расположены тогда на станциях несущих роликов U-, V- или О-образно.In FIG. 1 schematically shows a conveyor belt installation 1 with a device for machine determination of the functional state of the carrier rollers 13 of the conveyor belt installation 1 during its operation in accordance with one embodiment of the present invention. The belt conveyor installation 1 comprises a conveyor belt 11 deflected by two turning rollers 12, of which one turning roller 12 is made in the form of a drive drum (in this case the turning roller 12 on the right). The upper branch of the conveyor belt 11 forms a load branch, along which the transported material moves in the direction of transport (indicated by an arrow). On the upper and lower branches, the conveyor belt 11 is supported by carrier rollers 13. In this case, the conveyor belt 11 is guided flat so that the carrier rollers 13 at the carrier roller stations are oriented horizontally; Here, the conveyor belt 11 can also be guided as a trough or rolled conveyor belt, the carrier rollers then being arranged at the carrier roller stations in a U-, V- or O-shape.

На ленточной конвейерной установке 1 расположено беспилотное транспортное средство 2. При этом речь идет об автономно движущемся или дистанционно управляемом транспортном средстве, которое дистанционно управляется оператором, например посредством системы дистанционного радиоуправления. Транспортным средством 2 является сухопутное наземное транспортное средство, однако оно может быть выполнено также иначе, например в виде летательного аппарата. Беспилотное транспортное средство 2 движется вдоль всей ленточной конвейерной установки 1. Кроме того, ей могут быть приданы также несколько беспилотных транспортных средств. Так, например, может быть предусмотрено, что каждое транспортное средство из некоторого числа беспилотных транспортных средств движется только на участке ленточной конвейерной установки 1, так что для контроля всей ленточной конвейерной установки 1 требуется каждое транспортное средство 2 из этого некоторого числа.An unmanned vehicle 2 is located on the belt conveyor installation 1. This is an autonomously moving or remotely controlled vehicle, which is remotely controlled by the operator, for example by means of a radio remote control system. The vehicle 2 is a land vehicle, but it can also be configured differently, for example as an aircraft. The unmanned vehicle 2 moves along the entire conveyor belt installation 1. In addition, several unmanned vehicles can also be attached to it. Thus, for example, it can be provided that each vehicle of a certain number of unmanned vehicles moves only on a section of the conveyor belt installation 1, so that each vehicle 2 of this certain number is required to control the entire conveyor belt installation 1.

Беспилотное транспортное средство 2 содержит систему датчиков изображения, включающую в себя тепловизионное сенсорное устройство 21 и сенсорное устройство 22 фотоизображения. Оба расположены пространственно близко друг к другу, имеют одинаковую ориентацию и, в основном, одинаковый угол изображения, так что они регистрируют, в основном, одинаковое объектное пространство. В данном случае тепловизионным сенсорным устройством 21 является тепловизионная камера, а сенсорным устройством 22 фотоизображения – фотокамера (моно- или стереоскопическая), причем обе камеры записывают зарегистрированные данные изображения электронным путем в цифровой форме. В качестве данных изображения камеры могут записывать отдельные изображения или же соответствующие динамические изображения (киносъемка). Кроме того, беспилотное транспортное средство 2 содержит устройство 23 определения положения, чтобы регистрировать соответственно актуальное положение транспортного средства 2 в корреляции с соответственно зарегистрированными данными изображения в качестве позиционных данных; в данном случае речь идет о GPS-модуле, причем информация о положении включается в виде метаинформации в данные изображения. Вместо этого для определения положения может использоваться также фотосенсорное устройство 22, при необходимости, даже тепловизионное сенсорное устройство 21. Дополнительно система датчиков транспортного средства 2 содержит устройство регистрации ориентации, чтобы определять соответствующую ориентацию при регистрации данных изображения в виде информации об ориентации, в данном случае инерциальный измерительный блок.The unmanned vehicle 2 includes an image sensor system including a thermal imaging sensor device 21 and a photo image sensor device 22. Both are spatially close to each other, have the same orientation and basically the same image angle, so they capture basically the same object space. In this case, the thermal image sensor device 21 is a thermal camera and the photo image sensor device 22 is a still camera (monoscopic or stereoscopic), both cameras electronically recording image data in digital form. As image data, cameras can record single images or corresponding dynamic images (movie). In addition, the unmanned vehicle 2 includes a position determination device 23 to register respectively the current position of the vehicle 2 in correlation with the respectively registered image data as position data; in this case, we are talking about a GPS module, and the position information is included in the form of meta-information in the image data. Instead, the photosensor device 22 can also be used to determine the position, if necessary even a thermal imaging sensor device 21. Additionally, the sensor system of the vehicle 2 comprises an orientation detection device in order to determine the appropriate orientation when the image data is recorded as orientation information, in this case inertial measuring block.

Записанные данные изображения, позиционные данные и информация об ориентации передаются через модуль 24 передачи данных на устройство 3 обработки данных для их оценки в нем. В данном случае устройство 3 обработки данных реализовано отдельно от транспортного средства 2, например вблизи пункта управления ленточной конвейерной установкой 1. Вместо этого устройство 3 обработки данных может быть расположено также на транспортном средстве 2.The recorded image data, positional data, and orientation information are transmitted via the data transmission unit 24 to the data processing apparatus 3 for evaluation therein. In this case, the data processing device 3 is implemented separately from the vehicle 2, for example near the control room of the conveyor belt installation 1. Instead, the data processing device 3 can also be located on the vehicle 2.

В устройстве 3 обработки данных данные, переданные модулем 24 передачи данных беспилотного транспортного средства 2, включая данные изображения – данные теплового изображения из тепловизионной камеры и данные фотоизображения из фотокамеры – принимаются модулем 38 передачи данных устройства 3 обработки данных. Данные фотоизображения (и, при необходимости, также данные теплового изображения) сначала подаются в модуль 31 определения области изображения, где они служат в качестве вводных данных модуля 32 распознавания области изображения модуля 31 определения области изображения. В модуле 32 распознавания области изображения автоматически распознаются области изображения, в которых отображены несущие ролики 13 или участки несущих роликов 13. Положения распознанных, таким образом, областей изображения (положения областей распознаваемого изображения) для дальнейшей обработки создаются посредством интерфейсного модуля 33 модуля 31 определения области изображения. Из интерфейсного модуля 33 модуль 34 установления области изображения отбирает положения распознанных в данных фотоизображения области изображения и автоматически устанавливает для них в данных теплового изображения соответствующие, пространственно корреспондирующие положения области изображения в качестве положений области анализируемого изображения. Данные теплового изображения с установленными положениями области анализируемого изображения подаются в модуль 35 определения состояния. Внутри модуля 35 определения состояния данные теплового изображения автоматически анализируются в модуле 36 анализа, причем анализ ограничен здесь соответственно установленными положениями области изображения несущих роликов 13. Результаты этого анализа вводятся в виде температурных данных несущего ролика 13 в модуль 37 привязки, который с помощью температурных данных, полученных в соответствующих положениях области анализируемого изображения из данных теплового изображения, автоматически привязывает к этому несущему ролику 13 его функциональное состояние.In the data processing apparatus 3, data transmitted by the data transmission unit 24 of the unmanned vehicle 2, including image data—thermal image data from a thermal imaging camera and still image data from a still camera—is received by the data transmission unit 38 of the data processing apparatus 3. Photo image data (and, if necessary, also thermal image data) is first supplied to the image area determination unit 31, where it serves as input data to the image area recognition unit 32 of the image area determination unit 31 . In the image area recognition unit 32, image areas in which the carrier rollers 13 or portions of the carrier rollers 13 are displayed are automatically recognized. . From the interface module 33, the image area setting unit 34 selects the positions of the image areas recognized in the photo image data and automatically sets corresponding, spatially corresponding image area positions to them in the thermal image data as the analyzed image area positions. The thermal image data with the positions of the analyzed image area set is supplied to the state determination unit 35 . Within the state determination module 35, the thermal image data is automatically analyzed in the analysis module 36, the analysis being limited here by the respective positions of the image area of the carrier rollers 13 respectively set. obtained in the respective positions of the area of the analyzed image from the thermal image data, automatically binds to this carrier roller 13 its functional state.

Устройство 3 обработки данных содержит несколько обучаемых искусственных нейросетей (не показаны). Одна из этих обучаемых искусственных нейросетей служит для распознавания несущих роликов 13 и участков несущих роликов 13, чтобы определить области данных изображения в зарегистрированных данных изображения, в которых отображен по меньшей мере один участок несущего ролика 13. Другая из этих обучаемых искусственных нейросетей служит для распознавания данных теплового изображения несущего ролика 13, чтобы автоматически определить температурные данные несущего ролика 13 в установленном положении области анализируемого изображения несущего ролика 13. Еще одна из этих обучаемых искусственных нейросетей служит для распознавания функциональных состояний несущего ролика 13 из его выявленных температурных данных, чтобы автоматически привязать к соответствующему несущему ролику 13 его функциональное состояние. Искусственные нейросети используются также для соответствующих процессов машинного обучения.The data processing device 3 contains several trainable artificial neural networks (not shown). One of these trainable artificial neural networks is for recognizing the carrier rollers 13 and portions of the carrier rollers 13 to determine areas of image data in the recorded image data in which at least one portion of the carrier roller 13 is displayed. Another of these trainable artificial neural networks is for data recognition thermal image of the carrier roller 13 to automatically determine the temperature data of the carrier roller 13 at the set position of the region of the analyzed image of the carrier roller 13. carrier roller 13 its functional state. Artificial neural networks are also used for related machine learning processes.

На фиг. 2 схематично в перспективе изображен фрагмент ленточной конвейерной установки 1 со специальным устройством для машинного определения функционального состояния несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации в соответствии с одним особенным вариантом осуществления изобретения. Здесь показаны только верхняя ветвь конвейерной ленты 11 и беспилотное транспортное средство 2 устройства для машинного определения функционального состояния несущих роликов 13 ленточной конвейерной установки 1. Конвейерная лента 11 направляется в виде лотковой конвейерной ленты U-образной формы, что достигается посредством соответственно трех несущих роликов 13 на каждую станцию несущих роликов, расположенных в форме покоящейся на коротком основании трапеции, у которой длинное основание открыто. На каждой станции несущих роликов на коротком основании горизонтально расположен один несущий ролик 13, тогда как остальные два несущих ролика образуют стороны трапеции. Данные изображения ленточной конвейерной установки 1 регистрируются беспилотным транспортным средством 2, которое в данном случае выполнено как автономный дрон в виде квадрокоптера. Транспортное средство 2 движется, паря (плывя), параллельно направлению транспортировки (в направлении транспортировки или против него) рядом с верхней ветвью ленточной конвейерной установки 1. Дополнительно к беспилотному транспортному средству 2 могут быть предусмотрены другие беспилотные транспортные средства, которые могут следить, например, за различными участками ленточной конвейерной установки 1. В своей нижней части транспортное средство 2 содержит систему датчиков изображения, состоящую из тепловизионного сенсорного устройства 21 и сенсорного устройства 22 фотоизображения. Дополнительно система дитчиков содержит инерционные датчики и электронный компас (не показаны), с помощью которых регистрируется ориентация сенсорных устройств в виде информации об ориентации (после предварительной калибровки). С помощью тепловизионного сенсорного устройства 21 и ориентированного параллельно ему сенсорного устройства 22 фотоизображения регистрируются данные изображения несущих роликов 13 ленточной конвейерной установки 1. Сенсорное устройство 22 фотоизображения служит также для определения положения за счет того, что соответственно зарегистрированные данные фотоизображения сравниваются с предварительно составленным трехмерным облаком точек местности и ленточной конвейерной установки 1 и определяется однозначное положение; вместе с информацией об ориентации может, тем самым, осуществляться однозначная привязка несущих роликов 13, зарегистрированных в данных изображения. Вместо этого транспортное средство 2 может содержать также отдельное устройство 23 определения положения, например в виде GSM-модуля. В данном варианте зарегистрированные данные изображения и позиционные данные передаются транспортным средством 2 в виде радиосигналов на устройство 3 обработки данных (не показано), где происходит автоматическая оценка данных с участием обучаемых искусственных нейросетей. Вместо этого данные могут также сначала храниться в запоминающем устройстве в транспортном средстве 2 и только после возвращения транспортного средства 2 на базовую станцию, на которой заряжаются также вторичные аккумуляторы транспортного средства 2, передаваться на устройство 3 обработки данных. При использовании достаточно большого беспилотного транспортного средства 2 также можно расположить устройство 3 обработки данных вместе с запоминающим устройством на самом транспортном средстве 2, так что оценка данных происходит тогда на транспортном средстве 2.In FIG. 2 schematically shows in perspective a fragment of a conveyor belt installation 1 with a special device for machine determination of the functional state of the carrier rollers 13 of the conveyor belt installation 1 during its operation in accordance with one particular embodiment of the invention. Shown here is only the upper branch of the conveyor belt 11 and the unmanned vehicle 2 device for machine determination of the functional state of the carrier rollers 13 of the conveyor belt installation 1. each station of carrier rollers, arranged in the form of a trapezoid resting on a short base, in which the long base is open. At each carrier roller station, one carrier roller 13 is horizontally positioned on a short base, while the remaining two carrier rollers form the sides of a trapezoid. The image data of the conveyor belt installation 1 is recorded by an unmanned vehicle 2, which in this case is designed as an autonomous drone in the form of a quadcopter. The vehicle 2 floats parallel to the transport direction (in or against the transport direction) next to the upper run of the conveyor belt installation 1. In addition to the unmanned vehicle 2, other unmanned vehicles can be provided that can follow, for example, behind the various sections of the conveyor belt installation 1. In its lower part, the vehicle 2 contains an image sensor system consisting of a thermal imaging sensor device 21 and a photo sensor device 22. Additionally, the sensor system contains inertial sensors and an electronic compass (not shown), which registers the orientation of the sensor devices in the form of information about the orientation (after pre-calibration). By means of the thermal imaging sensor device 21 and the photo image sensor device 22 oriented parallel to it, image data of the carrier rollers 13 of the conveyor belt system 1 are recorded. terrain and belt conveyor installation 1 and is determined by an unambiguous position; Together with the orientation information, a unique assignment of the carrier rollers 13 registered in the image data can thus be carried out. Instead, the vehicle 2 can also contain a separate position determination device 23, for example in the form of a GSM module. In this embodiment, the recorded image data and positional data are transmitted by the vehicle 2 as radio signals to the data processing device 3 (not shown), where automatic evaluation of the data takes place with the participation of trained artificial neural networks. Instead, the data can also first be stored in a storage device in the vehicle 2 and only after the vehicle 2 has returned to the base station, where the secondary batteries of the vehicle 2 are also charged, transferred to the data processing device 3 . When using a sufficiently large unmanned vehicle 2, it is also possible to locate the data processing device 3 together with the storage device on the vehicle 2 itself, so that the evaluation of the data then takes place on the vehicle 2.

Ниже описан компьютерный способ идентификации несущих роликов 13 с нарушенной функцией, который основан на способе машинного определения функционального состояния несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации. Этот способ может применяться, в частности, в описанных в связи с фиг. 1 и 2 ленточными конвейерными установками 1 соответственно с устройством для машинного определения функционального состояния несущих роликов 13. Отдельные этапы этого способа схематично изображены на фиг. 3.The following describes a computer method for identifying the carrier rollers 13 with impaired function, which is based on the method of machine determination of the functional state of the carrier rollers 13 of the belt conveyor installation 1 during its operation. This method can be applied, in particular, to those described in connection with FIG. 1 and 2 by belt conveyor installations 1, respectively, with a device for machine determination of the functional state of the carrier rollers 13. The individual steps of this method are schematically shown in FIG. 3.

В этом способе предусмотрено беспилотное транспортное средство 2 по меньшей мере с одной системой датчиков изображения, посредством которой ленточная конвейерная установка 1 контролируется по меньшей мере местами сенсорно в виде данных изображения, причем данные изображения по меньшей мере одного участка ленточной конвейерной установки 1 регистрируются в виде данных теплового изображения (этап 200). В зарегистрированных данных изображения ленточной конвейерной установки 1 автоматически определяется по меньшей мере одно положение области распознаваемого изображения (этап 300), в котором отображен по меньшей мере один участок несущего ролика 13. Для каждого выявленного положения области распознаваемого изображения из данных изображения автоматически устанавливается соответственно положение области анализируемого изображения в данных теплового изображения (этап 410). В каждом установленном положении области анализируемого изображения автоматически анализируются данные теплового изображения (этап 400), чтобы автоматически определить функциональное состояние несущих роликов 13.In this method, an unmanned vehicle 2 is provided with at least one image sensor system, by means of which the conveyor belt installation 1 is controlled at least in places sensory in the form of image data, the image data of at least one section of the conveyor belt installation 1 being recorded in the form of data thermal image (step 200). In the registered image data of the conveyor belt 1, at least one position of the recognition image area is automatically determined (step 300) in which at least one portion of the carrier roller 13 is displayed. analyzed image in thermal image data (step 410). At each set position of the analyzed image area, the thermal image data is automatically analyzed (step 400) to automatically determine the functional state of the carrier rollers 13.

При этом по меньшей мере одно беспилотное транспортное средство 2 по меньшей мере с одной системой датчиков изображения , включающей в себя тепловизионное сенсорное устройство 21 для регистрации данных теплового изображения, движется вдоль по меньшей мере одного участка ленточной конвейерной установки 1. С помощью системы датчиков изображения беспилотного транспортного средства 2, движущегося вдоль главной протяженности (направление транспортировки) ленточной конвейерной установки 1, местами регистрируются данные фотоизображения (этап 100) и данные теплового изображения (этап 200). Беспилотным транспортным средством 2 может быть автономное или дистанционно управляемое беспилотное транспортное средство. В качестве автономных беспилотных транспортных средств рассматриваются, в частности, также дроны или роботы. Такое транспортное средство 2 может быть выполнено, в принципе, в виде колейного или неколейного транспортного средства, в частности в виде наземного транспортного средства или в виде летательного аппарата (например, квадрокоптера).At the same time, at least one unmanned vehicle 2 with at least one image sensor system, including a thermal imaging sensor device 21 for recording thermal image data, moves along at least one section of the belt conveyor installation 1. Using the image sensor system of the unmanned of the vehicle 2 traveling along the main length (transport direction) of the belt conveyor 1, photo image data (step 100) and thermal image data (step 200) are locally recorded. The unmanned vehicle 2 may be an autonomous or remotely controlled unmanned vehicle. Drones or robots are also considered as autonomous unmanned vehicles. Such a vehicle 2 can, in principle, be designed as a tracked or non-tracked vehicle, in particular as a ground vehicle or as an aircraft (eg quadrocopter).

На этапе 100 с помощью системы датчиков изображения регистрируются данные фотоизображения по меньшей мере одного участка ленточной конвейерной установки 1, а на этапе 200 – данные теплового изображения. В зарегистрированных системой датчиков изображения этого транспортного средства 2 данных изображения полностью или частично отображены несущие ролики 13 участка ленточной конвейерной установки 1, в частности также опоры (подшипники качения) соответствующих несущих роликов 13. Данные фотоизображения и данные теплового изображения являются при этом статическими моноскопическими снимками, а именно цифровыми фотографиями и цифровыми тепловыми изображениями соответственно. Вместо этого могут использоваться также другие виды данных изображения, например соответствующие динамические изображения (подвижные изображения, видео), стереоскопические снимки и т.п.In step 100, photographic image data of at least one section of the conveyor belt 1 is recorded using an image sensor system, and in step 200, thermal image data. In the image data recorded by the image sensor system of this vehicle 2, the carrier rollers 13 of a section of the conveyor belt installation 1 are fully or partially displayed, in particular also the bearings (roller bearings) of the respective carrier rollers 13. The photographic image data and the thermal image data are in this case static monoscopic images, namely, digital photographs and digital thermal images, respectively. Instead, other kinds of image data can also be used, such as corresponding moving images (moving images, videos), stereoscopic pictures, and the like.

Данные фотоизображения содержат здесь, помимо информации об изображении с пространственным разрешением, также точное положение (пространственное положение), в котором производилась съемка (а именно, в виде положения транспортного средства 2), а также информацию об ориентации, при каковой ориентации фотосенсорного устройства 22 производилась съемка (в качестве альтернативы или дополнительно соответствующая информация может содержаться также в данных теплового изображения). Эта дополнительная информация дополнительно к данным точек изображения (пиксельным данным) хранится в соответствующих файлах в виде метаданных. Вместо этого такая информация может, разумеется, храниться и передаваться также отдельно от данных изображения, пока она может быть однозначно привязана к соответствующим данным изображения, например посредством общего штампа времени. Положение определяется посредством устройства 23 определения положения, которое расположено на самом транспортном средстве 2 или же в устройстве 3 обработки данных. В данном случае устройством 23 определения положения является устройство для определения положения на основе радио, а именно для спутникового определения положения посредством GPS. Вместо этого могут применяться и другие устройства и способы определения положения, например определение положения на основе оптического распознавания окружения, например путем сравнения данных изображения с предварительно составленной трехмерной моделью местности, например в виде трехмерного облака точек, которое отображает также соответствующий участок ленточной конвейерной установки 1.The photographic image data here contains, in addition to image information with spatial resolution, also the exact position (spatial position) in which the picture was taken (namely, in the form of the position of the vehicle 2), as well as orientation information in which orientation of the photosensor device 22 was taken. shooting (alternatively or additionally, relevant information may also be contained in the thermal image data). This additional information, in addition to image point data (pixel data), is stored in the respective files as metadata. Instead, such information can, of course, also be stored and transmitted separately from the image data, as long as it can be unambiguously linked to the corresponding image data, for example by means of a common timestamp. The position is determined by means of a position determination device 23 which is located on the vehicle 2 itself or in the data processing device 3 . In this case, the positioning device 23 is a radio-based positioning device, namely satellite positioning by means of GPS. Instead, other positioning devices and methods can be used, for example positioning based on optical recognition of the environment, for example by comparing image data with a previously compiled three-dimensional terrain model, for example in the form of a three-dimensional point cloud, which also displays the corresponding section of the conveyor belt installation 1.

Данные изображения во время съемки или после нее подвергаются промежуточному хранению, а затем, например непосредственно после этого, передаются в твердые интервалы времени или после возвращения транспортного средства 2 на базовую станцию на устройство 3 обработки данных. В нем данные автоматически обрабатываются и вместе с результатами такой обработки данных записываются в виде целевых данных, например в виде баз данных. Полученные, таким образом, целевые данные через интерактивный коммуникационный интерфейс предоставляются пользователям, например сотрудникам эксплуатанта, сервисному персоналу, техникам и т.п.The image data is stored temporarily during or after the shooting and then, for example immediately afterwards, is transmitted at fixed time intervals or after the vehicle 2 returns to the base station to the data processing device 3 . In it, the data is automatically processed and, together with the results of such data processing, are recorded in the form of target data, for example in the form of databases. The target data thus obtained is made available to users, such as employees of the operator, service personnel, technicians, and the like, via an interactive communication interface.

На этапе 300 в зарегистрированных данных изображения ленточной конвейерной установки 1 автоматически распознаются области данных изображения, в которых отображен по меньшей мере один участок несущего ролика 13. Этот этап включает в себя автоматическое создание распознанных областей данных изображения в виде положения области распознаваемого изображения (этап 330), а также улучшение качества автоматического распознавания (этап 310). В конце этапа 300 положение соответственно распознанной области данных изображения автоматически создается в виде положения области распознаваемого изображения соответствующего несущего ролика 13 (этап 330).In step 300, areas of image data in which at least one portion of the carrier roller 13 is displayed are automatically recognized in the registered image data of the belt conveyor 1. This step includes automatically generating the recognized areas of image data as the position of the area of the recognized image (step 330) , as well as improving the quality of automatic recognition (step 310). At the end of step 300, the position of the respectively recognized image data area is automatically generated as the position of the recognized image area of the corresponding carrier roller 13 (step 330).

В данном случае данными изображения являются данные фотоизображения, а областями данных изображения – области данных фотоизображения. Следовательно, в данных фотоизображения автоматически распознаются области данных фотоизображения, в которых отображен по меньшей мере один распознаваемый объект (этап 320). В распознанных, таким образом, областях данных фотоизображения среди распознаваемых объектов автоматически распознаются несущие ролики 13 или их участки. Следовательно, происходят детектирование и идентификация объектов, в частности несущих роликов 13 и соответствующих опор (подшипников качения) на основе этих данных фотоизображения. Для каждого распознанного несущего ролика 13 и для каждого распознанного участка несущего ролика 13 для дальнейшей обработки создается в виде положения области распознаваемого изображения (положение и класс объекта) положение области данных фотоизображения, в которой отображен несущий ролик 13 или участок несущего ролика 13 (этап 330).In this case, the image data is photo image data, and the image data areas are photo image data areas. Therefore, areas of the photo image data in which at least one recognizable object is displayed are automatically recognized in the photo image data (step 320). In the areas of photo image data thus recognized, carrier rollers 13 or portions thereof are automatically recognized among the objects to be recognized. Therefore, detection and identification of objects, in particular the carrier rollers 13 and the corresponding bearings (rolling bearings), takes place based on these photographic image data. For each recognized carrier roller 13 and for each recognized portion of the carrier roller 13, for further processing, the position of the area of the photo image data in which the carrier roller 13 or portion of the carrier roller 13 is displayed is created as the position of the recognition image area (position and object class) (step 330) .

Автоматическое распознавание областей данных изображения (этап 320) представляет собой в пределах этапа 300 центральный процесс. В данном случае автоматическое распознавание областей данных изображения (этап 320) основан на алгоритме машинного обучения. Качество распознавания при автоматическом определении положения области распознаваемого изображения в зарегистрированных данных фотоизображения, в частности качество автоматического распознавания областей данных фотоизображения, в которых отображен по меньшей мере один распознаваемый объект (прежде всего по меньшей мере один участок несущего ролика 13), и/или качество автоматического распознавания несущих роликов 13 или участков несущих роликов 13 в распознанных областях данных фотоизображения улучшается с помощью метода обучения (этап 310), осуществляемого посредством искусственной нейросети на основе тренировочных данных (тренировочных изображений), например данных фотоизображения, в которых с помощью положения и обозначения объекта вручную маркируются такие области изображения, в которых отображены обучаемые объекты, в частности несущие ролики 13 или участки несущих роликов 13. С помощью тренировочных данных улучшается, в том числе, качество распознавания при классификации. Кроме того, в тренировочных данных могут быть маркированы также другие, характерные для ленточной конвейерной установки 1 объекты, например участки элементов каркаса, конвейерной ленты 11 и т.п. В этом случае тренировочные данные содержат тогда дополнительно в качестве идентификатора привязанный к распознанному объекту и верифицированный класс. У искусственной нейросети речь здесь идет о многоступенчатой сверточной нейросети (CNN), которая состоит из двух CNN-модулей. При этом первый CNN-модуль служит для просмотра областей данных изображения в данных фотоизображения, в которых могли бы находиться различные объекты. Результат этого просмотра передается затем на второй CNN-модуль, чтобы в идентифицированных, таким образом, потенциально релевантных областях данных изображения осуществить основанную на объекте классификацию. Результат этой классификации данных фотоизображения дает привязанный к распознанному объекту класс (название объекта, например «несущий ролик», «опора», «стальной кабель» и т.п.), которому присвоено значение вероятности от 0 до 1. Класс объекта с наивысшим значением вероятности представляет собой при этом результат этой оценки. Оценка изображения дает далее соответствующее положение классифицированного объекта в пределах данных изображения. В данном случае положение такого объекта определяется четырьмя цифрами, а именно двумя парами координат х/у, которые соответствуют положениям точек в изображении. Обе относящиеся к положениям точек точки в данных фотоизображения образуют в виде противоположных кромок прямоугольной рамки выбора прямоугольник, в который объект вписан в центральном положении. В зависимости от исследованных данных фотоизображения на одном снимке могут быть идентифицированы одновременно также несколько объектов.Automatic recognition of areas of image data (step 320) is a central process within step 300. In this case, automatic recognition of areas of image data (step 320) is based on a machine learning algorithm. Recognition quality in automatically detecting the position of a recognizable image area in the registered photo image data, in particular the quality of automatically recognizing areas of photo image data in which at least one recognizable object (especially at least one section of the carrier roller 13) is displayed, and/or quality of automatic The recognition of the carrier rollers 13 or portions of the carrier rollers 13 in the recognized areas of the photo image data is improved by the training method (step 310) performed by the artificial neural network based on the training data (training images), such as the photo image data, in which the position and designation of the object is manually areas of the image are marked in which the training objects are displayed, in particular the carrier rollers 13 or portions of the carrier rollers 13. With the help of training data, among other things, the quality of recognition during classification is improved. In addition, other objects specific to the conveyor belt installation 1 can also be marked in the training data, such as sections of frame elements, conveyor belt 11, etc. In this case, the training data then additionally contains, as an identifier, the class associated with the recognized object and verified. For an artificial neural network, we are talking about a multi-stage convolutional neural network (CNN), which consists of two CNN modules. In this case, the first CNN module is used to view areas of image data in the photo image data, in which various objects could be located. The result of this scan is then transmitted to the second CNN module in order to perform an object-based classification in the thus identified potentially relevant areas of the image data. The result of this classification of photo image data is the class associated with the recognized object (name of the object, such as "carrier roller", "support", "steel cable", etc.), which is assigned a probability value from 0 to 1. The object class with the highest value probability is the result of this evaluation. The image evaluation then gives the corresponding position of the classified object within the image data. In this case, the position of such an object is determined by four digits, namely two pairs of x/y coordinates, which correspond to the positions of points in the image. The two dot position-related dots in the photo image data form, as opposite edges of the rectangular selection box, a rectangle in which the object is inscribed at the center position. Depending on the studied data of the photographic image, several objects can also be identified simultaneously in one image.

Данные изображения ленточной конвейерной установки 1 привязываются соответственно к положению в ней. Дополнительно или вместо этого для установленных положений области анализируемого изображения данные теплового изображения или оценочная информация привязываются к индивидуальному несущему ролику 13 ленточной конвейерной установки 1. Привязка осуществляется, в частности, посредством определения положения на основе радио, сравнения зарегистрированных данных изображения с данными сравнительного изображения, регистрации пройденного беспилотным транспортным средством 2 пути и/или регистрации ориентации системы датчиков изображения. Такая привязка может происходить в любой момент времени осуществления способа, прежде чем произойдет сравнение с историческими данными. Для этого сначала замеряется ленточная конвейерная установка 1, и устанавливается точное положение (положение GPS) каждого отдельного несущего ролика 13. Для особенно надежного анализа можно создать также трехмерную цифровую модель ленточной конвейерной установки 1 (она может служить к тому же для интуитивно регистрируемого отображения полученной информации). Каждый фотоснимок и снимок теплового изображения содержит тогда в качестве метаданных положение транспортного средства 2 (в виде координат GPS), а также информацию об ориентации сенсорных устройств при регистрации данных (например, посредством внутреннего электронного компаса, инерциального измерительного блока или индикации угла поворота руки робота), так что возможна привязка идентифицированных объектов из распознавания изображения (этап 320) к определенному несущему ролику 13 ленточной конвейерной установки 1. Чтобы обеспечить точную привязку, здесь был выбран GPS-модуль, который обеспечивает определение положения на основе дифференциального GPS с разрешением в сантиметровом диапазоне. В качестве альтернативы положение может быть определено также оптически посредством сравнения изображений. При этом актуальный (двухмерный) фотоснимок (сделанный моноскопической камерой) или облако точек (3D-облако точек, созданное стереоскопической камерой, подвижной моноскопической камерой, сканирующим лазером, лидаром, радаром и т.п.) сравнивается с локально известными двухмерными фотоснимками или геореференцированным облаком точек. Кроме того, возможно также определение положения в близких радиополях, например посредством RFID-транспондеров, которые расположены на станциях соответствующих несущих роликов 13 и считываются соответствующим считывающим устройством в транспортном средстве 2. Определение положения основанными на радио способами происходит при этом в момент времени регистрации данных изображения, а сравнение данных изображения на основе зарегистрированных данных изображения может осуществляться также в более поздний момент времени. В данном случае определение положения посредством GPS происходит одновременно на этапе 100 и/или 200, так что информация о месте сохраняется вместе с данными изображения и данными об ориентации, а привязка к конкретным несущим роликам 13 происходит тогда после автоматического распознавания областей данных изображения (этап 320).The image data of the conveyor belt installation 1 is assigned to a position in it, respectively. Additionally or instead of this, for the set positions of the analyzed image area, the thermal image data or evaluation information is linked to the individual carrier roller 13 of the conveyor belt unit 1. the path traveled by the unmanned vehicle 2 and/or registering the orientation of the image sensor system. Such linking can occur at any time during the implementation of the method before a comparison with historical data occurs. To do this, the conveyor belt installation 1 is first measured and the exact position (GPS position) of each individual carrier roller 13 is determined. For a particularly reliable analysis, it is also possible to create a three-dimensional digital model of the conveyor belt installation 1 (it can also serve as an intuitively registered display of the obtained information). ). Each photograph and thermal image then contains, as metadata, the position of the vehicle 2 (in the form of GPS coordinates) as well as information about the orientation of the sensor devices during data logging (for example, via internal electronic compass, inertial measuring unit or indication of the angle of rotation of the robot arm) , so that it is possible to link the identified objects from the image recognition (step 320) to a specific carrier roller 13 of the conveyor belt unit 1. In order to ensure accurate referencing, a GPS module has been selected here that provides differential GPS positioning with centimeter resolution. Alternatively, the position can also be determined optically by comparing images. In this case, the current (2D) photograph (taken by a monoscopic camera) or point cloud (3D point cloud created by a stereoscopic camera, a moving monoscopic camera, a scanning laser, lidar, radar, etc.) is compared with locally known 2D photographs or a georeferenced cloud points. In addition, it is also possible to determine the position in close radio fields, for example by means of RFID transponders, which are located at the stations of the respective carrier rollers 13 and are read by the corresponding reader in the vehicle 2. The position determination by radio-based methods occurs in this case at the time of recording the image data , and comparison of image data based on the registered image data can also be performed at a later point in time. In this case, position determination by GPS takes place simultaneously in step 100 and/or 200, so that the location information is stored together with image data and orientation data, and the assignment to specific carrier rollers 13 then occurs after automatic recognition of image data areas (step 320 ).

На этапе 410 для каждого выявленного и созданного положения области распознаваемого изображения несущего ролика 13 из данных изображения автоматически устанавливается соответственно положение области анализируемого изображения несущего ролика 13 в данных теплового изображения, которое пространственно корреспондирует с соответствующим положение области распознаваемого изображения из данных изображения. При последующем автоматическом анализе данных теплового изображения (этап 400) только для данных теплового изображения в положениях области анализируемого изображения определяются соответствующие температурные данные несущих роликов 13 и подвергаются анализу (термическому анализу), чтобы затем привязать к несущим роликам 13 и их опорам соответствующее функциональное состояние (состояние износа). Поскольку тепловизионное сенсорное устройство 21 и фотосенсорное устройство 22 отстоят на небольшое расстояние друг от друга, по отношению к транспортному средству 2 жестко ориентированы в одном и том же направлении, и оба сенсорных устройства регистрируют данные изображения приблизительно одновременно, информация из описанного выше детектирования объекта в фотоданных (этап 300) переносится на данные теплового изображения (вследствие известного сдвига между обоими сенсорными устройствами рассчитывается сдвиг). Если объект был распознан и обозначен в фотоданных как несущий ролик 13, то на этапе 410 прямоугольная рамка выбора, заключающая в фотоданных несущий ролик 13, устанавливается в данных теплового изображения как положение области анализируемого изображения и потому маркируется также в тепловом изображении. Последующий термический анализ ограничивается тогда данными теплового изображения в пределах этой выбранной области анализируемого изображения.In step 410, for each detected and generated position of the recognizable image area of the carrier roller 13 from the image data, the position of the analyzed image area of the carrier roller 13 in the thermal image data is automatically set accordingly, which spatially corresponds to the corresponding position of the recognizable image area from the image data. In the subsequent automatic analysis of the thermal image data (step 400), only for the thermal image data at the positions of the area of the analyzed image, the corresponding temperature data of the carrier rollers 13 are determined and analyzed (thermal analysis) in order to then assign to the carrier rollers 13 and their supports the corresponding functional state ( wear condition). Since the thermal imaging sensor device 21 and the photosensor device 22 are a short distance apart, are rigidly oriented in the same direction with respect to the vehicle 2, and both sensor devices acquire image data approximately at the same time, the information from the above-described object detection in the photo data (step 300) is transferred to the thermal image data (due to the known shift between both sensor devices, the shift is calculated). If the object has been recognized and designated in the photo data as the carrier roller 13, then in step 410, the rectangular selection box enclosing the carrier roller 13 in the photo data is set in the thermal image data as the position of the area of the analyzed image and is therefore also marked in the thermal image. The subsequent thermal analysis is then limited to thermal image data within this selected region of the analyzed image.

На этапе 400 в установленном положении области анализируемого изображения несущего ролика 13 автоматически анализируются выбранные данные теплового изображения. Для этого сначала в установленных положениях области анализируемого изображения из данных теплового изображения автоматически определяются температурные данные соответствующего несущего ролика 13 (этап 420). Выявленные в области анализируемого изображения температурные данные автоматически привязываются затем к функциональному состоянию соответствующих несущих роликов 13 (этап 430). Этап 400 включает в себя, следовательно, автоматическое определение температурных данных (этап 420) и автоматическую привязку температурных данных в функциональному состоянию (этап 430), но не автоматическое установление положения области анализируемого изображения (этап 410 – однако было бы возможным осуществление способа, при котором автоматическое установление положения области анализируемого изображения является частью автоматического анализа данных теплового изображения).In step 400, at the position of the analyzed image area of the carrier roller 13, the selected thermal image data is automatically analyzed. To do this, first, at the set positions of the area of the analyzed image, the temperature data of the corresponding carrier roller 13 is automatically determined from the thermal image data (step 420). The temperature data detected in the area of the analyzed image is then automatically linked to the functional state of the respective carrier rollers 13 (step 430). Step 400 therefore includes automatically detecting temperature data (step 420) and automatically linking temperature data to a functional state (step 430), but not automatically positioning the area of the analyzed image (step 410 - however, it would be possible to implement a method in which automatic determination of the position of the area of the analyzed image is part of the automatic analysis of thermal image data).

На этапе 420 в каждом установленном положении области анализируемого изображения автоматически анализируются данные теплового изображения. Для этого на этом этапе сначала в установленных положениях области анализируемого изображения автоматически выбираются данные теплового изображения, являющиеся данными теплового изображения несущих роликов 13. Затем выбранные таким образом тепловые данные автоматически анализируются в установленных положениях области анализируемого изображения.In step 420, at each set position of the analyzed image area, thermal image data is automatically analyzed. To this end, in this step, first, at the set positions of the analysis image area, the thermal image data being the thermal image data of the carrier rollers 13 is automatically selected. Then, the thus selected thermal data is automatically analyzed at the set positions of the analysis image area.

Чтобы гарантировать проведение термического анализа на несущем ролике 13 и его опорах, а не на других объектах, например конвейерной ленте 11 или на стальных кабелях, которые также могут находиться в установленной в качестве области анализируемого изображения прямоугольной рамке выбора, в пределах положения области анализируемого изображения двумя разными способами выбора определяются подобласти. За счет этого можно поддерживать область объекта для последующего собственно анализа данных как можно меньшей. Для этого в пределах установленных положений области анализируемого изображения автоматически выбираются участки данных теплового изображения, где данные теплового изображения расположены круговыми или близкими к круговым контурами. Дополнительно в пределах установленных положений области анализируемого изображения автоматически выбираются участки данных теплового изображения, где данные теплового изображения соответствуют температурам того же температурного уровня. Поэтому в первом способе выбора рамка выбора исследуется на круговые контуры. Область для исследования опоры несущего ролика 13 определяется тогда как средний из всех круговых контуров, которые, следовательно, отбираются. Во втором способе выбора на основе распределения температуры в рамке выбора отбираются несколько областей с одинаковым температурным уровнем (термин «температурный уровень» включает в себя определенный температурный диапазон, ширина которого выбирается в соответствии с конкретными условиями эксплуатации ленточной конвейерной установки 1). Для комбинации обоих способов выбора в пределах каждого положения области анализируемого изображения положения участков, отобранных в первом способе выбора, сравниваются с положениями участков, отобранных во втором способе выбора. Участок, данные теплового изображения которого подвергаются последующему собственно термическому анализу, возникает в качестве общего пересечения множеств (площадь сечения) участков, отобранных в обоих способах выбора. Комбинация обоих способов выбора обеспечивает особенно высокую надежность того, что автоматически выбранные данные теплового изображения являются действительно репрезентативными для несущих роликов 13 и их опор. Дополнительно качество распознавания при автоматическом выборе данных теплового изображения, являющихся данными теплового изображения несущих роликов 13, в частности при автоматическом выборе данных теплового изображения, лежащих на таких участках в пределах установленных положений области анализируемого изображения, в которых данные теплового изображения расположены круговыми или близкими к круговым контурами и/или в которых данные теплового изображения соответствуют температурам такого же температурного уровня, улучшается с помощью осуществляемого посредством искусственной нейросети метода обучения, а именно посредством многоступенчатой сверточной нейросети (CNN), содержащей два CNN-модуля.To ensure that thermal analysis is carried out on the carrier roller 13 and its supports, and not on other objects, such as a conveyor belt 11 or on steel cables, which can also be located in a rectangular selection box set as the analyzed image area, within the position of the analyzed image area by two subdomains are defined in different ways of selection. In this way, it is possible to keep the area of the object for subsequent actual data analysis as small as possible. To do this, within the specified positions of the area of the analyzed image, areas of thermal image data are automatically selected, where the thermal image data are located in circular or close to circular contours. Additionally, within the set positions of the area of the analyzed image, areas of thermal image data are automatically selected where the thermal image data corresponds to temperatures of the same temperature level. Therefore, in the first selection method, the selection frame is examined for circular contours. The area for examination of the bearing roller support 13 is then determined as the average of all circular contours, which are therefore selected. In the second selection method, based on the temperature distribution in the selection frame, several areas with the same temperature level are selected (the term "temperature level" includes a certain temperature range, the width of which is selected according to the specific operating conditions of the belt conveyor 1). For a combination of both selection methods within each position of the area of the analyzed image, the positions of the sections selected in the first selection method are compared with the positions of the sections selected in the second selection method. The area whose thermal image data is subjected to the subsequent thermal analysis itself arises as a common intersection of the sets (sectional area) of the areas selected in both selection methods. The combination of both selection methods provides a particularly high certainty that the automatically selected thermal image data is truly representative of the carrier rollers 13 and their supports. Further, the recognition quality in automatically selecting thermal image data being thermal image data of the carrier rollers 13, in particular, in automatically selecting thermal image data lying in such areas within the set positions of the analyzed image area, in which the thermal image data is located circular or close to circular contours and/or in which thermal image data correspond to temperatures of the same temperature level is improved by an artificial neural network learning method, namely a multi-stage convolutional neural network (CNN) containing two CNN modules.

На этапе 430 выявленные из положения области анализируемого изображения температурные данные автоматически привязываются к функциональному состоянию несущего ролика 13 за счет того, что выявленные температурные данные соответствующего несущего ролика 13 либо автоматически классифицируются как функциональное состояние из большого числа предварительно установленных функциональных состояний, либо автоматически привязываются к функциональному состоянию в рамках кластерного анализа, в частности в рамках многовариантного кластерного анализа. При этом дополнительно качество распознавания при автоматическом определении функционального состояния несущих роликов 13, в частности классификация данных теплового изображения, улучшается с помощью метода обучения, осуществляемого посредством искусственной нейросети. При этом в выбранных областях выделяются характеристические признаки температуры, например максимальная температура, минимальная температура, среднее значение температуры, медиана температуры, а также характеристические признаки распределения температуры (например, его ширина, симметрия или возможные «горячие точки»). Автоматическая привязка к функциональному состоянию на этапе 430 происходит посредством многовариантного алгоритма кластеризации, посредством которого совокупность характеристических признаков каждого несущего ролика 13 и его опор привязывается соответственно к одному из нескольких состояний износа. В данном случае – это привязка к: «требуется замена», «замена требуется в скором времени», «замена еще не предвидится». Этот алгоритм кластеризации непрерывно тренируется, для чего в качестве тренировочных данных вводится соответственно верифицированная информация о фактическом функциональном состоянии несущих роликов 13, как ее получают, например, после ручного контроля в рамках инспекции или обслуживания для верификации функционального состояния.At step 430, the temperature data detected from the position of the area of the analyzed image is automatically linked to the functional state of the carrier roller 13 due to the fact that the detected temperature data of the corresponding carrier roller 13 is either automatically classified as a functional state from a large number of preset functional states, or automatically linked to the functional state. state within the framework of cluster analysis, in particular within the framework of multivariate cluster analysis. In addition, the quality of recognition in the automatic determination of the functional state of the carrier rollers 13, in particular the classification of thermal image data, is improved using a learning method carried out by means of an artificial neural network. In this case, in the selected areas, characteristic features of temperature are highlighted, for example, maximum temperature, minimum temperature, average temperature value, median temperature, as well as characteristic features of the temperature distribution (for example, its width, symmetry, or possible “hot spots”). Automatic linking to functional state at step 430 occurs through a multivariate clustering algorithm, whereby the set of characteristic features of each carrier roller 13 and its bearings is linked, respectively, to one of several wear states. In this case, it is a binding to: “replacement is required”, “replacement is required soon”, “replacement is not yet expected”. This clustering algorithm is continuously trained, for which appropriately verified information about the actual functional state of the carrier rollers 13 is entered as training data, as it is obtained, for example, after manual control in the scope of inspection or maintenance to verify the functional state.

Регистрация данных изображения и их анализ, т.е. способ машинного определения функционального состояния несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации (этапы 100-400), проводится в равные промежутки времени. При этом для каждого несущего ролика 13 в хранилище данных о функциональных состояниях, в частности в базу данных о функциональных состояниях (не показано), записываются функциональное состояние, данные изображения и выявленные температурные данные. В этом хранилище данных о функциональных состояниях каждый несущий ролик 13 ленточной конвейерной установки 1 регистрируется в его точном GPS-положении и с соответствующей спецификацией; она включает в себя, например, для несущего ролика 13 его размер, материал, изготовителя, типовой номер, дату монтажа и т.п. Для каждого несущего ролика 13 в каждом цикле распознавания сохраняются также пути хранения соответствующих данных изображения (в виде исходных данных и обработанных данных после обработки), а также результаты анализа со штампом времени. Сохраненные результаты анализа включают в себя, помимо положения (несущий ролик 13 и его опоры) и температурных данных, таких как максимальная температура, минимальная температура, среднее значение температуры, медиана температуры и распределение температуры, также выявленные функциональные состояния (в виде классов состояния износа). Кроме того, для каждого несущего ролика 13 может сохраняться также дополнительная информация, такая как предельные значения температуры (например, 80°С для предстоящей в обозримом времени замены и 90°С для непосредственно требуемой замены), предстоящие процессы обслуживания и т.п.Image data acquisition and analysis, i.e. the method of machine determination of the functional state of the carrier rollers 13 of the belt conveyor installation 1 during its operation (steps 100-400) is carried out at regular intervals. Meanwhile, for each carrier roller 13, the functional state data store, in particular the functional state database (not shown), records the functional state, image data, and detected temperature data. In this functional state data store, each carrier roller 13 of the conveyor belt installation 1 is recorded in its exact GPS position and with the corresponding specification; it includes, for example, for the carrier roller 13 its size, material, manufacturer, type number, installation date, etc. For each carrier roller 13, in each recognition cycle, the storage paths of the corresponding image data (in the form of original data and processed data after processing) as well as the analysis results with a time stamp are also stored. The saved analysis results include, in addition to position (carrier roller 13 and its bearings) and temperature data such as maximum temperature, minimum temperature, temperature average, temperature median and temperature distribution, also detected functional states (in the form of wear condition classes) . Additionally, for each carrier roller 13, additional information such as temperature limits (e.g., 80°C for a forthcoming replacement and 90°C for an immediately required replacement), upcoming maintenance processes, and the like can also be stored.

Через интерактивный коммуникационный интерфейс (локальный пользовательский интерфейс, например локально установленные компьютерные программы или мобильные или на веб-основе прикладные программы или приложения) можно получить доступ к данным, сохраненным в хранилище данных о функциональных состояниях, и запросить эти данные, например, чтобы визуализировать соответствующую информацию. Таким образом, в частности, также сервисные специалисты или техники могут отображать для себя отметки и перечни всех требующих обслуживания несущих роликов 13 и их GPS-положение или во время инспекции и обслуживания несущих роликов 13 интерактивно добавлять в целях документирования соответствующие фото и комментарии, например ручную оценку состояния износа или перечень конкретно выполненных работ по обслуживанию и действий по замене. Эта информация сохраняется затем со штампом времени в базе данных и может использоваться, чтобы улучшить качество классификации в рамках процесса машинного обучения. Далее с помощью хранилища данных о функциональных состояниях можно отображать также точные положения несущих роликов 13 на карте, основанной на имеющемся в распоряжении карточном материале, спутниковых снимках или трехмерной цифровой модели ленточной конвейерной установки 1. При этом пользователь может интерактивно выбрать на карте отдельные несущие ролики 13, чтобы увидеть дополнительную информацию о них. Дополнительно на обзорной диаграмме могут быть представлены актуальные функциональные состояния/состояния износа, а также выбранные температурные признаки всех несущих роликов 13. Данные о несущих роликах 13 могут запрашиваться также в виде перечня, причем также в этом представлении могут интерактивно выбираться индивидуальные несущие ролики 13, может считываться информация о них, и могут сохраняться комментарии по отдельным несущим роликам 13, причем могут быть представлены температурный профиль соответствующего несущего ролика 13 или данные его теплового изображения, и могут быть отображены фотоданные, а также временнáя характеристика исторических значений, включая все изменения.Via an interactive communication interface (local user interface, such as locally installed computer programs or mobile or web-based applications or applications), data stored in the functional state data store can be accessed and this data can be queried, for example, to visualize the corresponding information. In this way, in particular, also service specialists or technicians can display for themselves marks and lists of all carrier rollers 13 requiring maintenance and their GPS position, or interactively add appropriate photos and comments for documentation purposes during the inspection and maintenance of carrier rollers 13, for example, manual an assessment of the state of wear or a list of specifically performed maintenance work and replacement actions. This information is then stored with a timestamp in the database and can be used to improve the quality of the classification as part of the machine learning process. Furthermore, the exact positions of the carrier rollers 13 can also be displayed on a map based on available map material, satellite images or a three-dimensional digital model of the conveyor belt system 1 using the functional state data store. The user can interactively select individual carrier rollers 13 on the map. to see more information about them. In addition, the overview diagram can show the current functional/wear states as well as the selected temperature characteristics of all carrier rollers 13. Data on the carrier rollers 13 can also be queried in the form of a list, whereby individual carrier rollers 13 can also be selected interactively in this view. information about them can be read and comments can be stored on the individual carrier rollers 13, and the temperature profile of the respective carrier roller 13 or its thermal image data can be presented, and photographic data can be displayed, as well as the time characteristic of historical values, including all changes.

Изображенный на фиг. 3 способ идентификации функционально-нарушенных несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации включает в себя дополнительно к вышеописанному способу машинного определения функционального состояния несущих роликов 13 также выявление несущих роликов 13 с нарушенной функцией посредством сравнения функционального состояния и температурных данных с историческими данными из базы данных о функциональных состояниях (этап 500). На основе этого сравнения определяется момент времени замены соответствующего несущего ролика 13 (этап 600). В связи с таким профилактическим обслуживанием можно, следовательно, описанным способом при повторном проведении инспекционных мероприятий в короткие интервалы без дополнительных затрат на персонал контролировать функциональные состояния всех несущих роликов 13 и заранее идентифицировать критические несущие ролики 13. Кроме того, временнóе развитие тепловых признаков можно анализировать посредством экстраполяции или регрессионного анализа (этап 500), так что может быть дан прогноз предполагаемого оставшегося срока службы несущего ролика 13 и рекомендован оптимальный момент времени для проведения работ по обслуживанию (этап 600). Выявленные для соответствующих несущих роликов 13 моменты времени подаются на коммуникационный интерфейс, например в виде отображения на экране дисплея, в виде автоматически составленной календарной записи в программу администрирования сроков, в виде автономного заказа несущих роликов или расходного материала у изготовителя или продавца или – в случае обязательно требующейся срочной замены – также в виде предупредительного сигнала, при необходимости, связанного с вмешательством посредством техники регулирования для остановки ленточной конвейерной установки 1, чтобы избежать возможного косвенного ущерба, который может возникнуть, например, у конвейерной ленты 11.Shown in FIG. 3, the method for identifying functionally impaired carrier rollers 13 of a belt conveyor installation 1 during its operation includes, in addition to the above-described method of machine determination of the functional state of carrier rollers 13, also the identification of carrier rollers 13 with impaired function by comparing the functional state and temperature data with historical data from functional state databases (step 500). Based on this comparison, the replacement time of the respective carrier roller 13 is determined (step 600). In connection with such preventive maintenance, it is therefore possible, in the manner described, by carrying out repeated inspection measures at short intervals without additional personnel costs, to monitor the functional states of all carrier rollers 13 and to identify critical carrier rollers 13 in advance. extrapolation or regression analysis (step 500) so that a forecast of the estimated remaining life of the carrier roller 13 can be given and an optimal point in time for maintenance work to be recommended (step 600). The points of time detected for the respective carrier rollers 13 are fed to the communication interface, for example as a display on a display screen, as an automatically generated calendar entry in the time management program, as an offline order of carrier rollers or consumables from the manufacturer or retailer, or - in the case of mandatory an urgent replacement required – also as a warning signal, if necessary linked to an intervention by means of control technology to stop the conveyor belt installation 1 in order to avoid possible indirect damage that could occur, for example, to the conveyor belt 11.

Вышеописанный способ машинного определения функционального состояния несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации и, в частности, также вышеописанный способ идентификации поврежденных несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации реализованы соответственно в виде компьютерной программы. Эта компьютерная программа записана на машиночитаемом носителе данных (носителе данных, считываемом компьютером, машиночитаемой среде хранения данных/среде, считываемой компьютером среде хранения данных).The above-described method of machine determination of the functional state of the carrier rollers 13 of the conveyor belt installation 1 during its operation and, in particular, also the above-described method of identifying damaged carrier rollers 13 of the conveyor belt installation 1 during its operation, respectively, are implemented in the form of a computer program. This computer program is recorded on a computer-readable storage medium (computer-readable storage medium/computer-readable storage medium).

Перечень ссылочных позицийList of reference positions

1 – ленточная конвейерная установка1 - belt conveyor installation

11 – конвейерная лента11 - conveyor belt

12 – поворотный валик12 - rotary roller

13 – несущий ролик13 - carrier roller

2 – беспилотное транспортное средство2 - unmanned vehicle

21 – тепловизионное сенсорное устройство21 - thermal imaging sensor device

22 – фотосенсорное устройство22 - photosensor device

23 – устройство определения положения23 - position determination device

24 – модуль передачи данных24 - data transmission module

3 – устройство обработки данных3 - data processing device

31 – модуль определения области изображения31 - module for determining the image area

32 – модуль распознавания области изображения32 - image area recognition module

33 – интерфейсный модуль33 - interface module

34 – модуль установления области изображения34 - image area setting module

35 – модуль определения состояния35 - status detection module

36 – модуль анализа36 - analysis module

37 – модуль привязки37 - binding module

38 – модуль передачи данных38 - data transmission module

100 – регистрация фотоданных100 - registration of photo data

200 – регистрация данных теплового изображения200 - thermal image data logging

300 – автоматическое определение по меньшей мере одного положения области распознаваемого изображения300 - automatic detection of at least one position of the area of the recognized image

310 – улучшение качества автоматического распознавания310 - improving the quality of automatic recognition

320 – автоматическое распознавание областей данных изображения320 - automatic recognition of image data areas

330 – автоматическая подготовка распознанных областей данных изображения в виде положения области распознаваемого изображения330 - automatic preparation of recognized areas of image data as the position of the area of the recognized image

400 – автоматический анализ данных теплового изображения400 - automatic analysis of thermal image data

410 – автоматическое установление положения области анализируемого изображения410 - automatic determination of the position of the area of the analyzed image

420 – автоматическое определение температурных данных420 - automatic detection of temperature data

430 – автоматическая привязка к функциональному состоянию430 - automatic binding to the functional state

500 – сравнение с историческими данными из базы данных о функциональных состояниях500 - comparison with historical data from the functional state database

600 – определения момента времени замены.600 - determination of the time of replacement.

Claims (27)

1. Способ машинного определения функционального состояния несущих роликов (13) ленточной конвейерной установки (1) во время ее эксплуатации, включающий обеспечение наличия по меньшей мере одного беспилотного транспортного средства (2), содержащего по меньшей мере одну систему датчиков изображения, посредством которой контролируют по меньшей мере одну секцию ленточной конвейерной установки в виде данных изображения, причем данные изображения по меньшей мере одного участка ленточной конвейерной установки (1) регистрируют как данные теплового изображения, при этом в зарегистрированных данных изображения ленточной конвейерной установки (1) автоматически определяют по меньшей мере одно положение области распознаваемого изображения, в котором отображен по меньшей мере один участок несущего ролика (13), для каждого выявленного положения области распознаваемого изображения из данных изображения в данных теплового изображения автоматически устанавливают положение области анализируемого изображения и в каждом установленном положении области анализируемого изображения автоматически анализируют данные теплового изображения, чтобы определить функциональное состояние несущих роликов (13),1. A method for machine determination of the functional state of the carrier rollers (13) of a belt conveyor installation (1) during its operation, including ensuring the presence of at least one unmanned vehicle (2) containing at least one image sensor system, through which at least one section of the conveyor belt installation as image data, wherein the image data of at least one section of the conveyor belt installation (1) is recorded as thermal image data, wherein at least one the position of the recognizable image area in which at least one section of the carrier roller (13) is displayed, for each detected position of the recognizable image area, from the image data in the thermal image data, the position of the analyzed image area is automatically set, and at each set position of the analyzed image area, the data is automatically analyzed thermal image to determine the functional state of the carrier rollers (13), отличающийся тем, чтоcharacterized in that данные изображения, регистрируемые системой датчиков изображения, помимо данных теплового изображения, содержат также данные фотоизображения, при этом данные изображения по меньшей мере одного участка ленточной конвейерной установки (1) также регистрируют в виде данных фотоизображения, the image data recorded by the image sensor system, in addition to the thermal image data, also contains photo image data, wherein the image data of at least one section of the belt conveyor (1) is also recorded as photo image data, указанные зарегистрированные данные изображения ленточной конвейерной установки (1), в которых автоматически определяют по меньшей мере одно положение области распознаваемого изображения, являются данными фотоизображения, в которых в качестве областей данных изображения автоматически распознают области данных фотоизображения, и автоматически создают положение каждой распознанной области данных фотоизображения в качестве указанного положения области распознаваемого изображения.said registered image data of the conveyor belt (1) in which at least one position of the recognition image area is automatically determined is photo image data in which areas of photo image data are automatically recognized as image data areas, and the position of each recognized area of photo image data is automatically created as the specified position of the area of the recognized image. 2. Способ по п. 1, в котором данные изображения по меньшей мере одного участка ленточной конвейерной установки (1) регистрируют в виде данных теплового изображения за счет того, что указанное по меньшей мере одно беспилотное транспортное средство (2), содержащее по меньшей мере одну систему датчиков изображения, включающую в себя по меньшей мере одно сенсорное устройство (21) теплового изображения для регистрации данных теплового изображения и по меньшей мере одно сенсорное устройство (22) фотоизображения для регистрации данных фотоизображения, перемещают вдоль по меньшей мере одного участка ленточной конвейерной установки (1), с помощью системы датчиков изображения регистрируют данные изображения по меньшей мере одного участка ленточной конвейерной установки (1), причем данные изображения включают в себя по меньшей мере данные теплового изображения и данные фотоизображения, 2. The method according to claim. 1, in which the image data of at least one section of the conveyor belt installation (1) is recorded as thermal image data due to the fact that the specified at least one unmanned vehicle (2) containing at least one image sensor system, including at least one thermal image sensor device (21) for recording thermal image data and at least one photo image sensor device (22) for recording photo image data, is moved along at least one section of the belt conveyor installation (1), using an image sensor system, image data of at least one section of the conveyor belt installation (1) is recorded, the image data including at least thermal image data and photo image data, в зарегистрированных данных фотоизображения ленточной конвейерной установки (1) автоматически определяют указанное по меньшей мере одно положение области распознаваемого изображения посредством автоматического распознавания областей данных фотоизображения в зарегистрированных данных фотоизображения по меньшей мере одного участка ленточной конвейерной установки (1), в которых отображены области по меньшей мере одного участка несущего ролика (13), и автоматически создают положение соответственно распознанной области данных фотоизображения в виде положения области распознаваемого изображения соответствующего несущего ролика (13), in the recorded photo image data of the belt conveyor (1), the specified at least one position of the area of the recognizable image is automatically determined by automatically recognizing areas of the photo image data in the registered photo image data of at least one section of the belt conveyor (1), in which areas of at least one section of the carrier roller (13), and automatically create the position of the respectively recognized area of the photo image data as the position of the area of the recognized image of the corresponding carrier roller (13), для каждого выявленного положения области распознаваемого изображения из данных фотоизображения автоматически устанавливают положение области анализируемого изображения в данных теплового изображения за счет того, что для каждого выявленного положения области распознаваемого изображения несущего ролика (13) из данных фотоизображения автоматически устанавливают положение области анализируемого изображения несущего ролика (13) в данных изображения, положение, которое пространственно корреспондирует с соответствующим положением области распознаваемого изображения из данных фотоизображения, за счет того, что автоматически анализируют данные теплового изображения в каждом установленном положении области анализируемого изображения посредством автоматического определения температурных данных соответствующего несущего ролика (13) из данных теплового изображения в выявленном положении области анализируемого изображения несущего ролика (13), и автоматически привязывают температурные данные, определенные из положения области анализируемого изображения, к функциональному состоянию соответствующих несущих роликов (13).for each detected position of the recognizable image area from the photo image data, the position of the analyzed image area in the thermal image data is automatically set due to the fact that for each detected position of the recognizable image area of the carrier roller (13) from the photo image data, the position of the analyzed image area of the carrier roller (13) is automatically set ) in the image data, a position that spatially corresponds to the corresponding position of the recognizable image area from the photo image data, by automatically analyzing the thermal image data at each set position of the analyzed image area by automatically determining the temperature data of the corresponding carrier roller (13) from the data thermal image at the detected position of the area of the analyzed image of the carrier roller (13), and automatically link the temperature data determined from the position of the area of the analyzed image to the functional state of the respective carrier rollers (13). 3. Способ по п. 1 или 2, в котором в зарегистрированных данных фотоизображения ленточной конвейерной установки (1) автоматически определяют указанное по меньшей мере одно положение области распознаваемого изображения за счет того, что в данных фотоизображения автоматически распознают области данных фотоизображения, в которых отображен по меньшей мере один распознаваемый объект, в распознанных, таким образом, областях данных фотоизображения среди распознаваемых объектов автоматически распознают несущие ролики (13) или участки несущих роликов (13) и для каждого распознанного несущего ролика (13), а также для каждого распознанного участка несущего ролика (13) в качестве положения области распознаваемого изображения создают положение области данных фотоизображения, в которой отображен несущий ролик (13) или участок несущего ролика (13).3. The method according to claim 1 or 2, wherein said at least one position of the recognizable image area is automatically determined in the registered photo image data of the belt conveyor (1), by automatically recognizing areas of the photo image data in which the image is displayed in the photo image data. at least one recognizable object, in the thus recognized areas of the photo image data among the recognizable objects, the carrier rollers (13) or sections of the carrier rollers (13) are automatically recognized and for each recognized carrier roller (13), as well as for each recognized section of the carrier of the roller (13) as the position of the area of the recognized image, the position of the photo image data area in which the carrier roller (13) or the section of the carrier roller (13) is displayed is created. 4. Способ по любому из пп. 1-3, в котором качество распознавания при автоматическом определении положения области распознаваемого изображения в зарегистрированных данных фотоизображения, в частности качество автоматического распознавания областей данных фотоизображения, в которых отображен по меньшей мере один распознаваемый объект, в частности, по меньшей мере один участок несущего ролика, и/или качество автоматического распознавания несущих роликов(13) или участков несущих роликов (13) в распознанных областях данных фотоизображения повышают с помощью метода обучения, осуществляемого посредством искусственной нейросети, в частности посредством одно- или многоступенчатой сверточной нейросети.4. The method according to any one of paragraphs. 1-3, in which the recognition quality in automatically determining the position of a recognizable image area in the registered photo image data, in particular the quality of automatically recognizing areas of photo image data in which at least one recognizable object is displayed, in particular at least one section of the carrier roller, and/or the quality of the automatic recognition of the carrier rollers (13) or portions of the carrier rollers (13) in the recognized areas of the photographic image data is improved by an artificial neural network training method, in particular by a single or multi-stage convolutional neural network. 5. Способ по любому из пп. 1-4, в котором в каждом установленном положении области анализируемого изображения автоматически анализируют данные теплового изображения за счет того, что в установленных положениях области анализируемого изображения автоматически выбирают данные теплового изображения, являющиеся данными теплового изображения несущих роликов (13), и в установленных положениях области анализируемого изображения автоматически анализируют выбранные данные теплового изображения.5. The method according to any one of paragraphs. 1-4, wherein at each set position of the analysis image area, the thermal image data is automatically analyzed by automatically selecting the thermal image data being the thermal image data of the carrier rollers (13) at the set positions of the analysis image area, and at the set positions of the area of the analyzed image, the selected thermal image data is automatically analyzed. 6. Способ по п. 5, в котором автоматически выбирают данные теплового изображения, лежащие на таких участках в пределах установленных положений области анализируемого изображения, в которых данные теплового изображения расположены круговыми или близкими к круговым контурами и/или в которых данные теплового изображения соответствуют температурам того же одинакового температурного уровня.6. The method according to claim 5, which automatically selects thermal image data lying on such areas within the established positions of the analyzed image area, in which the thermal image data is located in circular or close to circular contours and / or in which the thermal image data corresponds to temperatures the same temperature level. 7. Способ по п. 5 или 6, в котором качество распознавания при автоматическом выборе данных теплового изображения, являющихся данными теплового изображения несущих роликов (13), улучшают с помощью осуществляемого посредством искусственной нейросети метода обучения, в частности качество распознавания при автоматическом выборе данных теплового изображения, лежащих на таких участках в пределах установленных положений области анализируемого изображения, на которых данные теплового изображения расположены круговыми или близкими к круговым контурами, и/или на которых данные теплового изображения соответствуют температурам одинакового температурного уровня.7. The method according to claim 5 or 6, wherein the recognition quality of the automatic selection of thermal image data being the thermal image data of the carrier rollers (13) is improved by an artificial neural network training method, in particular the recognition quality of the automatic selection of thermal image data. images lying on such areas within the established positions of the area of the analyzed image, on which the thermal image data are located in circular or close to circular contours, and/or on which the thermal image data correspond to temperatures of the same temperature level. 8. Способ по любому из пп. 1-7, в котором данные изображения ленточной конвейерной установки (1) привязывают соответственно к положению в ленточной конвейерной установке (1) и/или для установленных положений области анализируемого изображения данные теплового изображения или оценочная информация привязываются к индивидуальному несущему ролику (13) ленточной конвейерной установки (1), причем привязку осуществляют посредством определения положения на основе радиосвязи, сравнения зарегистрированных данных изображения с данными сравнительного изображения, регистрации пройденного беспилотным транспортным средством (2) пути и/или регистрации ориентации системы датчиков изображения.8. The method according to any one of paragraphs. 1-7, in which the image data of the conveyor belt installation (1) is associated respectively with a position in the conveyor belt installation (1) and/or for the set positions of the area of the analyzed image, thermal image data or evaluation information is associated with an individual carrier roller (13) of the conveyor belt installation (1), and the binding is carried out by determining the position based on radio communication, comparing the registered image data with the comparative image data, registering the path traveled by the unmanned vehicle (2) and/or registering the orientation of the image sensor system. 9. Способ по п. 2 или любому из пп. 3-9, подчиненных п. 2, в котором выявленные из положения области анализируемого изображения температурные данные автоматически привязывают к функциональному состоянию несущего ролика (13) за счет того, что выявленные температурные данные соответствующего несущего ролика (13) автоматически классифицируют как одно функциональное состояние из большого числа заранее установленных функциональных состояний или автоматически привязывают указанные данные к функциональному состоянию в рамках кластерного анализа, в частности в рамках многовариантного кластерного анализа.9. The method according to p. 2 or any of paragraphs. 3-9, subordinate to item 2, in which the temperature data detected from the position of the analyzed image area is automatically tied to the functional state of the carrier roller (13) due to the fact that the detected temperature data of the corresponding carrier roller (13) is automatically classified as one functional state from a large number of predetermined functional states or automatically link these data to the functional state within the framework of cluster analysis, in particular within the framework of multivariate cluster analysis. 10. Способ по любому из пп. 1-9, в котором качество распознавания при автоматическом определении функционального состояния несущих роликов (13), в частности классификацию данных теплового изображения, улучшают с помощью осуществляемого посредством искусственной нейросети метода обучения.10. The method according to any one of paragraphs. 1-9, in which the quality of recognition in the automatic determination of the functional state of the carrier rollers (13), in particular the classification of thermal image data, is improved by using a training method implemented by an artificial neural network. 11. Способ по любому из пп. 1-10, в котором для соответствующего несущего ролика (13) функциональное состояние, данные изображения и/или, при необходимости, выявленные температурные данные записывают в хранилище данных о функциональных состояниях.11. The method according to any one of paragraphs. 1-10, in which, for the corresponding carrier roller (13), the functional state, the image data and/or, if necessary, the detected temperature data are recorded in the functional state data store. 12. Способ идентификации поврежденных несущих роликов (13) ленточной конвейерной установки (1) во время ее эксплуатации, включающий в себя способ машинного определения функционального состояния несущих роликов (13) ленточной конвейерной установки (1) по любому из пп. 1-11, причем поврежденные несущие ролики (13) распознают с помощью сравнения с историческими данными из базы данных о функциональных состояниях, определяют момент времени замены соответствующего несущего ролика (13) и для этого несущего ролика (13) установленный момент времени выводят на коммуникационный интерфейс.12. A method for identifying damaged carrier rollers (13) of a conveyor belt installation (1) during its operation, including a method for machine determination of the functional state of the carrier rollers (13) of a conveyor belt installation (1) according to any one of paragraphs. 1-11, wherein the damaged carrier rollers (13) are recognized by comparison with historical data from the database of functional states, the time of replacement of the corresponding carrier roller (13) is determined, and for this carrier roller (13) the set point in time is displayed on the communication interface . 13. Устройство для машинного определения функционального состояния несущих роликов (13) ленточной конвейерной установки (1) во время ее эксплуатации, содержащее по меньшей мере одно беспилотное транспортное средство (2) с по меньшей мере одной системой датчиков изображения, выполненное с возможностью движения вдоль по меньшей мере одного участка ленточной конвейерной установки (1), благодаря чему возможно фиксирование по меньшей мере части секций ленточной конвейерной установки (1) датчиками указанной системы датчиков в виде данных изображения, причем система датчиков содержит по меньшей мере одно тепловизионное сенсорное устройство (21) для регистрации данных изображения в виде данных теплового изображения, 13. A device for machine determination of the functional state of the carrier rollers (13) of the belt conveyor installation (1) during its operation, containing at least one unmanned vehicle (2) with at least one image sensor system, configured to move along the at least one section of the belt conveyor installation (1), due to which it is possible to fix at least part of the sections of the belt conveyor installation (1) by the sensors of the specified sensor system in the form of image data, and the sensor system contains at least one thermal imaging sensor device (21) for registering image data as thermal image data, устройство (3) обработки данных для оценки зарегистрированных данных изображения, чтобы определить функциональное состояние несущих роликов (13) ленточной конвейерной установки (1) во время ее эксплуатации, причем устройство (3) обработки данных содержит модуль (31) определения области изображения, выполненный с возможностью автоматического определения в зарегистрированных данных изображения по меньшей мере одного положения области распознаваемого изображения, в котором отображен по меньшей мере один участок несущего ролика (13), модуль (34) установления области изображения, выполненный с возможностью автоматического установления положения области анализируемого изображения в данных теплового изображения для выявленного из данных изображения положения области распознаваемого изображения, и модуль (35) определения состояния, выполненный с возможностью автоматического анализа данных теплового изображения в установленном положении области анализируемого изображения, чтобы автоматически определить функциональное состояние несущих роликов (13), a data processing device (3) for evaluating the recorded image data in order to determine the functional state of the carrier rollers (13) of the belt conveyor installation (1) during its operation, the data processing device (3) comprising an image area determination module (31) configured with the possibility of automatically determining in the registered image data at least one position of the area of the recognizable image, in which at least one section of the carrier roller (13) is displayed, the image area setting module (34), configured to automatically set the position of the area of the analyzed image in the thermal data image for the position of the recognizable image area determined from the image data, and a state determination module (35) configured to automatically analyze the thermal image data at the set position of the analyzed image area to automatically determine the functional state of the carrier rollers (13), отличающееся тем, чтоdifferent in that система датчиков изображения выполнена таким образом, что регистрируемые данные изображения помимо данных теплового изображения также содержат данные фотоизображения, при этом указанная по меньшей мере одна система датчиков изображения помимо тепловизионного сенсорного устройства также содержит сенсорное устройство (22) фотоизображения для регистрации данных изображения по меньшей мере одного участка ленточной конвейерной установки (1) в виде данных фотоизображения, the image sensor system is designed in such a way that the recorded image data, in addition to the thermal image data, also contains photo image data, while said at least one image sensor system, in addition to the thermal imaging sensor device, also contains a photo image sensor device (22) for registering image data of at least one section of the belt conveyor installation (1) in the form of photo image data, при этом модуль (31) определения области изображения выполнен с возможностью использования данных фотоизображения в качестве данных изображения ленточной конвейерной установки (1), в которых автоматически определяется по меньшей мере одно положение области распознаваемого изображения, при этом в качестве областей данных изображения автоматически определяются области данных фотоизображения из указанных данных фотоизображения, wherein the module (31) for determining the image area is configured to use the photo image data as the image data of the belt conveyor installation (1), in which at least one position of the area of the recognized image is automatically determined, while the data areas are automatically determined as image data areas photo images from the specified photo image data, и положение каждой выявленной области данных фотоизображения автоматически создается в качестве положения области распознаваемого изображения.and the position of each detected area of the photo image data is automatically created as the position of the area of the recognized image. 14. Устройство по п. 13, в котором модуль (31) определения области изображения содержит модуль (32) распознавания области изображения и интерфейсный модуль (33), из которых модуль (32) распознавания области изображения выполнен с возможностью автоматического распознавания в зарегистрированных данных фотоизображения областей данных фотоизображения, в которых отображен по меньшей мере один участок несущего ролика (13), а интерфейсный модуль (33) выполнен с возможностью автоматического установления положения распознанной области данных фотоизображения в качестве положения области распознаваемого изображения соответствующего несущего ролика (13), 14. The device according to claim 13, wherein the image area determination module (31) comprises an image area recognition module (32) and an interface module (33), of which the image area recognition module (32) is configured to automatically recognize in the registered photo image data photo image data areas, in which at least one section of the carrier roller (13) is displayed, and the interface module (33) is configured to automatically set the position of the recognized photo image data area as the position of the recognized image area of the corresponding carrier roller (13), причем модуль (34) установления области изображения выполнен с возможностью автоматического установления, для каждого положения области распознаваемого изображения несущего ролика (13), выявленного из данных фотоизображения, положения области анализируемого изображения несущего ролика (13) в данных теплового изображения, которое пространственно корреспондирует с соответствующим положением области распознаваемого изображения из данных фотоизображения, moreover, the module (34) for establishing the image area is configured to automatically establish, for each position of the area of the recognizable image of the carrier roller (13) detected from the photo image data, the position of the area of the analyzed image of the carrier roller (13) in the thermal image data, which spatially corresponds with the corresponding the position of the recognizable image area from the photo image data, и модуль (35) определения состояния содержит модуль (36) анализа и модуль (37) привязки, из которых модуль (36) анализа выполнен с возможностью автоматического определения температурных данных соответствующего несущего ролика (13) в установленном положении области анализируемого изображения несущего ролика (13) из данных теплового изображения, а модуль (37) привязки выполнен с возможностью автоматической привязки температурных данных, установленных из положения области анализируемого изображения, к функциональному состоянию соответствующих несущих роликов (13).and the state determination module (35) comprises an analysis module (36) and a binding module (37), of which the analysis module (36) is configured to automatically determine the temperature data of the corresponding carrier roller (13) at the set position of the area of the analyzed image of the carrier roller (13 ) from the thermal image data, and the linking module (37) is configured to automatically link the temperature data set from the position of the area of the analyzed image to the functional state of the respective carrier rollers (13). 15. Устройство по п. 14, в котором устройство (3) обработки данных содержит по меньшей мере одну обучаемую искусственную нейросеть, посредством которой происходит по меньшей мере одно из следующих распознаваний: распознавание несущих роликов (13) или участков несущих роликов (13) для автоматического определения областей данных фотоизображения в зарегистрированных данных фотоизображения, в которых отображен по меньшей мере один участок несущего ролика (13); распознавание данных теплового изображения несущего ролика (13) для автоматического определения температурных данных несущего ролика (13) в установленном положении области анализируемого изображения несущего ролика (13); распознавание функциональных состояний несущего ролика (13) из его установленных температурных данных несущего ролика (13) для автоматической привязки к функциональному состоянию несущих роликов (13).15. The device according to claim 14, in which the data processing device (3) contains at least one trainable artificial neural network, through which at least one of the following recognitions occurs: recognition of the carrier rollers (13) or sections of the carrier rollers (13) for automatically determining areas of photo image data in the registered photo image data in which at least one portion of the carrier roller (13) is displayed; recognizing the thermal image data of the carrier roller (13) to automatically determine the temperature data of the carrier roller (13) at the set position of the analyzed image area of the carrier roller (13); recognition of the functional states of the carrier roller (13) from its set temperature data of the carrier roller (13) for automatic binding to the functional state of the carrier rollers (13).

Images