RU2720303C1 - Method, device and railway vehicle, in particular, rail vehicle, for analysis of images on basis of track in railway communication, in particular for analysis of images on basis of rail track in rail communication - Google Patents
Method, device and railway vehicle, in particular, rail vehicle, for analysis of images on basis of track in railway communication, in particular for analysis of images on basis of rail track in rail communication Download PDFInfo
- Publication number
- RU2720303C1 RU2720303C1 RU2019117748A RU2019117748A RU2720303C1 RU 2720303 C1 RU2720303 C1 RU 2720303C1 RU 2019117748 A RU2019117748 A RU 2019117748A RU 2019117748 A RU2019117748 A RU 2019117748A RU 2720303 C1 RU2720303 C1 RU 2720303C1
- Authority
- RU
- Russia
- Prior art keywords
- track
- image
- rail
- images
- glb
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000004891 communication Methods 0.000 title claims description 21
- 238000004458 analytical method Methods 0.000 title description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000001454 recorded image Methods 0.000 claims abstract description 3
- 238000010191 image analysis Methods 0.000 claims description 39
- 238000009434 installation Methods 0.000 claims description 30
- 101100111953 Arabidopsis thaliana CYP734A1 gene Proteins 0.000 claims description 8
- 101150100308 BAS1 gene Proteins 0.000 claims description 8
- 101100165166 Barbarea vulgaris LUP5 gene Proteins 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 8
- 241001465754 Metazoa Species 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 101100160781 Arabidopsis thaliana YUC8 gene Proteins 0.000 claims description 5
- 101100325773 Magnaporthe oryzae (strain 70-15 / ATCC MYA-4617 / FGSC 8958) BAS2 gene Proteins 0.000 claims description 5
- 101100325774 Magnaporthe oryzae (strain 70-15 / ATCC MYA-4617 / FGSC 8958) BAS3 gene Proteins 0.000 claims description 5
- 101100083256 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PHO2 gene Proteins 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 238000003909 pattern recognition Methods 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims description 2
- 230000001276 controlling effect Effects 0.000 claims 1
- 239000006163 transport media Substances 0.000 claims 1
- 238000012423 maintenance Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000013459 approach Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 229910000831 Steel Inorganic materials 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L15/00—Indicators provided on the vehicle or train for signalling purposes
- B61L15/0072—On-board train data handling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/041—Obstacle detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/042—Track changes detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
- B61L25/02—Indicating or recording positions or identities of vehicles or trains
- B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
- B61L25/02—Indicating or recording positions or identities of vehicles or trains
- B61L25/026—Relative localisation, e.g. using odometer
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
- B61L27/04—Automatic systems, e.g. controlled by train; Change-over to manual control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
- B61L27/20—Trackside control of safe travel of vehicle or train, e.g. braking curve calculation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
- B61L27/70—Details of trackside communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
Description
Изобретение касается способа анализа изображений на базе колеи в железнодорожном сообщении, в частности для анализа изображений на базе рельсового пути в рельсовом сообщении согласно ограничительной части п.1 формулы изобретения, устройства для анализа изображений на базе колеи в железнодорожном сообщении, в частности для анализа изображений на базе рельсового пути в рельсовом сообщении согласно ограничительной части п.11 формулы изобретения и железнодорожного транспортного средства для анализа изображений на базе колеи в железнодорожном сообщении, в частности рельсового транспортного средства для анализа изображений на базе рельсового пути в рельсовом сообщении согласно ограничительной части п.26 формулы изобретения.The invention relates to a method for analyzing images based on a gauge in a railway communication, in particular for analyzing images based on a rail in a railway communication according to the restrictive part of claim 1, a device for analyzing images based on a gauge in a railway communication, in particular for analyzing images on the basis of the rail track in the rail according to the restrictive part of paragraph 11 of the claims and the railway vehicle for image analysis based on the gauge in the railway A traffic message, in particular a rail vehicle for analyzing images based on a rail track in a rail message, according to the preamble of claim 26.
Железнодорожные транспортные средства, как составная часть современной транспортной инфраструктуры, представляют собой колейные средства сообщения и транспорта, которые передвигаются, например, катясь по или под одним или двумя направляющими рельсами (рельсовыми путями), паря над или под магнитным полем или вися на стальных тросах. Из названных колейных средств сообщении и транспорта наиболее широко распространены рельсовые транспортные средства, которые базируются на колесно-рельсовой системе, которые либо (имеют) собственный привод ходовой части (моторвагон), либо тянутся или перемещаются локомотивом, и у которых преимущественно стальные колеса, имеющие гребень бандажа, направляются по двум стальным рельсам или, соответственно, рельсовым путям.Railway vehicles, as an integral part of modern transport infrastructure, are gauge means of communication and transport, which move, for example, rolling along or under one or two guide rails (rail tracks), hovering above or below a magnetic field or hanging on steel cables. Of the above-mentioned gauge means of communication and transport, the most widespread are rail vehicles based on a wheel-rail system that either (have) their own undercarriage drive (motor car), or are pulled or moved by a locomotive, and which mainly have steel wheels with a flange bandages are sent along two steel rails or, respectively, rail tracks.
Лежащая в основе изобретения задача заключается в том, чтобы предложить способ, устройство и железнодорожное транспортное средство, в частности рельсовое транспортное средство, для анализа изображений на базе колеи в железнодорожном сообщении, в частности для анализа изображений на базе рельсового пути в рельсовом сообщении, с помощью которого улучшается автоматизированное (автономное) или с участием машиниста ведение железнодорожных транспортных средств или, соответственно, рельсовых транспортных средств без дополнительной инфраструктуры по некоторому перегону следования.The underlying problem of the invention is to propose a method, device and railway vehicle, in particular a rail vehicle, for analyzing images based on a gauge in a railway communication, in particular for analyzing images based on a rail track in a railway communication, using which improves the automated (autonomous) or with the participation of the driver driving of railway vehicles or, accordingly, rail vehicles without additional infra ruktury by some stretch of sequence.
Выполнение анализа изображений на базе колеи в железнодорожном сообщении, в частности анализа изображений на базе рельсового пути в рельсовом сообщении, что является предметом настоящей международной заявки на патент (заявка № PCT/…; публикация № WO…) и обосновывающей ее приоритет заявки на патент DE (заявка №102016224331.4), с учетом будущего автоматизированного (автономного) или с участием машиниста ведения железнодорожных транспортных средств в железнодорожном сообщении или, соответственно, рельсовых транспортных средств в рельсовом сообщении является целесообразным улучшением для упомянутой преследуемой цели.Performing image analysis on the basis of gauge in railway traffic, in particular analysis of images on the basis of rail track in rail communication, which is the subject of this international patent application (application No. PCT / ...; publication No. WO ...) and substantiating its priority for patent application DE (application No. 102016224331.4), taking into account the future automated (autonomous) or with the participation of the driver of railway vehicles in railway traffic or, accordingly, rail vehicles in the rail community nii is a reasonable improvement for the aforementioned pursued goal.
Так, для автоматизированного или с участием машиниста ведения железнодорожных/рельсовых транспортных средств без дополнительной инфраструктуры по некоторому перегону необходимо автоматизированным образом аналитически оценивать изображения с транспортного средства, в частности из перспективы машиниста моторвагона. Эти изображения могут получаться от по меньшей мере одного прибора для записи изображений, но предпочтительно нескольких приборов, напр., видеокамер, лазерных сенсоров, радарных устройств, тепловых камер для съемки изображений или других приборов для сбора изображений.So, for an automated or with the participation of a driver driving railway / rail vehicles without additional infrastructure for some driving, it is necessary to automatically evaluate analytically the images from the vehicle, in particular from the perspective of the driver of a motor car. These images can be obtained from at least one device for recording images, but preferably several devices, for example, video cameras, laser sensors, radar devices, thermal cameras for capturing images, or other devices for collecting images.
Проблема автоматизированного ведения до сих пор реализовывалась с помощью затратных дополнительных инвестиций в инфраструктуру перегона, такую как индукционные петли, компьютеры вдоль перегона и системы связи между поездом и компонентами перегона.The problem of automated management has so far been realized with the help of costly additional investments in the haul infrastructure, such as induction loops, computers along the haul and communication systems between the train and the haul components.
Но не только аспект анализа изображений на базе колеи/рельсового пути имеет значение для будущего автоматизированного (автономного) или с участием машиниста ведения, но и последующие технические аспекты, которые все в большей или меньшей степени находятся в техническом контексте с настоящей заявкой на патент и поэтому приведены, и в связи с этим их содержания должны учитываться и при необх. даже включаться в нее.But not only the aspect of the image analysis based on the track / rail track is important for the future automated (autonomous) or with the participation of the driver, but also the subsequent technical aspects, which are more or less in the technical context with this patent application and therefore given, and in connection with this their contents should be taken into account when necessary. even get involved in it.
Речь идет о следующих аспектах:These are the following aspects:
1) Автоматизированное распознавание сигналов в железнодорожном/рельсовом сообщении в соответствии с международной заявкой на патент (заявка № PCT/EP2016/057804; публикация № WO 2017/174155 A1) и раскрытой в ней технической теорией.1) Automated signal recognition in railway / rail communication in accordance with the international patent application (application No. PCT / EP2016 / 057804; publication No. WO 2017/174155 A1) and the technical theory disclosed therein.
2) Автоматическое распознавание опасных ситуаций в железнодорожном/рельсовом сообщении в соответствии с заявкой на патент DE (заявка № 102016224358.6) и международной заявкой на патент (заявка № PCT/…; публикация № WO …) и раскрытой в каждой из них технической теорией.2) Automatic recognition of dangerous situations in railway / rail traffic in accordance with DE patent application (application No. 102016224358.6) and the international patent application (application No. PCT / ...; publication No. WO ...) and the technical theory disclosed in each of them.
3) Автоматическое распознавание препятствий в железнодорожном/рельсовом сообщении в соответствии с заявкой на патент DE (заявка № 102016224344.6) и международной заявкой на патент (заявка № PCT/…; публикация № WO …) и раскрытой в каждой из них технической теорией.3) Automatic detection of obstacles in railway / rail traffic in accordance with DE patent application (application No. 102016224344.6) and the international patent application (application No. PCT / ...; publication No. WO ...) and the technical theory disclosed in each of them.
4) Альтернативное определение положений в рельсовом сообщении, когда традиционное определение положений со спутниковой поддержкой не срабатывает или является недостаточным, в соответствии с заявкой на патент DE (заявка № 10201624355.1) и международной заявкой на патент (заявка № PCT/…; публикация № WO …) и раскрытой в каждой из них технической теорией.4) An alternative definition of provisions in rail communication when the traditional definition of provisions with satellite support does not work or is insufficient, in accordance with DE patent application (application No. 10201624355.1) and the international patent application (application No. PCT / ...; publication No. WO ... ) and the technical theory disclosed in each of them.
5) Автоматическое распознавание колей/рельсовых путей в железнодорожном/рельсовом сообщении в соответствии с заявкой на патент DE (заявка № 102016224335.7) и международной заявкой на патент (заявка № PCT/…; публикация № WO …) и раскрытой в каждой из них технической теорией.5) Automatic recognition of tracks / rail tracks in railway / rail traffic in accordance with DE patent application (application No. 102016224335.7) and the international patent application (application No. PCT / ...; publication No. WO ...) and the technical theory disclosed in each of them .
Вышеназванная контекстовая задача решается, исходя из определенного в ограничительной части п.1 формулы изобретения способа анализа изображений с помощью признаков, указанных в отличительной части п.1 формулы изобретения.The above contextual problem is solved based on the image analysis method defined in the restrictive part of claim 1 of the invention using the features specified in the characterizing part of claim 1 of the claims.
Помимо этого, вышеназванная контекстовая задача решается, исходя из определенного в ограничительной части п.11 формулы изобретения устройства для анализа изображений с помощью признаков, указанных в отличительной части п.11 формулы изобретения.In addition, the above contextual problem is solved based on the device for analyzing images defined in the restrictive part of claim 11 of the invention using the features specified in the characterizing part of claim 11 of the invention.
Далее, вышеназванная контекстовая задача решается, исходя из определенного в ограничительной части п.26 формулы изобретения железнодорожного транспортного средства, в частности рельсового транспортного средства, с помощью признаков, указанных в отличительной части п.26 формулы изобретения.Further, the above contextual problem is solved based on the railway vehicle, in particular the rail vehicle, defined in the restrictive part of clause 26 of the claims, using the features specified in the distinctive part of clause 26 of the claims.
Идея, лежащая в основе изобретения по независимым пп.1, 11 и 26 формулы изобретения, заключается в том, чтобы на базе нескольких, представляющих некоторую область колеи/рельсового пути изображений в некоторой созданной на этих изображениях области изображения, в которой зарегистрированные применительно к графически изображенной области колеи/рельсового пути колеи/рельсовые пути лежат по существу в одном и том же месте, исходя из долей зарегистрированных колей/рельсовых путей в области изображения, с помощью алгоритмов распознавания кромок распознавать ход колеи/рельсового пути, который используется железнодорожным транспортным средством, по изменяющейся на зарегистрированном изображении доле изображения колеи/рельсового пути по отношению ко всему изображению и сравнивать с сохраненной в памяти известной графической метаинформацией, причем эта метаинформация содержит как относящиеся к колее или, соответственно, относящиеся к рельсовому пути первичные метаданные, так и относящиеся к железнодорожному перегону или, соответственно, относящиеся к рельсовому перегону вторичные метаданные.The idea underlying the invention according to the independent claims 1, 11 and 26 of the claims is that on the basis of several, representing a certain region of the track / rail track of the images in a certain region of the image created on these images, in which are registered in relation to graphically of the displayed track / rail area, the track / rail tracks lie essentially in the same place, based on the fractions of the registered tracks / rail tracks in the image area, using edge recognition algorithms to recognize the track / rail track used by the railway vehicle by the proportion of the track / rail track image in relation to the entire image on the recorded image and compare with the known graphic meta-information stored in the memory, this meta-information containing as relating to the track or, respectively, the primary metadata related to the rail track, and related to the railway stage or, respectively, related to the railway stage in orichnye metadata.
При этом графическая метаинформация в буквальном смысле содержит данные признаков и свойств области колеи/рельсового пути, зарегистрированной на изображениях.At the same time, graphic meta-information literally contains data of signs and properties of the track / rail track area recorded in the images.
При этом основным принципом изобретения является, чтобы путем автоматизированной аналитической оценки изображений распознавать видимую на данном изображении часть колеи следования/рельсового пути следования, чтобы предпочтительно (в предпочтительных усовершенствованиях) достигались следующие цели:In this case, the basic principle of the invention is that by means of automated analytical evaluation of images to recognize the part of the track / rail track visible on the image, so that it is preferable (in preferred improvements) to achieve the following goals:
I. Распознавание, где на этом изображении находятся предварительные и основные сигналы для движения.I. Recognizing where the preliminary and main signals for movement are located in this image.
II. Распознавание, ведет ли путь следования дальше НАЛЕВО, ПРЯМО, НАПРАВО.II. Recognizing whether the path leads further to the LEFT, DIRECT, RIGHT.
III. Распознавание, находятся ли на колее/рельсовом пути люди.III. Recognizing whether people are on a track / rail.
IV. Распознавание, насколько удалено железнодорожное транспортное средство от какого-либо объекта.IV. Recognizing how far the railway vehicle is from any object.
V. Распознавание, находятся ли на колее/рельсовом пути недопустимые объекты.V. Recognizing if there are any invalid objects on the track / rail.
При этом целью в каждом случае является сделать возможным вклад в полностью автоматизированное ведение без дополнительных инвестиций в инфраструктуру перегона.At the same time, the goal in each case is to make it possible to contribute to fully automated management without additional investment in the haul infrastructure.
Автоматизированная аналитическая оценка изображений, которые регистрируются с транспортного средства, в частности из перспективы машиниста моторвагона и/или из неподвижного, обеспечивающего видимость колеи положения в или на транспортном средстве, до сих пор осуществлялась паушально путем анализа «лежащей перед транспортным средством области» без детальной ссылки на колею/рельсовый путь на изображении. Но она может предпочтительным образом по меньшей мере частично достигаться с помощью следующих шагов:Automated analytical assessment of images that are recorded from a vehicle, in particular from the perspective of a motor car driver and / or from a stationary one providing visibility of a position gauge in or on a vehicle, has so far been carried out lump-sum by analyzing the "area in front of the vehicle" without a detailed link on the track / rail in the image. But it can advantageously be at least partially achieved by the following steps:
1. В первом шаге с помощью по меньшей мере одного прибора для записи изображений (напр., одного или нескольких приборов для сбора изображений, таких как видеокамеры, лазерные сенсоры, инфракрасная камера, тепловые камеры для съемки изображений, радарные устройства, другие приборы для сбора изображений и пр.) с железнодорожного транспортного средства, например, из перспективы машиниста моторвагона регистрируется или, соответственно, снимается множество изображений.1. In the first step, using at least one device for recording images (eg, one or more devices for collecting images, such as video cameras, laser sensors, infrared cameras, thermal cameras for taking images, radar devices, and other devices for collecting images, etc.) from a railway vehicle, for example, from the perspective of the driver of a motor car, many images are recorded or, accordingly, taken.
Многократное осуществление релевантно, прежде всего, для целей редундантности.Multiple implementation is relevant, primarily for the purpose of redundancy.
a. Но в одной из модификаций или усовершенствований, дополнений изобретения могут также применяться изображения от нескольких приборов для записи изображений или, соответственно, приборов для сбора изображений одинакового вида (напр., двух видеокамер) для взаимной валидации и синтеза результатов.a. But in one of the modifications or enhancements, additions to the invention, images from several devices for recording images or, accordingly, devices for collecting images of the same type (eg, two cameras) for mutual validation and synthesis of results can also be used.
b. В другой модификации или усовершенствовании, дополнении изобретения могут также применяться изображения от нескольких приборов для записи изображений или, соответственно, приборов для сбора изображений различного вида (напр., видеокамера и тепловая камера для съемки изображений) для взаимной валидации и синтеза результатов.b. In another modification or improvement, in addition to the invention, images from several devices for recording images or, accordingly, devices for collecting images of various types (eg, a video camera and a thermal camera for capturing images) for mutual validation and synthesis of results can also be used.
c. В другой модификации или усовершенствовании, дополнении изобретения могут использоваться не создающие изображений сенсоры, такие как, например, радар, ультразвук или лазер для валидации графической информации.c. In another modification or improvement, in addition to the invention, non-image sensors, such as, for example, a radar, ultrasound or laser, can be used to validate graphic information.
2. Во втором шаге рассматривается область на ближнем нижнем крае изображения, потому что там колеи/рельсовые пути лежат по существу в одном и том же месте. При этом предпочтителен тот случай, когда прибор для записи изображений жестко смонтирован на железнодорожном транспортном средстве/рельсовом транспортном средстве. С помощью алгоритмов распознавания кромок, которые применяются при стандартной обработке изображений, может распознаваться ход колеи следования/рельсового пути следования, исходя из долей колеи/рельсового пути на нижнем крае изображения.2. In the second step, the area at the near lower edge of the image is considered, because there the tracks / rails lie essentially in the same place. In this case, it is preferable that the device for recording images is rigidly mounted on a railway vehicle / rail vehicle. Using edge recognition algorithms that are used in standard image processing, the track track / rail track can be recognized based on the track / rail share on the lower edge of the image.
a. В одной из оптимизаций может учитываться максимальная степень изгиба колей/рельсовых путей во избежание ошибок распознавания рельсовых путей.a. In one optimization, the maximum degree of bending of tracks / rail tracks can be taken into account in order to avoid recognition errors of rail tracks.
b. В другой оптимизации колея следования /рельсовый путь следования может также распознаваться в обход стрелок, при этом распознается сплошной направляющий рельс рельсового пути.b. In another optimization, the track track / rail track can also be recognized bypassing the arrows, and a continuous guide rail of the rail track is recognized.
3. В третьем шаге привлекаются метаданные о колее/рельсовом пути, которые известны, в частности расстояние между параллельно проложенными рельсами, а также ширина головки рельса.3. In the third step, metadata about the track / rail track, which are known, in particular the distance between parallel rails, as well as the width of the rail head, are involved.
4. В третьем шаге привлекаются метаданные о перегоне движения, которые известны, напр., в каких географических положениях находятся железнодорожные переезды, стрелки или сигнальные установки.4. In the third step, metadata about the traffic span is used, which are known, for example, in what geographical locations are the railway crossings, arrows or signal installations.
5. На базе вышеназванных данных и шагов могут (достигаться) вышеназванные пять целей I…V.5. Based on the above data and steps, the above five goals I ... V can be achieved.
I. Распознавание, где на этом изображении находятся предварительные и основные сигналы для движения.I. Recognizing where the preliminary and main signals for movement are located in this image.
i. На основе текущего географического положения [железнодорожному транспортному средству/рельсовому транспортному средству известны связанные с ним координаты места на базе данных GPS или данных определения положения в соответствии с заявкой на патент DE (заявка №…)] может сначала распознаваться область на изображении, в которой должен распознаваться сигнал.i. Based on the current geographical position [the railway vehicle / rail vehicle knows the associated location coordinates on the GPS database or positioning data in accordance with the patent application DE (application No. ...)], the area in the image in which the signal is recognized.
ii. Затем определяется, где в этой области проходит рельсовый путь следования (результат данных из шага 2).ii. Then it is determined where in this area the rail track follows (the result of the data from step 2).
iii. Метаданные о расстоянии до сигнальной установки могут затем применяться следующим образом.iii. The metadata about the distance to the signal installation can then be applied as follows.
1. На релевантном участке изображения на базе ширины колеи/рельсового пути известно, насколько сигнальная установка горизонтально и вертикально удалена от рельсового пути.1. In the relevant image section based on the track / rail width, it is known how far the signal installation is horizontally and vertically removed from the rail.
2. Также известны наружные кромки сигнальной установки.2. Also known are the outer edges of the signal installation.
3. Итак, на коротких расстояниях удаленности от транспортного средства с помощью стандартного алгоритма распознавания кромок делается попытка распознать наружные кромки сигнальной установки на известном расстоянии от колеи/от рельсового пути, и причем до тех пор, пока не будет найдена хорошая зона обнаружения. Тогда там находится искомая сигнальная установка.3. So, at short distances from the vehicle using the standard edge recognition algorithm, an attempt is made to recognize the outer edges of the signal installation at a known distance from the track / from the track, and until then, until a good detection area is found. Then there is the desired signal installation.
II. Распознавание, ведет ли путь следования дальше НАЛЕВО или ПРЯМО или НАПРАВО.II. Recognizing whether the path leads further to the LEFT or DIRECT or RIGHT.
i. Колея следования/рельсовый путь следования известен из шага 2).i. Track / rail track is known from step 2).
ii. Воображаемая колея/воображаемый рельсовый путь ПРЯМО может легко создаваться искусственно, так как надо только линейно продолжить известную колею следования /известный рельсовый путь следования на нижнем крае изображения.ii. An imaginary track / imaginary track can be created DIRECTLY artificially, since you just have to linearly continue the known track / known track at the bottom of the image.
iii. Затем колея следования /рельсовый путь следования может сравниваться с воображаемой «колеей ПРЯМО»/с воображаемым «рельсовым путем ПРЯМО».iii. Then the track / rail track can be compared with an imaginary “RIGHT track” / with an imaginary “track RIGHT”.
1. Если колея следования/рельсовый путь следования и воображаемая «колея ПРЯМО»/воображаемый «рельсовый путь ПРЯМО» идентичны, то колея следования/рельсовый путь следования ведет ПРЯМО.1. If the track / track and the imaginary “DIRECT track” / imaginary “track DIRECT” are identical, then the track / track follows DIRECTLY.
2. Если колея следования/рельсовый путь следования лежит СЛЕВА от воображаемой «колеи ПРЯМО»/воображаемого «рельсового пути ПРЯМО», то речь идет о повороте налево. Из расстояния от рельсового пути следования до воображаемой «колеи ПРЯМО»/воображаемого «рельсового пути ПРЯМО», а также расстояния от транспортного средства (рассчитываемого из ширины колеи/рельсового пути на нижнем крае изображения и ширины колеи/рельсового пути в каждом релевантном участке изображения) может рассчитываться степень левой кривизны.2. If the track / rail track is LEFT from the imaginary “RUT track” / imaginary “track RIGHT”, then this is a left turn. From the distance from the track to the imaginary “RIGHT STRAIGHT” / imaginary “track to RIGHT”, as well as the distance from the vehicle (calculated from the track / rail at the lower edge of the image and the track / track in each relevant part of the image) the degree of left curvature can be calculated.
3. В случае, когда колея следования/рельсовый путь следования лежит СПРАВА от воображаемой «колеи ПРЯМО»/воображаемого «рельсового пути ПРЯМО», см. предыдущий пункт.3. In the case where the track / track follows to the RIGHT from the imaginary “track DIRECT” / imaginary “track straight”, see the previous paragraph.
Наряду с распознаванием, ведет ли путь следования дальше НАЛЕВО или ПРЯМО или НАПРАВО, существует также еще случай, когда на изображении есть стрелки, и они, конечно, влияют на дальнейший путь следования. В этой связи ссылаемся на выполнение автоматического распознавания колей/рельсовых путей в железнодорожном/рельсовом сообщении в соответствии с заявкой на патент DE (заявка №102016224335.7) и международной заявкой на патент (заявка № PCT/…; публикация № WO …) и раскрытой в каждой из них технической теорией.Along with recognizing whether the path follows LEFT or DIRECT or RIGHT, there is also the case when there are arrows in the image, and they, of course, affect the further path. In this regard, we refer to the automatic recognition of gauges / rail tracks in railway / rail traffic in accordance with DE patent application (application No. 102016224335.7) and the international patent application (application No. PCT / ...; publication No. WO ...) and disclosed in each of which are technical theory.
III. Распознавание, находятся ли на колее/рельсовом пути люди.III. Recognizing whether people are on a track / rail.
i. Обычный размер человека (от ребенка (70 см) до взрослого мужчины (220 см) может ставиться в соотношение с шириной колеи/рельсового пути.i. The usual size of a person (from a child (70 cm) to an adult man (220 cm) can be put in proportion to the gauge / rail track.
ii. Затем колея следования/рельсовый путь следования на изображении, а также критическая область слева и справа от колеи/рельсового пути может разделяться на несколько анализируемых участков при возрастающем расстоянии от транспортного средства. (Критическая область, в зависимости от окружения колеи/рельсового пути (городская зона против сельской местности) может определяться с различной шириной). Затем в каждом анализируемом участке может применяться стандартный алгоритм паттернов для распознавания людей.ii. Then the track / rail track in the image, as well as the critical area to the left and to the right of the track / rail track can be divided into several sections under analysis with increasing distance from the vehicle. (The critical area, depending on the track / rail environment (urban area versus rural area), can be defined with different widths). Then, in each analyzed area, a standard pattern algorithm for recognizing people can be applied.
1. В другой оптимизации могут соотноситься анализируемые участки нескольких следующих друг за другом изображений для распознавания движения людей и отслеживания их движения для предварительного расчета потенциальных столкновений.1. In another optimization, the analyzed sections of several successive images can be correlated to recognize the movement of people and track their movement for preliminary calculation of potential collisions.
IV. Распознавание, насколько удалено железнодорожное транспортное средство от какого-либо объекта.IV. Recognizing how far the railway vehicle is from any object.
i. Предположим, на колее/рельсовом пути или в критической области рядом с колеей/рельсовым путем распознается какой-либо объект.i. Suppose an object is recognized on a track / rail track or in a critical area near a track / rail track.
ii. Тогда ширина пикселя колеи/рельсового пути на высоте объекта должна соотноситься с шириной колеи/рельсового пути на нижнем крае изображения. Из отношения и известной ширины колеи/рельсового пути может рассчитываться расстояние до этого объекта.ii. Then the width of the track / rail pixel at the height of the object should correlate with the track / rail width at the bottom of the image. The distance to this object can be calculated from the ratio and the known track / rail width.
V. Распознавание, находятся ли на колее/рельсовом пути недопустимые объекты.V. Recognizing if there are any invalid objects on the track / rail.
Объекты, которые лежат на колее/рельсовом пути, могут распознаваться таким образом, что в шаге 2 не срабатывает алгоритм распознавания кромок для колей/рельсовых путей.Objects that lie on the track / rail can be recognized in such a way that in step 2 the edge recognition algorithm for the tracks / rail does not work.
В одной из модификаций или усовершенствований, дополнений упорядоченный образец колеи/между рельсовыми путями, который образуется балкой колеи/балкой рельсового пути, может использоваться в качестве основы для распознавания нарушений закономерности.In one of the modifications or enhancements, additions, an ordered track gauge / between rail tracks, which is formed by a track beam / track rail beam, can be used as a basis for recognizing irregularities.
Если распознается нарушение закономерности (напр., веха или играющий ребенок), то во втором шаге может определяться допустимость этого нарушения закономерности путем сравнения с банком данных изображений. Например, в ходе инициализации могут регистрироваться все нарушения закономерности по всем изображениям некоторого перегона и после этого предоставляться для сравнения.If a violation of the pattern is recognized (e.g., a milestone or a playing child), then in the second step the admissibility of this violation of the pattern can be determined by comparing the image data with the bank. For example, during the initialization, all violations of the pattern across all images of a certain haul can be recorded and then provided for comparison.
При намеченном выше распознавании колеи/рельсового пути может достигаться, что:With the above track / rail recognition, it can be achieved that:
- легче распознаются предварительные и основные сигналы;- preliminary and main signals are easier to recognize;
- может распознаваться левая и правая кривизна колеи/рельсового пути;- the left and right curvature of the track / rail track can be recognized;
- облегчается распознавание людей на колее/рельсовом пути;- facilitates the recognition of people on a track / rail;
- может рассчитываться расстояние от железнодорожного транспортного средства до объектов/людей на колее/рельсовом пути или в критической области слева или рядом с колеей/рельсовым путем;- the distance from the railway vehicle to objects / people on the track / rail track or in the critical area to the left or next to the track / rail track can be calculated;
- отслеживание объектов/людей (слежение) в критической области изображения, упрощается расчет возможных столкновений;- tracking of objects / people (tracking) in the critical area of the image, the calculation of possible collisions is simplified;
- анализируемые предметы при неблагоприятных условиях видимости могут распознаваться надежнее, чем машинистом моторвагона;- the analyzed objects under adverse conditions of visibility can be recognized more reliably than by the driver of a motor car;
- машинисты моторвагона больше не нужны для распознавания описанных анализируемых предметов, так что ведение возможно независимо от их наличия.- drivers of a motor car are no longer needed to recognize the described analyzed objects, so that guidance is possible regardless of their presence.
В ходе одного из предпочтительных усовершенствований изобретения применительно к устройству для анализа изображений по п.11 формулы изобретения могут также применяться следующие дополнительные компоненты a)-c) для прибора для записи изображений (напр., прибор для сбора изображений):During one of the preferred refinements of the invention, with respect to the image analysis apparatus according to claim 11, the following additional components a) to c) can also be applied to an image recording apparatus (eg, an image acquisition apparatus):
a. Корректирующий компонент по п.21 формулы изобретения, который приобщает данные о погоде и освещенности для аналитической оценки графического материала. При этом, например, при сильном тумане, аналитическая оценка видеоизображений может ограничиваться первыми 50 метрами перед железнодорожным транспортным средством или, соответственно, рельсовым транспортным средством, и соответственно дросселироваться скорость транспортного средства.a. The corrective component according to claim 21, which attaches weather and light data for analytical evaluation of graphic material. In this case, for example, in heavy fog, the analytical assessment of video images may be limited to the first 50 meters in front of a railway vehicle or, accordingly, a rail vehicle, and the vehicle speed may be throttled accordingly.
b. Компонент изменения фокусного расстояния по п.22 формулы изобретения, который, в зависимости от окружения (напр., вокзал, городская зона, сельская местность и пр.) и скорости выбирает правильный угол съемки, чтобы таким образом оптимально поддерживать аналитическую оценку изображения. Например, тогда могут надлежащим образом обслуживаться как ситуации съемки на свободном перегоне (требуют изображений из большой удаленности, чтобы на основании скорости можно быть реагировать своевременно), так и ситуации съемки в области вокзала (требуют изображений, имеющих большую ширину).b. The focal length change component according to claim 22 of the claims, which, depending on the environment (e.g., station, urban area, countryside, etc.) and speed, selects the correct shooting angle in order to optimally support the analytical assessment of the image. For example, then shooting situations on a free stretch (require images from a great distance so that you can respond in a timely manner based on speed) and shooting situations in the station area (require images having a large width) can be properly serviced.
c. Компонент освещения по п.23 формулы изобретения, например, прожектор, который работает в пределах или вне видимой человеку области, с помощью которого улучшается качество графического материала, снимаемого прибором для записи изображений или, соответственно, прибором для сбора изображений ночью или при плохих погодных условиях.c. The lighting component according to claim 23, for example, a spotlight that works within or outside the human-visible area, which improves the quality of the graphic material taken by the image recording device or, accordingly, the device for collecting images at night or in bad weather conditions .
Помимо этого, возможно, чтобы устройство для анализа изображений было выполнено и функционировало в виде виртуальной машины как «Software Defined Signal Recognition of Rail Traffic Systems» (англ. программно-определяемое распознавание сигналов систем железнодорожного транспорта).In addition, it is possible that the device for image analysis was made and functioned as a virtual machine as "Software Defined Signal Recognition of Rail Traffic Systems" (English software-defined signal recognition of railway systems).
Другие преимущества изобретения вытекают из последующего описания одного из примеров осуществления изобретения с помощью фиг.1-3. На них показано:Other advantages of the invention result from the following description of one embodiment of the invention using FIGS. 1-3. They show:
фиг.1: анализ изображений на базе колеи для распознавания путевых установок на железнодорожном перегоне и хода перегонов;figure 1: image analysis based on the track for the recognition of track installations on the railway line and the course of the lines;
фиг.2: анализ изображений на базе колеи для распознавания объектов, человека, находящегося на колее железнодорожного перегона;figure 2: image analysis based on the gauge for recognition of objects, a person located on a track of a railway line;
фиг.3: принципиальная конструкция устройства для анализа изображений для анализа изображений на базе колеи в соответствии с фиг.1 и 2.figure 3: the basic design of the device for image analysis for image analysis based on the track in accordance with figures 1 and 2.
На фиг.1 показан анализ изображений на базе колеи для распознавания путевой установки SAL, такой как, напр., железнодорожный переезд BÜG, стрелка или подающая сигнал SI или направляющая установка AL в железнодорожном сообщении BVK, когда на изображенном отдельными участками железнодорожном перегоне BST железнодорожной сети BNE железнодорожное транспортное средство BFZ приближается по колее FS железнодорожного перегона BST к сигнальной установке SI, AL. При этом анализе изображений на базе колеи для распознавания путевой установки SAL или, соответственно, подающей сигнал SI или направляющей установки AL необходимо также, хотя на фиг.1 явно не изображено, распознавать ход перегона, т.е. ход колеи FS, что касается направлений колеи FS, таких как ПРЯМО, НАЛЕВО, НАПРАВО.Fig. 1 shows a track-based image analysis for recognizing a SAL track system, such as, for example, a BÜG railway crossing, an arrow or SI signal, or an AL track system in a BVK train, when on a railway section BST of a railway network shown in separate sections The BNE railway vehicle BFZ is approaching the FS signal line BST to the signal system SI, AL. In this analysis of the images based on the track for the recognition of the SAL directional device or, accordingly, the SI signal supply or the AL installation guide, it is also necessary, although not clearly shown in Fig. 1, to recognize the course, FS track gauge with regard to FS gauge directions such as RIGHT, LEFT, RIGHT.
По настоящему примеру осуществления отнесенный к колее железнодорожный перегон BST железнодорожной сети BNE представляет собой рельсовый перегон SST рельсовой сети SNE, на котором в рельсовом сообщении для анализа изображений на базе рельсового пути для распознавания путевой установки SAL рельсовое транспортное средство SFZ находится в пути на рельсовом пути GL и приближается к путевой установке SAL на рельсовом пути GL. Вместо изображенного рельсового сообщения SVK с едущим по рельсовому перегону SST рельсовой сети SNE рельсовым транспортным средством SFZ и здесь также, как уже рассматривалось, в качестве другого примера осуществления изобретения возможна и представима также любая другая, какая угодно система железнодорожного сообщения на базе ближнего или дальнего сообщения. Так, можно было бы вести речь также, напр., о системе сообщения подвесной дороги на магнитной подвеске (ключевое слово: Трансрапид, Маглев и пр.), имеющей соответственно сравнимую инфраструктуру, состоящую из железнодорожной сети, железнодорожного перегона и железнодорожного транспортного средства.According to the present exemplary embodiment, the BNE rail track BST of the rail network BNE is a rail track SST of the SNE rail network on which in the rail message for image analysis based on the rail track for recognizing the SAL track system, the SFZ rail vehicle is in the track on the GL track and is approaching the SAL track on the GL rail. Instead of the depicted SVK rail service with the SFZ rail vehicle traveling along the SST rail track and here also, as already discussed, as any other embodiment of the invention, any other short-distance or long-distance rail system is also possible . So, one could also talk, for example, about a magnetic suspension system for the communication of a suspension road (keyword: Transrapid, Maglev, etc.), which has a correspondingly comparable infrastructure consisting of a railway network, a railway stage and a railway vehicle.
В изображенной на фиг.1 системе рельсового сообщения в моторвагоне TRW рельсового транспортного средства SFZ, имеющего пульт TFS машиниста моторвагона и интегрированное устройство AZE отображения, в котором находится рабочее место машиниста FZF транспортного средства, для анализа изображений на базе рельсового пути для распознавания путевой установки SAL размещено устройство BAV для анализа изображений. Для этого устройство BAV для анализа изображений включает в себя предпочтительно выполненный в виде сенсора прибор BAZG для записи изображений, который выполнен, напр., в виде обычной видеокамеры, лазерного сенсора, тепловой камеры для съемки изображений, радарного устройства, инфракрасной камеры и пр., и в связи со сбором изображений называется также устройством для сбора изображений.In the rail communication system shown in FIG. 1 in a motor vehicle TRW of an SFZ rail vehicle having a motor vehicle driver TFS console TFS and an integrated AZE display device in which a workstation of a vehicle operator FZF is located for analyzing images based on a rail track for recognizing a SAL directional arrangement hosted a BAV device for image analysis. To this end, the BAV device for image analysis includes preferably a sensor device BAZG for recording images, which is made, for example, in the form of a conventional video camera, a laser sensor, a thermal camera for capturing images, a radar device, an infrared camera, etc., and in connection with the collection of images is also called a device for collecting images.
С помощью прибора BAZG для записи изображений, когда едущее по рельсовому пути GL рельсовое транспортное средство SFZ приближается к сигнальной установке SI, AL, с рельсового транспортного средства SFZ, напр., из перспективы машиниста FZF моторвагона на пульте TFS машиниста моторвагона TRW и/или из неподвижного, обеспечивающего видимость колеи положения в или на транспортном средстве SFZ, для находящейся перед рельсовым транспортным средством SFZ, при этом предпочтительно ориентирующейся на скорость рельсового транспортного средства SFZ области GLB рельсового пути может регистрироваться множество представляющих эту область GLB рельсового пути изображений BIGLB.Using the BAZG device for recording images, when the SFZ rail vehicle traveling along the GL track approaches the signal system SI, AL, from the SFZ rail vehicle, for example, from the perspective of the FZF driver of a motor car on the TFS console of a motor car driver TRW and / or from fixed, providing visibility of the position track in or on the SFZ vehicle, for the SFZ located in front of the rail vehicle, while preferably focusing on the speed of the SFZ rail vehicle, the GLB region ovogo path can be detected many GLB representing this area track the BI GLB images.
Формулируя обобщенно: применительно к едущему по колее FS железнодорожному транспортному средству BFZ для находящейся перед железнодорожным транспортным средством BFZ, при этом предпочтительно ориентирующейся на скорость железнодорожного транспортного средства BFZ области FSB колеи может регистрироваться множество представляющих эту область FSB колеи изображений BIFSB.Stated generally: in relation to traveling along the track of a railway vehicle FS BFZ for rail located in front of the vehicle BFZ, wherein preferably oriented to the speed of a railway vehicle BFZ FSB gauge region may register set representing this region FSB track BI FSB images.
На каждом из изображений BIFSB, BIGLB области FSB, GLB колеи содержится некоторая область BIB изображения, в которой применительно к графически изображенной области FSB, GLB колеи зарегистрированные колеи FS, GL лежат по существу в одном и том же месте и, исходя из этих долей зарегистрированных колей FS, GL, с помощью алгоритмов распознавания кромок распознается ход используемой железнодорожным транспортным средством BFZ, SFZ колеи FS, GL по изменяющейся на зарегистрированном изображении доле изображения колеи FS, GL по отношению ко всему зарегистрированному изображению.Each of the BI FSB , BI GLB images of the FSB, GLB gauge region contains a certain BIB image region in which, with respect to the graphically displayed FSB, GLB gauge region, the registered FS, GL gauge lines lie essentially in the same place, and based on these the share of the registered tracks FS, GL, with the help of edge recognition algorithms, the course of the track FSF, GL used by the railway vehicle BFZ, SFZ is recognized by the proportion of the image of the track FS, GL that changes on the registered image with respect to the entire track siderations.
Помимо этого, для текущего найденного географического положения железнодорожного транспортного средства BFZ, SFZ на изображениях BIFSB, BIGLB содержится отдельная область BTB изображения, в которой сигнал SI установки AL может распознаваться как однозначный признак путевой установки SAL. Эта отдельная область BTB изображения имеет, в свою очередь, первый участок BAS1 изображения, через который ведет используемая железнодорожным транспортным средством BFZ, SFZ колея FS, GL, и второй участок BAS2 изображения, причем последний является релевантным для распознавания хода перегона т.е. распознавания соответственно направления ПРЯМО, направления НАЛЕВО или направления НАПРАВО колеи FS, GL.In addition, for the current found geographical location of the railway vehicle BFZ, SFZ, the BI FSB , BI GLB images contain a separate image area BTB in which the AL signal SI can be recognized as a unique sign of the SAL directional installation. This separate image region BTB has, in turn, a first image section BAS1 through which the track FS, GL used by the railway vehicle BFZ, SFZ, and a second image section BAS2, the latter being relevant for recognizing the driving distance i.e. recognizing, respectively, the DIRECT direction, the LEFT direction or the RIGHT direction of the FS, GL.
Как теперь на основании изображений BIFSB, BIGLB области FSB, GLB колеи, имеющих содержащуюся на них область BIB изображения и отдельную область BTB изображения, включающую в себя два участка BAS1, BAS2 изображения, выполняется анализ изображений для распознавания путевой установки или, соответственно, распознавания сигнальной установки SI, AL и для распознавания хода перегона, поясняется ниже с помощью описания фиг.3.As now, based on the BI FSB , BI GLB images, the FSB, GLB gauge regions having the image region BIB contained therein and a separate image region BTB including two image portions BAS1, BAS2, image analysis is performed to recognize the directional setting or, accordingly, recognition signal installation SI, AL and to recognize the course of the stage, is explained below using the description of Fig.3.
На фиг.2 показан анализ изображения на базе колеи для распознавания объектов в железнодорожном сообщении BVK, когда на снова изображенном отдельными участками железнодорожном перегоне BST железнодорожной сети BNE, железнодорожное транспортное средство BFZ, на колее FS железнодорожного перегона BST по находится меньшей мере один объект OBJ, предпочтительно человек, животное, движущийся или неподвижный предмет, которые являются посторонними в области колеи, и им, собственно, нечего там делать, то есть находятся там недопустимым образом.FIG. 2 shows a track-based image analysis for object recognition in a BVK train, when there is at least one OBJ on a track FS of a BST railroad track BST, again depicted in separate sections of the railway track BST of the railway network BNE, preferably a person, animal, moving or immovable object, which are extraneous in the area of the rut, and they, in fact, have nothing to do there, that is, they are there in an unacceptable way.
Отнесенный к колее железнодорожный перегон BST железнодорожной сети BNE и здесь также представляет собой рельсовый перегон SST рельсовой сети SNE, на котором в рельсовом сообщении SVK для анализа изображений на базе рельсового пути для распознавания объектов рельсовое транспортное средство SFZ находится в пути на рельсовом пути GL и приближается к объекту OBJ. Вместо изображенного рельсового сообщения SVK с едущим по рельсовому перегону SST рельсовой сети SNE рельсовым транспортным средством SFZ и здесь также, как уже рассматривалось, в качестве другого примера осуществления изобретения возможна и представима также любая другая, какая угодно система железнодорожного сообщения на базе ближнего или дальнего сообщения. Так, можно было бы вести речь также, напр., о системе сообщения подвесной дороги на магнитной подвеске (ключевое слово: Трансрапид, Маглев и пр.), имеющей соответственно сравнимую инфраструктуру, состоящую из железнодорожной сети, железнодорожного перегона и железнодорожного транспортного средства.The railway track BST of the BNE railway, also referred to here, is also the rail track SST of the SNE rail network, on which, in the SVK rail message for analyzing images based on the rail track for object recognition, the SFZ rail vehicle is on the track on the GL rail track and approaches to the obj object. Instead of the depicted SVK rail service with the SFZ rail vehicle traveling along the SST rail track and here also, as already discussed, as any other embodiment of the invention, any other short-distance or long-distance rail system is also possible . So, one could also talk, for example, about a magnetic suspension system for the communication of a suspension road (keyword: Transrapid, Maglev, etc.), which has a correspondingly comparable infrastructure consisting of a railway network, a railway stage and a railway vehicle.
В изображенной на фиг.2 системе рельсового сообщения и здесь также в моторвагоне TRW рельсового транспортного средства SFZ, имеющего пульт TFS машиниста моторвагона и интегрированное устройство AZE отображения, в котором находится рабочее место машиниста FZF транспортного средства, для анализа изображений на базе рельсового пути для распознавания объектов размещено устройство BAV для анализа изображений. Для этого устройство BAV для анализа изображений снова включает в себя предпочтительно выполненный в виде сенсора прибор BAZG для записи изображений, который выполнен, напр., в виде обычной видеокамеры, лазерного сенсора, тепловой камеры для съемки изображений, радарного устройства, инфракрасной камеры и пр.In the rail communication system shown in FIG. 2 and here also in the motor vehicle TRW of the SFZ rail vehicle having a motor vehicle driver TFS console TFS and an integrated display device AZE in which the workstation of the vehicle operator FZF is located for analyzing images based on the rail for recognition objects placed a BAV device for image analysis. For this, the BAV device for image analysis again includes a BAZG device for recording images, preferably made in the form of a sensor, which is made, for example, in the form of a conventional video camera, a laser sensor, a thermal camera for capturing images, a radar device, an infrared camera, etc.
С помощью прибора BAZG для записи изображений, когда едущее по рельсовому пути GL рельсовое транспортное средство SFZ приближается к объекту OBJ, с рельсового транспортного средства SFZ, напр., из перспективы машиниста FZF моторвагона на пульте TFS машиниста моторвагона TRW и/или из неподвижного, обеспечивающего видимость колеи положения в или на транспортном средстве SFZ, для находящейся перед рельсовым транспортным средством SFZ, при этом предпочтительно ориентирующейся на скорость рельсового транспортного средства SFZ области GLB рельсового пути может регистрироваться множество представляющих эту область GLB рельсового пути изображений BIGLB.Using the BAZG device for recording images, when the SFZ rail vehicle traveling along the GL track approaches the OBJ object, from the SFZ rail vehicle, for example, from the perspective of the FZF driver of a motor car on the TFS console of a motor car driver TRW and / or from a stationary one providing visibility of the position gauge in or on the SFZ vehicle, for the SFZ in front of the rail vehicle, while preferably focusing on the speed of the rail vehicle SFZ of the rail track region GLB t register set is this area GLB track the BI GLB images.
Формулируя обобщенно: применительно к едущему по колее FS железнодорожному транспортному средству BFZ для находящейся перед железнодорожным транспортным средством BFZ, при этом предпочтительно ориентирующейся на скорость железнодорожного транспортного средства BFZ области FSB колеи снова может регистрироваться множество представляющих эту область FSB колеи изображений BIFSB.To summarize: in the case of the BFZ railway vehicle traveling along the FS track for the BFZ in front of the railway vehicle, while preferably focusing on the speed of the BFZ railway vehicle, the gauge region FSB can again be registered with a plurality of BI FSB images representing this gauge region FSB .
На каждом из изображений BIFSB, BIGLB области FSB, GLB колеи снова содержится некоторая область BIB изображения, в которой применительно к графически изображенной области FSB, GLB колеи зарегистрированные колеи FS, GL лежат по существу в одном и том же месте и, исходя из этих долей зарегистрированных колей FS, GL, с помощью алгоритмов распознавания кромок распознается ход используемой железнодорожным транспортным средством BFZ, SFZ колеи FS, GL по изменяющейся на зарегистрированном изображении доле изображения колеи FS, GL по отношению ко всему зарегистрированному изображению.Each of the BI FSB , BI GLB images of the FSB, GLB gauge region again contains a certain BIB image region in which, with respect to the graphically displayed FSB, GLB gauge region, the registered FS, GL gauge lie essentially in the same place and, based on of these fractions of the registered gauge FS, GL, using the edge recognition algorithms, the course of the gauge FS, GL used by the railway vehicle BFZ, SFZ is recognized by the proportion of the image of the gauge FS, GL changing in the registered image with respect to the whole th image.
Помимо этого, на изображениях BIFSB, BIGLB содержится третий участок BAS3 изображения, в котором находится объект OBJ.In addition, the BI FSB , BI GLB images contain a third image portion BAS3 in which the OBJ is located.
Как теперь на основании изображений BIFSB, BIGLB области FSB, GLB колеи, имеющих содержащуюся в них область BIB изображений, и участка BAS3 изображения выполняется анализ изображений для распознавания объекта, поясняется ниже с помощью описания фиг.3.As now, based on the BI FSB , BI GLB images, the FSB, GLB gauge regions having the image region BIB contained therein, and the image portion BAS3, image analysis for object recognition is performed, which will be explained below using the description of FIG. 3.
На фиг.3 показана принципиальная конструкция устройства BAV для анализа изображений, для анализа изображений на базе рельсового пути для распознавания путевой установки и хода перегона в соответствии с фиг.1 и для распознавания объектов в соответствии с фиг.2, когда железнодорожное транспортное средство BFZ, SFZ, которое находится в пути на колее FS, GL, приближается в соответствии с фиг.2 к путевой установке SAL или, соответственно, подающей сигнал SI или направляющей установке AL на железнодорожном перегоне BST, SST или, соответственно, в соответствии с фиг.2, к находящемуся на колее FS, GL объекту OBJ.Figure 3 shows the basic structure of the BAV device for image analysis, for image analysis on the basis of the rail track for recognizing the track setting and the course of the haul in accordance with figure 1 and for object recognition in accordance with figure 2, when the railway vehicle BFZ, In accordance with FIG. 2, SFZ, which is on the track on the track FS, GL, approaches the SAL track system or, respectively, the SI signal or AL track system on the BST, SST railway section or, respectively, in accordance with figure 2, located on the track FS, GL object OBJ.
При этом исходной точкой для каждого распознавания, в соответствии с рассуждениями к фиг.1 и 2, является прибор BAZG для записи изображений, который регистрирует изображения BIFSB, BIGLB области FSB, GLB колеи для этого каждого распознавания.In this case, the starting point for each recognition, in accordance with the reasoning of FIGS. 1 and 2, is an image recording device BAZG, which records BI FSB , BI GLB, FSB, GLB gauge images for this each recognition.
Для этого прибор BAZG для записи изображений предпочтительно выполнен с возможностью поворота ориентации на объект изображения.For this, the BAZG device for recording images is preferably configured to rotate the orientation on the image object.
Далее, возможно и при определенных обстоятельствах также по техническим причинам, связанным с регистрацией, целесообразно, чтобы в устройстве BAV для анализа изображений содержались несколько приборов BAZG для записи изображений одинаковой конструкции, напр., несколько видеокамер, или приборов различной конструкции, напр., несколько видеокамер, лазерных сенсоров, сенсоров на базе радара, основанных на беспроводной локации и измерении расстояния, инфракрасных камер и/или тепловых камер для съемки изображений, которые снимают изображения BIFSB, BIGLB. Такое составное исполнение записи изображения или, соответственно, сбора изображений может быть релевантно, в т.ч., для целей редундантности.Further, it is possible, and under certain circumstances, also for technical reasons related to registration, it is advisable that the BAV device for image analysis contains several BAZG devices for recording images of the same design, for example, several video cameras, or devices of different designs, for example, several video cameras, laser sensors, radar-based sensors based on wireless location and distance measurement, infrared cameras and / or thermal cameras for shooting images that capture BI F images SB , BI GLB . Such a composite execution of an image recording or, accordingly, image collection may be relevant, including, for the purpose of redundancy.
Для дополнительного улучшения качества изображений, записываемых или собираемых с помощью прибора BAZG для записи изображений, в приборе BAZG для записи изображений предпочтительно содержатся следующие компоненты:To further improve the quality of images recorded or collected using the BAZG image recording device, the following components are preferably contained in the BAZG image recording device:
1. Корректирующий компонент KOK, с помощью которого для аналитической оценки графического материала приобщаются данные о погоде и освещенности. С помощью этого компонента можно, напр., при сильном тумане, ограничивать аналитическую оценку видеоизображений первыми 50 метрами перед рельсовым транспортным средством и соответственно дросселировать скорость рельсового транспортного средства.1. The correction component KOK, with the help of which the data on weather and illumination are attached for the analytical assessment of the graphic material. Using this component, it is possible, for example, in heavy fog, to limit the analytical assessment of video images to the first 50 meters in front of the rail vehicle and, accordingly, to speed the speed of the rail vehicle.
2. Компонент BVK изменения фокусного расстояния, который, в зависимости от окружения (напр., вокзал, городская зона, сельская местность и пр.) и скорости выбирает правильный угол съемки, чтобы таким образом оптимально поддерживать аналитическую оценку изображения. Благодаря этому тогда могут надлежащим образом обслуживаться как ситуации съемки на свободном перегоне (требуют изображений из большой удаленности, чтобы на основании скорости можно быть реагировать своевременно), так и ситуации съемки в области вокзала (требуют изображений, имеющих большую ширину). Дополнительно путем слияния графических данных и данных перегона возможно фокусирование на особенно интересных областях вдоль рельсового перегона SST в рельсовой сети SNE, таких как, напр., железнодорожный переезд.2. The BVK component changes the focal length, which, depending on the environment (eg, station, urban area, countryside, etc.) and speed, selects the correct shooting angle in order to optimally support the analytical assessment of the image. Due to this, then both shooting situations on a free stretch (require images from a great distance so that you can react in a timely manner based on speed) and shooting situations in the station area (require images having a large width) can then be properly serviced. Additionally, by merging the graphic data and the haul data, it is possible to focus on particularly interesting areas along the SST rail haul in the SNE rail network, such as, for example, a railway crossing.
3. Компонент BLK освещения, выполненный, например, в виде прожектора, который работает в пределах или вне видимой человеку области, и с помощью которого улучшается качество графического материала, снимаемого прибором для записи изображений или, соответственно, прибором BAZG для сбора изображений ночью или при плохих погодных условиях.3. The BLK component of lighting, made, for example, in the form of a searchlight that works within or outside the area visible to a person, and with the help of which the quality of the graphic material taken by the image recording device or, accordingly, the BAZG device for collecting images at night or at bad weather conditions.
Снятые таким образом изображения сохраняются прибором BAZG для записи изображений в устройстве BSPE для запоминания изображений. Это устройство BSPE для запоминания изображений либо, в соответствии с опцией «A», в качестве компонента устройства BAV для анализа изображений, может быть соответственно соединено с прибором BAZG для записи изображений, либо, в соответствии с опцией «B», вне устройства BAV для анализа изображений, напр., в виде банка памяти данных, в моторвагоне или в облаке данных быть предназначено для прибора BAZG для записи изображений или, соответственно, может соединяться с ним.Images taken in this way are saved by the BAZG device for recording images in the BSPE device for storing images. This BSPE device for storing images or, in accordance with option “A”, as a component of the BAV device for image analysis, can be respectively connected to the BAZG device for recording images, or, in accordance with option “B”, outside the BAV device for image analysis, for example, in the form of a data memory bank, in a motor car or in a data cloud, can be designed for the BAZG device for recording images or, accordingly, can be connected to it.
Для анализа на базе колеи записанных или, соответственно, собранных изображений для распознавания путевой установки и хода перегона в соответствии с фиг.1 и для распознавания объектов в соответствии с фиг.2, прибор BAZG для записи изображений соединен с вычислительным/анализирующим устройством BAWE, которое тоже является одним из компонентов устройства BAV для анализа изображений. Для этой цели вычислительное/анализирующее устройством BAWE, как и прибор BAZG для записи изображений, либо, в соответствии с опцией «A», соединено с устройством BSPE для запоминания изображений, либо, в соответствии с опцией «B», предназначено для устройства BSPE для запоминания изображений или, соответственно, может соединяться с ним. Таким образом возникает блок отдельных функций из вычислительного/анализирующего устройства BAWE, прибора BAZG для записи изображений и устройства BSPE для запоминания изображений, у которого названные компоненты устройства BAV для анализа изображений взаимодействуют отдельными функциями для поддерживаемого вычислениями и аналитической оценкой анализа изображений на базе колеи для распознавания путевой установки /хода перегона/объектов.For the analysis based on the track of recorded or, respectively, collected images for recognition of the track setup and the course of the haul in accordance with Fig. 1 and for object recognition in accordance with Fig. 2, the BAZG device for recording images is connected to a BAWE computing / analyzing device, which It is also one of the components of the BAV device for image analysis. For this purpose, the BAWE computing / analyzing device, like the BAZG device for recording images, is either connected to the BSPE device for storing images in accordance with option “A”, or, in accordance with option “B”, is intended for the BSPE device for storing images or, accordingly, can be connected to it. Thus, a block of individual functions arises from the BAWE computing / analyzing device, the BAZG device for recording images and the BSPE device for storing images, in which the named components of the BAV device for image analysis interact with separate functions for image analysis based on the track for recognition supported by calculations and analytical evaluation directional installation / course of the stage / objects.
Для образования полного функционального блока, у которого функционально взаимодействуют участвующие в нем отдельные блоки, названный блок отдельных функций расширяется другим отдельным блоком, информационным банком IDB данных. При этом информационный банк IDB данных может, например, быть интегрирован с устройством BSPE для запоминания изображений как конструктивный блок в одном общем запоминающем устройстве. Это, не изображенное явно на фиг.3, запоминающее устройство может, со своей стороны, так же, как и устройство BSPE для запоминания изображений, либо, в соответствии с опцией «A», в качестве компонента устройства BAV для анализа изображений, быть соответственно соединено с прибором BAZG для записи изображений и вычислительным/анализирующим устройством BAWE, либо, в соответствии с опцией «B», вне устройства BAV для анализа изображений в моторвагоне или в облаке данных быть предназначено для прибора BAZG для записи изображений и вычислительного/анализирующего устройства BAWE или, соответственно, может соединяться с ним. В этой связи ссылаемся на устройство для запоминания информации в заявке на патент DE (заявка № 102016224355.1) и соответствующей ей международной заявке на патент (заявка № PCT/…; публикация № WO …) об альтернативном определении положения в рельсовом сообщении, когда традиционное определение положений со спутниковой поддержкой не срабатывает или является недостаточным.To form a complete functional block, in which the individual blocks involved in it functionally interact, the named block of individual functions is expanded by another separate block, the IDB data bank. In this case, the information data bank IDB can, for example, be integrated with the BSPE device for storing images as a structural unit in one common storage device. This, not shown explicitly in FIG. 3, the storage device may, for its part, as well as the BSPE device for storing images, or, in accordance with option “A”, as a component of the BAV device for image analysis, respectively connected to a BAZG device for recording images and a BAWE computing / analyzing device, or, in accordance with option “B”, outside the BAV device for analyzing images in a motor car or in a data cloud, be intended for a BAZG device for recording images and computing / analyzing present BAWE device or respectively may be connected to them. In this regard, we refer to the device for storing information in the DE patent application (application No. 102016224355.1) and its corresponding international patent application (application No. PCT / ...; publication No. WO ...) on an alternative definition of a position in a rail message, when the traditional definition of provisions with satellite support does not work or is insufficient.
В информационном банке IDB данных сохранена графическая метаинформация BMI, которая в буквальном смысле содержит данные признаков и свойств области FSB, GLB колеи/рельсового пути, зарегистрированной на изображениях BIFSB, BIGLB.The BMI graphical meta-information is stored in the IDB data bank, which literally contains the characteristics and properties of the FSB, GLB gauge / rail track area recorded in the BI FSB , BI GLB images.
В этой графической метаинформации BMI содержатся как относящиеся к колее FS, GL первичные метаданные, которые предпочтительно указывают расстояние между параллельно проходящими колеями FS, GL, а также ширину головки колеи, в частности головки рельса, так и относящиеся к железнодорожному перегону BST, SST вторичные метаданные, которые предпочтительно указывают, в каких географических положениях или локальных координатах находятся установки на железнодорожном перегоне BST, SST, так называемые путевые установки SAL, такие как, напр., железнодорожный переезд BÜG на фиг.1 и 2, стрелки или подающая сигнал SI или направляющая установка AL.This BMI graphic meta-information contains both primary metadata related to the FS, GL gauge, which preferably indicate the distance between parallel tracks FS, GL, as well as the width of the gauge head, in particular the rail head, and the secondary metadata related to the railway stage BST, SST which preferably indicate in which geographical locations or local coordinates the installations on the railway line BST, SST, the so-called track installations SAL, such as, for example, railway BÜG rails in FIGS. 1 and 2, arrows or SI signaling or AL installation guide.
В соответствии с изображением на фиг.3 информационный банк IDB данных предназначен для устройства BAV для анализа изображений или, соответственно, может соединяться с ним таким образом, что вычислительное/анализирующее устройство BAWE для поддерживаемого вычислениями и аналитической оценкой анализа изображений на базе колеи для распознавания путевой установки/хода перегона/объекта получает доступ к сохраненной в информационном банке IDB данных графической метаинформации BMI. Для этого информационный банк IDB данных предпочтительно расположен вне устройства BAV для анализа изображений, напр., в виде банка данных, в моторвагоне или выполнен в виде облака данных.In accordance with the image in FIG. 3, the IDB data bank is designed for the BAV device for image analysis or, accordingly, can be connected to it in such a way that the BAWE computing / analyzing device for the track-based image analysis for analytical recognition of the track for track recognition the installation / course of the haul / facility gets access to the BMI graphic meta-information stored in the IDB information bank. For this, the IDB data bank is preferably located outside the BAV device for image analysis, for example, in the form of a data bank, in a motor car or in the form of a data cloud.
Для поддерживаемого вычислениями/аналитической оценкой анализа изображений на базе колеи для распознавания путевой установки/хода перегона/объекта вычислительное/анализирующее устройство BAWE имеет предпочтительно энергонезависимую, считываемую память SP, в которой сохранены считываемые процессором команды управляющей программы управляющего анализом изображений для распознавания путевой установки/хода перегона/объекта программного модуля PGM, и процессор PZ, который выполняет команды управляющей программы программного модуля PGM для поддерживаемого вычислениями/аналитической оценкой анализа изображений на базе колеи для распознавания путевой установки/хода перегона/объекта. Для этого процессор PZ дополнительно, наряду с доступами к графической метаинформации BMI в информационном банке IDB данных, в целях управления и для считывания данных на приборе получает доступ к прибору BAZG для записи изображений и устройству BSPE для запоминания изображений.For track-based image analysis / analytic evaluation for track recognition / driving distance / object recognition, the BAWE computing / analyzing device preferably has a non-volatile, readable memory SP, in which processor-readable image analysis control program control commands for recognizing the track setting / stroke are stored stage / object of the PGM program module, and a PZ processor that executes the control program commands of the PGM program module for supported by calculations / analytical evaluation of the track-based image analysis for the recognition of the directional setting / driving distance / object. For this, the PZ processor additionally, along with access to the graphic meta-information BMI in the IDB data bank, for control and reading data on the device, gets access to the BAZG device for recording images and the BSPE device for storing images.
Вычислительное/анализирующее устройство BAWE или, соответственно, программный модуль PGM, имеющий процессор PZ, выполняющий команды управляющей программы программного модуля PGM для поддерживаемого вычислениями/аналитической оценкой анализа изображений на базе колеи для распознавания путевой установки/хода перегона/объекта, для поддерживаемого вычислениями/аналитической оценкой анализа изображений на базе колеи для распознавания путевой установки/хода перегона/объекта сначала в объеме выполненного блока отдельных функций, выполнен таким образом, что на каждом из изображений BIFSB, BIGLB создается область BIB изображения, в которой применительно к графически изображенной области FSB, GLB зарегистрированные колеи FS, GL лежат по существу в одном и том же месте.A BAWE computing / analyzing device or, respectively, a PGM software module having a PZ processor executing commands of the control program of the PGM software module for track-based image analysis for analytical / analytical evaluation of track-based recognition for the directional setting / driving distance / object, for supported computing / analytical assessment of the analysis of images based on the track for the recognition of the directional installation / course of the stage / object first in the volume of the performed block of individual functions they way that on each of the images BI FSB, BI GLB created BIB image region in which the relation to the field of graphics FSB, GLB registered gauge FS, GL lie substantially in one and the same place.
Дополнительно вычислительное/анализирующее устройство BAWE или, соответственно, программный модуль PGM, имеющий процессор PZ, выполняющий команды управляющей программы программного модуля PGM в объеме выполненного блока отдельных функций, выполнен таким образом, что, исходя из долей зарегистрированных колей FS, GL, в области BIB изображения с помощью алгоритмов распознавания кромок распознается ход используемой железнодорожным транспортным средством BFZ, SFZ колеи FS, GL по изменяющейся на зарегистрированном изображении доле изображения колеи FS, GL по отношению ко всему зарегистрированному изображению, и сравнивается с сохраненной в информационном банке IDB данных известной графической метаинформацией BMI.In addition, the BAWE computing / analyzing device or, respectively, the PGM software module having a PZ processor that executes the control program commands of the PGM software module in the volume of the executed block of individual functions, is made in such a way that, based on the fractions of the registered FS, GL tracks, in the BIB area image using edge recognition algorithms, the course of the track FSF, GL, used by the railway vehicle BFZ, SFZ is recognized by the proportion of the image of the track FS, GL changing on the registered image in relation to the entire registered image, and is compared with the well-known BMI graphic meta-information stored in the IDB data bank.
Для распознавания путевой установки SAL или, соответственно, подающей сигнал SI или направляющей установки AL анализ изображений на базе колеи в вычислительном/анализирующем устройстве BAWE осуществляется предпочтительно таким образом, что на изображении BIFSB, BIGLB распознается, где находится сигнальная установка SI, AL или, соответственно, путевая установка SAL, при этомIn order to recognize the SAL directional device or, respectively, the SI signal supply or the AL installation guide, the track-based image analysis in the BAWE calculating / analyzing device is preferably carried out in such a way that it is recognized in the BI FSB , BI GLB image where the SI, AL or , accordingly, the SAL track installation, while
1) для текущего найденного географического положения железнодорожного транспортного средства BFZ, SFZ на изображении BIFSB, BIGLB создается отдельная область BTB изображения, в которой может распознаваться однозначный признак путевой установки SAL или, соответственно, сигнал SI установки AL,1) for the current found geographical location of the railway vehicle BFZ, SFZ in the image BI FSB , BI GLB , a separate image area BTB is created in which an unambiguous sign of the directional SAL installation or, accordingly, the signal SI of the AL installation,
2) в этой отдельной области BTB изображения определяется первый участок BAS1 изображения, через который ведет используемая железнодорожным транспортным средством BFZ, SFZ колея FS, GL,2) in this separate image region BTB, a first image section BAS1 is determined through which the track FS, GL used by the railway vehicle BFZ, SFZ,
3) с помощью первого известного метаданного о расстоянии до путевой установки SAL или, соответственно, сигнальной установки SI, AL вторичных метаданных в сохраненной в памяти графической метаинформации BMI находится, на каком расстоянии на базе ширины колеи FS, GL на участке BAS1 изображения находится путевая установка SAL или, соответственно, сигнальная установка SI, AL от колеи FS, GL,3) using the first known metadata about the distance to the SAL directional setup or, respectively, the SI, AL signaling setup of the secondary metadata in the stored graphic meta information BMI is located at what distance the track setting is located on the basis of the track width FS, GL in the image section BAS1 SAL or, accordingly, the signal installation SI, AL from the track FS, GL,
4) с помощью второго известного метаданного о наружных кромках путевой установки SAL или, соответственно, сигнальной установки SI, AL вторичных метаданных в сохраненной в памяти графической метаинформации BMI и стандартного алгоритма распознавания кромок делается попытка распознать наружные кромки путевой установки SAL или, соответственно, сигнальной установки SI, AL на найденном в 3) расстоянии от колеи FS, GL до тех пор, пока известная и распознанная наружная кромка по существу не перекроются.4) using the second known metadata about the outer edges of the SAL waypoint or, respectively, the SI, AL signal set of the secondary metadata in the BMI graphic meta-information stored in the memory and the standard edge recognition algorithm, an attempt is made to recognize the outer edges of the SAL waypoint or signal setting SI, AL at a distance found in 3) from the track FS, GL until the known and recognized outer edge essentially overlap.
Для распознавания хода перегона, ведет ли путь следования дальше налево или направо или прямо, то есть в каком направлении ведет распознанная по распознанному ходу колея FS, GL, вычислительное/анализирующее устройство BAWE при анализе изображений на базе колеи предпочтительно также выполнено таким образом, что на изображении BIFSB, BIGLB распознается, в каком направлении, в частности НАЛЕВО, НАПРАВО или ПРЯМО, едет железнодорожное транспортное средство BFZ, SFZ, при этом для колеи FS, GL, распознанной по распознанному ходу,In order to recognize the course of the run, whether the path leads further left or right or straight, that is, in which direction does the track FS, GL, recognized by the recognized track, lead the BAWE computing / analyzing device when analyzing images based on the track, it is also preferably performed in such a way that the image of BI FSB , BI GLB recognizes in which direction, in particular LEFT, RIGHT or DIRECT, the railway vehicle BFZ, SFZ is traveling, while for the track FS, GL recognized by the recognized course,
1) путем линейного продолжения колеи FS, GL, используемой в соответствии с областью BIB изображения железнодорожным транспортным средством BFZ, SFZ, искусственно создается псевдо-колея ПРЯМО, в частности псевдо-рельсовый путь ПРЯМО,1) by linear extension of the track FS, GL used in accordance with the BIB region of the image by the railway vehicle BFZ, SFZ, a pseudo-track DIRECTLY is artificially created, in particular a pseudo-track DIRECTLY,
2) эта псевдо-колея ПРЯМО сравнивается с используемой колеей FS, GL таким образом, чтобы2) this pseudo-track is DIRECTLY compared with the FS, GL track used so that
2) было распознано направление ПРЯМО, когда сравненные колеи FS, GL идентичны,2) the DIRECT direction was recognized when the compared tracks FS, GL are identical,
2.2) было распознано направление НАЛЕВО, напр., поворот НАЛЕВО, когда используемая колея FS, GL лежит слева от псевдо-колеи ПРЯМО,2.2) the LEFT direction was recognized, for example, the LEFT turn when the used track FS, GL lies to the left of the pseudo-track DIRECT,
2.3) было распознано направление НАПРАВО, напр., поворот НАПРАВО, когда используемая колея FS, GL лежит справа от псевдо-колеи ПРЯМО.2.3) the RIGHT direction was recognized, for example, the RIGHT turn when the track FS, GL used lies to the right of the pseudo-track RIGHT.
При этом в частности, возможно, и вычислительное/анализирующее устройство BAWE выполнено соответственно, чтобы по расстоянию от используемой колеи FS, GL до псевдо-колеи ПРЯМО, а также до железнодорожного транспортного средства BFZ, SFZ, которое рассчитывается из ширины колеи FS, GL в области BIB изображения и ширины колеи FS, GL в каждом указанном, релевантном для данного распознавания направления ПРЯМО, направления НАЛЕВО или направления НАПРАВО втором участке BAS2 изображения, рассчитывалась степень кривизны направления/поворота НАЛЕВО или, соответственно, направления/поворота НАПРАВО.In this case, in particular, it is possible that the BAWE computing / analyzing device is made, respectively, so that the distance from the used track FS, GL to the pseudo-track DIRECTLY, as well as to the railway vehicle BFZ, SFZ, which is calculated from the track width FS, GL in the image BIB area and the FS, GL track widths in each direction RIGHT, LEFT, or RIGHT direction to the second image section BAS2 indicated for the recognition, the degree of curvature of the LEFT direction / rotation is calculated or, respectively Twain, direction / right turn.
Для распознавания объекта вычислительное/анализирующее устройство BAWE при анализе изображений на базе колеи, помимо этого, предпочтительно выполнено таким образом, что на изображении BIFSB, BIGLB распознается, находится ли на используемой колее FS, GL по меньшей мере один объект OBJ, который, например, может представлять собой человека, животное, движущийся или неподвижный предмет, при этомFor object recognition computer / analysis apparatus BAWE the analysis of images based on the track, in addition, is preferably arranged such that the image BI FSB, BI GLB recognized, whether to use a rut FS, GL at least one object OBJ, that is, for example, may be a human, animal, moving or stationary object, while
1) характерный для человека размер человека и/или характерный для предмета размер движущегося предмета ставится в соотношение с известной шириной колеи FS, GL, которая получается из третьего известного метаданного о ширине колеи FS, GL первичных метаданных в сохраненной в памяти графической метаинформации BMI,1) the size of a person that is typical for a person and / or the size of a moving object that is characteristic of an object is correlated with the known track gauge FS, GL, which is obtained from the third known metadata about the track gauge FS, GL of primary metadata in the BMI graphic meta-information stored in memory,
2) на изображении BIFSB, BIGLB используемая колея FS, GL, а также критическая область, которая, напр., имеет ширину различного размера, в зависимости от окружения колеи FS, GL, будь то сельская местность или город, слева и справа от используемой колеи FS, GL, разделяются на несколько анализируемых участков при возрастающем расстоянии до железнодорожного транспортного средства BFZ, SFZ,2) in the image BI FSB , BI GLB, the used track FS, GL, as well as the critical area, which, for example, has a width of various sizes, depending on the environment of the track FS, GL, whether it is a countryside or city, to the left and right of used gauge FS, GL, are divided into several sections under analysis with increasing distance to the railway vehicle BFZ, SFZ,
3) для каждого анализируемого участка используется специфический для окружения алгоритм распознавания образца для распознавания объекта OBJ.3) for each analyzed area, an environment-specific pattern recognition algorithm is used to recognize the OBJ object.
При этом в частности, возможно, и вычислительное/анализирующее устройство BAWE выполнено соответственно, чтобы при наличии движущегося объекте OBJ, напр., человека, животного, других движущихся навстречу или обгоняющих железнодорожных транспортных средств и пр., соотносились друг с другом анализируемые участки нескольких следующих друг за другом изображений BIFSB, BIGLB, чтобы распознавать и отслеживать движение для предварительного расчета возможного столкновения с объектом OBJ.In this case, in particular, it is possible that the BAWE computing / analyzing device is made accordingly, so that in the presence of a moving object OBJ, for example, a person, an animal, other moving towards or overtaking railway vehicles, etc., the analyzed sections of the following one after another of BI FSB , BI GLB images to recognize and track the movement for preliminary calculation of a possible collision with an OBJ object.
Помимо этого, предпочтительно возможно, и вычислительное/анализирующее устройство BAWE выполнено соответственно, чтобы на изображении BIFSB, BIGLB распознавалось, на каком расстоянии железнодорожное транспортное средство BFZ, SFZ находится от объекта OBJ, который был распознан на используемой колее FS, GL, при этом соотносятся друг с другом ширина пикселя колеи FS, GL в области BIB изображения и ширина пикселя колеи FS, GL в третьем участке BAS3 изображения, в котором находится объект OBJ, при этом упомянутое расстояние рассчитывается из этого отношения и полученной из известного третьего метаданного ширины колеи FS, GL.In addition, it is preferable, possibly, that the BAWE computing / analyzing device is made, respectively, so that the image of BI FSB , BI GLB recognizes at what distance the railway vehicle BFZ, SFZ is located from the object OBJ, which was recognized on the used track FS, GL, when this correlates with each other the pixel width of the gauge FS, GL in the BIB region of the image and the pixel width of the gauge FS, GL in the third image section BAS3 in which the object OBJ is located, while the mentioned distance is calculated from this ratio and the floor from the known third metadata of the gauge FS, GL.
С помощью описанного выше устройства BAV для анализа изображений возможно ассистирование или, соответственно, даже реализация автоматизированного (автономного) или с участием машиниста ведения железнодорожного транспортного средства BFZ или, соответственно, рельсового транспортного средства SFZ без дополнительной инфраструктуры по некоторому перегону следования. Это имеет место, в частности, тогда, когда устройство BAV для анализа изображений реализовано в виде виртуальной машины, которая выполнена и функционирует как «Software Defined Signal Recognition of Rail Traffic Systems» (англ. программно-определяемое распознавание сигналов систем железнодорожного транспорта).Using the BAV device for image analysis described above, it is possible to assist or, accordingly, even implement an automated (autonomous) or with the participation of the driving engineer of the BFZ railway vehicle or, accordingly, the SFZ rail vehicle without additional infrastructure for a certain route. This is the case, in particular, when the BAV device for image analysis is implemented as a virtual machine, which is implemented and functions as a “Software Defined Signal Recognition of Rail Traffic Systems” (English software-defined signal recognition of railway systems).
Claims (85)
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016224331 | 2016-12-07 | ||
| DE102016224331.4 | 2016-12-07 | ||
| PCT/EP2017/081845 WO2018104462A1 (en) | 2016-12-07 | 2017-12-07 | Method, device, and track-bound vehicle, in particular rail vehicle, for a track-based image analysis in track-bound traffic, in particular for a rail-based image analysis in rail traffic |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2720303C1 true RU2720303C1 (en) | 2020-04-28 |
Family
ID=60972170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019117748A RU2720303C1 (en) | 2016-12-07 | 2017-12-07 | Method, device and railway vehicle, in particular, rail vehicle, for analysis of images on basis of track in railway communication, in particular for analysis of images on basis of rail track in rail communication |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP3523175A1 (en) |
| CN (1) | CN110248858A (en) |
| RU (1) | RU2720303C1 (en) |
| WO (1) | WO2018104462A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2766936C1 (en) * | 2021-10-19 | 2022-03-16 | Акционерное общество «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте» | Locomotive control and driver vigilance control device |
| RU2790738C1 (en) * | 2022-11-18 | 2023-02-28 | Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" | Locomotive control device |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018215697A1 (en) * | 2018-09-14 | 2020-03-19 | Siemens Mobility GmbH | Automated on-board control system for a rail vehicle |
| JP7024110B2 (en) * | 2018-09-26 | 2022-02-22 | 株式会社日立製作所 | Train control |
| CN109720381A (en) * | 2018-12-28 | 2019-05-07 | 深圳华侨城卡乐技术有限公司 | A kind of railcar avoiding collision and its system |
| DE102019206348A1 (en) * | 2019-05-03 | 2020-07-23 | Siemens Mobility GmbH | Method and computer program product for recognizing signal signs for traffic control of track-bound vehicles as well as signal sign recognition system and track-bound vehicle, in particular rail vehicle |
| US10919546B1 (en) | 2020-04-22 | 2021-02-16 | Bnsf Railway Company | Systems and methods for detecting tanks in railway environments |
| CN112810669A (en) * | 2020-07-17 | 2021-05-18 | 周慧 | Intercity train operation control platform and method |
| CN112319552A (en) * | 2020-11-13 | 2021-02-05 | 中国铁路哈尔滨局集团有限公司 | Rail car operation detection early warning system |
| CN115610479B (en) * | 2022-09-23 | 2023-09-15 | 北京京天威科技发展有限公司 | Railway line state inspection system and method |
| CN118071832B (en) * | 2024-04-19 | 2024-07-05 | 湖南蓝天机器人科技有限公司 | RGV trolley visual positioning method and system based on laser identification |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2779518A1 (en) * | 1998-06-09 | 1999-12-10 | Thomson Csf | OPTICAL METHOD FOR RECONSTRUCTING THE TRACK OF A TRACK ALONG WHICH A GUIDED VEHICLE MOVES |
| DE102006007788A1 (en) * | 2006-02-20 | 2007-08-30 | Siemens Ag | Computer-assisted driverless railway train monitoring system, to show its travel behavior, has train-mounted sensors and track position markers for position data to be compared with a stored model |
| US20100104199A1 (en) * | 2008-04-24 | 2010-04-29 | Gm Global Technology Operations, Inc. | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
| DE102014217954A1 (en) * | 2014-09-09 | 2016-03-10 | Robert Bosch Gmbh | Method and device for determining a desired inclination angle of a rail vehicle |
| CN105701844A (en) * | 2016-01-15 | 2016-06-22 | 苏州大学 | Method for detecting obstacle or shadow on the basis of color characteristics |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101108627A (en) * | 2007-08-30 | 2008-01-23 | 桂林市思奇通信设备有限公司 | Automatic monitored control system for railway driving safety and operation method thereof |
| US9810533B2 (en) * | 2011-04-27 | 2017-11-07 | Trimble Inc. | Railway track monitoring |
| CN104386092B (en) * | 2014-10-21 | 2017-02-22 | 卡斯柯信号有限公司 | Automatic train protection system and method based on image identification and multi- perception fusion |
| CN109415071A (en) | 2016-04-08 | 2019-03-01 | 西门子移动有限责任公司 | For the method, apparatus and rail vehicle of the signal identification in rail traffic, particularly railway traffic, especially rolling stock |
-
2017
- 2017-12-07 WO PCT/EP2017/081845 patent/WO2018104462A1/en active Application Filing
- 2017-12-07 RU RU2019117748A patent/RU2720303C1/en active
- 2017-12-07 EP EP17829135.7A patent/EP3523175A1/en active Pending
- 2017-12-07 CN CN201780075716.XA patent/CN110248858A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2779518A1 (en) * | 1998-06-09 | 1999-12-10 | Thomson Csf | OPTICAL METHOD FOR RECONSTRUCTING THE TRACK OF A TRACK ALONG WHICH A GUIDED VEHICLE MOVES |
| DE102006007788A1 (en) * | 2006-02-20 | 2007-08-30 | Siemens Ag | Computer-assisted driverless railway train monitoring system, to show its travel behavior, has train-mounted sensors and track position markers for position data to be compared with a stored model |
| US20100104199A1 (en) * | 2008-04-24 | 2010-04-29 | Gm Global Technology Operations, Inc. | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
| DE102014217954A1 (en) * | 2014-09-09 | 2016-03-10 | Robert Bosch Gmbh | Method and device for determining a desired inclination angle of a rail vehicle |
| CN105701844A (en) * | 2016-01-15 | 2016-06-22 | 苏州大学 | Method for detecting obstacle or shadow on the basis of color characteristics |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2766936C1 (en) * | 2021-10-19 | 2022-03-16 | Акционерное общество «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте» | Locomotive control and driver vigilance control device |
| RU2790738C1 (en) * | 2022-11-18 | 2023-02-28 | Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" | Locomotive control device |
| RU2804565C1 (en) * | 2023-04-07 | 2023-10-02 | Акционерное общество "Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте" | On-board technical vision system of rail vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110248858A (en) | 2019-09-17 |
| EP3523175A1 (en) | 2019-08-14 |
| WO2018104462A1 (en) | 2018-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2720303C1 (en) | Method, device and railway vehicle, in particular, rail vehicle, for analysis of images on basis of track in railway communication, in particular for analysis of images on basis of rail track in rail communication | |
| RU2719499C1 (en) | Method, device and railway vehicle, in particular, rail vehicle, for recognition of obstacles in railway connection, in particular in rail connection | |
| RU2745531C2 (en) | Method, a device and a railroad vehicle, in particular, a rail vehicle, for recognizing dangerous situations in railway service, in particular, in rail operation | |
| EP3473522B1 (en) | Vehicle on-board controller centered train operation control system | |
| EP3627471B1 (en) | Method and device for assisting in controlling automatic driving of vehicle, and system | |
| CN109829367B (en) | Unmanned obstacle recognition management system and method | |
| CN102598083B (en) | Driving support device | |
| RU2720749C1 (en) | Method, device and railway vehicle, in particular, rail vehicle, for recognition of track in railway communication, in particular for recognition of track in rail communication | |
| CN109523830A (en) | Track of vehicle prediction and anti-collision warning method based on high-frequency high-precision location information | |
| CN110264783A (en) | Vehicle collision avoidance early warning system and method based on bus or train route collaboration | |
| JP7028066B2 (en) | Detection device and detection system | |
| CN112009524B (en) | System and method for tramcar obstacle detection | |
| US10773739B2 (en) | Method, apparatus and railroad vehicle, in particular rail vehicle, for signal recognition in railroad traffic, in particular rail traffic | |
| CN106114217A (en) | Travel controlling system | |
| CN106527427A (en) | Automatic driving sensing system based on highway | |
| CN110562222B (en) | Emergency braking control method for curve scene, vehicle-mounted device and storage medium | |
| CN110807412B (en) | Vehicle laser positioning method, vehicle-mounted equipment and storage medium | |
| JP4993644B2 (en) | Train operation support device | |
| JP2019207653A (en) | Detection device and detection system | |
| CN109540548A (en) | Adaptive cruise DAS (Driver Assistant System) checkout area and scene planing method | |
| CN107767677A (en) | Tramcar crossing safety zone control device based on mobile unit | |
| Gebauer et al. | Autonomously driving trains on open tracks—concepts, system architecture and implementation aspects | |
| Guerrieri et al. | Smart tramway Systems for Smart Cities: a deep learning application in ADAS systems | |
| CN114475662A (en) | Vehicle-mounted intelligent control system based on environment perception and multi-vehicle cooperation | |
| CN113002588B (en) | Train track foreign matter detection method and system |