DE102018222169A1 - On-board visual determination of kinematic parameters of a rail vehicle - Google Patents

Abstract

Es wird ein Verfahren zum Ermitteln einer kinematischen Größe (v, P, a) eines Schienenfahrzeugs (31) beschrieben. Bei dem Verfahren werden Bilddaten (BD), umfassend eine Abfolge von Bildern von der Umgebung des Schienenfahrzeugs (31), mit einer bordseitigen Bildaufnahmeeinheit (32) aufgenommen und es werden zusätzliche Sensordaten, welche kinematische Sensordaten (ZSD) und/oder Bilddaten (BD) mindestens einer zusätzlichen Bildaufnahmeeinheit (33) umfassen, erfasst. Es erfolgt ein Detektieren von Schlüsselpunkten (SP) in den erfassten Bilddaten (BD). Weiterhin wird ein erster Tiefenwert (TW1) eines Schlüsselpunkts (SP) auf Basis der zusätzlichen Sensordaten und der Abfolge von Bilddaten (BD) für jedes Bild der Abfolge von Bildern (BD) ermittelt. Es wird außerdem ein Schlüsselpunkt-Abgleich von Schlüsselpunkten (SP) unterschiedlicher Bilder der Abfolge von Bildern der Bilddaten (BD) der Einzelkamera (32) durchgeführt. Überdies erfolgt ein Schätzen einer Position (P-LM) eines als Landmarke (LM) identifizierten Schlüsselpunktes (SP) durch eine Triangulation auf Basis von Schlüsselpunkten (SP) aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden, zur Initialisierung der Landmarke (LM). In einem gemeinsamen Optimierungsverfahren wird auf Basis einer gewichteten Fusion der geschätzten Position (P-LM) und des ersten Tiefenwerts (TW1) ein verbesserter Positionswert (PV-LM) der Landmarke (LM) ermittelt und eine kinematische Größe (v, P, a) ermittelt. Es wird auch eine Ermittlungseinrichtung (20) beschrieben. Überdies wird ein Schienenfahrzeug (31) beschrieben.A method for determining a kinematic variable (v, P, a) of a rail vehicle (31) is described. In the method, image data (BD), comprising a sequence of images of the surroundings of the rail vehicle (31), are recorded with an on-board image recording unit (32) and additional sensor data, which are kinematic sensor data (ZSD) and / or image data (BD) comprise at least one additional image recording unit (33). Key points (SP) are detected in the captured image data (BD). Furthermore, a first depth value (TW1) of a key point (SP) is determined on the basis of the additional sensor data and the sequence of image data (BD) for each image of the sequence of images (BD). A key point comparison of key points (SP) of different images of the sequence of images of the image data (BD) of the individual camera (32) is also carried out. In addition, a position (P-LM) of a key point (SP) identified as a landmark (LM) is estimated by triangulation based on key points (SP) of successive images, which were determined as identical during the key point comparison, for initializing the landmark (LM). In a joint optimization process, an improved position value (PV-LM) of the landmark (LM) is determined on the basis of a weighted fusion of the estimated position (P-LM) and the first depth value (TW1) and a kinematic variable (v, P, a) determined. A determination device (20) is also described. A rail vehicle (31) is also described.

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs. Überdies betrifft die Erfindung eine Ermittlungseinrichtung. Weiterhin betrifft die Erfindung ein Schienenfahrzeug.The invention relates to a method for determining a kinematic variable of a rail vehicle. The invention also relates to a determination device. The invention further relates to a rail vehicle.

Viele Schienennetze werden mit dem europäischen Zugüberwachungssystem ETCS (Akronym für European Train Control System) betrieben. Ziel eines solchen Systems ist es, die Sicherheit und Effizienz von Schienennetzen zu steigern und auch Wartungskosten und Personalkosten zu reduzieren. Bei dem Einsatz des ETCS wird die Zugstrecke in sogenannte Blöcke aufgeteilt. Die Größe der Blöcke ist durch die Bremsstrecke, welche im ungünstigsten Fall durch einen Zug, der auf der Strecke fahren darf, benötigt wird, festgelegt. Die Positionsbestimmung der Züge und das Verbinden der Blöcke werden durch infrastrukturseitige Balisen realisiert. Wenn sich ein Zug in einem solchen Block befindet, ist dieser Block für diesen Zug reserviert, so dass andere Züge diesen Block nicht zur gleichen Zeit nutzen können. Die Blöcke werden nach Verlassen durch einen Zug jeweils wieder freigegeben, so dass die Blöcke für andere Züge reserviert werden können. Die Vorgehensweise mit festen Blöcken ist relativ ineffizient.Many rail networks are operated with the European train monitoring system ETCS (acronym for European Train Control System). The aim of such a system is to increase the safety and efficiency of rail networks and also to reduce maintenance costs and personnel costs. When using the ETCS, the train route is divided into so-called blocks. The size of the blocks is determined by the braking distance, which in the worst case is required by a train that is allowed to travel on the route. The position determination of the trains and the connection of the blocks are realized by infrastructure-side balises. If there is a train in such a block, that block is reserved for that train so that other trains cannot use this block at the same time. The blocks are released after a train leaves, so that the blocks can be reserved for other trains. The fixed block approach is relatively inefficient.

Bisher wurden zwei unterschiedliche Varianten von ETCS-Systemen realisiert, wobei beide auf einer streckenseitigen Lokalisierung und festen Blöcken basieren. Die erste Variante basiert auf einer infrastrukturseitigen Signalisierung der Verfügbarkeit eines Blocks und die zweite Variante nutzt bordseitiges Signalisieren, um die Blockgrößen zu reduzieren. Bei einer dritten Variante, auch als ETCS-Ebene 3 bezeichnet, welche aktuell entwickelt wird, sollen die festen Blöcke durch bewegliche Blöcke ersetzt werden, mit denen die Bremsabstände zwischen sich auf der Strecke bewegenden Zügen berücksichtigt werden. Dadurch kann die Kapazität eines Schienennetzes um 190 % bis 500 % erhöht werden, je nachdem, ob ein relativer oder ein sich bewegender Block genutzt wird. Wird der sich bewegende Block als relativ zu vielen sich bewegenden Zügen definiert, so kann eine feste streckenseitige Sensorinfrastruktur durch bordseitige Sensoren ersetzt werden, wodurch möglicherweise Kosten gespart werden können. Allerdings hängt der Erfolg der ETCS-Ebene 3 von der Entwicklung neuer Verfahren ab, mit denen die Position und die Geschwindigkeit von Zügen zuverlässig ermittelt werden kann.So far, two different variants of ETCS systems have been implemented, both of which are based on trackside localization and fixed blocks. The first variant is based on an infrastructure-side signaling of the availability of a block and the second variant uses on-board signaling to reduce the block sizes. In a third variant, also referred to as ETCS level 3, which is currently being developed, the fixed blocks are to be replaced by movable blocks, with which the braking distances between trains moving on the route are taken into account. This can increase the capacity of a rail network by 190% to 500%, depending on whether a relative or a moving block is used. If the moving block is defined as relative to many moving trains, then a fixed trackside sensor infrastructure can be replaced by onboard sensors, which may save costs. However, the success of ETCS level 3 depends on the development of new methods with which the position and speed of trains can be reliably determined.

Aktuell erfolgt die Lokalisierung von Schienenfahrzeugen durch eine Kombination von ungenauen Drehzahlmessern und streckenseitigen Sensoren, wie zum Beispiel Achsenzähler oder Balisen. Letztere liefern diskrete Positionsmesswerte und sind sehr kostenintensiv zu warten.Rail vehicles are currently localized using a combination of inaccurate tachometers and trackside sensors, such as axle counters or balises. The latter provide discrete position measurements and are very expensive to maintain.

Zukünftig sollen Satellitennavigationssysteme und Inertialsensoren genutzt werden, um die Position von Schienenfahrzeugen kontinuierlich zu ermitteln. Allerdings versagen diese Verfahren, wenn die GPS-Messdaten nicht zur Verfügung stehen, wie zum Beispiel in Tunnels, da die zusätzlich erfassten IMU-Biaswerte bei einer eindimensionalen Bewegung eines Zugs nicht ausreichend beobachtbar sind.In the future, satellite navigation systems and inertial sensors will be used to continuously determine the position of rail vehicles. However, these methods fail if the GPS measurement data is not available, as in tunnels, for example, because the additionally recorded IMU bias values cannot be adequately observed when a train moves one-dimensionally.

Weiterhin ist bei der Anwendung von Satellitennavigation die Fusion mit anderen Sensordaten problematisch, da Satellitennavigationsmessungen keinen Gauß-Fehler aufweisen, wodurch die Genauigkeit des Ergebnisses schwer vorhersagbar ist, insbesondere bei einem Auftreten von Mehrwegempfangseffekten, wie sie in der Nähe von Gebäuden auftreten.Furthermore, the fusion with other sensor data is problematic when using satellite navigation, since satellite navigation measurements do not have a Gaussian error, which makes the accuracy of the result difficult to predict, in particular when multi-path reception effects occur, as they occur in the vicinity of buildings.

Es besteht also die Aufgabe, ein Verfahren und eine Einrichtung zu entwickeln, um kombinierte Messungen der Geschwindigkeit und Position eines Zuges präziser zu gestalten, um insbesondere flexible Blocksysteme bei der Zugsicherung zu ermöglichen.The task is therefore to develop a method and a device to make combined measurements of the speed and position of a train more precise, in particular to enable flexible block systems in train protection.

Diese Aufgabe wird durch ein Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs gemäß Patentanspruch 1, eine Ermittlungseinrichtung gemäß Patentanspruch 12 und ein Schienenfahrzeug gemäß Patentanspruch 13 gelöst.This object is achieved by a method for determining a kinematic variable of a rail vehicle according to claim 1, a determination device according to claim 12 and a rail vehicle according to claim 13.

Bei dem erfindungsgemäßen Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs werden bordseitig Bilddaten, umfassend eine Abfolge von Bildern von der Umgebung des Schienenfahrzeugs, mit einer Bildaufnahmeeinheit aufgenommen. Weiterhin werden zusätzliche Sensordaten, welche kinematische Sensordaten und/oder Bilddaten mindestens einer zusätzlichen Bildaufnahmeeinheit umfassen, aufgenommen. Die Aufnahme der Bilddaten und Sensordaten kann also durch ein Mehrkamerasystem erfolgen, es kann zur Aufnahme der Bilddaten und Sensordaten aber auch eine Kombination aus einer einzelnen Kamera und einem kinematischen Sensor genutzt werden.In the method according to the invention for determining a kinematic variable of a rail vehicle, image data, comprising a sequence of images of the surroundings of the rail vehicle, are recorded on board with an image recording unit. Furthermore, additional sensor data, which include kinematic sensor data and / or image data of at least one additional image recording unit, are recorded. The image data and sensor data can thus be recorded by a multi-camera system, but a combination of a single camera and a kinematic sensor can also be used to record the image data and sensor data.

Eine kinematische Größe beschreibt die Bewegung des Schienenfahrzeugs, insbesondere umfasst sie die Geschwindigkeit, die Beschleunigung und die Position eines Schienenfahrzeugs.A kinematic quantity describes the movement of the rail vehicle, in particular it includes the speed, the acceleration and the position of a rail vehicle.

Die aufgenommenen Bilddaten können durch einen Vergleich von aufeinanderfolgenden Bildern ein und derselben Kamera, wobei die Bilder zu unterschiedlichen Zeitpunkten aufgenommen wurden, ausgewertet werden. Ein solcher Abgleich wird auch als Frame-to-Frame-Abgleich bezeichnet. Es können aber auch Bilddaten von mehreren Kameras, welche ein überlappendes Sichtfeld haben, als „Stereobilddaten“ ausgewertet werden.The recorded image data can be evaluated by comparing successive images from one and the same camera, the images being taken at different times. Such a comparison is also referred to as frame-to-frame comparison. It can but also image data from several cameras that have an overlapping field of view can be evaluated as "stereo image data".

Mit Hilfe von Stereobilddaten, bei denen ein Punkt aus verschiedenen Blickwinkeln abgebildet wird, können Abstände und Relativpositionen von Bildpunkten zu dem Schienenfahrzeug ermittelt werden.With the help of stereo image data, in which a point is mapped from different angles, distances and relative positions of pixels to the rail vehicle can be determined.

Es erfolgt weiterhin eine Detektion von Schlüsselpunkten in den aufgenommenen Bilddaten. Mit Hilfe der Verwendung von Schlüsselpunkten zur Positionsbestimmung kann die zu verarbeitende Datenmenge stark reduziert werden. Beispielsweise kann ein rasterbasierter Schlüsselpunktextraktor verwendet werden, um eine Gleichverteilung der Schlüsselpunkte in der aufgenommenen Szene zu erreichen.Key points are also detected in the recorded image data. The amount of data to be processed can be greatly reduced by using key points for position determination. For example, a raster-based key point extractor can be used to achieve an even distribution of the key points in the recorded scene.

Ein Schlüsselpunktextraktor sucht typischerweise das ganze Bild (jeden Pixel) nach interessanten Punkten ab. Ein solcher Punkt wird häufig durch einen hohen Gradienten in mehr als einer Richtung (Harris Corners) oder eine gewisse Anzahl Pixel, die sich genügend von anderen Pixeln unterscheiden (FAST), gekennzeichnet. Zusätzlich wird normalerweise eine Unterdrückung von lokalen Nicht-Maxima (non-maximumsuppression) vorgenommen, um eine hohe Ansammlung von Schlüsselpunkten bei starker Textur zu vermeiden.A key point extractor typically searches the entire image (each pixel) for points of interest. Such a point is often characterized by a high gradient in more than one direction (Harris Corners) or a certain number of pixels that differ sufficiently from other pixels (FAST). In addition, suppression of local non-maxima (non-maximum suppression) is normally carried out in order to avoid a high accumulation of key points with a strong texture.

Die Menge der für eine Positionsbestimmung genutzten Bildpunkte wird damit stark reduziert, so dass insbesondere bei hochdynamischen Szenarios die zu verarbeitende Datenmenge reduziert wird und eine Echtzeitberechnung der Position eines Schienenfahrzeugs ermöglicht wird.The amount of pixels used for determining the position is thus greatly reduced, so that the amount of data to be processed is reduced, in particular in highly dynamic scenarios, and real-time calculation of the position of a rail vehicle is made possible.

Auf Basis der zusätzlichen Sensordaten und der Bilddaten wird für jedes Bild der Bilddaten bzw. der Abfolge von Bildern ein erster Tiefenwert eines Schlüsselpunkts ermittelt. Ein solcher Tiefenwert kann dazu genutzt werden, um eine Position des Schlüsselpunkts in drei Dimensionen zu ermitteln und damit eine Landmarke zu gewinnen. Dieser erste Tiefenwert wird in jedem Bild ermittelt, in dem der Schlüsselpunkt zu einem zugehörigen Schlüsselpunkt in der Abfolge von Bildern einer Kamera zugeordnet werden kann. Ein Schlüsselpunkt ist ein „interessanter“ Punkt in einem 2D-Bild. Dagegen ist eine Landmarke ein verfolgbarer Schlüsselpunkt über mehrere Bilder, welcher dann auch im Dreidimensionalen dargestellt werden kann.On the basis of the additional sensor data and the image data, a first depth value of a key point is determined for each image of the image data or the sequence of images. Such a depth value can be used to determine a position of the key point in three dimensions and thus to obtain a landmark. This first depth value is determined in each image in which the key point can be assigned to an associated key point in the sequence of images of a camera. A key point is an "interesting" point in a 2D image. In contrast, a landmark is a traceable key point across several images, which can then also be represented in three dimensions.

Weiterhin wird ein Schlüsselpunkt-Abgleich von Schlüsselpunkten unterschiedlicher Bilder einer Bildfolge der Bildaufnahmeeinheit durchgeführt. Dieser Prozess wird vorzugsweise auch auf Basis zusätzlicher kinematischer Sensordaten durchgeführt. Kinematische Sensordaten sind nicht notwendig für die Ausführung des Schlüsselpunktabgleichs, beschleunigen aber vorteilhaft diesen Prozess.Furthermore, a key point comparison of key points of different images of an image sequence of the image recording unit is carried out. This process is preferably also carried out on the basis of additional kinematic sensor data. Kinematic sensor data are not necessary to carry out the key point adjustment, but advantageously accelerate this process.

Auf Basis von Schlüsselpunkten aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden, wird weiterhin eine Position eines als Landmarke identifizierten Schlüsselpunktes durch eine Triangulation ermittelt. Dieser Schritt wird vor allem für die Initialisierung der Landmarken verwendet. Anders ausgedrückt werden durch die Initialisierung Startwerte für die Position und Tiefe einer jeweiligen Landmarke ermittelt, welche im anschließenden Optimierungsverfahren optimiert werden. Später werden nur noch rückprojizierte Messfehler zur Korrektur in der Optimierung verwendet.On the basis of key points of successive images, which were determined as identical in the key point comparison, a position of a key point identified as a landmark is also determined by triangulation. This step is mainly used for the initialization of the landmarks. In other words, the initialization determines start values for the position and depth of a respective landmark, which are optimized in the subsequent optimization process. Later, only back-projected measurement errors are used for correction in the optimization.

In einem gemeinsamen Optimierungsvorgang wird auf Basis einer gewichteten Fusion der geschätzten Position und des ersten Tiefenwerts ein verbesserter Positionswert der Landmarke und ein Wert einer kinematischen Größe ermittelt. Die Gewichtung unterschiedlicher Größen kann zum Beispiel in Abhängigkeit von Kovarianzwerten unterschiedlicher zu fusionierender Größen oder auf Basis sonstiger Informationen, welche die Zuverlässigkeit von Messwerten charakterisieren, erfolgen. Derartige Informationen können beispielsweise bei der Kalibrierung einer Messeinheit ermittelt werden.In a joint optimization process, an improved position value of the landmark and a value of a kinematic variable are determined on the basis of a weighted fusion of the estimated position and the first depth value. The weighting of different sizes can be done, for example, as a function of covariance values of different sizes to be merged or on the basis of other information that characterize the reliability of measured values. Such information can be determined, for example, when calibrating a measuring unit.

Bei der Optimierung werden Positionen der Landmarken und kinematische Größen, wie zum Beispiel Positionen des Schienenfahrzeuges, in einem sogenannten Schiebefenster (auf Englisch „sliding window“) zusammen abgeschätzt bzw. optimiert. Dieser Vorgang basiert auf der Berücksichtigung von Fehlerkorrekturthermen. Solche Fehler-/Korrekturterme können umfassen: Rückprojektionsfehler (vor allem aufgrund der Frame-to-Frame matches, d.h. des Abgleichs aufeinanderfolgender Bilder, Tiefenfehler von dem Stereoabgleich sowie Odometriefehler (1-D Odometrie oder inertiale Messungen). Es existiert keine Unterteilung in zwei Teile des Optimierungsalgorithmus. Wie erwähnt, ist es bevorzugt, nicht nur einen aktuellen, dem Schienenfahrzeug zugeordneten Wert einer kinematischen Größe, wie zum Beispiel dessen aktuelle Position im Rahmen des Optimierungsvorgangs zu ermitteln, sondern die letzten N Werte, wobei N typischerweise eine ganze Zahl zwischen 3 und 20 ist. Dabei kommt ein sogenanntes Schiebefensterverfahren, im Englischen auch als „sliding-window“-Verfahren bezeichnet, zum Einsatz, bei dem eine Mehrzahl von Frames bzw. Bildern in einem Datenpaket übertragen und in dem beschrieben Optimierungsverfahren auch simultan verarbeitet werden.During the optimization, positions of the landmarks and kinematic variables, such as positions of the rail vehicle, are estimated or optimized together in a so-called sliding window. This process is based on the consideration of error correction terms. Such error / correction terms can include: back-projection errors (mainly due to frame-to-frame matches, ie the comparison of successive images, depth errors from the stereo comparison and odometry errors (1-D odometry or inertial measurements). There is no division into two parts As mentioned, it is preferred not only to determine a current value of a kinematic variable assigned to the rail vehicle, such as, for example, its current position during the optimization process, but also to determine the last N values, where N is typically an integer between 3 and 20. A so-called sliding window method is used, in which a plurality of frames or images are transmitted in a data packet and are also processed simultaneously in the described optimization method.

Vorteilhaft kann das Problem, dass bei Schienenfahrzeugen, welche signifikante Beschleunigungswerte nur in einer Dimension aufweisen, inertiale Messungen nicht sehr gut geeignet sind, um eine Positionsmessung durchzuführen, durch die Fusion dieser Beschleunigungsdaten mit Bilddaten gelöst werden. Weiterhin wird die Verwendung von Schlüsselpunkten bzw. Landmarken dazu genutzt, die zu verarbeitende Datenmenge zur Positionsbestimmung zu reduzieren. Diese vorteilhafte Vorgehensweise erlaubt insbesondere die Bestimmung kinematischer Größen in hochdynamischen Situationen, in denen bei herkömmlicher Vorgehensweise die verfügbare Rechenkapazität nicht mehr ausreicht.The problem can be advantageous that in rail vehicles, which is significant Have acceleration values in only one dimension, inertial measurements are not very suitable for carrying out a position measurement by means of which these acceleration data are merged with image data. Furthermore, the use of key points or landmarks is used to reduce the amount of data to be processed for position determination. This advantageous procedure allows, in particular, the determination of kinematic variables in highly dynamic situations in which the available computing capacity is no longer sufficient in the conventional procedure.

Die erfindungsgemäße Ermittlungseinrichtung weist eine Sensordatenschnittstelle zum Empfangen von einer Abfolge von Bildern, umfassend Bilddaten von der Umgebung des Schienenfahrzeugs, von mindestens einer bordseitigen Bildaufnahmeeinheit auf. Die Sensordatenschnittstelle ist weiterhin dazu eingerichtet, zusätzliche bordseitig erfasste Sensordaten, welche kinematische Sensordaten und/oder Bilddaten von mindestens einer zusätzlichen Bildaufnahmeeinheit umfassen, zu empfangen.The determination device according to the invention has a sensor data interface for receiving a sequence of images, including image data from the surroundings of the rail vehicle, from at least one on-board image recording unit. The sensor data interface is also set up to receive additional on-board sensor data, which include kinematic sensor data and / or image data from at least one additional image recording unit.

Die erfindungsgemäße Ermittlungseinrichtung weist auch eine Detektionseinheit zum Detektieren von Schlüsselpunkten in den Bilddaten auf. Die erfindungsgemäße Ermittlungseinrichtung umfasst ferner eine Ermittlungseinheit zum Ermitteln eines ersten Tiefenwerts eines Schlüsselpunkts auf Basis der zusätzlichen Sensordaten und der Bilddaten für jedes Bild der Abfolge von Bildern. Zum Durchführen eines Schlüsselpunkt-Abgleichs von Schlüsselpunkten unterschiedlicher Bilder der Abfolge von Bildern der Bildaufnahmeeinheit weist die erfindungsgemäße Ermittlungseinrichtung eine Abgleichseinheit auf.The determination device according to the invention also has a detection unit for detecting key points in the image data. The determination device according to the invention further comprises a determination unit for determining a first depth value of a key point on the basis of the additional sensor data and the image data for each image of the sequence of images. To carry out a key point comparison of key points of different images of the sequence of images of the image recording unit, the determination device according to the invention has a comparison unit.

Teil der erfindungsgemäßen Ermittlungseinrichtung ist auch eine Schätzeinheit zum Schätzen einer Position eines als Landmarke identifizierten Schlüsselpunktes durch eine Triangulation auf Basis von Schlüsselpunkten aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden. Dieser Vorgang dient der Initialisierung eines Optimierungsprozesses.Part of the determination device according to the invention is also an estimation unit for estimating a position of a key point identified as a landmark by triangulation on the basis of key points of successive images which were determined as identical in the key point comparison. This process serves to initialize an optimization process.

Weiterhin weist die erfindungsgemäße Ermittlungseinrichtung eine Optimierungseinheit auf. Die Optimierungseinheit dient dem Ermitteln eines verbesserten Positionswerts der Landmarke auf Basis einer gewichteten Fusion der geschätzten Position und des ersten Tiefenwerts auf. Die Optimierungseinheit dient auch dazu, eine kinematische Größe gemeinsam mit dem verbesserten Positionswert, d.h. in einem gemeinsamen Optimierungsprozess, zu ermitteln. Die erfindungsgemäße Ermittlungseinrichtung teilt die Vorteile des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs.Furthermore, the determination device according to the invention has an optimization unit. The optimization unit is used to determine an improved position value of the landmark based on a weighted fusion of the estimated position and the first depth value. The optimization unit also serves to determine a kinematic quantity together with the improved position value, i.e. in a joint optimization process. The determination device according to the invention shares the advantages of the method according to the invention for determining a kinematic variable of a rail vehicle.

Das erfindungsgemäße Schienenfahrzeug weist die erfindungsgemäße Ermittlungseinrichtung auf. Das erfindungsgemäße Schienenfahrzeug teilt die Vorteile der erfindungsgemäßen Ermittlungseinrichtung.The rail vehicle according to the invention has the determination device according to the invention. The rail vehicle according to the invention shares the advantages of the determination device according to the invention.

Teile der erfindungsgemäßen Ermittlungseinrichtung können zum überwiegenden Teil in Form von Softwarekomponenten ausgebildet sein. Dies betrifft insbesondere Teile der Detektionseinheit, der Ermittlungseinheit, der Abgleichseinheit, der Schätzeinheit und der Optimierungseinheit. Grundsätzlich können diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareunterstützter Hardware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötigten Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht, als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.Parts of the determination device according to the invention can for the most part be designed in the form of software components. This applies in particular to parts of the detection unit, the determination unit, the comparison unit, the estimation unit and the optimization unit. In principle, however, some of these components can also be implemented in the form of software-supported hardware, for example FPGAs or the like, particularly when it comes to particularly fast calculations. Likewise, the interfaces required, for example if it is only a matter of transferring data from other software components, can be designed as software interfaces. However, they can also be designed as hardware interfaces that are controlled by suitable software.

Eine teilweise softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher zur Sensordatenerfassung und zur Berechnung kinematischer Daten genutzte Rechnersysteme auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Insofern wird die Aufgabe auch durch ein entsprechendes Computerprogrammprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersystems ladbar ist, mit Programmabschnitten, um alle Schritte des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs auszuführen, wenn das Computerprogramm in einem Rechnersystem ausgeführt wird.A partial software implementation has the advantage that computer systems previously used for sensor data acquisition and for the calculation of kinematic data can also be easily upgraded by a software update in order to work in the manner according to the invention. In this respect, the object is also achieved by a corresponding computer program product with a computer program that can be loaded directly into a memory device of such a computer system, with program sections, in order to carry out all steps of the method according to the invention for determining a kinematic size of a rail vehicle when the computer program is executed in a computer system becomes.

Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassenIn addition to the computer program, such a computer program product can optionally contain additional components, such as documentation and / or additional components, including hardware components, such as Hardware keys (dongles etc.) for using the software

Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein computerlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest eingebauter Datenträger dienen, auf welchem die von einer Rechnereinheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikroprozessoren oder dergleichen aufweisen.For transport to the storage device of the computer system and / or for storage on the computer system, a computer-readable medium, for example a memory stick, a hard disk or another portable or permanently installed data carrier, on which the program sections of the computer program that can be read in and executed by a computer unit are stored. The computer unit can, for example, do this or have several cooperating microprocessors or the like.

Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den abhängigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rahmen der Erfindung auch die verschiedenen Merkmale unterschiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden.The dependent claims and the following description each contain particularly advantageous refinements and developments of the invention. In particular, the claims of one claim category can also be developed analogously to the dependent claims of another claim category and their parts of the description. In addition, the various features of different exemplary embodiments and claims can also be combined to form new exemplary embodiments within the scope of the invention.

Als zusätzliche Sensordaten können bei dem erfindungsgemäßen Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs Bilddaten von mindestens einer zusätzlichen Bildaufnahmeeinheit aufgenommen werden. Auf Basis der von mehreren Bildaufnahmeeinheiten erfassten Bilddaten können bei dieser Variante Stereobilddaten von der Umgebung des Schienenfahrzeugs erzeugt werden. Auch in den Stereobilddaten können Schlüsselpunkte detektiert werden. Da die Stereobilddaten dreidimensionale Informationen über die Umgebung und damit auch die Positionen der Schlüsselpunkte umfassen, kann nun anhand der Stereobilddaten für jedes Bild der erfassten Bilddaten der erste Tiefenwert ermittelt werden. Basierend auf dreidimensionalen Bilddaten kann aufgrund der geometrisch ermittelbaren Tiefeninformation eine Tiefe eines Schlüsselpunkts besonders genau ermittelt werden.In the method according to the invention for determining a kinematic variable of a rail vehicle, image data from at least one additional image recording unit can be recorded as additional sensor data. In this variant, stereo image data of the surroundings of the rail vehicle can be generated on the basis of the image data recorded by a plurality of image recording units. Key points can also be detected in the stereo image data. Since the stereo image data include three-dimensional information about the environment and thus also the positions of the key points, the first depth value can now be determined on the basis of the stereo image data for each image of the captured image data. Based on three-dimensional image data, a depth of a key point can be determined particularly precisely on the basis of the geometrically determinable depth information.

In einer Variante des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs wird ein Schlüsselpunkt-Abgleich von Schlüsselpunkten unterschiedlicher Bilder einer Bildfolge einer Bildaufnahmeeinheit und auf Basis zusätzlicher kinematischer Sensordaten durchgeführt. Mit diesen zusätzlichen kinematischen Daten wird das Verfahren beschleunigt.In a variant of the method according to the invention for determining a kinematic variable of a rail vehicle, a key point comparison of key points of different images of an image sequence of an image recording unit and on the basis of additional kinematic sensor data is carried out. The process is accelerated with this additional kinematic data.

In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs umfasst die kinematische Größe eine der folgenden Größen:

• - die Position des Schienenfahrzeugs,
• - die Geschwindigkeit des Schienenfahrzeugs,
• - die Beschleunigung des Schienenfahrzeugs.

In a preferred embodiment of the method according to the invention for determining a kinematic variable of a rail vehicle, the kinematic variable comprises one of the following variables:

• - the position of the rail vehicle,
• - the speed of the rail vehicle,
• - the acceleration of the rail vehicle.

Vorteilhaft kann mit Hilfe des erfindungsgemäßen Verfahrens eine Position eines Schienenfahrzeugs auch dann präzise ermittelt werden, wenn andere Positionsbestimmungsmethoden, wie zum Beispiel die Satellitennavigation, versagen. Eine solche Situation kann zum Beispiel in Tunnels oder auf von Gebäuden, Bäumen oder Bergen umgebenen Streckenabschnitten auftreten. Außerdem tritt bei der Satellitennavigation ein nicht normalverteiltes Fehlerverhalten auf, so dass die dabei gewonnenen Daten schlecht mit anderen Sensordaten fusioniert werden können. Eine Fusion der mit Hilfe des erfindungsgemäßen Verfahrens gewonnenen Bilddaten mit auf andere Weise gewonnenen Sensordaten ist aufgrund eines jeweils normalverteilten Fehlers deutlich leichter möglich.With the aid of the method according to the invention, a position of a rail vehicle can advantageously also be determined precisely when other position determination methods, such as satellite navigation, fail. Such a situation can occur, for example, in tunnels or on sections of the route surrounded by buildings, trees or mountains. In addition, an error behavior that is not normally distributed occurs in satellite navigation, so that the data obtained in this way can hardly be merged with other sensor data. A fusion of the image data obtained with the aid of the method according to the invention with sensor data obtained in another way is possible much more easily due to a normally distributed error.

In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs umfassen die zusätzlichen kinematischen Sensordaten zumindest eine Art der folgenden Sensordaten:

• - 1D-odometrische Sensordaten,
• - inertiale Messdaten.

In one embodiment of the method according to the invention for determining a kinematic variable of a rail vehicle, the additional kinematic sensor data comprise at least one type of the following sensor data:

• - 1D odometric sensor data,
• - inertial measurement data.

Diese Sensordaten werden optional berücksichtigt. Eine Verarbeitung der Bilddaten als Stereobilddaten alleine reicht auch aus oder eine Verarbeitung der Bilddaten als Bilddaten einer Einzelkamera kombiniert mit „kinematischen“ Sensordaten.This sensor data is optionally taken into account. Processing the image data as stereo image data alone is also sufficient, or processing the image data as image data from a single camera combined with “kinematic” sensor data.

Eindimensionale odometrische Sensordaten ermöglichen die Ermittlung der von einem Schienenfahrzeug zurückgelegten Strecke. Allerdings reichen diese Daten allein bei einem komplexeren Streckennetz nicht aus, um eindeutig eine Position eines Schienenfahrzeugs zu ermitteln. Inertiale Messdaten lassen sich bei sich bewegenden Schienenfahrzeugen ebenfalls nur in Fahrtrichtung gewinnen. Mithin lässt sich auch mit diesen Daten allein keine exakte und eindeutige Position ermitteln. One-dimensional odometric sensor data enable the distance covered by a rail vehicle to be determined. However, this data alone is not sufficient for a more complex route network to clearly determine the position of a rail vehicle. Inertial measurement data can also only be obtained in the direction of travel for moving rail vehicles. It is therefore not possible to determine an exact and unambiguous position using this data alone.

Daher werden diese Daten erfindungsgemäß mit Bilddaten fusioniert, um eindeutige Positionsdaten zu ermitteln.Therefore, according to the invention, this data is fused with image data in order to determine unique position data.

In einer Variante des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs erfolgt bei dem Optimierungsverfahren ein Vergleich zwischen einer Bildposition einer an die geschätzte Position rückprojizierten Landmarke und einer tatsächlichen Bildposition der in den Bilddaten identifizierten Landmarke. Bei diesem Vergleich wird eine Positionsabweichung zwischen der geschätzten Position und der Bildposition ermittelt und für einen Fehlerterm bzw. Korrekturterm genutzt. Auf diese Weise ergibt sich eine iterativ optimierte Position als Ergebnis des Optimierungsverfahrens.In a variant of the method according to the invention for determining a kinematic size of a rail vehicle, the optimization method compares an image position of a landmark back-projected to the estimated position and an actual image position of the landmark identified in the image data. In this comparison, a position deviation between the estimated position and the image position is determined and used for an error term or correction term. In this way, an iteratively optimized position results as a result of the optimization process.

In einer bevorzugten Variante des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs wird ein zweiter Tiefenwert auf Basis der Triangulation von Schlüsselpunkten einer Folge von Einzelbildern, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden, ermittelt und auf Basis des ersten Tiefenwerts und des zweiten Tiefenwerts wird durch ein Optimierungsverfahren ein verbesserter Tiefenwert für eine Landmarke ermittelt. Der verbesserte Tiefenwert kann vorteilhaft für eine Positionsbestimmung des Schienenfahrzeugs genutzt werden, um diese zu präzisieren. Das Optimierungsverfahren kann zur Verbesserung der Genauigkeit der Tiefenermittlung vorzugsweise einen Vergleich zwischen dem ersten Tiefenwert und dem zweiten Tiefenwert umfassen.In a preferred variant of the method according to the invention for determining a kinematic variable of a rail vehicle, a second depth value is based on the triangulation of key points of a sequence of individual images, which are identical in the key point comparison have been determined, determined and on the basis of the first depth value and the second depth value, an improved depth value for a landmark is determined by an optimization method. The improved depth value can advantageously be used for determining the position of the rail vehicle in order to make it more precise. To improve the accuracy of the depth determination, the optimization method can preferably comprise a comparison between the first depth value and the second depth value.

Bei dem Optimierungsverfahren kann besonders bevorzugt ein Vergleich zwischen einem auf Basis der kinematischen Sensordaten ermittelten Positionswert und/oder Tiefenwert und dem verbesserten Positionswert erfolgen und daraus ein Fehlerwert für eine Positionsermittlung und/oder Tiefenermittlung auf Basis der kinematischen Sensordaten ermittelt werden. Vorteilhaft kann mit Hilfe des Fehlerwerts eine Korrektur der kinematischen Sensordaten erfolgen, wodurch auch wiederum die Ermittlung der kinematischen Größe genauer wird.In the optimization method, a comparison can be made particularly preferably between a position value and / or depth value determined on the basis of the kinematic sensor data and the improved position value, and an error value for a position determination and / or depth determination can be determined on the basis of the kinematic sensor data. The kinematic sensor data can advantageously be corrected using the error value, which in turn also makes the determination of the kinematic variable more precise.

Die kinematischen Sensordaten können 1D-odometrische Sensordaten umfassen und die 1D-odometrische Messung kann durch einen Drehzahlmesser erfolgen. Alternativ oder zusätzlich kann die 1D-odometrische Messung durch ein auf den Boden gerichtetes Dopplerradar erfolgen. Vorteilhaft sind die 1D-odometrischen Sensordaten relativ störungsfrei zu gewinnen. Eine Fusion mit den über Bildinformationen gewonnenen Messdaten erlaubt im Gegensatz zu einer ausschließlichen Verwendung der 1D-odometrischen Sensordaten eine genauere Ermittlung auch dreidimensionaler kinematischer Größen.The kinematic sensor data can include 1D-odometric sensor data and the 1D-odometric measurement can be carried out by a tachometer. Alternatively or additionally, the 1D-odometric measurement can be carried out by a Doppler radar aimed at the ground. The 1D-odometric sensor data can advantageously be obtained relatively free of interference. In contrast to the exclusive use of the 1D-odometric sensor data, a fusion with the measurement data obtained via image information allows a more precise determination of three-dimensional kinematic quantities.

In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs erfolgt die Ermittlung des ersten Tiefenwerts durch eine Triangulation auf Basis von Stereobilddaten. Aufgrund der Kenntnis der Basislinie zwischen den beiden Kameras eines bei dieser Variante verwendeten Stereobildaufnahmesystems sowie der Kenntnis der unterschiedlichen Winkel, unter denen ein Schlüsselpunkt in den beiden Bildern der beiden Kameras erscheint, kann eine Positionsbestimmung des Schlüsselpunkts durch Triangulation vorgenommen werden.In one embodiment of the method according to the invention for determining a kinematic variable of a rail vehicle, the first depth value is determined by triangulation based on stereo image data. Based on the knowledge of the baseline between the two cameras of a stereo image recording system used in this variant and the knowledge of the different angles at which a key point appears in the two images of the two cameras, the key point can be determined by triangulation.

In einer Variante des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs erfolgt die Ermittlung des ersten Tiefenwerts auf Basis einer Tiefenmessung in einem Schiebefenster. Eine solche Tiefenmessung kann mit Hilfe einer Tiefenkamera, auch als Time-of-Flight-Kamera bezeichnet, oder einem LiDAR-System erfolgen.In a variant of the method according to the invention for determining a kinematic variable of a rail vehicle, the first depth value is determined on the basis of a depth measurement in a sliding window. Such a depth measurement can be carried out using a depth camera, also known as a time-of-flight camera, or a LiDAR system.

Dabei werden alle Tiefenmessungen die aufgrund der Stereotriangulation gewonnen wurden, in der Optimierung verwendet, und zwar für alle Bilder, die sich im „sliding window“ befinden. Wie mit den Tiefenmessungen werden auch die Beschleunigungsmessungen von allen zugehörigen Bildern (Beschleunigungen von Bildzeitstempel bis Bildzeitstempel) die sich im „sliding window“ befinden, für die Optimierung verwendet.All depth measurements that were obtained due to the stereo triangulation are used in the optimization, and for all images that are in the "sliding window". As with the depth measurements, the acceleration measurements of all associated images (accelerations from image time stamp to image time stamp) that are in the "sliding window" are used for the optimization.

Die Erfindung wird im Folgenden unter Hinweis auf die beigefügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:

• 1 ein Flussdiagramm, welches ein Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht,
• 2 eine schematische Darstellung einer Ermittlungseinrichtung gemäß einem Ausführungsbeispiel der Erfindung,
• 3 eine schematische Darstellung eines Schienenfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung,
• 4 eine schematische Darstellung einer Mehrzahl von Landmarken im dreidimensionalen Raum,
• 5 eine schematische Darstellung von Schlüsselpunkten in aufeinanderfolgenden Bildern.

The invention is explained in more detail below with reference to the attached figures using exemplary embodiments. Show it:

• 1 1 shows a flowchart which illustrates a method for determining a kinematic variable of a rail vehicle according to an exemplary embodiment of the invention,
• 2nd 1 shows a schematic illustration of a determination device according to an embodiment of the invention,
• 3rd 1 shows a schematic illustration of a rail vehicle according to an embodiment of the invention,
• 4th 1 shows a schematic representation of a plurality of landmarks in three-dimensional space,
• 5 a schematic representation of key points in successive images.

In 1 ist ein Flussdiagramm 100 gezeigt, welches ein Verfahren zum Ermitteln einer kinematischen Größe v, P, a eines Schienenfahrzeugs 31 (siehe 3) veranschaulicht. Eine solche kinematische Größe kann zum Beispiel die Geschwindigkeit v, die Position P oder eine Beschleunigung a des Schienenfahrzeugs 31 umfassen.In 1 is a flow chart 100 shown which is a method for determining a kinematic quantity v , P , a of a rail vehicle 31 (please refer 3rd ) illustrates. Such a kinematic quantity can be, for example, the speed v , the position P or an acceleration a of the rail vehicle 31 include.

Bei dem Schritt 1.1 werden zunächst Bilddaten BD von einer Mehrzahl von einzelnen Bildkameras 32, 33 (siehe 3) des Schienenfahrzeugs 31 erfasst. Die Bilddaten BD umfassen eine Bildfolge von der Umgebung des Schienenfahrzeugs 31. Bei dem Schritt 1.II werden auf Basis von gleichzeitig von unterschiedlichen Bildkameras 32, 33 erfassten Bilddaten BD zusätzlich Stereobilddaten SBD von der Umgebung des Schienenfahrzeugs 31 erzeugt.At the step 1.1 are first image data BD from a plurality of individual image cameras 32 , 33 (please refer 3rd ) of the rail vehicle 31 detected. The image data BD comprise an image sequence from the surroundings of the rail vehicle 31 . At the step 1.II are based on different cameras at the same time 32 , 33 captured image data BD additional stereo image data SBD from the environment of the rail vehicle 31 generated.

Bei dem Schritt 1.III erfolgt noch ergänzend eine Akquisition von zusätzlichen kinematischen Sensordaten ZSD, in diesem Fall inertialen Messdaten.At the step 1.III there is also an additional acquisition of additional kinematic sensor data ZSD , in this case inertial measurement data.

Auf Basis der aufgenommenen Bilddaten BD und der auf deren Basis erzeugten Stereobilddaten SBD werden bei dem Schritt 1.IV Schlüsselpunkte SP detektiert. Anders ausgedrückt werden die Schlüsselpunkte SP für jede einzelne Kamera und unterschiedliche Zeitpunkte miteinander verglichen (Frame-to-Frame matching) und es werden Schlüsselpunkte von Bildern unterschiedlicher Kameras, welche zu gleichen Zeitpunkten aufgenommen wurden, miteinander verglichen (stereo matching). Für eine Detektion derartiger Schlüsselpunkte kann zum Beispiel ein FAST-Verfahren angewendet werden. Ein solches Verfahren ist beispielsweise in E. Rosten, R. Porter and T. Drummond, „Faster and Better: A Machine Learning Approach to Corner Detection“ in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 1, pp. 105-119, Jan. 2010 beschrieben.Based on the captured image data BD and the stereo image data generated on the basis thereof SBD be at the step 1.IV Key points SP detected. In other words, they are Key points SP for each individual camera and different points in time compared (frame-to-frame matching) and key points of images from different cameras, which were taken at the same points in time, are compared (stereo matching). For example, a FAST method can be used to detect such key points. Such a method is described, for example, in E. Rosten, R. Porter and T. Drummond, "Faster and Better: A Machine Learning Approach to Corner Detection" in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 1, pp. 105-119, Jan. 2010.

Weiterhin erfolgt bei dem Schritt 1.V eine Extraktion von Deskriptoren anhand der ermittelten Schlüsselpunkte SP. Hierzu kann zum Beispiel ein BRISK-Verfahren angewendet werden. Die ermittelten Deskriptoren werden bei den Schritten 1.VI und 1.VII für einen Matching-Prozess genutzt.It continues with the step 1.V an extraction of descriptors based on the key points determined SP . For example, a BRISK procedure can be used for this. The determined descriptors are used in the steps 1.VI and 1.VII used for a matching process.

Bei dem Schritt 1.VI erfolgt ein Abgleich oder Matching von Schlüsselpunkten in Bildern der Stereobilddaten SBD. D.h., es werden Schlüsselpunkte SP, welche von unterschiedlichen Kameras aufgenommen wurden, miteinander identifiziert für den Fall, dass der Matching-Prozess ergibt, dass die Schlüsselpunkte SP in den unterschiedlichen Bildern der Stereobilddaten SBD identisch sind. Hierzu werden auch die Werte der Deskriptoren D genutzt. Ähnlich erfolgt bei dem Schritt 1.VII ein Abgleich von Schlüsselpunkten SP in unterschiedlichen Frames der Bilddaten BD von einer Einzelkamera 32. Hierzu werden nicht nur die bei dem Schritt 1.V extrahierten Deskriptoren D, sondern auch die zusätzlichen kinematischen Sensordaten ZSD, in diesem Fall inertiale Messdaten, welche bei dem Schritt 1.III erfasst wurden, hinzugezogen.At the step 1.VI there is a comparison or matching of key points in images of the stereo image data SBD . D .h., it becomes key points SP , which were recorded by different cameras, identified with each other in the event that the matching process reveals that the key points SP in the different images of the stereo image data SBD are identical. This also includes the values of the descriptors D utilized. The step is similar 1.VII a comparison of key points SP in different frames of the image data BD from a single camera 32 . This doesn't just include the step 1.V extracted descriptors D , but also the additional kinematic sensor data ZSD , in this case inertial measurement data, which in step 1.III were included.

Bei dem Schritt 1.VIII erfolgt eine Triangulation der Schlüsselpunktdaten SP unterschiedlicher Bilder der Stereobilddaten SBD, welche miteinander identifiziert wurden. Da korrespondierende Bilder unterschiedlicher Kameras des Stereokamerasystems aus unterschiedlichen Winkeln aufgenommen werden und die Länge der Basislinie zwischen den beiden Kameras 32, 33 bekannt ist, kann mit Hilfe der Triangulation jeweils ein erster Tiefenwert TW1 für die identifizierten Schlüsselpunkte SP ermittelt werden.In step 1.VIII, the key point data is triangulated SP different images of the stereo image data SBD which were identified with each other. Since corresponding images of different cameras of the stereo camera system are taken from different angles and the length of the baseline between the two cameras 32 , 33 is known, triangulation can be used to obtain a first depth value TW1 for the identified key points SP be determined.

Bei dem Schritt 1.IX erfolgt weiterhin bei der Auswertung der Stereobilddaten SBD auf Basis des ermittelten ersten Tiefenwerts TW1 eine Tiefenermittlung in einem Schiebefenster.
Mit „sliding window“ ist ein Zeitabschnitt gemeint, in dem die Messungen für die Optimierung berücksichtigt werden. Dies wird gemacht aus dem Grund, da mehr Messungen normalerweise ein besseres Ergebnis erzielen, jedoch alle Messungen (seit dem Start der Applikation) zu rechenintensiv wären. Das „sliding window“ ist nur für die Optimierung relevant.At the step 1.IX is still carried out when evaluating the stereo image data SBD based on the determined first depth value TW1 a depth determination in a sliding window.
With "sliding window" is meant a time period in which the measurements are taken into account for the optimization. This is done because more measurements normally achieve a better result, but all measurements (since the start of the application) would be too computationally intensive. The "sliding window" is only relevant for optimization.

Bei dem Schritt 1.X erfolgt eine Triangulation einer Landmarke, welche in unterschiedlichen Frames aus unterschiedlichen Winkeln bildlich erfasst wurde, zur Ermittlung einer Position P-LM der Landmarke in einem Schiebefenster. Dabei ist unter einem Schiebefenster wieder eine bestimmte Anzahl an aktuellen Frames, in denen die Landmarke abgebildet ist, zu verstehen.At the step 1.X a landmark is triangulated, which has been imaged in different frames from different angles to determine a position P-LM the landmark in a sliding window. A sliding window is again to be understood as a certain number of current frames in which the landmark is depicted.

Außerdem werden bei dem Schritt 1.XI auch die inertialen Messwerte ZSD in einem Schiebefenster erfasst. Die bei den Schritten 1.IX, 1.X und 1.XI ermittelten Daten TW1, P-LM, ZSD werden bei dem Schritt 1.XII dazu genutzt, in einem nichtlinearen Optimierungsverfahren einen verbesserten Positionswert PV-LM einer Landmarke LM zu ermitteln. Bei diesem Optimierungsverfahren wird eine Landmarke, für die ein verbesserter Positionswert PV-LM ermittelt werden soll, an die geschätzte Position P-LM rückprojiziert und mit einer tatsächlichen Bildposition in den Bilddaten BD, SBD verglichen.In addition, the step 1.XI also the inertial measurements ZSD captured in a sliding window. The steps 1.IX , 1.X and 1.XI determined data TW1 , P-LM , ZSD be at the step 1.XII used to achieve an improved position value in a non-linear optimization process PV-LM a landmark LM to investigate. This optimization process uses a landmark for which an improved position value PV-LM should be determined to the estimated position P-LM backprojected and with an actual image position in the image data BD , SBD compared.

Im Optimierungsverfahren werden die Positionen der Landmarken sowie die Positionen des Fahrzeugs im vorherigen Zeitraum („sliding window“) zusammen optimiert, um den Fehler der Rückprojektion, der Tiefenmessungen (Stereo-matching) und der kinematischen Messdaten zu minimieren.In the optimization process, the positions of the landmarks and the positions of the vehicle in the previous period (“sliding window”) are optimized together in order to minimize the errors of the rear projection, the depth measurements (stereo matching) and the kinematic measurement data.

Ähnlich können auch Korrekturwerte für die Tiefenmessung und Korrekturwerte für die Ermittlung von korrigierten Messwerten auf Basis der zusätzlichen kinematischen Sensordaten ZSD genutzt werden.Similarly, correction values for the depth measurement and correction values for the determination of corrected measurement values based on the additional kinematic sensor data can also be used ZSD be used.

In 2 ist eine schematische Darstellung einer Ermittlungseinrichtung 20 gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht.In 2nd is a schematic representation of a determination device 20th illustrated according to an embodiment of the invention.

Die Ermittlungseinrichtung 20 umfasst eine Bilddatenschnittstelle 21, welche zum Empfangen von Bilddaten BD dient, die von einer Mehrzahl von einzelnen Bildkameras 32, 33 (siehe 3) erfasst werden, eingerichtet ist. Die Bilddaten BD umfassen eine Bildfolge von der Umgebung des Schienenfahrzeugs 31. Die Ermittlungseinrichtung 20 weist außerdem eine Bilddatenkombinationseinheit 22 zum Erzeugen von Stereobilddaten SBD von der Umgebung des Schienenfahrzeugs 31 auf Basis der empfangenen Einzelbilddaten von unterschiedlichen Kameras 32, 33 auf. Die Stereobilddaten SBD basieren auf simultan von unterschiedlichen Kameras 32, 33 aufgenommenen Bilddaten BD (siehe 3), wobei die unterschiedlichen Kameras 32, 33 ein überlappendes Sichtfeld aufweisen. Teil der Ermittlungseinrichtung 20 ist auch eine Sensorschnittstelle 21a, welche dazu eingerichtet ist, zusätzliche kinematische Sensordaten ZSD, in diesem Fall inertiale Messdaten, zu empfangen, welche von einem Inertialsensor erfasst werden.The investigative facility 20th includes an image data interface 21st which are used to receive image data BD is used by a plurality of individual image cameras 32 , 33 (please refer 3rd ) are recorded. The image data BD comprise an image sequence from the surroundings of the rail vehicle 31 . The investigative facility 20th also has an image data combination unit 22 for generating stereo image data SBD from the environment of the rail vehicle 31 based on the received single image data from different cameras 32 , 33 on. The stereo image data SBD are based on simultaneously from different cameras 32 , 33 recorded image data BD (please refer 3rd ), the different cameras 32 , 33 have an overlapping field of view. Part of the investigation facility 20th is also a sensor interface 21a which to do so is set up, additional kinematic sensor data ZSD , in this case to receive inertial measurement data, which are recorded by an inertial sensor.

Die Ermittlungseinrichtung 20 umfasst außerdem eine Detektionseinheit 23, welche dazu eingerichtet ist, Schlüsselpunkte SP auf Basis der aufgenommenen Bilddaten BD, SBD zu detektieren. Für eine Detektion derartiger Schlüsselpunkte kann zum Beispiel ein FAST-Verfahren angewendet werden. Weiterhin umfasst die Ermittlungseinrichtung 20 eine Extraktionseinheit 23a zur Extraktion von Deskriptoren D anhand der ermittelten Schlüsselpunkte SP. Hierzu kann zum Beispiel ein BRISK-Verfahren angewendet werden.The investigative facility 20th also includes a detection unit 23 , which is set up key points SP based on the captured image data BD , SBD to detect. For example, a FAST method can be used to detect such key points. The determination device further comprises 20th an extraction unit 23a for extracting descriptors D based on the key points determined SP . For example, a BRISK procedure can be used for this.

Die Ermittlungseinrichtung 20 weist auch eine Ermittlungseinheit 24 auf, welche dazu dient, einen ersten Tiefenwert TW1 eines Schlüsselpunkts SP auf Basis der Stereobilddaten SBD und der Deskriptoren D zu ermitteln.The investigative facility 20th also has a determination unit 24th on, which serves a first depth value TW1 a key point SP based on the stereo image data SBD and the descriptors D to investigate.

Hierzu wird ein Abgleich oder Matching von Schlüsselpunkten in Einzelbildern der Stereobilddaten SBD durchgeführt. D.h., es werden Schlüsselpunkte SP, welche von unterschiedlichen Kameras aufgenommen wurden, miteinander identifiziert für den Fall, dass der Matching-Prozess ergibt, dass die Schlüsselpunkte SP in den unterschiedlichen Bildern der Stereobilddaten SBD identisch sind. Dazu werden auch die Werte der Deskriptoren D genutzt.For this purpose, a comparison or matching of key points in individual images of the stereo image data SBD carried out. D .h., it becomes key points SP , which were recorded by different cameras, identified with each other in the event that the matching process reveals that the key points SP in the different images of the stereo image data SBD are identical. This also includes the values of the descriptors D utilized.

Die Ermittlungseinrichtung 20 weist auch eine Abgleichseinheit 25 für einen Abgleich von Schlüsselpunkten SP in unterschiedlichen Frames der Bilddaten BD von einer Einzelkamera 32 (siehe 3) auf. Hierzu werden nicht nur die extrahierten Deskriptoren D, sondern auch die zusätzlichen kinematischen Sensordaten ZSD, in diesem Fall inertiale Messdaten hinzugezogen.The investigative facility 20th also has a matching unit 25th for a comparison of key points SP in different frames of the image data BD from a single camera 32 (please refer 3rd ) on. This does not only include the extracted descriptors D , but also the additional kinematic sensor data ZSD , in this case inertial measurement data is used.

Die Ermittlungseinrichtung 20 weist auch eine Tiefenschätzeinheit 25a zum Ermitteln eines ersten Tiefenwerts TW1 auf. Die Ermittlung des ersten Tiefenwerts TW1 erfolgt mit Hilfe einer Triangulation. Es wird die Tiefe von Schlüsselpunkten SP unterschiedlicher Bilder der Stereobilddaten SBD, welche miteinander identifiziert wurden, ermittelt. Da korrespondierende Bilder unterschiedlicher Kameras des Stereokamerasystems 33 (siehe 3) aus unterschiedlichen Winkeln aufgenommen werden und die Länge der Basislinie zwischen den beiden Kameras 33 bekannt ist, kann mit Hilfe der Triangulation jeweils ein erster Tiefenwert TW1 für die identifizierten Schlüsselpunkte SP ermittelt werden.The investigative facility 20th also has a depth estimation unit 25a to determine a first depth value TW1 on. The determination of the first depth value TW1 is done with the help of a triangulation. It becomes the depth of key points SP different images of the stereo image data SBD which were identified with each other. There are corresponding images from different cameras in the stereo camera system 33 (please refer 3rd ) from different angles and the length of the baseline between the two cameras 33 is known, triangulation can be used to obtain a first depth value TW1 for the identified key points SP be determined.

Teil der Ermittlungseinrichtung 20 ist auch eine Schätzeinheit 26 zum Schätzen einer Position P-LM eines als Landmarke LM identifizierten Schlüsselpunkts SP durch eine Triangulation auf Basis von Schlüsselpunkten SP aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden.Part of the investigation facility 20th is also a treasure trove 26 to estimate a position P-LM one as a landmark LM identified key point SP through triangulation based on key points SP successive images which were found to be identical in the key point comparison.

Teil der Ermittlungseinrichtung 20 ist auch eine Tiefenmesseinheit 24b, welche dazu eingerichtet ist, eine Auswertung der Stereobilddaten SBD auf Basis des ermittelten ersten Tiefenwerts TW1 durchzuführen, wobei eine Tiefenermittlung in einem Schiebefenster, d.h. auf Basis einer Mehrzahl N von aufeinanderfolgenden Frames erfolgt.Part of the investigation facility 20th is also a depth measurement unit 24b , which is set up to evaluate the stereo image data SBD based on the determined first depth value TW1 to carry out, with a depth determination in a sliding window, that is based on a plurality N of successive frames.

Der ermittelte erste Tiefenwert TW1 sowie der geschätzte Positionswert P-LM werden an eine Optimierungseinheit 27 übermittelt, die ebenfalls Teil der Ermittlungseinrichtung 20 ist. Alle die ermittelten Daten TW1, P-LM, ZSD werden dazu genutzt, in einem nichtlinearen Optimierungsverfahren einen verbesserten Positionswert PV-LM einer Landmarke LM zu ermitteln. Bei diesem Optimierungsverfahren wird eine Landmarke LM, für die ein verbesserter Positionswert PV-LM ermittelt werden soll, an die geschätzte Position P-LM rückprojiziert und mit einer tatsächlichen Bildposition in den Bilddaten BD, SBD verglichen. Die dabei ermittelte Differenz kann als Korrekturwert für die Positionsermittlung genutzt werden. Ähnlich können auch Korrekturwerte für die Tiefenmessung und die Ermittlung von korrigierten Messwerten auf Basis der zusätzlichen kinematischen Sensordaten ZSD genutzt werden.The determined first depth value TW1 and the estimated position value P-LM are sent to an optimization unit 27th transmitted, which is also part of the investigation facility 20th is. All the data found TW1 , P-LM , ZSD are used to improve the position value in a non-linear optimization process PV-LM a landmark LM to investigate. In this optimization process, a landmark LM , for which an improved position value PV-LM should be determined to the estimated position P-LM backprojected and with an actual image position in the image data BD , SBD compared. The difference determined in this way can be used as a correction value for determining the position. Correction values for the depth measurement and the determination of corrected measurement values based on the additional kinematic sensor data can also be used in a similar way ZSD be used.

Neben dem Positionswert PV-LM der Landmarken LM wird in der Optimierungseinheit 27 auch eine kinematische Größe optimiert. Beispielsweise wird eine aktuelle Position P des Schienenfahrzeugs 31, die Geschwindigkeit oder die Beschleunigung des Schienenfahrzeugs 31 optimiert. Anders ausgedrückt, werden Positionen der Landmarken LM zusammen mit den Positionen P des Fahrzeugs im „sliding window“ gemeinsam optimiert. Die ermittelte Position P wird schließlich über eine Ausgangsschnittstelle 28, beispielsweise an eine Steuerungseinrichtung 35 (siehe 3), ausgegeben.In addition to the position value PV-LM of landmarks LM is in the optimization unit 27th also optimized a kinematic variable. For example, a current position P of the rail vehicle 31 , the speed or the acceleration of the rail vehicle 31 optimized. In other words, positions of the landmarks LM along with the positions P jointly optimized the vehicle in the "sliding window". The determined position P will eventually have an output interface 28 , for example to a control device 35 (please refer 3rd ), issued.

In 3 ist eine schematische Darstellung 30 eines Schienenfahrzeugs 31 gemäß einem Ausführungsbeispiel der Erfindung auf einer Schienenstrecke S veranschaulicht. Das Schienenfahrzeug 31 weist eine Mehrzahl von Einzelkameras 32, 33 auf, welche Videodaten BD von der Umgebung des Schienenfahrzeugs 31 aufnehmen. Die Videodaten BD werden an eine in das Schienenfahrzeug 31 integrierte Ermittlungseinrichtung 20 übermittelt, die den in 2 gezeigten Aufbau hat.In 3rd is a schematic representation 30th of a rail vehicle 31 illustrated according to an embodiment of the invention on a rail route S. The rail vehicle 31 has a plurality of individual cameras 32 , 33 on what video data BD from the environment of the rail vehicle 31 record, tape. The video data BD to be in the rail vehicle 31 integrated investigation facility 20th transmitted, which the in 2nd structure shown.

Mit Hilfe der Mehrzahl von Kameras 32, 33 kann die Umgebung aus zwei unterschiedlichen Blickwinkeln bildlich aufgenommen werden. Weiterhin umfasst das Schienenfahrzeug 31 auch eine inertiale Sensoreinheit 34, mit der Sensordaten ZSD bezüglich des Beschleunigungsverhaltens und Verzögerungsverhaltens, so genannte inertiale Messdaten, erfasst werden und ebenfalls an die Ermittlungseinrichtung 20 weitergeleitet werden. Eine inertiale Sensoreinheit kann nicht nur das Verzögerungsverhalten (lineare Beschleunigung), sondern auch die Drehgeschwindigkeiten messen (Gyroskop), welche ebenfalls zur Ermittlung der Landmarken und der kinematischen Daten genutzt werden können.With the help of the majority of cameras 32 , 33 the surroundings can be captured from two different angles. The rail vehicle also includes 31 also an inertial sensor unit 34 , with the sensor data ZSD with regard to the acceleration behavior and deceleration behavior, so-called inertial measurement data, are also recorded and also sent to the determination device 20th to get redirected. An inertial sensor unit can measure not only the deceleration behavior (linear acceleration), but also the rotational speeds (gyroscope), which can also be used to determine the landmarks and the kinematic data.

Die Ermittlungseinrichtung 20 ermittelt auf Basis der Eingangsdaten BD, SBD, ZSD eine kinematische Größe v, P, a des Schienenfahrzeugs 31. Die Ergebnisdaten v, P, a werden an eine Steuereinrichtung 35 des Schienenfahrzeugs 31 übermittelt, welche auf Basis dieser Daten v, P, a das Schienenfahrzeug steuert.The investigative facility 20th determined on the basis of the input data BD , SBD , ZSD a kinematic quantity v , P , a of the rail vehicle 31 . The result data v , P , a are sent to a control device 35 of the rail vehicle 31 transmitted, which is based on this data v , P , a controls the rail vehicle.

In 4 sind zur Veranschaulichung Landmarken LM im dreidimensionalen Raum 40 eingezeichnet, welche durch das in 1 geschilderte Verfahren ermittelt wurden. Den Landmarken LM ist eine eindeutige Position im Raum zugeordnet.In 4th are illustrative landmarks LM in three-dimensional space 40 marked, which by the in 1 described procedures were determined. The landmarks LM is assigned a unique position in the room.

In 5 sind zur Veranschaulichung Schlüsselpunkte SP einer Bildfolge einer Einzelkamera als kreisförmige Objekte in einer Bilddarstellung 50 der Umgebung eines Schienenfahrzeugs symbolisiert. Die an den Kreisen angeordneten Striche deuten die Richtung sowie den Verschiebungsweg an, den die Schlüsselpunkte in aufeinanderfolgenden Bildern genommen haben. Aus diesen Daten allein lassen sich noch keine Landmarken bzw. deren Positionen gewinnen. Hierzu benötigt man Zusatzdaten, wie zum Beispiel Informationen über die Tiefe der Schlüsselpunkte SP. Diese Daten lassen sich grob durch zusätzliche kinematische Sensordaten ZSD, wie zum Beispiel inertiale Messdaten oder 1D-odometrische Daten, gegebenenfalls in Verbindung mit Kartendaten, gewinnen.In 5 are key points for illustration SP an image sequence of a single camera as circular objects in an image display 50 symbolizes the environment of a rail vehicle. The lines arranged on the circles indicate the direction and the displacement path that the key points have taken in successive images. No landmarks or their positions can be obtained from this data alone. This requires additional data, such as information about the depth of the key points SP . This data can be roughly determined by additional kinematic sensor data ZSD , such as inertial measurement data or 1D-odometric data, possibly in conjunction with map data.

Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen lediglich um bevorzugte Ausführungsbeispiele der Erfindung handelt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständigkeit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein“ bzw. „eine“ nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit“ nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.Finally, it is pointed out once again that the above-described methods and devices are merely preferred exemplary embodiments of the invention and that the invention can be varied by a person skilled in the art without leaving the scope of the invention, insofar as it is specified by the claims. For the sake of completeness, it is also pointed out that the use of the indefinite articles “a” or “an” does not preclude the fact that the relevant features can also be present more than once. Likewise, the term “unit” does not rule out the fact that it consists of several components, which may also be spatially distributed.

Claims (15)

Verfahren zum Ermitteln einer kinematischen Größe (v, P, a) eines Schienenfahrzeugs (31), aufweisend die Schritte: - Aufnehmen von Bilddaten (BD) von der Umgebung des Schienenfahrzeugs (31) mit einer bordseitigen Bildaufnahmeeinheit (32), - bordseitiges Aufnehmen von zusätzlichen Sensordaten, welche kinematische Sensordaten (ZSD) und/oder Bilddaten (BD) mindestens einer zusätzlichen Bildaufnahmeeinheit (33) umfassen, - Detektieren von Schlüsselpunkten (SP) in den Bilddaten (BD), - Ermitteln eines ersten Tiefenwerts (TW1) eines Schlüsselpunkts (SP) auf Basis der zusätzlichen Sensordaten (ZSD) und der Bilddaten (BD) für jedes Bild der Bilddaten (BD), - Durchführen eines Schlüsselpunkt-Abgleichs von Schlüsselpunkten (SP) unterschiedlicher Bilder einer Bildfolge der Bildaufnahmeeinheit (32) - Schätzen einer Position (P-LM) eines als Landmarke (LM) identifizierten Schlüsselpunktes (SP) durch eine Triangulation auf Basis von Schlüsselpunkten (SP) aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden, zur Initialisierung der Landmarke (LM), und - Ermitteln - eines verbesserten Positionswerts (PV-LM) der Landmarke (LM) auf Basis einer gewichteten Fusion der geschätzten Position (P-LM) und des ersten Tiefenwerts (TW1) und - einer kinematischen Größe (v, P, a) in einem gemeinsamen Optimierungsverfahren.Method for determining a kinematic quantity (v, P, a) of a rail vehicle (31), comprising the steps: Recording image data (BD) from the surroundings of the rail vehicle (31) with an on-board image recording unit (32), on-board recording of additional sensor data, which include kinematic sensor data (ZSD) and / or image data (BD) of at least one additional image recording unit (33), Detection of key points (SP) in the image data (BD), Determining a first depth value (TW1) of a key point (SP) on the basis of the additional sensor data (ZSD) and the image data (BD) for each image of the image data (BD), - Performing a key point comparison of key points (SP) of different images of an image sequence of the image recording unit (32) - Estimating a position (P-LM) of a key point (SP) identified as a landmark (LM) by triangulation on the basis of key points (SP) of successive images, which were determined as identical in the key point comparison, for initializing the landmark (LM ), and - Determine - an improved position value (PV-LM) of the landmark (LM) based on a weighted fusion of the estimated position (P-LM) and the first depth value (TW1) and - a kinematic quantity (v, P, a) in a common optimization process. Verfahren nach Anspruch 1, wobei - als zusätzliche Sensordaten Bilddaten von mindestens einer zusätzlichen Bildaufnahmeeinheit (33) aufgenommen werden, - Stereobilddaten (SBD) von der Umgebung des Schienenfahrzeugs (31) auf Basis von Bilddaten (BD) von einer Mehrzahl von Bildaufnahmeeinheiten (32, 33) erzeugt werden, - Schlüsselpunkte (SP) zusätzlich in den Stereobilddaten (SBD) detektiert werden und - der erste Tiefenwert (TW1) eines Schlüsselpunkts (SP) auf Basis der Stereobilddaten (SBD) für jedes Bild der Bilddaten (BD) ermittelt wird.Procedure according to Claim 1 , wherein - as additional sensor data, image data are recorded by at least one additional image recording unit (33), - stereo image data (SBD) are generated from the surroundings of the rail vehicle (31) on the basis of image data (BD) from a plurality of image recording units (32, 33) , - key points (SP) are additionally detected in the stereo image data (SBD) and - the first depth value (TW1) of a key point (SP) is determined on the basis of the stereo image data (SBD) for each image of the image data (BD). Verfahren nach Anspruch 1 oder 2, wobei die kinematische Größe (v, P, a) eine der folgenden Größen umfasst: - die Position (P) des Schienenfahrzeugs (31), - die Geschwindigkeit (v) des Schienenfahrzeugs (31), - die Beschleunigung (a) des Schienenfahrzeugs (31). Procedure according to Claim 1 or 2nd , wherein the kinematic variable (v, P, a) comprises one of the following variables: - the position (P) of the rail vehicle (31), - the speed (v) of the rail vehicle (31), - the acceleration (a) of the rail vehicle (31). Verfahren nach Anspruch 1 oder 2, wobei die kinematischen Sensordaten (ZSD) eine Art der folgenden Sensordaten umfassen: - 1D-odometrische Sensordaten, - inertiale Messdaten.Procedure according to Claim 1 or 2nd , the kinematic sensor data (ZSD) comprising a type of the following sensor data: - 1D-odometric sensor data, - inertial measurement data. Verfahren nach einem der vorstehenden Ansprüche, wobei bei dem Optimierungsverfahren ein Vergleich zwischen einer Bildposition einer an die geschätzte Position (P-LM) projizierten Landmarke (LM) und einer tatsächlichen Bildposition der in den Bilddaten (BD, SBD) identifizierten Landmarke (LM) erfolgt.Method according to one of the preceding claims, wherein in the optimization method a comparison is made between an image position of a landmark (LM) projected onto the estimated position (P-LM) and an actual image position of the landmark (LM) identified in the image data (BD, SBD) . Verfahren nach einem der vorstehenden Ansprüche, wobei - ein zweiter Tiefenwert (TW2) auf Basis der Triangulation von Schlüsselpunkten (SP) aufeinanderfolgender Bilder ermittelt wird und - auf Basis des ersten Tiefenwerts (TW1) und des zweiten Tiefenwerts (TW2) ein verbesserter Tiefenwert für eine Initialisierung einer Landmarke (LM) ermittelt wird.Method according to one of the preceding claims, wherein a second depth value (TW2) is determined on the basis of the triangulation of key points (SP) of successive images and - On the basis of the first depth value (TW1) and the second depth value (TW2), an improved depth value for an initialization of a landmark (LM) is determined. Verfahren nach Anspruch 6, wobei das Ermitteln eines verbesserten Tiefenwerts einen Vergleich zwischen dem ersten Tiefenwert (TW1) und dem zweiten Tiefenwert (TW2) umfasst.Procedure according to Claim 6 wherein determining an improved depth value comprises a comparison between the first depth value (TW1) and the second depth value (TW2). Verfahren nach einem der Ansprüche 5 bis 7, wobei bei dem Optimierungsverfahren ein Vergleich zwischen einem auf Basis der zusätzlichen kinematischen Sensordaten (ZSD) ermittelten Positionswert und/oder Tiefenwert und dem verbesserten Positionswert (PV-LM) erfolgt und daraus ein Fehlerwert für eine Positionsermittlung und/oder Tiefenermittlung auf Basis der zusätzlichen kinematischen Sensordaten (ZSD) ermittelt wird.Procedure according to one of the Claims 5 to 7 , whereby in the optimization process there is a comparison between a position value and / or depth value determined on the basis of the additional kinematic sensor data (ZSD) and the improved position value (PV-LM) and an error value for position determination and / or depth determination based on the additional kinematic Sensor data (ZSD) is determined. Verfahren nach Anspruch 8, wobei die zusätzlichen kinematischen Sensordaten (ZSD) 1D-odometrische Sensordaten umfassen und die 1D-odometrische Messung durch einen Drehzahlmesser erfolgt.Procedure according to Claim 8 , wherein the additional kinematic sensor data (ZSD) comprise 1D-odometric sensor data and the 1D-odometric measurement is carried out by a tachometer. Verfahren nach einem der Ansprüche 2 bis 9, wobei die Ermittlung des ersten Tiefenwerts (TW1) durch eine Triangulation auf Basis der Stereobilddaten (SBD) erfolgt.Procedure according to one of the Claims 2 to 9 , the first depth value (TW1) being determined by triangulation based on the stereo image data (SBD). Verfahren nach einem der vorstehenden Ansprüche, wobei die Ermittlung des ersten Tiefenwerts (TW1) durch - eine Tiefenkamera und/oder - LiDAR erfolgt.Method according to one of the preceding claims, wherein the determination of the first depth value (TW1) by - a depth camera and / or - LiDAR takes place. Ermittlungseinrichtung (20), aufweisend: - eine Sensordatenschnittstelle (21) zum Empfangen von einer Abfolge von Bilddaten (BD) von der Umgebung des Schienenfahrzeugs (31) von mindestens einer bordseitigen Bildaufnahmeeinheit (32) und von zusätzlichen bordseitig erfassten Sensordaten, welche kinematische Sensordaten (ZSD) und/oder Bilddaten (BD) mindestens einer zusätzlichen Bildaufnahmeeinheit (33) umfassen, - eine Detektionseinheit (23) zum Detektieren von Schlüsselpunkten (SP) in den Bilddaten (BD), - eine Ermittlungseinheit (24) zum Ermitteln eines ersten Tiefenwerts (TW1) eines Schlüsselpunkts (SP) auf Basis der zusätzlichen Sensordaten (SBD) und der Bilddaten (BD) für jedes Bild der Bilddaten (BD), - eine Abgleichseinheit (25) zum Durchführen eines Schlüsselpunkt-Abgleichs von Schlüsselpunkten (SP) unterschiedlicher Bilder der Abfolge von Bilddaten (BD) der Bildaufnahmeeinheit (32) - eine Schätzeinheit (26) zum Schätzen einer Position eines als Landmarke (LM) identifizierten Schlüsselpunktes (SP) durch eine Triangulation auf Basis von Schlüsselpunkten (SP) aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden, zur Initalisierung der Landmarke (LM), - eine Optimierungseinheit (27) zum Ermitteln - eines verbesserten Positionswerts (PV-LM) der Landmarke (LM) auf Basis einer gewichteten Fusion der geschätzten Position (P-LM) und des ersten Tiefenwerts (TW1), und - zum Ermitteln einer kinematischen Größe in einem gemeinsamen Optimierungsverfahren.Detection device (20), comprising: - a sensor data interface (21) for receiving a sequence of image data (BD) from the surroundings of the rail vehicle (31) from at least one on-board image acquisition unit (32) and additional on-board sensor data, which kinematic sensor data (ZSD) and / or image data ( BD) comprise at least one additional image recording unit (33), - a detection unit (23) for detecting key points (SP) in the image data (BD), a determining unit (24) for determining a first depth value (TW1) of a key point (SP) on the basis of the additional sensor data (SBD) and the image data (BD) for each image of the image data (BD), - A comparison unit (25) for performing a key point comparison of key points (SP) of different images of the sequence of image data (BD) of the image recording unit (32) - an estimation unit (26) for estimating a position of a key point (SP) identified as a landmark (LM) by triangulation based on key points (SP) of successive images, which were determined as identical during the key point comparison, for initializing the landmark ( LM), - An optimization unit (27) for determining - an improved position value (PV-LM) of the landmark (LM) based on a weighted fusion of the estimated position (P-LM) and the first depth value (TW1), and - to determine a kinematic variable in a common optimization process. Schienenfahrzeug (31), aufweisend: - eine Ermittlungseinrichtung (20) nach Anspruch 12, - eine Steuereinrichtung (35) zum automatisierten Steuern des Schienenfahrzeugs (31) auf Basis von kinematischen Daten (P, v, a), welche von der Ermittlungseinrichtung (20) ermittelt werden.Rail vehicle (31), comprising: - a determination device (20) according to Claim 12 , - A control device (35) for the automated control of the rail vehicle (31) on the basis of kinematic data (P, v, a) which are determined by the determination device (20). Computerprogrammprodukt mit einem Computerprogramm, welches direkt in eine Speichereinheit einer Ermittlungseinrichtung (20) ladbar ist, mit Programmabschnitten, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 11 auszuführen, wenn das Computerprogramm in der Ermittlungseinrichtung (20) ausgeführt wird.Computer program product with a computer program, which can be loaded directly into a memory unit of a determination device (20), with program sections to complete all steps of a method according to one of the Claims 1 to 11 to be executed when the computer program is executed in the determining device (20). Computerlesbares Medium, auf welchem von einer Rechnereinheit ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 11 auszuführen, wenn die Programmabschnitte von der Rechnereinheit ausgeführt werden.Computer-readable medium on which program sections executable by a computer unit are stored in order to carry out all steps of the method according to one of the Claims 1 to 11 to be executed when the program sections are executed by the computer unit.

Images