-
Die Erfindung betrifft ein Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs. Überdies betrifft die Erfindung eine Ermittlungseinrichtung. Weiterhin betrifft die Erfindung ein Schienenfahrzeug.
-
Viele Schienennetze werden mit dem europäischen Zugüberwachungssystem ETCS (Akronym für European Train Control System) betrieben. Ziel eines solchen Systems ist es, die Sicherheit und Effizienz von Schienennetzen zu steigern und auch Wartungskosten und Personalkosten zu reduzieren. Bei dem Einsatz des ETCS wird die Zugstrecke in sogenannte Blöcke aufgeteilt. Die Größe der Blöcke ist durch die Bremsstrecke, welche im ungünstigsten Fall durch einen Zug, der auf der Strecke fahren darf, benötigt wird, festgelegt. Die Positionsbestimmung der Züge und das Verbinden der Blöcke werden durch infrastrukturseitige Balisen realisiert. Wenn sich ein Zug in einem solchen Block befindet, ist dieser Block für diesen Zug reserviert, so dass andere Züge diesen Block nicht zur gleichen Zeit nutzen können. Die Blöcke werden nach Verlassen durch einen Zug jeweils wieder freigegeben, so dass die Blöcke für andere Züge reserviert werden können. Die Vorgehensweise mit festen Blöcken ist relativ ineffizient.
-
Bisher wurden zwei unterschiedliche Varianten von ETCS-Systemen realisiert, wobei beide auf einer streckenseitigen Lokalisierung und festen Blöcken basieren. Die erste Variante basiert auf einer infrastrukturseitigen Signalisierung der Verfügbarkeit eines Blocks und die zweite Variante nutzt bordseitiges Signalisieren, um die Blockgrößen zu reduzieren. Bei einer dritten Variante, auch als ETCS-Ebene 3 bezeichnet, welche aktuell entwickelt wird, sollen die festen Blöcke durch bewegliche Blöcke ersetzt werden, mit denen die Bremsabstände zwischen sich auf der Strecke bewegenden Zügen berücksichtigt werden. Dadurch kann die Kapazität eines Schienennetzes um 190 % bis 500 % erhöht werden, je nachdem, ob ein relativer oder ein sich bewegender Block genutzt wird. Wird der sich bewegende Block als relativ zu vielen sich bewegenden Zügen definiert, so kann eine feste streckenseitige Sensorinfrastruktur durch bordseitige Sensoren ersetzt werden, wodurch möglicherweise Kosten gespart werden können. Allerdings hängt der Erfolg der ETCS-Ebene 3 von der Entwicklung neuer Verfahren ab, mit denen die Position und die Geschwindigkeit von Zügen zuverlässig ermittelt werden kann.
-
Aktuell erfolgt die Lokalisierung von Schienenfahrzeugen durch eine Kombination von ungenauen Drehzahlmessern und streckenseitigen Sensoren, wie zum Beispiel Achsenzähler oder Balisen. Letztere liefern diskrete Positionsmesswerte und sind sehr kostenintensiv zu warten.
-
Zukünftig sollen Satellitennavigationssysteme und Inertialsensoren genutzt werden, um die Position von Schienenfahrzeugen kontinuierlich zu ermitteln. Allerdings versagen diese Verfahren, wenn die GPS-Messdaten nicht zur Verfügung stehen, wie zum Beispiel in Tunnels, da die zusätzlich erfassten IMU-Biaswerte bei einer eindimensionalen Bewegung eines Zugs nicht ausreichend beobachtbar sind.
-
Weiterhin ist bei der Anwendung von Satellitennavigation die Fusion mit anderen Sensordaten problematisch, da Satellitennavigationsmessungen keinen Gauß-Fehler aufweisen, wodurch die Genauigkeit des Ergebnisses schwer vorhersagbar ist, insbesondere bei einem Auftreten von Mehrwegempfangseffekten, wie sie in der Nähe von Gebäuden auftreten.
-
Es besteht also die Aufgabe, ein Verfahren und eine Einrichtung zu entwickeln, um kombinierte Messungen der Geschwindigkeit und Position eines Zuges präziser zu gestalten, um insbesondere flexible Blocksysteme bei der Zugsicherung zu ermöglichen.
-
Diese Aufgabe wird durch ein Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs gemäß Patentanspruch 1, eine Ermittlungseinrichtung gemäß Patentanspruch 12 und ein Schienenfahrzeug gemäß Patentanspruch 13 gelöst.
-
Bei dem erfindungsgemäßen Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs werden bordseitig Bilddaten, umfassend eine Abfolge von Bildern von der Umgebung des Schienenfahrzeugs, mit einer Bildaufnahmeeinheit aufgenommen. Weiterhin werden zusätzliche Sensordaten, welche kinematische Sensordaten und/oder Bilddaten mindestens einer zusätzlichen Bildaufnahmeeinheit umfassen, aufgenommen. Die Aufnahme der Bilddaten und Sensordaten kann also durch ein Mehrkamerasystem erfolgen, es kann zur Aufnahme der Bilddaten und Sensordaten aber auch eine Kombination aus einer einzelnen Kamera und einem kinematischen Sensor genutzt werden.
-
Eine kinematische Größe beschreibt die Bewegung des Schienenfahrzeugs, insbesondere umfasst sie die Geschwindigkeit, die Beschleunigung und die Position eines Schienenfahrzeugs.
-
Die aufgenommenen Bilddaten können durch einen Vergleich von aufeinanderfolgenden Bildern ein und derselben Kamera, wobei die Bilder zu unterschiedlichen Zeitpunkten aufgenommen wurden, ausgewertet werden. Ein solcher Abgleich wird auch als Frame-to-Frame-Abgleich bezeichnet. Es können aber auch Bilddaten von mehreren Kameras, welche ein überlappendes Sichtfeld haben, als „Stereobilddaten“ ausgewertet werden.
-
Mit Hilfe von Stereobilddaten, bei denen ein Punkt aus verschiedenen Blickwinkeln abgebildet wird, können Abstände und Relativpositionen von Bildpunkten zu dem Schienenfahrzeug ermittelt werden.
-
Es erfolgt weiterhin eine Detektion von Schlüsselpunkten in den aufgenommenen Bilddaten. Mit Hilfe der Verwendung von Schlüsselpunkten zur Positionsbestimmung kann die zu verarbeitende Datenmenge stark reduziert werden. Beispielsweise kann ein rasterbasierter Schlüsselpunktextraktor verwendet werden, um eine Gleichverteilung der Schlüsselpunkte in der aufgenommenen Szene zu erreichen.
-
Ein Schlüsselpunktextraktor sucht typischerweise das ganze Bild (jeden Pixel) nach interessanten Punkten ab. Ein solcher Punkt wird häufig durch einen hohen Gradienten in mehr als einer Richtung (Harris Corners) oder eine gewisse Anzahl Pixel, die sich genügend von anderen Pixeln unterscheiden (FAST), gekennzeichnet. Zusätzlich wird normalerweise eine Unterdrückung von lokalen Nicht-Maxima (non-maximumsuppression) vorgenommen, um eine hohe Ansammlung von Schlüsselpunkten bei starker Textur zu vermeiden.
-
Die Menge der für eine Positionsbestimmung genutzten Bildpunkte wird damit stark reduziert, so dass insbesondere bei hochdynamischen Szenarios die zu verarbeitende Datenmenge reduziert wird und eine Echtzeitberechnung der Position eines Schienenfahrzeugs ermöglicht wird.
-
Auf Basis der zusätzlichen Sensordaten und der Bilddaten wird für jedes Bild der Bilddaten bzw. der Abfolge von Bildern ein erster Tiefenwert eines Schlüsselpunkts ermittelt. Ein solcher Tiefenwert kann dazu genutzt werden, um eine Position des Schlüsselpunkts in drei Dimensionen zu ermitteln und damit eine Landmarke zu gewinnen. Dieser erste Tiefenwert wird in jedem Bild ermittelt, in dem der Schlüsselpunkt zu einem zugehörigen Schlüsselpunkt in der Abfolge von Bildern einer Kamera zugeordnet werden kann. Ein Schlüsselpunkt ist ein „interessanter“ Punkt in einem 2D-Bild. Dagegen ist eine Landmarke ein verfolgbarer Schlüsselpunkt über mehrere Bilder, welcher dann auch im Dreidimensionalen dargestellt werden kann.
-
Weiterhin wird ein Schlüsselpunkt-Abgleich von Schlüsselpunkten unterschiedlicher Bilder einer Bildfolge der Bildaufnahmeeinheit durchgeführt. Dieser Prozess wird vorzugsweise auch auf Basis zusätzlicher kinematischer Sensordaten durchgeführt. Kinematische Sensordaten sind nicht notwendig für die Ausführung des Schlüsselpunktabgleichs, beschleunigen aber vorteilhaft diesen Prozess.
-
Auf Basis von Schlüsselpunkten aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden, wird weiterhin eine Position eines als Landmarke identifizierten Schlüsselpunktes durch eine Triangulation ermittelt. Dieser Schritt wird vor allem für die Initialisierung der Landmarken verwendet. Anders ausgedrückt werden durch die Initialisierung Startwerte für die Position und Tiefe einer jeweiligen Landmarke ermittelt, welche im anschließenden Optimierungsverfahren optimiert werden. Später werden nur noch rückprojizierte Messfehler zur Korrektur in der Optimierung verwendet.
-
In einem gemeinsamen Optimierungsvorgang wird auf Basis einer gewichteten Fusion der geschätzten Position und des ersten Tiefenwerts ein verbesserter Positionswert der Landmarke und ein Wert einer kinematischen Größe ermittelt. Die Gewichtung unterschiedlicher Größen kann zum Beispiel in Abhängigkeit von Kovarianzwerten unterschiedlicher zu fusionierender Größen oder auf Basis sonstiger Informationen, welche die Zuverlässigkeit von Messwerten charakterisieren, erfolgen. Derartige Informationen können beispielsweise bei der Kalibrierung einer Messeinheit ermittelt werden.
-
Bei der Optimierung werden Positionen der Landmarken und kinematische Größen, wie zum Beispiel Positionen des Schienenfahrzeuges, in einem sogenannten Schiebefenster (auf Englisch „sliding window“) zusammen abgeschätzt bzw. optimiert. Dieser Vorgang basiert auf der Berücksichtigung von Fehlerkorrekturthermen. Solche Fehler-/Korrekturterme können umfassen: Rückprojektionsfehler (vor allem aufgrund der Frame-to-Frame matches, d.h. des Abgleichs aufeinanderfolgender Bilder, Tiefenfehler von dem Stereoabgleich sowie Odometriefehler (1-D Odometrie oder inertiale Messungen). Es existiert keine Unterteilung in zwei Teile des Optimierungsalgorithmus. Wie erwähnt, ist es bevorzugt, nicht nur einen aktuellen, dem Schienenfahrzeug zugeordneten Wert einer kinematischen Größe, wie zum Beispiel dessen aktuelle Position im Rahmen des Optimierungsvorgangs zu ermitteln, sondern die letzten N Werte, wobei N typischerweise eine ganze Zahl zwischen 3 und 20 ist. Dabei kommt ein sogenanntes Schiebefensterverfahren, im Englischen auch als „sliding-window“-Verfahren bezeichnet, zum Einsatz, bei dem eine Mehrzahl von Frames bzw. Bildern in einem Datenpaket übertragen und in dem beschrieben Optimierungsverfahren auch simultan verarbeitet werden.
-
Vorteilhaft kann das Problem, dass bei Schienenfahrzeugen, welche signifikante Beschleunigungswerte nur in einer Dimension aufweisen, inertiale Messungen nicht sehr gut geeignet sind, um eine Positionsmessung durchzuführen, durch die Fusion dieser Beschleunigungsdaten mit Bilddaten gelöst werden. Weiterhin wird die Verwendung von Schlüsselpunkten bzw. Landmarken dazu genutzt, die zu verarbeitende Datenmenge zur Positionsbestimmung zu reduzieren. Diese vorteilhafte Vorgehensweise erlaubt insbesondere die Bestimmung kinematischer Größen in hochdynamischen Situationen, in denen bei herkömmlicher Vorgehensweise die verfügbare Rechenkapazität nicht mehr ausreicht.
-
Die erfindungsgemäße Ermittlungseinrichtung weist eine Sensordatenschnittstelle zum Empfangen von einer Abfolge von Bildern, umfassend Bilddaten von der Umgebung des Schienenfahrzeugs, von mindestens einer bordseitigen Bildaufnahmeeinheit auf. Die Sensordatenschnittstelle ist weiterhin dazu eingerichtet, zusätzliche bordseitig erfasste Sensordaten, welche kinematische Sensordaten und/oder Bilddaten von mindestens einer zusätzlichen Bildaufnahmeeinheit umfassen, zu empfangen.
-
Die erfindungsgemäße Ermittlungseinrichtung weist auch eine Detektionseinheit zum Detektieren von Schlüsselpunkten in den Bilddaten auf. Die erfindungsgemäße Ermittlungseinrichtung umfasst ferner eine Ermittlungseinheit zum Ermitteln eines ersten Tiefenwerts eines Schlüsselpunkts auf Basis der zusätzlichen Sensordaten und der Bilddaten für jedes Bild der Abfolge von Bildern. Zum Durchführen eines Schlüsselpunkt-Abgleichs von Schlüsselpunkten unterschiedlicher Bilder der Abfolge von Bildern der Bildaufnahmeeinheit weist die erfindungsgemäße Ermittlungseinrichtung eine Abgleichseinheit auf.
-
Teil der erfindungsgemäßen Ermittlungseinrichtung ist auch eine Schätzeinheit zum Schätzen einer Position eines als Landmarke identifizierten Schlüsselpunktes durch eine Triangulation auf Basis von Schlüsselpunkten aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden. Dieser Vorgang dient der Initialisierung eines Optimierungsprozesses.
-
Weiterhin weist die erfindungsgemäße Ermittlungseinrichtung eine Optimierungseinheit auf. Die Optimierungseinheit dient dem Ermitteln eines verbesserten Positionswerts der Landmarke auf Basis einer gewichteten Fusion der geschätzten Position und des ersten Tiefenwerts auf. Die Optimierungseinheit dient auch dazu, eine kinematische Größe gemeinsam mit dem verbesserten Positionswert, d.h. in einem gemeinsamen Optimierungsprozess, zu ermitteln. Die erfindungsgemäße Ermittlungseinrichtung teilt die Vorteile des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs.
-
Das erfindungsgemäße Schienenfahrzeug weist die erfindungsgemäße Ermittlungseinrichtung auf. Das erfindungsgemäße Schienenfahrzeug teilt die Vorteile der erfindungsgemäßen Ermittlungseinrichtung.
-
Teile der erfindungsgemäßen Ermittlungseinrichtung können zum überwiegenden Teil in Form von Softwarekomponenten ausgebildet sein. Dies betrifft insbesondere Teile der Detektionseinheit, der Ermittlungseinheit, der Abgleichseinheit, der Schätzeinheit und der Optimierungseinheit. Grundsätzlich können diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareunterstützter Hardware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötigten Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht, als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.
-
Eine teilweise softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher zur Sensordatenerfassung und zur Berechnung kinematischer Daten genutzte Rechnersysteme auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Insofern wird die Aufgabe auch durch ein entsprechendes Computerprogrammprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersystems ladbar ist, mit Programmabschnitten, um alle Schritte des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs auszuführen, wenn das Computerprogramm in einem Rechnersystem ausgeführt wird.
-
Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen
-
Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein computerlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest eingebauter Datenträger dienen, auf welchem die von einer Rechnereinheit einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Die Rechnereinheit kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikroprozessoren oder dergleichen aufweisen.
-
Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den abhängigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rahmen der Erfindung auch die verschiedenen Merkmale unterschiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden.
-
Als zusätzliche Sensordaten können bei dem erfindungsgemäßen Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs Bilddaten von mindestens einer zusätzlichen Bildaufnahmeeinheit aufgenommen werden. Auf Basis der von mehreren Bildaufnahmeeinheiten erfassten Bilddaten können bei dieser Variante Stereobilddaten von der Umgebung des Schienenfahrzeugs erzeugt werden. Auch in den Stereobilddaten können Schlüsselpunkte detektiert werden. Da die Stereobilddaten dreidimensionale Informationen über die Umgebung und damit auch die Positionen der Schlüsselpunkte umfassen, kann nun anhand der Stereobilddaten für jedes Bild der erfassten Bilddaten der erste Tiefenwert ermittelt werden. Basierend auf dreidimensionalen Bilddaten kann aufgrund der geometrisch ermittelbaren Tiefeninformation eine Tiefe eines Schlüsselpunkts besonders genau ermittelt werden.
-
In einer Variante des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs wird ein Schlüsselpunkt-Abgleich von Schlüsselpunkten unterschiedlicher Bilder einer Bildfolge einer Bildaufnahmeeinheit und auf Basis zusätzlicher kinematischer Sensordaten durchgeführt. Mit diesen zusätzlichen kinematischen Daten wird das Verfahren beschleunigt.
-
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs umfasst die kinematische Größe eine der folgenden Größen:
- - die Position des Schienenfahrzeugs,
- - die Geschwindigkeit des Schienenfahrzeugs,
- - die Beschleunigung des Schienenfahrzeugs.
-
Vorteilhaft kann mit Hilfe des erfindungsgemäßen Verfahrens eine Position eines Schienenfahrzeugs auch dann präzise ermittelt werden, wenn andere Positionsbestimmungsmethoden, wie zum Beispiel die Satellitennavigation, versagen. Eine solche Situation kann zum Beispiel in Tunnels oder auf von Gebäuden, Bäumen oder Bergen umgebenen Streckenabschnitten auftreten. Außerdem tritt bei der Satellitennavigation ein nicht normalverteiltes Fehlerverhalten auf, so dass die dabei gewonnenen Daten schlecht mit anderen Sensordaten fusioniert werden können. Eine Fusion der mit Hilfe des erfindungsgemäßen Verfahrens gewonnenen Bilddaten mit auf andere Weise gewonnenen Sensordaten ist aufgrund eines jeweils normalverteilten Fehlers deutlich leichter möglich.
-
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs umfassen die zusätzlichen kinematischen Sensordaten zumindest eine Art der folgenden Sensordaten:
- - 1D-odometrische Sensordaten,
- - inertiale Messdaten.
-
Diese Sensordaten werden optional berücksichtigt. Eine Verarbeitung der Bilddaten als Stereobilddaten alleine reicht auch aus oder eine Verarbeitung der Bilddaten als Bilddaten einer Einzelkamera kombiniert mit „kinematischen“ Sensordaten.
-
Eindimensionale odometrische Sensordaten ermöglichen die Ermittlung der von einem Schienenfahrzeug zurückgelegten Strecke. Allerdings reichen diese Daten allein bei einem komplexeren Streckennetz nicht aus, um eindeutig eine Position eines Schienenfahrzeugs zu ermitteln. Inertiale Messdaten lassen sich bei sich bewegenden Schienenfahrzeugen ebenfalls nur in Fahrtrichtung gewinnen. Mithin lässt sich auch mit diesen Daten allein keine exakte und eindeutige Position ermitteln.
-
Daher werden diese Daten erfindungsgemäß mit Bilddaten fusioniert, um eindeutige Positionsdaten zu ermitteln.
-
In einer Variante des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs erfolgt bei dem Optimierungsverfahren ein Vergleich zwischen einer Bildposition einer an die geschätzte Position rückprojizierten Landmarke und einer tatsächlichen Bildposition der in den Bilddaten identifizierten Landmarke. Bei diesem Vergleich wird eine Positionsabweichung zwischen der geschätzten Position und der Bildposition ermittelt und für einen Fehlerterm bzw. Korrekturterm genutzt. Auf diese Weise ergibt sich eine iterativ optimierte Position als Ergebnis des Optimierungsverfahrens.
-
In einer bevorzugten Variante des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs wird ein zweiter Tiefenwert auf Basis der Triangulation von Schlüsselpunkten einer Folge von Einzelbildern, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden, ermittelt und auf Basis des ersten Tiefenwerts und des zweiten Tiefenwerts wird durch ein Optimierungsverfahren ein verbesserter Tiefenwert für eine Landmarke ermittelt. Der verbesserte Tiefenwert kann vorteilhaft für eine Positionsbestimmung des Schienenfahrzeugs genutzt werden, um diese zu präzisieren. Das Optimierungsverfahren kann zur Verbesserung der Genauigkeit der Tiefenermittlung vorzugsweise einen Vergleich zwischen dem ersten Tiefenwert und dem zweiten Tiefenwert umfassen.
-
Bei dem Optimierungsverfahren kann besonders bevorzugt ein Vergleich zwischen einem auf Basis der kinematischen Sensordaten ermittelten Positionswert und/oder Tiefenwert und dem verbesserten Positionswert erfolgen und daraus ein Fehlerwert für eine Positionsermittlung und/oder Tiefenermittlung auf Basis der kinematischen Sensordaten ermittelt werden. Vorteilhaft kann mit Hilfe des Fehlerwerts eine Korrektur der kinematischen Sensordaten erfolgen, wodurch auch wiederum die Ermittlung der kinematischen Größe genauer wird.
-
Die kinematischen Sensordaten können 1D-odometrische Sensordaten umfassen und die 1D-odometrische Messung kann durch einen Drehzahlmesser erfolgen. Alternativ oder zusätzlich kann die 1D-odometrische Messung durch ein auf den Boden gerichtetes Dopplerradar erfolgen. Vorteilhaft sind die 1D-odometrischen Sensordaten relativ störungsfrei zu gewinnen. Eine Fusion mit den über Bildinformationen gewonnenen Messdaten erlaubt im Gegensatz zu einer ausschließlichen Verwendung der 1D-odometrischen Sensordaten eine genauere Ermittlung auch dreidimensionaler kinematischer Größen.
-
In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs erfolgt die Ermittlung des ersten Tiefenwerts durch eine Triangulation auf Basis von Stereobilddaten. Aufgrund der Kenntnis der Basislinie zwischen den beiden Kameras eines bei dieser Variante verwendeten Stereobildaufnahmesystems sowie der Kenntnis der unterschiedlichen Winkel, unter denen ein Schlüsselpunkt in den beiden Bildern der beiden Kameras erscheint, kann eine Positionsbestimmung des Schlüsselpunkts durch Triangulation vorgenommen werden.
-
In einer Variante des erfindungsgemäßen Verfahrens zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs erfolgt die Ermittlung des ersten Tiefenwerts auf Basis einer Tiefenmessung in einem Schiebefenster. Eine solche Tiefenmessung kann mit Hilfe einer Tiefenkamera, auch als Time-of-Flight-Kamera bezeichnet, oder einem LiDAR-System erfolgen.
-
Dabei werden alle Tiefenmessungen die aufgrund der Stereotriangulation gewonnen wurden, in der Optimierung verwendet, und zwar für alle Bilder, die sich im „sliding window“ befinden. Wie mit den Tiefenmessungen werden auch die Beschleunigungsmessungen von allen zugehörigen Bildern (Beschleunigungen von Bildzeitstempel bis Bildzeitstempel) die sich im „sliding window“ befinden, für die Optimierung verwendet.
-
Die Erfindung wird im Folgenden unter Hinweis auf die beigefügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:
- 1 ein Flussdiagramm, welches ein Verfahren zum Ermitteln einer kinematischen Größe eines Schienenfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht,
- 2 eine schematische Darstellung einer Ermittlungseinrichtung gemäß einem Ausführungsbeispiel der Erfindung,
- 3 eine schematische Darstellung eines Schienenfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung,
- 4 eine schematische Darstellung einer Mehrzahl von Landmarken im dreidimensionalen Raum,
- 5 eine schematische Darstellung von Schlüsselpunkten in aufeinanderfolgenden Bildern.
-
In 1 ist ein Flussdiagramm 100 gezeigt, welches ein Verfahren zum Ermitteln einer kinematischen Größe v, P, a eines Schienenfahrzeugs 31 (siehe 3) veranschaulicht. Eine solche kinematische Größe kann zum Beispiel die Geschwindigkeit v, die Position P oder eine Beschleunigung a des Schienenfahrzeugs 31 umfassen.
-
Bei dem Schritt 1.1 werden zunächst Bilddaten BD von einer Mehrzahl von einzelnen Bildkameras 32, 33 (siehe 3) des Schienenfahrzeugs 31 erfasst. Die Bilddaten BD umfassen eine Bildfolge von der Umgebung des Schienenfahrzeugs 31. Bei dem Schritt 1.II werden auf Basis von gleichzeitig von unterschiedlichen Bildkameras 32, 33 erfassten Bilddaten BD zusätzlich Stereobilddaten SBD von der Umgebung des Schienenfahrzeugs 31 erzeugt.
-
Bei dem Schritt 1.III erfolgt noch ergänzend eine Akquisition von zusätzlichen kinematischen Sensordaten ZSD, in diesem Fall inertialen Messdaten.
-
Auf Basis der aufgenommenen Bilddaten BD und der auf deren Basis erzeugten Stereobilddaten SBD werden bei dem Schritt 1.IV Schlüsselpunkte SP detektiert. Anders ausgedrückt werden die Schlüsselpunkte SP für jede einzelne Kamera und unterschiedliche Zeitpunkte miteinander verglichen (Frame-to-Frame matching) und es werden Schlüsselpunkte von Bildern unterschiedlicher Kameras, welche zu gleichen Zeitpunkten aufgenommen wurden, miteinander verglichen (stereo matching). Für eine Detektion derartiger Schlüsselpunkte kann zum Beispiel ein FAST-Verfahren angewendet werden. Ein solches Verfahren ist beispielsweise in E. Rosten, R. Porter and T. Drummond, „Faster and Better: A Machine Learning Approach to Corner Detection“ in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 1, pp. 105-119, Jan. 2010 beschrieben.
-
Weiterhin erfolgt bei dem Schritt 1.V eine Extraktion von Deskriptoren anhand der ermittelten Schlüsselpunkte SP. Hierzu kann zum Beispiel ein BRISK-Verfahren angewendet werden. Die ermittelten Deskriptoren werden bei den Schritten 1.VI und 1.VII für einen Matching-Prozess genutzt.
-
Bei dem Schritt 1.VI erfolgt ein Abgleich oder Matching von Schlüsselpunkten in Bildern der Stereobilddaten SBD. D.h., es werden Schlüsselpunkte SP, welche von unterschiedlichen Kameras aufgenommen wurden, miteinander identifiziert für den Fall, dass der Matching-Prozess ergibt, dass die Schlüsselpunkte SP in den unterschiedlichen Bildern der Stereobilddaten SBD identisch sind. Hierzu werden auch die Werte der Deskriptoren D genutzt. Ähnlich erfolgt bei dem Schritt 1.VII ein Abgleich von Schlüsselpunkten SP in unterschiedlichen Frames der Bilddaten BD von einer Einzelkamera 32. Hierzu werden nicht nur die bei dem Schritt 1.V extrahierten Deskriptoren D, sondern auch die zusätzlichen kinematischen Sensordaten ZSD, in diesem Fall inertiale Messdaten, welche bei dem Schritt 1.III erfasst wurden, hinzugezogen.
-
Bei dem Schritt 1.VIII erfolgt eine Triangulation der Schlüsselpunktdaten SP unterschiedlicher Bilder der Stereobilddaten SBD, welche miteinander identifiziert wurden. Da korrespondierende Bilder unterschiedlicher Kameras des Stereokamerasystems aus unterschiedlichen Winkeln aufgenommen werden und die Länge der Basislinie zwischen den beiden Kameras 32, 33 bekannt ist, kann mit Hilfe der Triangulation jeweils ein erster Tiefenwert TW1 für die identifizierten Schlüsselpunkte SP ermittelt werden.
-
Bei dem Schritt 1.IX erfolgt weiterhin bei der Auswertung der Stereobilddaten SBD auf Basis des ermittelten ersten Tiefenwerts TW1 eine Tiefenermittlung in einem Schiebefenster.
Mit „sliding window“ ist ein Zeitabschnitt gemeint, in dem die Messungen für die Optimierung berücksichtigt werden. Dies wird gemacht aus dem Grund, da mehr Messungen normalerweise ein besseres Ergebnis erzielen, jedoch alle Messungen (seit dem Start der Applikation) zu rechenintensiv wären. Das „sliding window“ ist nur für die Optimierung relevant.
-
Bei dem Schritt 1.X erfolgt eine Triangulation einer Landmarke, welche in unterschiedlichen Frames aus unterschiedlichen Winkeln bildlich erfasst wurde, zur Ermittlung einer Position P-LM der Landmarke in einem Schiebefenster. Dabei ist unter einem Schiebefenster wieder eine bestimmte Anzahl an aktuellen Frames, in denen die Landmarke abgebildet ist, zu verstehen.
-
Außerdem werden bei dem Schritt 1.XI auch die inertialen Messwerte ZSD in einem Schiebefenster erfasst. Die bei den Schritten 1.IX, 1.X und 1.XI ermittelten Daten TW1, P-LM, ZSD werden bei dem Schritt 1.XII dazu genutzt, in einem nichtlinearen Optimierungsverfahren einen verbesserten Positionswert PV-LM einer Landmarke LM zu ermitteln. Bei diesem Optimierungsverfahren wird eine Landmarke, für die ein verbesserter Positionswert PV-LM ermittelt werden soll, an die geschätzte Position P-LM rückprojiziert und mit einer tatsächlichen Bildposition in den Bilddaten BD, SBD verglichen.
-
Im Optimierungsverfahren werden die Positionen der Landmarken sowie die Positionen des Fahrzeugs im vorherigen Zeitraum („sliding window“) zusammen optimiert, um den Fehler der Rückprojektion, der Tiefenmessungen (Stereo-matching) und der kinematischen Messdaten zu minimieren.
-
Ähnlich können auch Korrekturwerte für die Tiefenmessung und Korrekturwerte für die Ermittlung von korrigierten Messwerten auf Basis der zusätzlichen kinematischen Sensordaten ZSD genutzt werden.
-
In 2 ist eine schematische Darstellung einer Ermittlungseinrichtung 20 gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht.
-
Die Ermittlungseinrichtung 20 umfasst eine Bilddatenschnittstelle 21, welche zum Empfangen von Bilddaten BD dient, die von einer Mehrzahl von einzelnen Bildkameras 32, 33 (siehe 3) erfasst werden, eingerichtet ist. Die Bilddaten BD umfassen eine Bildfolge von der Umgebung des Schienenfahrzeugs 31. Die Ermittlungseinrichtung 20 weist außerdem eine Bilddatenkombinationseinheit 22 zum Erzeugen von Stereobilddaten SBD von der Umgebung des Schienenfahrzeugs 31 auf Basis der empfangenen Einzelbilddaten von unterschiedlichen Kameras 32, 33 auf. Die Stereobilddaten SBD basieren auf simultan von unterschiedlichen Kameras 32, 33 aufgenommenen Bilddaten BD (siehe 3), wobei die unterschiedlichen Kameras 32, 33 ein überlappendes Sichtfeld aufweisen. Teil der Ermittlungseinrichtung 20 ist auch eine Sensorschnittstelle 21a, welche dazu eingerichtet ist, zusätzliche kinematische Sensordaten ZSD, in diesem Fall inertiale Messdaten, zu empfangen, welche von einem Inertialsensor erfasst werden.
-
Die Ermittlungseinrichtung 20 umfasst außerdem eine Detektionseinheit 23, welche dazu eingerichtet ist, Schlüsselpunkte SP auf Basis der aufgenommenen Bilddaten BD, SBD zu detektieren. Für eine Detektion derartiger Schlüsselpunkte kann zum Beispiel ein FAST-Verfahren angewendet werden. Weiterhin umfasst die Ermittlungseinrichtung 20 eine Extraktionseinheit 23a zur Extraktion von Deskriptoren D anhand der ermittelten Schlüsselpunkte SP. Hierzu kann zum Beispiel ein BRISK-Verfahren angewendet werden.
-
Die Ermittlungseinrichtung 20 weist auch eine Ermittlungseinheit 24 auf, welche dazu dient, einen ersten Tiefenwert TW1 eines Schlüsselpunkts SP auf Basis der Stereobilddaten SBD und der Deskriptoren D zu ermitteln.
-
Hierzu wird ein Abgleich oder Matching von Schlüsselpunkten in Einzelbildern der Stereobilddaten SBD durchgeführt. D.h., es werden Schlüsselpunkte SP, welche von unterschiedlichen Kameras aufgenommen wurden, miteinander identifiziert für den Fall, dass der Matching-Prozess ergibt, dass die Schlüsselpunkte SP in den unterschiedlichen Bildern der Stereobilddaten SBD identisch sind. Dazu werden auch die Werte der Deskriptoren D genutzt.
-
Die Ermittlungseinrichtung 20 weist auch eine Abgleichseinheit 25 für einen Abgleich von Schlüsselpunkten SP in unterschiedlichen Frames der Bilddaten BD von einer Einzelkamera 32 (siehe 3) auf. Hierzu werden nicht nur die extrahierten Deskriptoren D, sondern auch die zusätzlichen kinematischen Sensordaten ZSD, in diesem Fall inertiale Messdaten hinzugezogen.
-
Die Ermittlungseinrichtung 20 weist auch eine Tiefenschätzeinheit 25a zum Ermitteln eines ersten Tiefenwerts TW1 auf. Die Ermittlung des ersten Tiefenwerts TW1 erfolgt mit Hilfe einer Triangulation. Es wird die Tiefe von Schlüsselpunkten SP unterschiedlicher Bilder der Stereobilddaten SBD, welche miteinander identifiziert wurden, ermittelt. Da korrespondierende Bilder unterschiedlicher Kameras des Stereokamerasystems 33 (siehe 3) aus unterschiedlichen Winkeln aufgenommen werden und die Länge der Basislinie zwischen den beiden Kameras 33 bekannt ist, kann mit Hilfe der Triangulation jeweils ein erster Tiefenwert TW1 für die identifizierten Schlüsselpunkte SP ermittelt werden.
-
Teil der Ermittlungseinrichtung 20 ist auch eine Schätzeinheit 26 zum Schätzen einer Position P-LM eines als Landmarke LM identifizierten Schlüsselpunkts SP durch eine Triangulation auf Basis von Schlüsselpunkten SP aufeinanderfolgender Bilder, welche bei dem Schlüsselpunkt-Abgleich als identisch ermittelt wurden.
-
Teil der Ermittlungseinrichtung 20 ist auch eine Tiefenmesseinheit 24b, welche dazu eingerichtet ist, eine Auswertung der Stereobilddaten SBD auf Basis des ermittelten ersten Tiefenwerts TW1 durchzuführen, wobei eine Tiefenermittlung in einem Schiebefenster, d.h. auf Basis einer Mehrzahl N von aufeinanderfolgenden Frames erfolgt.
-
Der ermittelte erste Tiefenwert TW1 sowie der geschätzte Positionswert P-LM werden an eine Optimierungseinheit 27 übermittelt, die ebenfalls Teil der Ermittlungseinrichtung 20 ist. Alle die ermittelten Daten TW1, P-LM, ZSD werden dazu genutzt, in einem nichtlinearen Optimierungsverfahren einen verbesserten Positionswert PV-LM einer Landmarke LM zu ermitteln. Bei diesem Optimierungsverfahren wird eine Landmarke LM, für die ein verbesserter Positionswert PV-LM ermittelt werden soll, an die geschätzte Position P-LM rückprojiziert und mit einer tatsächlichen Bildposition in den Bilddaten BD, SBD verglichen. Die dabei ermittelte Differenz kann als Korrekturwert für die Positionsermittlung genutzt werden. Ähnlich können auch Korrekturwerte für die Tiefenmessung und die Ermittlung von korrigierten Messwerten auf Basis der zusätzlichen kinematischen Sensordaten ZSD genutzt werden.
-
Neben dem Positionswert PV-LM der Landmarken LM wird in der Optimierungseinheit 27 auch eine kinematische Größe optimiert. Beispielsweise wird eine aktuelle Position P des Schienenfahrzeugs 31, die Geschwindigkeit oder die Beschleunigung des Schienenfahrzeugs 31 optimiert. Anders ausgedrückt, werden Positionen der Landmarken LM zusammen mit den Positionen P des Fahrzeugs im „sliding window“ gemeinsam optimiert. Die ermittelte Position P wird schließlich über eine Ausgangsschnittstelle 28, beispielsweise an eine Steuerungseinrichtung 35 (siehe 3), ausgegeben.
-
In 3 ist eine schematische Darstellung 30 eines Schienenfahrzeugs 31 gemäß einem Ausführungsbeispiel der Erfindung auf einer Schienenstrecke S veranschaulicht. Das Schienenfahrzeug 31 weist eine Mehrzahl von Einzelkameras 32, 33 auf, welche Videodaten BD von der Umgebung des Schienenfahrzeugs 31 aufnehmen. Die Videodaten BD werden an eine in das Schienenfahrzeug 31 integrierte Ermittlungseinrichtung 20 übermittelt, die den in 2 gezeigten Aufbau hat.
-
Mit Hilfe der Mehrzahl von Kameras 32, 33 kann die Umgebung aus zwei unterschiedlichen Blickwinkeln bildlich aufgenommen werden. Weiterhin umfasst das Schienenfahrzeug 31 auch eine inertiale Sensoreinheit 34, mit der Sensordaten ZSD bezüglich des Beschleunigungsverhaltens und Verzögerungsverhaltens, so genannte inertiale Messdaten, erfasst werden und ebenfalls an die Ermittlungseinrichtung 20 weitergeleitet werden. Eine inertiale Sensoreinheit kann nicht nur das Verzögerungsverhalten (lineare Beschleunigung), sondern auch die Drehgeschwindigkeiten messen (Gyroskop), welche ebenfalls zur Ermittlung der Landmarken und der kinematischen Daten genutzt werden können.
-
Die Ermittlungseinrichtung 20 ermittelt auf Basis der Eingangsdaten BD, SBD, ZSD eine kinematische Größe v, P, a des Schienenfahrzeugs 31. Die Ergebnisdaten v, P, a werden an eine Steuereinrichtung 35 des Schienenfahrzeugs 31 übermittelt, welche auf Basis dieser Daten v, P, a das Schienenfahrzeug steuert.
-
In 4 sind zur Veranschaulichung Landmarken LM im dreidimensionalen Raum 40 eingezeichnet, welche durch das in 1 geschilderte Verfahren ermittelt wurden. Den Landmarken LM ist eine eindeutige Position im Raum zugeordnet.
-
In 5 sind zur Veranschaulichung Schlüsselpunkte SP einer Bildfolge einer Einzelkamera als kreisförmige Objekte in einer Bilddarstellung 50 der Umgebung eines Schienenfahrzeugs symbolisiert. Die an den Kreisen angeordneten Striche deuten die Richtung sowie den Verschiebungsweg an, den die Schlüsselpunkte in aufeinanderfolgenden Bildern genommen haben. Aus diesen Daten allein lassen sich noch keine Landmarken bzw. deren Positionen gewinnen. Hierzu benötigt man Zusatzdaten, wie zum Beispiel Informationen über die Tiefe der Schlüsselpunkte SP. Diese Daten lassen sich grob durch zusätzliche kinematische Sensordaten ZSD, wie zum Beispiel inertiale Messdaten oder 1D-odometrische Daten, gegebenenfalls in Verbindung mit Kartendaten, gewinnen.
-
Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen lediglich um bevorzugte Ausführungsbeispiele der Erfindung handelt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständigkeit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel „ein“ bzw. „eine“ nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff „Einheit“ nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.
