-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger, und Fahrzeug.
-
Zur Unterstützung bei Fahrten mit einem Anhänger existieren verschiedene Assistenzsysteme. Unterschieden wird dabei zwischen passiven Systemen, bei denen beispielsweise Hilfslinien in einem Rückfahrkamerabild angezeigt werden, und aktiven Systemen, bei denen beispielsweise unterstützende Regeleingriffe erfolgen. Aktive Systeme benötigen einen Sensor zur Messung einer Deichselbewegung. Dies kann ein in einer Anhängerkupplung integrierter Drehrichtungssensor oder Magnetsensor sein. Die Deichsel des Anhängers muss demzufolge einen Magneten an einem Gegenstück zur Anhängerkupplung umfassen. Bei einer Änderung des Winkels zwischen dem Zugfahrzeug und dem Anhänger ändert sich somit die Ausrichtung des Magneten zum Magnetsensor. Dies wird vom Magnetsensor detektiert und kann für die Bestimmung der Winkeländerung verwendet werden. Eine derartige Winkelbestimmung erfordert, dass die Anhängerkupplung mit solch einem Magneten ausgestattet ist, ansonsten ist eine Winkelbestimmung nicht möglich. Des Weiteren ist die magnetbasierte Art der Winkelbestimmung anfällig für Magnetfelder oder Magnetfeldverzerrungen, die auf Grund einer Beladung des Zugfahrzeugs oder des Anhängers auftreten können.
-
DE 10 2004 022 113 A1 beschreibt ein Verfahren zur Bestimmung eines Ausrichtungswinkels des Anhängers zum Zugfahrzeug, wobei aktuelle Bilddaten einer Videokamera zu einer Auswertesubeinheit gelangen und diese Daten in einer Rechenvorrichtung mit in einem Datenspeicher gespeicherten Templates, also mit im Rahmen von in Referenzfahrsituationen gespeicherten Bildern, auf Korrelation hin überprüft werden (Template-Matching).
-
DE 10 2011 101 990 B3 offenbart ein Verfahren zur Bestimmung des relativen Deichselwinkels, wobei mittels einer Auswerteeinrichtung zu einem ersten Zeitpunkt einem ersten Bild ein erster Intensitäts- und/oder Farbverlauf entlang mindestens einer ersten Trajektorie bestimmbar ist, wobei die erste Trajektorie einen Kreisbogen um einen Drehpunkt der Deichsel abbildet, wobei zu mindestens einem weiteren Zeitpunkt in einem weiteren Bild ein weiterer Intensitäts- und/oder Farbverlauf entlang der ersten Trajektorie bestimmbar ist, wobei ein Ähnlichkeitsmaß zwischen dem ersten Intensitäts- und/oder Farbverlauf entlang der mindestens ersten Trajektorie in dem ersten Bild und einer Anzahl verschobener weiterer Intensitäts- und/oder Farbverläufe entlang der mindestens ersten Trajektorie in dem weiteren Bild bestimmbar ist, wobei die verschobenen weiteren Intensitäts- und Farbverläufe entlang der mindestens ersten Trajektorie in dem weiteren Bild verschoben werden, wobei der relative Deichselwinkel in Abhängigkeit der Ähnlichkeitsmaße bestimmt wird.
-
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger bereitzustellen, wobei eine sehr genaue Bestimmung der Anhängerbewegung und somit eine aktive Fahrunterstützung ermöglicht wird. Des Weiteren soll die Bestimmung des Winkels kostengünstig und robust gegenüber externen Einflüssen möglich sein.
-
Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1, eine Vorrichtung gemäß Anspruch 11 und ein Fahrzeug gemäß Anspruch 13 gelöst.
-
Weitere vorteilhafte Ausgestaltungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
-
Erfindungsgemäß werden ein Verfahren und eine Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger bereitgestellt, wobei ein Bild des Anhängers mit Hilfe einer Bilderfassungsvorrichtung erfasst wird, wobei es sich bei der Bilderfassungsvorrichtung um eine Rückkamera mit bekannten inneren und äußeren Kameraparametern handeln kann, welche bereits in vielen Fahrzeugen standardisiert enthalten ist. Das Verfahren und die Vorrichtung sind dadurch gekennzeichnet, dass das Auswerten des erfassten Bildes durch eine Bildverarbeitung erfolgt, wobei die Bildverarbeitung auf einem dreidimensionalen Bewegungsmodell einer Anhängerdeichsel beruht. Dadurch kann der Winkel, beispielsweise ein Anfangsknickwinkel, zwischen dem Fahrzeug und dem Anhänger bestimmt werden.
-
Der Winkel zwischen dem Fahrzeug und dem daran gekoppelten Anhänger wird durch Auswerten von Bilddaten bestimmt, dadurch sind keine besonderen Einrichtungen an dem Anhänger erforderlich, so dass das Verfahren und die Vorrichtung mit einem beliebigen Anhänger angewendet werden können. Viele Fahrzeuge verfügen über eine Bilderfassungsvorrichtung, beispielsweise eine Rückkamera, die den Fahrer des Zugfahrzeugs beim Einparken oder Rangieren unterstützt. So kann das Verfahren und die Vorrichtung kostengünstig, beispielsweise in einem Steuergerät des Fahrzeugs, realisiert werden.
-
Das Verfahren und die Vorrichtung zur Winkelbestimmung können auf einer Auswertung von korrespondierenden Merkmalspunkten von zeitlich aufeinanderfolgenden Bildern basieren. Dabei wird für einen Zeitpunkt ein Bild k und ein zeitlich vorangegangenes Bild k-1 als Eingangsgrößen ausgewertet.
-
Des Weiteren wird beispielsweise eine kalibrierte Rückkamera mit bekannten inneren und äußeren Kameraparametern, sowie eine bekannte Position einer Kugel einer Anhängerkupplung verwendet.
-
Um eine hohe Genauigkeit der Schätzung des Winkels zwischen dem Zugfahrzeug und dem dazugehörigen Anhänger zu erreichen wird dazu ein Bewegungsmodell verwendet, welches eine Drehung der Anhängerdeichsel um die Kupplungskugel mit drei Rotationswinkeln beschreibt.
-
Ausgangsgrößen des Bewegungsmodells sind die drei Rotationswinkel rx, ry und rz der Anhängerdeichsel, die eine Rotation der Deichsel um einen Kopf der Anhängerkupplung, zum Beispiel einen Kugelkopf der Anhängerkupplung, als Drehpunkt der Anhängerdeichsel beschreiben.
-
Für die Schätzung der drei Rotationswinkel kann ein Bildbereich, der einen Deichselkopf und die Kupplungskugel enthält, heran gezogen werden, wobei nur Merkmalspunkte in diesem Bildbereich detektiert und von zeitlich aufeinanderfolgenden Bildern verfolgt werden sollen. Durch solch eine Maskierung kann ein Rechenaufwand reduziert und ein störender Einfluss von beispielsweise Deichseln mit einer Längsfederung verringert werden.
-
Die Koordinaten der Merkmalspunkte im Koordinatensystem des Bildsensors der Kamera können weiter verwendet werden. Durch eine Auswahl von Korrespondenzen, wobei es sich bei einer Korrespondenz um zwei Merkmalspunkte in zwei zeitlich aufeinanderfolgenden Bildern handelt, werden nur solche Merkmalspunkte bereitgestellt, welche sich auf der Anhängerdeichsel befinden, und diese werden für die weitere Berechnung des Winkels verwendet. Die Auswahl kann beispielsweise durch ein Random Sampling Consensus Verfahren (RANSAC-Verfahren) erfolgen.
-
Die Schätzung der Rotationswinkel kann aus den Bildkoordinaten der Merkmalspunkte und den Punkten der Anhängerdeichsel im dreidimensionalen Raum erfolgen. Aus dem für jedes Bild kontinuierlicher geschätzter Rotationswinkel kann die gesuchte Änderung des horizontalen Rotationswinkels abgeleitet werden.
-
Durch das Verfahren und die Vorrichtung zur Bestimmung des horizontalen Rotationswinkels zwischen einem Zugfahrzeug und einem Anhänger auf Basis einer dreidimensionalen Bildauswertung ist es möglich hohe Genauigkeiten, insbesondere bei einer starken Schrägstellung des Anhängers oder bei einem unebenen Untergrund, zu erzielen, da das Bewegungsmodell durch eine Drehung der Anhängerdeichsel um die Kupplungskugel mit den drei Rotationswinkeln rx, ry und rz beschrieben wird. Des Weiteren kann zusätzlich zu einer Bildanzeige eine hochgenaue Vermessung einer Anhängerbewegung und dadurch eine aktive Fahrunterstützung ermöglicht werden. Die Erfindung kann kostengünstig durch bereits integrierte Rückkameras realisiert werden.
-
Die Erfindung wird nachfolgend anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Zeichnungen näher beschrieben.
- 1 zeigt ein Zugfahrzeug mit einem daran gekoppelten Anhänger und eine Vorrichtung zur Bestimmung des Winkels zwischen dem Zugfahrzeug und dem Anhänger gemäß einem Ausführungsbeispiel der Erfindung.
- 2 zeigt eine schematische Darstellung eines Verfahrens zur Bestimmung des Winkels zwischen einem Fahrzeug und einem daran gekoppelten Anhänger gemäß einem weiteren Ausführungsbeispiel der Erfindung.
- 3 zeigt das Zugfahrzeug mit dem daran gekoppelten Anhänger aus 1 mit drei Rotationswinkeln rx, ry und rz der Anhängerdeichsel, die eine Rotation der Deichsel um den Kugelkopf der Anhängerdeichsel als Drehpunkt der Anhängerdeichsel beschreiben, sowie die Position der Kamera und das Fahrzeugkoordinatensystem.
-
1 zeigt ein Zugfahrzeug 1, welches über eine Kupplungskugel 4 mit einem Anhänger 2 gekoppelt ist und mit einer Bilderfassungsvorrichtung 3, beispielsweise einer Rückkamera, versehen ist. In vielen Fahrzeugen 1 ist bereits eine Rückkamera installiert, so dass mit Hilfe der Rückkamera eine Bestimmung eines Knick- oder Rotationswinkels zwischen dem Zugfahrzeug 1 und dem Anhänger 2 kostengünstig realisiert werden kann.
-
Durch das Auswerten eines Bildes der Bilderfassungsvorrichtung 3 müssen an dem dazugehörigen Anhänger 2 keine speziellen Vorrichtungen vorhanden sein, so dass jeder beliebige Anhänger 2 verwendet werden kann.
-
Des Weiteren ist das Fahrzeug 1 mit einer Bildauswertungsvorrichtung 16, welche mit der Bilderfassungsvorrichtung 3 elektronisch verbunden ist, und einem Anhängerrangierassistenzsystem 17, welches mit der Bildauswertungsvorrichtung 16 elektronisch verbunden ist, ausgestattet. Der von der Bildauswertungsvorrichtung 16 bestimmte Winkel zwischen dem Fahrzeug 1 und dem Anhänger 2 wird dem Anhängerrangierassistenzsystem 17 zur Verfügung gestellt, um somit Rangiervorgänge des Zugfahrzeugs 1 unterstützen zu können.
-
2 zeigt eine schematische Darstellung eines Verfahrens zur Bestimmung eines Winkel, insbesondere eines Knickwinkels, zwischen einem Zugfahrzeug und einen daran gekoppelten Anhänger gemäß einem Ausführungsbeispiel der Erfindung, wie es bei der in 1 gezeigten Vorrichtung und insbesondere bei der Bildauswertungsvorrichtung 16 vorgesehen sein kann.
-
In Schritt 6 wird von der Bilderfassungsvorrichtung 3 ein Bild des Anhängers 2 aufgenommen. Die Bildauswertungsvorrichtung 16 wertet die daraus resultierenden Bilddaten mittels einer Bildauswertung aus, um den Knickwinkel bestimmen zu können. Dabei werden für einen Zeitpunkt ein aktuelles Bild k und ein zeitlich vorangegangenes Bild k-1 als Eingangsgrößen ausgewertet. Die Bilder können mittels einer kalibrierten Kamera mit bekannten inneren und äußeren Kameraparametern, beispielsweise der Rückkamera 3 des Fahrzeugs 1, erfasst werden, wobei die Position TK der Kupplungskugel 4 der Anhängerkupplung als bekannt vorausgesetzt wird. Die inneren Kameraparameter umfassen z.B. eine Brennweite, ein Höhen-Seitenverhältnis eines Bildsensors der Kamera sowie eine Linsenverzerrung der Kamera. Die äußeren Kameraparameter umfassen z.B. eine Position und eine Orientierung der Kamera relativ zu einem Fahrzeugkoordinatensystem, welches wie in 3 dargestellt orientiert ist, wobei der Ursprung des Fahrzeugkoordinatensystems sich an der Position der Kupplungskugel der Anhängerdeichsel befindet.
-
Das Koordinatensystem der Kamera kann durch eine Drehung um -90 Grad um eine x-Achse, eine Drehung um +180 Grad um eine gedrehte y-Achse sowie eine Verschiebung in das Fahrzeugkoordinatensystem transformiert werden. Eine Abbildung eines Punktes in einem dreidimensionalen Raum P
j=(X,Y,Z)
T in einen Bildpunkt p
j,k=(x,y)
T ergibt sich mit Hilfe einer Projektionsmatrix A
k=K
kR
k[I-C
k], welche eine Kalibriermatrix K
k, die die inneren Kameraparameter enthält, und einer Rotationsmatrix R
k, welche die Orientierung der Kamera beschreibt und sich aus drei Rotationswinkeln r
x, r
y, r
z zusammensetzt, enthält. Des Weitern beschreibt I eine 3x3-Einheitsmatrix, und C
k beschreibt die Position der Kamera, wobei gilt:
-
Die in 3 gezeigten Rotationswinkel rx, ry, rz beschreiben eine Rotation der Anhängerdeichsel um den Kugelkopf der Anhängerkupplung als einen Drehpunkt der Deichsel um die x-, y- und z-Achse des Fahrzeugkoordinatensystems und beziehen sich relativ zur Deichselbewegung auf ein Startbild k = 0, wie in 3 gezeigt. Der Knickwinkel αK zwischen dem Anhänger und dem Zugfahrzeug ist bei einer bekannten absoluten Orientierung der Deichsel für das Bild k = 0 aus dem kontinuierlich für jedes Bild bestimmten Rotationswinkel rz zu berechnen. Im Gegensatz zur Bestimmung eines absoluten Knickwinkels kann die Änderung des Knickwinkels ΔαK ohne Kenntnis der absoluten Orientierung der Deichsel für das Bild k = 0 aus dem Rotationswinkel rz für mindestens zwei Bilder berechnet werden.
-
Zur Bestimmung der relativen Knickwinkeländerung ΔαK wird im Schritt 7 eine Maskierung durchgeführt. Ein Bildbereich, der den Deichselkopf und die Kupplungskugel enthält kann für die Schätzung heran gezogen werden. Dabei werden nur Merkmalspunkte, welche in dem Bildbereich liegen, detektiert und weiter in zeitlich aufeinander folgenden Bildern verfolgt. Die Maskierung reduziert den Rechenaufwand und verringert einen störenden Einfluss von Deichseln, die beispielsweise eine Längsfederung aufweisen.
-
Bei dem in 2 gezeigten Ausführungsbeispiel wird in einem weiteren Schritt 8 eine Korrespondenzanalyse durchgeführt. Dabei kann die Korrespondenzanalyse korrespondierende Merkmalspunkte von zeitlich aufeinanderfolgenden und von der Bildererfassungsvorrichtung 3 erfassten Bildern bestimmen. Der Bildbereich, der für die Schätzung herangezogen werden kann, umfasst vorzugsweise den Deichselkopf und die Kupplungskugel. Dabei können nur Merkmalspunkte aus deren Bildbereich ausgewertet und in zeitlich aufeinanderfolgenden Bildern bestimmt werden.
-
Die Bildkoordinaten der Merkmalspunkte können in Schritt 9 einer Kompensation der Linsenverzerrung unterzogen werden. Dabei werden die Bildkoordinaten der Merkmalspunkte mit den inneren Kameraparametern 10, welche die Parameter der Linsenverzerrung der Kamera enthalten, entzerrt und in ein Koordinatensystem des Bildsensors der Kamera transformiert. Das Koordinatensystem des Bildsensors der Kamera kann seinen Ursprung in einem Hauptpunkt der Kamera besitzen und weist eine metrische Einheit in mm auf.
-
Weitere Verfahrensschritte 11-15 verarbeiten die Koordinaten der Merkmalspunkte in dem Koordinatensystem des Bildsensors der Kamera.
-
Bei dem in 2 gezeigten Ausführungsbeispiel werden in dem weiteren Schritt 11 mit einer Auswahl von Korrespondenzen, wobei es sich bei einer Korrespondenz um zwei Merkmalspunkte in zwei zeitlich aufeinanderfolgenden Bildern handelt, nur Merkmalspunkte, die sich auf der Anhängerdeichsel befinden, für eine weitere Verarbeitung bereitgestellt. Die Auswahl kann mit einem Random Sampling Consensus Verfahren (RANSC-Verfahren) erfolgen. Als Bewegungsmodell korrespondierender Merkmalspunkte kann näherungsweise angenommen werden, dass sich die Merkmalspunkte tangential um die Kupplungskugel im Bild bewegen. Mit Hilfsvektoren vk=pj,k-1-tc und vk-1=pj,k-tc einer Korrespondenz j kann ein Winkel β □mit β=arccos[(vk-1*Vk)*(|vk-1|*|vk|)-1] als Modellparameter berechnet werden, wobei die Berechnung des Winkels β aus einer zufälligen Stichprobe eines Merkmalspunktes pj,k, welcher zu einer Korrespondenz gehört, erfolgt. Dabei beschreibt tc ein projiziertes Rotationszentrum, beispielsweise die projizierte Kugel der Anhängerdeichsel, pj,k-1 beschreibt einen korrespondierenden Merkmalspunkt des Bildes k-1, und pj,k beschreibt einen korrespondierenden Merkmalspunkt des Bildes k. Mit dem dadurch berechneten Winkel β kann eine Überprüfung der verbleibenden Merkmalspunkte anhand eines euklidischen Abstandes berechnet werden. Dabei unterstützt eine Korrespondenz einen berechneten Winkel β, wenn der zu berechnende euklidische Abstand kleiner ist als ein vorgegebener Schwellenwert. Das RANSC-Verfahren kann abgebrochen werden, falls ein Winkel β Dgefunden wurde, der von einer Mindestanzahl an Merkmalspunkten, beispielsweise mehr als 70 % der Merkmalspunkte, unterstützt wird, oder wenn eine maximale Anzahl von Stichproben erreicht ist. Dabei wird die bis zum Abbruch gefundene größte Anzahl unterstützender Merkmalspunkte für die weiteren Verfahrenschritte 13-15 ausgewählt.
-
In einem weiteren Schritt 13 wird eine Initialisierung von Punkten im dreidimensionalen Raum durchgeführt, falls keine oder nur eine geringe Bewegung der Anhängerdeichsel vorliegt oder Trajektorien der Merkmalspunkte zu kurz sind, da dann eine Bestimmung einer dreidimensionalen Position der Punkte schwierig ist, da aufgrund einer Parallaxe von Sichtlinien der korrespondierenden Merkmalspunkte eine Triangulierung zu ungenau ist. Deswegen kann für jeden Merkmalspunkt ein Schnittpunkt einer Sichtlinie mit einer Ebene, die parallel zur Fahrbahn auf Höhe der Kugel der Anhängerkupplung verläuft, berechnet werden. Der Schnittpunkt kann dann eine initiale Position des zu einem Merkmalspunkt gehörenden Punktes im dreidimensionalen Raum sein.
-
Ist die Parallaxe der Sichtlinien ausreichend groß, so können die dreidimensionalen Positionen der Punkte im dreidimensionalen Raum im Schritt 14 des in 2 gezeigten Ausführungsbeispiels mittels Triangulierung aktualisiert werden. Die Triangulierung kann auf ein lineares Gleichungssystem führen, welches zum Beispiel mit einer Singulärwertzerlegung gelöst werden kann. Die Lösung liefert dann die dreidimensionalen Koordinaten des Punktes im dreidimensionalen Raum.
-
Ein Rückprojektionsfehler des Punktes im dreidimensionalen Raum kann für ein Bild k ausgewertet werden. Ist dieser größer als ein Bildpunkt, kann der Punkt im dreidimensionalen als fehlerhaft verworfen werden.
-
Bei dem in
2 gezeigten Ausführungsbeispiel kann im Schritt
15 eine Schätzung der Rotationswinkel durchgeführt werden, wobei anstelle der Schätzung einer Rotationsbewegung der Anhängerdeichsel eine Bewegung der Bilderfassungsvorrichtung
3 bzw. der Kamera relativ zur Anhängerdeichsel
5 bestimmt werden kann und sich die Kamera auf einer Kreisbahn um ein Rotationszentrum, welches die Position der Kupplungskugel
4 ist, bewegt. Das dabei verwendete Bewegungsmodell der Kamera kann eingeschränkt werden, denn bei einer Translations- und Rotationsbewegung der Kamera kann angenommen werden, dass sich die Kamera nur durch eine Rotationsbewegung bewegt. Da eine Verschiebung der Kamera vom Rotationszentrum T
k bekannt ist, kann die Bewegung der Kamera aus den drei Rotationswinkeln und der Position des Rotationszentrums T
k berechnet werden. Die äußeren Kameraparameter umfassen somit drei Rotationswinkel r
X, r
Y, und r
Z. Eine Verschiebung des Projektionszentrums in zeitlich aufeinanderfolgenden Bildern ist von den drei Rotationswinkeln abhängig. Mit dem eingeschränkten Bewegungsmodell der Kamera lautet eine Projektionsmatrix der Kamera
wobei für die Abbildung eines Raumpunktes P
j in die Bildebene der Kamera gilt:
-
Für eine Bewegungsschätzung der Kamera des aktuellen Bildes k können alle Punkte im dreidimensionalen Raum herangezogen werden, die im aktuellen Bild einen ausgewählten korrespondierenden Merkmalspunkt aufweisen. Dabei kann nur die Bewegung der Kamera geschätzt werden.
-
Für alle Punkte im dreidimensionalen Raum kann zudem ein quadratischer Abstand des projizierten Punktes im dreidimensionalen Raum zu dem dazugehörigen korrespondierenden Merkmalspunkt im Bild minimiert werden durch die Gleichung
-
Dabei handelt es sich bei r̂x,r̂y,r̂z um die Schätzwerte der Rotationswinkel, d∧ ist die Mahalanobis-Distanz, welche ein Distanzmaß zwischen Punkten im mehrdimensionalen Vektorraum beschreibt.
-
Die Minimierung kann mit einem iterativen Levenberg-Marquardt Verfahren erfolgen, wobei die Position und Orientierung der Kamera mit den bereits bestimmten Kameraparametern des zeitlich vorangegangenen Bildes k-1 initialisiert und Werte der drei Rotationswinkel bestimmt werden.