DE102005002636A1

DE102005002636A1 - Verfahren und System zur Verarbeitung von Videodaten eines Kamerasystems

Info

Publication number: DE102005002636A1
Application number: DE200510002636
Authority: DE
Inventors: Dietrich Wentland; Ernani M. Fernandes
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2005-01-12
Filing date: 2005-01-12
Publication date: 2006-08-10

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Verarbeitung von Videodaten (10a) eines Kamerasystems (10) insbesondere eines Kraftfahrzeugs, bei dem die vorzugsweise eine Umgebung des Kraftfahrzeugs wiedergebenden Videodaten (10a) in Form mindestens eines Kamerabilds von dem Kamerasystem (10) erhalten werden und bei dem mittels eines Abstandsmesssystems (20) erhaltene Entfernungsdaten ausgewertet werden. Das Verfahren ist dadurch gekennzeichnet, dass eine Koordinatentransformation auf das Kamerabild angewendet wird, um ein transformiertes Kamerabild zu erhalten, wobei die Koordinatentransformation ein Kamerakoordinatensystem (K_1), das zur Darstellung des Kamerabilds verwendet wird, in ein Zielkoordinatensystem (K_2) überführt. DOLLAR A Die vorliegende Erfindung betrifft ferner ein System (100) zur Verarbeitung von Videodaten eines Kamerasystems (10) insbesondere eines Kraftfahrzeugs.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Verarbeitung von Videodaten eines Kamerasystems insbesondere eines Kraftfahrzeugs, bei dem die vorzugsweise eine Umgebung des Kraftfahrzeugs wiedergebenden Videodaten in Form mindestens eines Kamerabilds von dem Kamerasystem erhalten werden, und bei dem mittels eines Abstandsmesssystems erhaltene Entfernungsdaten ausgewertet werden.
Die vorliegende Erfindung betrifft ferner ein System zur Verarbeitung von Videodaten eines Kamerasystems.

Derartige Verfahren und Systeme sind aus dem Stand der Technik bekannt und werden beispielsweise zur Realisierung von Fahrerassistenzsystemen eingesetzt, bei denen ein hinter einem Kraftfahrzeug befindlicher Bereich von dem Kamerasystem erfasst und einem Fahrer des Kraftfahrzeugs auf einem Bildschirm im Cockpit des Kraftfahrzeugs angezeigt wird. Zusätzlich zu den Videodaten des Kamerasystems werden Entfernungsdaten durch ein Abstandsmesssystem gewonnen, die beispielsweise dazu verwendbar sind, den Fahrer bei dem Unterschreiten eines vorgebbaren Minimalabstands seines Kraftfahrzeugs zu einem Hindernis durch ein akustische Signal zu warnen.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren und System der eingangs genannten Art dahingehend zu verbessern, dass eine zuverlässigere Erkennung von Hindernissen und eine bessere Verwertung der Videodaten und der Entfernungsdaten möglich ist.

Diese Aufgabe wird bei einem Verfahren nach dem Oberbegriff des Patentanspruchs 1 erfindungsgemäß dadurch gelöst, dass eine Koordinatentransformation auf das Kamerabild angewendet wird, um ein transformiertes Kamerabild zu erhalten, wobei die Koordinatentransformation ein Kamerakoordinatensystem, das zur Darstellung des Kamerabilds verwendet wird, in ein Zielkoordinatensystem überführt.

Die erfindungsgemäße Koordinatentransformation erlaubt eine Verarbeitung des transformierten Kamerabilds zusammen mit Daten von anderen Sensorsystemen, die Daten liefern, welche unter Verwendung anderer Koordinatensysteme als dem Kamerakoordinatensystem erhalten werden. Als Zielkoordinatensystem ist hierbei das entsprechende Koordinatensystem eines anderen Sensorsystems zu wählen, so dass die Daten des anderen Sensorsystems direkt mit den Videodaten des transformierten Kamerabilds kombinierbar sind.

Bei einer ganz besonders vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens wird als Zielkoordinatensystem ein Fahrzeugkoordinatensystem verwendet, das auch zur Darstellung der Entfernungsdaten des Abstandsmesssystems verwendet wird. Auf diese Weise ist es möglich, die Entfernungsdaten des Abstandsmesssystems zusammen mit den Videodaten des transformierten Kamerabilds zu verarbeiten. Dadurch ergibt sich vorteilhaft die Möglichkeit, die Position von in dem Kamerabild enthaltenen Objekten wie z.B. Hindernissen in der Umgebung eines Kraftfahrzeugs eindeutig zu bestimmen, was mittels eines Kamerasystems mit einer monokularen Kameraanordnung allein nicht möglich wäre.

Bei einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird als Abstandsmesssystem ein Ultraschall-basiertes und/oder ein Radar-basiertes und/oder ein optisches Abstandsmesssystem verwendet wird. Eine Kombination mehrerer der vorstehend genannten Systeme ist ebenso denkbar.

Als optische Abstandsmesssysteme kommen beispielsweise laserbasierte Entfernungsmesssysteme oder Kameraanordnungen mit mehreren Kameras in Frage.

Bei einer weiteren vorteilhaften erfindungsgemäßen Verfahrensvariante wird das transformierte Kamerabild in Abhängigkeit von den Entfernungsdaten des Abstandsmesssystems verarbeitet. Beispielsweise können die Entfernungsdaten dazu verwendet werden, interessierende Bereiche aus dem transformierten Kamerabild zu extrahieren bzw. nicht interessierende Bereiche von einer weiteren Verarbeitung auszuschließen, um eine effizientere Verarbeitung zu gewährleisten.

Es ist erfindungsgemäß ferner möglich, eine auf das transformierte Kamerabild anzuwendende Filterung oder dergleichen z.B. im Rahmen einer Nachbearbeitung des transformierten Kamerabilds in Abhängigkeit von den Entfernungsdaten des Entfernungsmesssystems durchzuführen.

Bei einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird das Kamerabild und/oder das transformierte Kamerabild durch Entfernungsdaten des Abstandsmesssystems ergänzt. Auf diese Weise kann ein auch als „range map" bezeichnetes Objekt erhalten werden, welches neben den Bilddaten des Kamerabilds, d.h. neben den Koordinaten der Pixel des Kamerabilds und einem entsprechenden Grauwert und/oder Farbwerten des jeweiligen Pixels auch Informationen enthält, die auf den Entfernungsdaten basieren.

Ganz besonders vorteilhaft ist es hierbei, wenn jedem Pixel des Kamerabilds und/oder des transformierten Kamerabilds entsprechende Entfernungsdaten zugeordnet werden, so dass für jeden beliebigen Bereich bzw. für beliebige Pixel des Kamerabilds entsprechende Entfernungsdaten abgelesen werden können.

Bei einer anderen sehr vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens wird ein weiteres Abstandsmesssystem verwendet, und Entfernungsdaten des weiteren Abstandsmesssystems werden dem Kamerabild vor der Koordinatentransformation zugeordnet. Die Entfernungsdaten des weiteren Abstandsmesssystems können beispielsweise verwendet werden, um die mit einem ersten Abstandsmesssystem ermittelten Entfernungsdaten zu verifizieren oder zu plausibilisieren.

Als eine weitere Lösung der Aufgabe der vorliegenden Erfindung ist ein System zur Verarbeitung von Videodaten eines Kamerasystems insbesondere eines Kraftfahrzeugs angegeben, das dadurch gekennzeichnet ist, dass das System zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 7 geeignet ist.

Weitere Merkmale, Ausführungsbeispiele und Vorteile der vorliegenden Erfindung sind in der nachfolgenden Figurenbeschreibung unter Bezugnahme auf die Figuren der Zeichnung angegeben, wobei
1 ein Szenario zur Anwendung des erfindungsgemäßen Verfahrens zeigt,
2 ein Blockschaltbild einer Ausführungsform des erfindungsgemäßen Systems zeigt, und
3 ein Flussdiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens zeigt.
In 1 ist ein Kamerasystem 10 und ein Abstandsmesssystem 20 gezeigt, wobei die räumliche Anordnung des Kamerasystems 10 und des Abstandsmesssystems 20 der Anordnung der beiden Systeme 10, 20 am Heck eines nicht in 1 abgebildeten Kraftfahrzeugs entspricht. Das Kamerasystem 10 ist hierbei in einer ebenfalls nicht abgebildeten Kofferraumklappe des Kraftfahrzeugs angeordnet, während das Abstandsmesssystem 20 an einem Stoßfänger (nicht gezeigt) des Kraftfahrzeugs montiert ist.
Wie aus 1 ersichtlich, ergibt sich aufgrund der vorstehend beschriebenen Anordnung ein vertikaler Abstand d und ein horizontaler Abstand a des Kamerasystems 10 zu dem Abstandsmesssystem 20. Darüber hinaus ist die optische Achse A des Kamerasystems 10 derart geneigt, dass sie mit der Vertikalen einen Winkel α und mit der Horizontalen einen Winkel α' einschließt.
Mit dem Kamerasystem 10 ist im vorliegenden Ausführungsbeispiel ein Rückfahrkamerasystem realisiert, das in Form von Kamerabildern erhaltene Videodaten bereitstellt, die eine Umgebung des Kraftfahrzeugs in seinem rückwärtigen Bereich wiedergeben. Die Videodaten werden einem Fahrer des Kraftfahrzeugs über ein ebenfalls nicht in 1 dargestelltes Visualisierungssystem wie z.B. einen Bordmonitor oder dergleichen zur Verfügung gestellt.
Das Abstandsmesssystem 20 weist mehrere einzeln nicht abgebildete Ultraschallsensoren auf, die über den Stoßfänger des Kraftfahrzeugs in einer Richtung senkrecht zur Zeichenebene der 1 verteilt sind und eine Haupterfassungsrichtung besitzen, die im wesentlichen parallel zur Längsachse des Kraftfahrzeugs, d.h. in 1 von links nach rechts, verläuft. Mittels der Ultraschallsensoren kann das Abstandsmesssystem 20 hinter dem Kraftfahrzeug befindliche Hindernisse erkennen und deren Abstand zu dem Kraftfahrzeug bzw. zu dem Stoßfänger des Kraftfahrzeugs erfassen.
Ein derartiger Abstand wird dem in 2 gezeigten erfindungsgemäßen System 100 zur Verarbeitung von Videodaten von dem Abstandsmesssystem 20 in Form von Entfernungsdaten 20a zur Verfügung gestellt, vgl. Schritt 200 aus 3. Ebenso werden dem System 100 (2) die Videodaten 10a von dem Kamerasystem 10 zur Verfügung gestellt, was durch Schritt 210 aus 3 symbolisiert ist.
Um die Videodaten 10a mit den Entfernungsdaten 20a kombinieren zu können, wird in dem System 100 eine nachfolgend detailliert beschriebene erfindungsgemäße Koordinatentransformation durchgeführt, die durch den Verfahrensschritt 220 aus 3 repräsentiert ist.
Wie aus 1 ersichtlich, ist die optische Achse A des Kamerasystems 10 um einen Winkel α' zur Horizontalen und damit auch zur Haupterfassungsrichtung der Ultraschallsensoren des Abstandsmesssystems 20 geneigt. Dies geht auch aus einem Vergleich der beiden in 1 links abgebildeten Koordinatensysteme K_1, K_2 hervor, wobei das Koordinatensystem K_1 ein Kamerakoordinatensystem repräsentiert und wobei K_2 ein Fahrzeugkoordinatensystem repräsentiert.
Zur besseren Übersichtlichkeit sind die beiden Koordinatensysteme K_1, K_2 in 1 links abgebildet, aber tatsächlich sind die Koordinatensysteme K_1, K_2 so definiert, dass ihr jeweiliger Koordinatenursprung sich an dem Ort eines Bildsensors des Kamerasystems 10 bzw. an dem Ort eines Ultraschallsensors oder zumindest einer gedachten Verbindungslinie mehrerer Ultraschallsensoren des Abstandsmesssystems 20 befindet.
Das Kamerakoordinatensystem K_1 wird innerhalb des Kamerasystems 10 zur Darstellung eines Kamerabilds verwendet, wobei einzelne Pixel des Kamerabilds jeweils als Vektoren in dem Kamerakoordinatensystem K_1 darstellbar sind, und es weist eine x_1-Achse auf, die mit der optischen Achse A des Kamerasystems 10 übereinstimmt. Eine z_1-Achse und eine nicht abgebildete y_1-Achse, die senkrecht zur Zeichenebene der 1 und in diese hinein verläuft, definieren zusammen eine Bildebene, die orthogonal zur optischen Achse A des Kamerasystems 10 ist.
Das Fahrzeugkoordinatensystem K_2 weist eine x_2-Achse auf, die sich entgegengesetzt zur Fahrtrichtung, d.h. in 1 nach rechts, und parallel zur Horizontalen erstreckt. Die bereits beschriebene Haupterfassungsrichtung der Ultraschallsensoren des Abstandsmesssystems 20 verläuft parallel zu der x_2-Achse. Ferner weist das Fahrzeugkoordinatensystem K_2 eine z_2-Achse auf, die in 1 vertikal nach oben deutet und eine nicht abgebildete y_2-Achse, die, ebenso wie die y_1-Achse des Kamerakoordinatensystems K_1, senkrecht zur Zeichenebene der 1 und in diese hinein verläuft.
Um das Kamerakoordinatensystem K_1 in das Fahrzeugkoordinatensystem K_2 zu überführen, wird erfindungsgemäß eine euklidische Koordinatentransformation mithilfe einer Transformationsmatrix
durchgeführt, wobei die Elemente r₁₁, .., r₃₃ einem Rotationsanteil und die Elemente t_x, t_y, t_z einem Translationsanteil entsprechen.
Aus 1 ist ersichtlich, dass der Koordinatenursprung des Koordinatensystems K_1 zunächst einer Translation um die Strecke d in vertikaler Richtung und um die Strecke a in horizontaler Richtung zu unterwerfen ist, damit die Koordinatenursprünge beider Koordinatensysteme K_1, K_2 denselben Ort aufweisen. Eine Translation senkrecht zur Zeichenebene der 1 ist nicht erforderlich, weil bei der Anordnung nach 1 die Koordinatenursprünge der Koordinatensysteme K_1, K_2 beide bereits auf der Längsachse des Kraftfahrzeugs liegen.
Nach der vorstehend beschriebenen Translation muss noch eine Rotation erfolgen, deren Parameter von dem Winkel α' abhängen. Insgesamt ergibt sich für das vorliegend beschriebene Ausführungsbeispiel mit der Anordnung nach 1 für die Transformationsmatrix:
so dass ein Vektor ¹x → = (x_1, y_1, z_1,1)^T aus dem Kamerakoordinatensystem K_1 in den Vektor ²xx → = (x_2, y_2, z_2,1)^T des Fahrzeugkoordinatensystems K_2 transformiert wird:
Da das Kamerabild bei dem vorliegenden Ausführungsbeispiel keine Informationen über eine Entfernung des Kamerasystems 10 zu einem Hindernis oder zu einem sonstigen aufgenommenen Objekt enthält, sondern sich nur in der y_1 – z_1-Ebene des Kamerakoordinatensystems K_1 erstreckt, liegt für die Transformation kein sinnvoller Wert für die Komponente x_1 vor. Deshalb wird die x_1-Komponente bereits vor der Transformation zu Null gesetzt.
Für einen Vektor ²x →, der einem Pixel des transformierten Kamerabilds entspricht, gilt demzufolge:
Darüberhinaus wird die x_2-Komponente z_1 sinα' + α des Vektors ²xx → verworfen und durch die Entfernungsdaten 20a von dem Abstandsmesssystem 20 ersetzt, vgl. auch Schritt 230 aus 3, d.h.
wobei b einen dem Vektor ²x → und dessen zugehörigem Pixel des transformierten Kamerabilds entsprechenden Entfernungsdatenwert darstellt.
Durch die erfindungsgemäße Koordinatentransformation ist es demnach möglich, Entfernungsdaten 20a von einem Abstandsmesssystem 20 und in Form von Kamerabildern vorliegende Videodaten 10a eines Kamerasystems 10 zu fusionieren, d.h. miteinander zu kombinieren.
Je nach räumlicher Auflösung des Abstandsmesssystems 20 können dem erfindungsgemäß transformierten Kamerabild wie beschrieben Entfernungsdaten 20a z.B. in Form des Entfernungsdatenwerts b hinzugefügt werden, wobei gemäß einer besonders vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens jedem Pixel des transformierten Kamerabilds ein entsprechender Entfernungsdatenwert zugeordnet wird. Eine dabei erhaltene Kombination aus dem transformierten Kamerabild und den Entfernungsdatenwerten wird auch als „range map" bezeichnet.
Anstelle von Ultraschallsensoren kann das Abstandsmesssystem auch einen oder mehrere Radarsensoren aufweisen und/oder als optisches Abstandsmesssystem ausgebildet sein und/oder eine Kombination der vorstehend genannten Komponenten aufweisen.
Bei einer Ausbildung als optisches Abstandsmesssystem kann beispielsweise ein laserbasiertes Abstandsmesssystem eingesetzt werden oder auch eine binokulare Kameraanordnung oder dergleichen.
Gemäß einer anderen Ausführungsform der vorliegenden Erfindung wird ein weiteres Abstandsmesssystem verwendet, und Entfernungsdaten des weiteren Abstandsmesssystems werden dem Kamerabild vor der Koordinatentransformation zugeordnet.
Auf diese Weise ist es möglich, die Entfernungsdaten eines ersten Abstandsmesssystems 20 mit den Entfernungsdaten des weiteren Abstandsmesssystems abzugleichen bzw. zu plausibilisieren.
Bei der erfindungsgemäßen Koordinatentransformation werden die Entfernungsdaten des weiteren Abstandsmesssystems in Form der x_1-Komponente des zu transformierenden Vektors berücksichtigt, d.h. die x_1-Komponente muss – im Gegensatz zu dem oben beschriebenen Ausführungsbeispiel – in diesem Fall nicht zu Null gesetzt werden.
Nach der Koordinatentransformation liegt wiederum ein transformiertes Kamerabild vor, das bereits die Entfernungsdaten des weiteren Abstandsmesssystems in Form der x_2 Koordinaten enthält. Diese Entfernungsdaten können anschließend mit den von einem ersten Abstandsmesssystem 20 erhaltenen Entfernungsdaten abgeglichen werden.
Das erfindungsgemäße System 100 (2) kann beispielsweise in Form eines elektronischen Steuergeräts realisiert werden, welches einen Mikroprozessor bzw. einen digitalen Signalprozessor aufweist, der u.a. zur Verarbeitung der Videodaten 10a bzw. der Entfernungsdaten 20a vorgesehen ist.
Zur Visualisierung der Videodaten sowie weiterer Informationen ist ein Visualisierungssystem 110 vorgesehen, das mit dem erfindungsgemäßen System 100 verbunden ist.
Bei einer sehr vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens wird das transformierte Kamerabild in Abhängigkeit von den Entfernungsdaten des Abstandsmesssystems verarbeitet. Beispielsweise können auf diese Weise spezielle Parameter für im Rahmen einer Bildverarbeitung des transformierten Kamerabilds anzuwendende Filterprozesse oder dergleichen je nach den erhaltenen Entfernungsdaten ausgewählt werden. Insbesondere ist es hierdurch auch möglich, gezielt interessierende Bereiche des transformierten Kamerabilds auszuwählen und nur diese interessierenden Bereiche einer weiteren Verarbeitung zuzuführen. Als interessierende Bereiche können beispielsweise diejenigen Bereiche des Kamerabilds angesehen werden, denen Entfernungsdatenwerte zugeordnet sind, die einen vorgebbaren Mindestwert oder dergleichen unterschreiten.
Ganz allgemein kann gemäß dem beschriebenen Verfahren ein Kamerabild in ein beliebiges Zielkoordinatensystem transformiert werden, um beispielsweise mit weiteren Sensordaten kombiniert zu werden. Eine mehrfache Koordinatentransformation ist ebenfalls vorstellbar, so dass beispielsweise Sensordaten von mehreren Sensoren in dem jeweils für sie geeigneten Koordinatensystem mit den Videodaten des Kamerabilds kombiniert werden können.
Die erfindungsgemäße Zuordnung von Entfernungsdaten zu dem transformierten Kamerabild erlaubt eine exakte Lokalisierung von Hindernissen und andere Objekten eines beobachteten Umfelds. Insbesondere ist zur Realisierung des erfindungsgemäßen Verfahrens bereits eine monokulare Kameraanordnung ausreichend, wodurch die Kosten des Kamerasystems 10 gering gehalten werden.
Neben dem anhand von 1 beschriebenen Rückfahrkamerasystem ist das erfindungsgemäße Verfahren bei allen anderen denkbaren Anwendungen einsetzbar, die Videodaten 10a (2) in der beschriebenen Weise verarbeiten und eine Bereitstellung von Entfernungsdaten 20a vorsehen.

Claims

Verfahren zur Verarbeitung von Videodaten (10a) eines Kamerasystems (10) insbesondere eines Kraftfahrzeugs, bei dem die vorzugsweise eine Umgebung des Kraftfahrzeugs wiedergebenden Videodaten (10a) in Form mindestens eines Kamerabilds von dem Kamerasystem (10) erhalten werden, und bei dem mittels eines Abstandsmesssystems (20) erhaltene Entfernungsdaten (20a) ausgewertet werden, dadurch gekennzeichnet, dass eine Koordinatentransformation auf das Kamerabild angewendet wird, um ein transformiertes Kamerabild zu erhalten, wobei die Koordinatentransformation ein Kamerakoordinatensystem (K_1), das zur Darstellung des Kamerabilds verwendet wird, in ein Zielkoordinatensystem (K_2) überführt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Zielkoordinatensystem ein Fahrzeugkoordinatensystem (K_2) verwendet wird, das auch zur Darstellung der Entfernungsdaten (20a) des Abstandsmesssystems (20) verwendet wird.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass als Abstandsmesssystem (20) ein Ultraschall-basiertes und/oder ein Radar-basiertes und/oder ein optisches Abstandsmesssystem verwendet wird.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das transformierte Kamerabild in Abhängigkeit von den Entfernungsdaten (20a) des Abstandsmesssystems (20) verarbeitet wird.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Kamerabild und/oder das transformierte Kamerabild durch Entfernungsdaten (20a) des Abstandsmesssystems (20) ergänzt wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass jedem Pixel des Kamerabilds und/oder des transformierten Kamerabilds entsprechende Entfernungsdaten (20a) zugeordnet werden.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass ein weiteres Abstandsmesssystem verwendet wird, und dass Entfernungsdaten des weiteren Abstandsmesssystems dem Kamerabild vor der Koordinatentransformation zugeordnet werden.
System (100) zur Verarbeitung von Videodaten eines Kamerasystems (10) insbesondere eines Kraftfahrzeugs, dadurch gekennzeichnet, dass das System (100) zur Ausführung des Verfahrens nach einem der vorstehenden Ansprüche geeignet ist.