-
Die Erfindung betrifft ein Verfahren zum Bestimmen eines Bildtiefenwerts von einem Bildpunkt in einem zweiten Bild eines Umgebungsbereichs eines Kraftfahrzeugs. Es wird ein erstes Bild von dem Umgebungsbereich mittels eines Kamerasystems des Kraftfahrzeugs an einer ersten Position des Kraftfahrzeugs erfasst und das zweite Bild von dem Umgebungsbereich wird mittels des Kamerasystems an einer von der ersten Position unterschiedlichen zweiten Position des Kraftfahrzeugs erfasst. Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Kamerasystem.
-
Verfahren zum Bestimmen eines Bildtiefenwerts von einem Bildpunkt in einem Bild sind aus dem Stand der Technik bekannt. So kann der Bildtiefenwert beispielsweise basierend auf einem Stereoprinzip beziehungsweise der Stereoskopie bestimmt werden. Voraussetzung für das Stereoprinzip ist, dass zwei Bilder von der gleichen Szene an unterschiedlichen Positionen beziehungsweise Standorten erfasst werden. Um den Bildtiefenwert eines Bildpunkts in einem zweiten Bild zu bestimmen, wird das Merkmal, welches durch diesen Bildpunkt repräsentiert wird, in einem ersten Bild gesucht. Es wird also zu dem Bildpunkt in dem zweiten Bild der korrespondierende Bildpunkt in dem ersten Bild ermittelt. Abhängig von dem Bildpunkt in dem zweiten Bild und dem korrespondierenden Bildpunkt in dem ersten Bild kann nun anhand einer Entfernung zwischen den Bildpunkten der Bildtiefenwert beziehungsweise ein Disparitätswert bestimmt werden. Die Zuordnung und das Bestimmen der Entfernung von korrespondierenden Bildpunkten werden üblicherweise abhängig von der Epipolargeometrie durchgeführt. Durch die Epipolargeometrie kann der erforderliche Suchaufwand bei der Korrespondenzanalyse der korrespondierenden Bildpunkte erheblich reduziert werden. Die Epipolargeometrie ist ein mathematisches Modell aus der Geometrie, das die geometrische Beziehung zwischen verschiedenen Bildern der gleichen Szene beziehungsweise des gleichen Objekts darstellt. Mit Hilfe der Epipolargeometrie lässt sich die Abhängigkeit zwischen korrespondierenden Bildpunkten beschreiben, also den Bildpunkten, die ein einzelner Objektpunkt aus dem Umgebungsbereich in den beiden Bildern erzeugt. Der bestimmte Bildtiefenwert kann beispielsweise für eine 3D-Rekonstruktion der Szene beziehungsweise eines Umgebungsbereichs eines Kraftfahrzeugs genutzt werden.
-
Jedoch können bei der Korrespondenzanalyse Sonderfällen auftreten, falls das erste Bild und das zweite Bild an bestimmten Positionen der Kamera zueinander erfasst werden. Dabei sind zwei Anordnungen der Kamera besonders praxisrelevant. Bei der ersten Anordnung befinden sich die beiden Bildebenen des ersten Bilds und des zweiten Bilds in einer Ebene. Es sind also die Aufnahmerichtungen beziehungsweise Erfassungslinien exakt parallel zueinander angeordnet und die Epipole des ersten Bilds und des zweiten Bilds werden als Folge ins Unendliche verschoben. Die Epipolarlinien werden somit zu Geradenscharen. Der zweite Sonderfall tritt ein, falls die Positionen der Kamera voreinander, also in Blickrichtung gegeneinander verschoben sind. Dann können sich die Epipole in die Bildmitte verschieben und die Epipolarlinien verlaufen ausgehend von dem Bildzentrum sternförmig nach außen. Diese Konfiguration tritt beispielsweise dann auf, wenn eine einzelne Kamera in Fahrtrichtung ausgerichtet ist und zu verschiedenen Zeitpunkten Bilder aufnimmt. Die Bildpunktkorrespondenzen werden dann in aufeinanderfolgenden Bildern der Kamera gesucht. Bei den Sonderfällen kann es zu Ungenauigkeiten während der Korrespondenzanalyse und somit auch zu Ungenauigkeiten bei der Bestimmung des Bildtiefenwerts kommen.
-
Es ist Aufgabe der Erfindung, ein Verfahren, ein Kamerasystem sowie ein Kraftfahrzeug bereitzustellen, mit welchem beziehungsweise bei welchem ein Bildtiefenwert von einem Bildpunkt in einem Bild genauer und zuverlässiger bestimmt werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst.
-
Bei einem erfindungsgemäßen Verfahren wird ein Bildtiefenwert von einem Bildpunkt in einem zweiten Bild eines Umgebungsbereichs eines Kraftfahrzeugs bestimmt. Es wird ein erstes Bild von dem Umgebungsbereich mittels eines Kamerasystems des Kraftfahrzeugs an einer ersten Position des Kraftfahrzeugs erfasst. Zudem wird das zweite Bild von dem Umgebungsbereich mittels des Kamerasystems an einer von der ersten Position unterschiedlichen zweiten Position des Kraftfahrzeugs erfasst. Ein wesentlicher Gedanke der Erfindung ist, dass die erste Position und die zweite Position in ein Koordinatensystem abgebildet werden, und eine geradlinige Verbindungslinie erzeugt wird, welche durch zumindest die erste Position und die zweite Position verläuft. Es wird ein von der ersten Position und der zweiten Position abhängiger Zielpunkt auf der Verbindungslinie in einem geradlinigen zweiten Längenabschnitt der Verbindungslinie, welcher in Verlängerung eines zwischen der ersten Position und der zweiten Position erzeugten ersten Längenabschnitts sich an die zweite Position anschließend erstreckt, bestimmt. Der Zielpunkt wird in das zweite Bild als ein projizierter Zielpunkt projiziert und es wird ein Bildbereich in dem zweiten Bild um den projizierten Zielpunkt herum bestimmt. Der Bildtiefenwert von dem Bildpunkt in dem zweiten Bild wird abhängig von dem Bildbereich bestimmt.
-
Durch das erfindungsgemäße Verfahren wird es möglich, den Bildtiefenwert genauer und zuverlässiger zu bestimmen. Dies kann insbesondere dann vorteilhaft erfolgen, wenn sich das Kamerasystem auf ein Objekt innerhalb des Erfassungsbereichs des Kamerasystems zu bewegt, also wenn der Bildpunkt beispielsweise im Wesentlichen auf einer Gerade zwischen der ersten Position und der zweiten Position beziehungsweise in der Nähe der Gerade angeordnet ist.
-
Vorzugsweise ist es vorgesehen, dass der Bildtiefenwert nicht bestimmt oder bei einer nachfolgenden 3D-Rekonstruktion eines Objekts in dem Umgebungsbereich nicht berücksichtigt, falls der Bildpunkt in dem zweiten Bild innerhalb des Bildbereichs angeordnet ist.
-
Das Koordinatensystem, in welches die erste Position und die zweite Position abgebildet werden, ist insbesondere relativ zu der Bewegung des Kraftfahrzeugs festgelegt. So kann ein Ursprung des Koordinatensystems beispielsweise durch die erste Position des Kraftfahrzeugs charakterisiert sein. Die zweite Position des Kraftfahrzeugs wird dann entsprechend relativ zu der ersten Position in das Koordinatensystem abgebildet. Das Koordinatensystem kann aber beispielsweise auch ein erdfestes beziehungsweise ein absolutes Koordinatensystem sein, in welchem die erste Position und die zweite Position abgebildet werden. Die Verbindungslinie, welche die erste Position und die zweite Position verbindet, ist insbesondere als ein Strahl beziehungsweise eine Halbgerade ausgebildet. Die Verbindungslinie hat ihren Ursprung an der ersten Position und verläuft geradlinig zu der zweiten Position und über die zweite Position hinaus bis ins Unendliche. Der zweite Längenabschnitt, auf welchem der Zielpunkt bestimmt wird, ist zwischen der zweiten Position und dem Unendlichen angeordnet. Der Zielpunkt wird dann auf dem zweiten Längenabschnitt in einem vorbestimmten Abstand, beispielsweise 30 Meter, von der zweiten Position bestimmt. Die Verbindungslinie wird insbesondere dadurch charakterisiert, dass damit eine Bewegungsrichtung des Kraftfahrzeugs zum Zeitpunkt an der zweiten Position beschrieben wird. Der Zielpunkt ist also insbesondere das Ziel, auf welches sich das Kraftfahrzeug zum Zeitpunkt der Aufnahme des zweiten Bilds zu bewegt. Während der Bewegung des Kraftfahrzeugs von der ersten Position zu der zweiten Position wird die Orientierung beziehungsweise Anordnung des Kamerasystems zum Kraftfahrzeug vorzugsweise unverändert beibehalten. Der Zielpunkt wird insbesondere abhängig von einer inneren Orientierung und/oder einer äußeren Orientierung des Kamerasystems von dem Koordinatensystem in das zweite Bild projiziert. Somit befindet sich an der Stelle des projizierten Zielpunkts in dem zweiten Bild insbesondere der Bildpunkt, für welchen der Bildtiefenwert nur besonders ungenau und unzuverlässig bestimmt werden kann. Es wird also um den projizierten Zielpunkt herum der Bildbereich bestimmt. Der Bildbereich enthält auch den projizierten Zielpunkt beziehungsweise den Bildpunkt, welcher durch den projizierten Zielpunkt beschrieben wird. Insbesondere kann der Bildtiefenwert genauer und zuverlässiger bestimmt werden, je weiter dieser von dem projizierten Zielpunkt entfernt in dem zweiten Bild angeordnet ist. Somit wird der Bildtiefenwert vorzugsweise nur außerhalb des Bildbereichs bestimmt. Ergänzend oder alternativ kann der Bildtiefenwert innerhalb des Bildbereichs bestimmt werden, jedoch für eine Weiterverarbeitung, beispielsweise eine 3D-Rekonstruktion, nicht verwendet werden.
-
Durch das erfindungsgemäße Verfahren kann das Bestimmen von ungenauen Bildtiefenwerten unterdrückt werden. Somit kann beispielsweise auch eine genauere 3D-Rekonstruktion von Objekten in dem Umgebungsbereich, welche in dem zweiten Bild abgebildet sind, mit erhöhter Genauigkeit und erhöhter Zuverlässigkeit durchgeführt werden. Die erhöhte Zuverlässigkeit kann zur Folge haben, dass der Korrektheit der 3D-Rekonstruktion ein höheres Vertrauen entgegengebracht werden kann. Dies führt zu einer erhöhten Sicherheit bei dem Betrieb des Kraftfahrzeugs.
-
Insbesondere ist vorgesehen, dass der Bildtiefenwert von dem Bildpunkt in dem zweiten Bild, vorzugsweise nur, bestimmt wird, falls der Bildpunkt als außerhalb des Bildbereichs in dem zweiten Bild erkannt wird. Somit ist insbesondere vorgesehen, dass von den Bildpunkten des zweiten Bilds, welche sich innerhalb des Bildbereichs befinden, kein Bildtiefenwert bestimmt wird. Vorteilhaft ist dies, weil somit insbesondere nur der Bildtiefenwert von Bildpunkten des zweiten Bilds bestimmt wird, welche derart in dem zweiten Bild angeordnet sind, dass ein genauer und zuverlässiger Bildtiefenwert bestimmt werden kann. Nachdem anhand des Bildtiefenwerts beispielsweise eine Entfernung zu einem Hindernis für das Kraftfahrzeug in dem Umgebungsbereich bestimmt wird, kann das Kraftfahrzeug aufgrund des genauer bereitgestellten Bildtiefenwerts sicherer betrieben werden.
-
Weiterhin ist insbesondere vorgesehen, dass durch die Verbindungslinie eine, insbesondere zum Zeitpunkt der Erfassung des zweiten Bilds vorliegende, Bewegungsrichtung des Kraftfahrzeugs charakterisiert wird. Das bedeutet, dass die Verbindungslinie in Richtung der Bewegung des Kraftfahrzeugs und somit des Kamerasystems ausgerichtet ist. Die Bewegungsrichtung des Kamerasystems kann unterschiedlich von einer Haupterfassungsrichtung des Kamerasystems ausgebildet sein. Die Haupterfassungsrichtung des Kamerasystems ist also nur in einem Spezialfall deckungsgleich mit der Bewegungsrichtung des Kamerasystems. Die Verbindungslinie ist deswegen vorteilhaft, weil dadurch die Bewegungsrichtung des Kraftfahrzeugs insbesondere approximativ bestimmt werden kann.
-
Vorzugsweise ist vorgesehen, dass der Zielpunkt zumindest in einem ersten Abstand von der ersten Position auf der Verbindungslinie bestimmt wird, welche zumindest einem zweiten Abstand von der ersten Position zu der zweiten Position entspricht. Die Verbindungslinie ist also insbesondere eine Halbgerade, welche ihren Ursprung an der ersten Position aufweist. Somit ist es insbesondere vorgesehen, dass der Zielpunkt nach der zweiten Position auf dem geradlinigen zweiten Längenabschnitt beziehungsweise außerhalb des Abschnitts zwischen der ersten Position und der zweiten Position angeordnet ist. Die Projektion des Zielpunkts in das zweite Bild kann somit effektiv erfolgen.
-
Weiterhin ist es vorzugsweise vorgesehen, dass der Zielpunkt in einer vorbestimmten ersten Entfernung zu der zweiten Position bestimmt wird. Die vorbestimmte erste Entfernung von der zweiten Position kann beispielsweise 30 Meter betragen. Durch die vorbestimmte erste Entfernung zu der zweiten Position können numerische Instabilitäten bei der Projektion des Zielpunkts in das zweite Bild verhindert werden.
-
In einer weiteren Ausführungsform ist es vorzugsweise vorgesehen, dass die erste Position und die zweite Position relativ zueinander mit Sensoren des Kraftfahrzeugs bestimmt werden. So kann die erste Position des Kraftfahrzeugs und die zweite Position des Kraftfahrzeugs beispielsweise relativ zueinander bestimmt werden, indem eine relative Fahrtrajektorie von einem CAN-Bus des Kraftfahrzeugs und/oder einem FlexRay-Bus des Kraftfahrzeugs abgegriffen werden, welche die Ermittlung der relativen Fahrtrajektorie ermöglichen. Ergänzend oder alternativ kann die relative Bewegung des Kraftfahrzeugs auch mittels Odometrie beziehungsweise visueller Odometrie anhand einer Bildsequenz des Umgebungsbereichs bestimmt werden. Ergänzend oder anstatt kann aber auch ein Trägheitssensor zur Trägheitsnavigation genutzt werden, um die relative Fahrtrajektorie zu bestimmen. Die erste Position und die zweite Position können somit relativ zueinander effektiv bestimmt werden.
-
Insbesondere ist es vorgesehen, dass das Projizieren des Zielpunkts in das zweite Bild abhängig von einer inneren Orientierung des Kamerasystems und/oder einer äußeren Orientierung des Kamerasystems durchgeführt wird. Die innere Orientierung des Kamerasystems beschreibt die Position des Projektionszentrums bezogen auf die Bildebene. Die innere Orientierung umfasst beispielsweise die Koordinaten des Bildhauptpunkts und die Kamerakonstante. Die äußere Orientierung des Kamerasystems beschreibt die Lage und Position des Kamerasystems während der Aufnahme bezogen auf den Aufnahmegegenstand selbst. Die Position wird durch drei Koordinaten des Projektionszentrums beschrieben und wird als translatorische Komponente bezeichnet. Die Lage wird durch drei voneinander unabhängige Drehwinkel bestimmt, welche beispielsweise als Azimut, Neigung und Kantung beschrieben werden. Vorteilhaft ist also, dass die effektive Projektion des Zielpunkts in das zweite Bild ermöglicht wird.
-
Vorzugsweise ist vorgesehen, dass eine Fläche des Bildbereichs abhängig von einem Winkel zwischen einer Erfassungslinie, welche sich von dem Kamerasystem an der zweiten Position zu einem Objekt in dem Umgebungsbereich erstreckt, und der Verbindungslinie bestimmt wird. Die Fläche des Bildbereichs beschreibt die zweidimensionale Erstreckung des Bildbereichs in dem zweiten Bild. Die Erfassungslinie verläuft von der zweiten Position zu einem Objekt in dem Umgebungsbereich. Es ist insbesondere vorgesehen, dass Objekte in dem Umgebungsbereich, welche in dem zweiten Bild so abgebildet werden, dass der Winkel zwischen der Erfassungslinie und der Verbindungslinie einen Grenzwert unterschreitet, zumindest teilweise innerhalb des Bildbereichs angeordnet werden. Mit anderen Worten, der Bildbereich beinhaltet insbesondere jene Bildpunkte, welche Objekte in dem Umgebungsbereich beschreiben, die bezüglich ihrer Erfassungslinie und der Verbindungslinie den Winkel aufweisen und unterhalb des Grenzwerts mit dem Winkel liegen. Der Grenzwert für den Winkel ist beispielsweise bei zumindest 0,2°. Durch den Winkel kann die Fläche des Bildbereichs unabhängig von einer Maßangabe in Bildpunkte von dem zweiten Bild bestimmt werden. Die Maßangabe in Bildpunkten kann beispielsweise bei einer Auflösungsänderung des zweiten Bilds ebenfalls eine Anpassung erfordern. Durch den Winkel kann die Fläche des Bildbereichs insbesondere abhängig von der ersten Entfernung des Zielpunkts und/oder des Objekts in dem Umgebungsbereich zu der zweiten Position bestimmt werden. Die Fläche des Bildbereichs kann somit unabhängig von der Auflösung des zweiten Bilds beziehungsweise einer Anzahl der Bildpunkte des zweiten Bilds festgelegt werden.
-
Vorzugsweise ist vorgesehen, dass die Fläche des Bildbereichs mit einem Radius um den projizierten Bildpunkt herum bestimmt wird. Die Genauigkeit und/oder die Zuverlässigkeit des bestimmten Bildtiefenwerts nimmt zu, je weiter der Bildpunkt des zweiten Bilds von dem projizierten Zielpunkt entfernt ist. Aus diesem Grund eignet sich insbesondere ein Kreis mit dem Radius um den projizierten Zielpunkt herum, um die Bildpunkte in zwei Klassen aufzuteilen. Mit einer ersten Klasse von Bildpunkten, von welchen der Bildtiefenwert bestimmt wird, und mit einer zweiten Klasse von Bildpunkten, von welchen der Bildtiefenwert nicht bestimmt wird. Die erste Klasse der Bildpunkte ist außerhalb des Bildbereichs angeordnet und die zweite Klasse der Bildpunkte ist innerhalb des Bildbereichs angeordnet. Der Radius kann beispielsweise anhand des Winkels zwischen der Erfassungslinie und der Verbindungslinie bestimmt werden. Der Radius kann aber auch mit einer festen Angabe von Bildpunkten bestimmt werden. Die Fläche des Bildbereichs ist also durch den Radius insbesondere rund beziehungsweise eine zweidimensionale Scheibe in der Ebene des zweiten Bilds.
-
In einer weiteren Ausführungsform kann es vorgesehen sein, dass ein Zuverlässigkeitswert bestimmt wird, durch welchen eine Zuverlässigkeit des von dem Bildpunkt bestimmten Bildtiefenwerts beschrieben wird. Die Genauigkeit des Bildtiefenwerts nimmt insbesondere weiter ab, je näher der Bildpunkt an dem projizierten Zielpunkt in dem zweiten Bild angeordnet ist. Somit kann mit dem Zuverlässigkeitswert eine Aussage darüber getroffen werden, wie genau und/oder zuverlässig der Bildtiefenwert des jeweiligen Bildpunkts bestimmt worden ist beziehungsweise bestimmt werden kann. Der Zuverlässigkeitswert und somit die Zuverlässigkeit des Bildtiefenwerts erhöht sich mit wachsender Entfernung des Bildpunkts zu dem projizierten Zielpunkt. Der Zuverlässigkeitswert kann somit beispielsweise linear oder nichtlinear bezüglich der Entfernung des Bildpunkts von dem projizierten Zielpunkt bestimmt werden. Eine Aussage über die Genauigkeit des Bildtiefenwerts kann somit zuverlässiger getroffen werden.
-
Insbesondere ist vorgesehen, dass zumindest anhand des Bildtiefenwerts eine dreidimensionale Rekonstruktion eines durch zumindest den Bildpunkt charakterisierten Objekts in dem Umgebungsbereich durchgeführt wird. Somit kann der bestimmte Bildtiefenwert oder eine Mehrzahl von bestimmten Bildtiefenwerten genutzt werden, um die dreidimensionale Rekonstruktion des Objekts beziehungsweise einer Mehrzahl von Objekten in dem Umgebungsbereich durchzuführen. Durch das Bereitstellen des Bildtiefenwerts mit hoher Genauigkeit kann auch die dreidimensionale Rekonstruktion mit hoher Genauigkeit durchgeführt werden. Anhand der dreidimensionalen Rekonstruktion mit hoher Genauigkeit kann einem Nutzer des Kraftfahrzeugs beispielsweise eine anschauliche Darstellung des Objekts in dem Umgebungsbereich bereitgestellt werden. Zudem kann effektiver bestimmt werden, ob das Objekt in dem Umgebungsbereich ein Hindernis für das Kraftfahrzeug ist oder nicht. Die Sicherheit beim Betreiben des Kraftfahrzeugs kann somit erhöht werden.
-
In einer weiteren Ausführungsform kann es vorgesehen sein, dass das zweite Bild an der zweiten Position erfasst wird, falls die zweite Position zumindest einer vorbestimmten zweiten Entfernung zu der ersten Position entspricht. Somit kann also festgestellt werden, ob die zweite Entfernung, also die Distanz zwischen der ersten Position und der zweiten Position groß genug ist. Falls die zweite Entfernung beispielsweise nicht groß genug ist, kann ergänzend oder alternativ eine Ersatzlösung zur Bestimmung des Bildbereichs genutzt werden. Im Fall der Ersatzlösung wird der projizierte Zielpunkt und somit der Bildbereich in dem zweiten Bild nur basierend auf der Ausrichtung des Kamerasystems und/oder des Kraftfahrzeugs bestimmt. Der Bildbereich kann dadurch auch bestimmt werden, falls das Kraftfahrzeug sich nicht weit genug fortbewegt hat, um die Verbindungslinie präzise bestimmen zu können.
-
Weiterhin kann es vorgesehen sein, dass eine Fahrtrajektorie des Kraftfahrzeugs ermittelt wird, und die erste Position und/oder die zweite Position anhand der Fahrtrajektorie bestimmt wird. Die Fahrtrajektorie des Kraftfahrzeugs kann beispielsweise mit Sensoren des Kraftfahrzeugs beispielsweise mittels Odometrie und/oder mit einem globalen Navigationssatellitenempfänger bereitgestellt werden. Durch die Fahrtrajektorie kann die erste Position und/oder die zweite Position effektiv bestimmt werden.
-
Die Erfindung betrifft auch ein Kamerasystem für ein Kraftfahrzeug mit zumindest einer Kamera und mit zumindest einer Auswerteeinheit. Das Kamerasystem ist dazu ausgelegt, ein erfindungsgemäßes Verfahren oder eine vorteilhafte Ausführung davon durchzuführen. Die Auswerteeinheit kann in die Kamera integriert sein oder aber als separate Einheit vorliegen.
-
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Kamerasystem. Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Kamerasystem;
-
2 eine schematische Darstellung des Kamerasystems an einer ersten Position in einem Umgebungsbereich des Kraftfahrzeugs und an einer zweiten Position in dem Umgebungsbereich;
-
3 eine schematische Darstellung des Umgebungsbereichs mit der ersten Position und der zweite Position des Kamerasystems, welche mit einer Verbindungslinie geradlinig miteinander verbunden werden;
-
4 eine schematische, dreidimensionale Darstellung eines Koordinatensystems, in welches die erste Position und die zweite Position abgebildet werden, und mit der Verbindungslinie verbunden werden;
-
5 eine schematische, ebene Darstellung des Koordinatensystems in einer Draufsicht;
-
6 eine schematische Darstellung eines zweiten Bilds mit einem projizierten Zielpunkt und einem Bildbereich;
-
7 eine schematische Darstellung einer Fehlerverteilung von Tiefenwerten des zweiten Bilds, welche in dem Koordinatensystem dargestellt wird;
-
8 eine schematische Darstellung der Fehlerverteilung der Tiefenwerte des zweiten Bilds, welche in der Ebene des zweiten Bilds dargestellt wird; und
-
9 eine schematische Darstellung des zweiten Bilds mit dem projizierten Zielwert und einer dreidimensionalen Rekonstruktion eines Objekts in dem Umgebungsbereich.
-
In den Fig. werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 beziehungsweise einer Fahrerassistenzeinrichtung gemäß einer Ausführungsform der Erfindung dargestellt. Das Fahrerassistenzsystem 2 kann beispielsweise als ein Einparkassistent und/oder ein Umfeldsichtsystem und/oder ein elektronischer Rückspiegel (CMS – Camera Monitoring System) ausgebildet sein. Das Fahrerassistenzsystem 2 umfasst ein Kamerasystem 3 mit einer Kamera 4 und einer Auswerteeinheit 5. Das Kamerasystem 3 kann jedoch auch eine Mehrzahl von Kameras 4 umfassen. Die Auswerteeinheit 5 ist gemäß dem Ausführungsbeispiel zentral an dem Kraftfahrzeug 1 angeordnet. Die Anordnung der Auswerteeinheit 5 ist jedoch vielfältig möglich, so kann die Auswerteeinheit 5 beispielsweise in die Kamera 4 integriert oder aber als separate Einheit ausgebildet sein. Die Kamera 4 ist gemäß dem Ausführungsbeispiel an einem Heck 6 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Kamera 4 ist ebenfalls vielfältig möglich, vorzugsweise allerdings so, dass ein Teilbereich eines Umgebungsbereichs 7 um das Kraftfahrzeug 1 herum erfasst werden kann.
-
Die Kamera 4 kann eine CMOS-Kamera (Complementary Metal-Oxide-Semiconductor) oder aber eine CCD-Kamera (Charge-Coupled Device) sein. Die Kamera 4 ist insbesondere eine Videokamera, welche kontinuierlich eine Bildsequenz von Bildern bereitstellt.
-
2 zeigt die Kamera 4 an einer ersten Position 8 und an einer von der ersten Position 8 unterschiedlichen zweiten Position 9 in dem Umgebungsbereich 7. Die Kamera 4 erfasst sowohl an der ersten Position 8 als auch an der zweiten Position 9 ein Objekt 10 in dem Umgebungsbereich 7. Von der Kamera 4 an der ersten Position 8 zu dem Objekt 10 verläuft eine erste Erfassungslinie 11. Von der Kamera 4 an der zweiten Position 9 zu dem Objekt 10 verläuft eine zweite Erfassungslinie 12. Die Erfassungslinien 11, 12 beschreiben den Strahlenverlauf des Lichts, welches von dem Objekt 10 abgestrahlt in der Kamera 4 einfällt. Die Erfassungslinien 11, 12 sind in der Regel nicht identisch mit einer optischen Achse beziehungsweise einer Haupterfassungsrichtung der Kamera 4. Die jeweilige Erfassungslinie 11, 12 erstreckt sich also jeweils von der Kamera 4 zu dem Objekt 10. Das Objekt 10 ist in der Regel nicht so in dem Umgebungsbereich 7 angeordnet, dass die Haupterfassungsrichtung beziehungsweise die optische Achse der Kamera 4 dieses direkt schneidet. Jedoch ist der Fall, dass die optische Achse der Kamera 4 und die jeweilige Erfassungslinie 11, 12 auf das Objekt 10 fallen, ebenfalls möglich.
-
Das vorliegende Ausführungsbeispiel betrifft insbesondere den Fall, dass die erste Erfassungslinie 11 und die zweite Erfassungslinie 12 im Wesentlichen parallel und/oder deckungsgleich sind. 3 zeigt die Problematik, welche auftreten kann, falls die erste Erfassungslinie 11 und die zweite Erfassungslinie 12 parallel beziehungsweise deckungsgleich sind. Die Kamera 4 ist an der ersten Position 8 in dem Umgebungsbereich 7 angeordnet und erfasst ein erstes Bild 13 von dem Umgebungsbereich 7. Weiterhin wird die Kamera 4 an der zweiten Position 9 gezeigt, wo die Kamera 4 ein zweites Bild 14 von dem Umgebungsbereich 7 erfasst. Nachdem sich die Kamera 4 zu einem Zeitpunkt an der ersten Position 8 und zu einem anderen Zeitpunkt an der zweiten Position 9 befindet, sind dementsprechend auch das die Kamera 4 umfassende Kamerasystem 3 und das das Kamerasystem 3 umfassende Kraftfahrzeug 1 an der ersten Position 8 und der zweiten Position 9 zu den jeweiligen Zeitpunkten angeordnet. Die erste Position 8 und die zweite Position 9 werden simulativ – in einem nachfolgend gezeigten Koordinatensystem – mit einer Verbindungslinie 15 verbunden. Die Verbindungslinie 15 ist vorzugsweise eine Halbgerade, welche ihren Ursprung an der ersten Position 8 hat und sich über die zweite Position 9 bis ins Unendliche erstreckt. Die Verbindungslinie 15 ist insbesondere gerade. Die Verbindungslinie 15 wird durch eine Bewegungsrichtung der Kamera 4 beziehungsweise des Kamerasystems 3 beziehungsweise des Kraftfahrzeugs 1 zum Zeitpunkt der Aufnahme des zweiten Bilds 14 charakterisiert. Liegt nun das Objekt 10 auf der Verbindungslinie 15 und somit auf der ersten Erfassungslinie 11 und der zweiten Erfassungslinie 12, so liegt eine ungünstige Situation vor. Der Grund für die ungünstige Situation ist, dass ein Bildpunkt 16 des zweiten Bilds 14 an der gleichen Stelle des zweiten Bilds 14 liegt, wie ein zu dem Bildpunkt 16 korrespondierender Bildpunkt 17 in dem ersten Bild 13. Die Korrespondenzanalyse bezüglich des Bildpunkts 16 und des korrespondierenden Bildpunkts 17 wird somit erschwert und ein zu bestimmender Bildtiefenwert des zweiten Bilds 14 kann nur ungenau ermittelt werden.
-
Anders ist dies beispielsweise der Fall, wenn ein weiteres Objekt 18 in dem Umgebungsbereich 7 von der Kamera 4 an der ersten Position 8 und der zweiten Position 9 erfasst wird und somit in dem ersten Bild 13 und dem zweiten Bild 14 dargestellt wird, aber sich nicht im Wesentlichen auf der Verbindungslinie 15 befindet. So schneidet eine dritte Erfassungslinie 19 von der ersten Position 8 zu dem weiteren Objekt 18 das erste Bild 13 an einer Stelle 20. Eine vierte Erfassungslinie 21 verläuft von der zweiten Position 9 zu dem weiteren Objekt 18 und schneidet das zweite Bild 14 an einer Stelle 22. Die Stelle 20 und die Stelle 22 befinden sich an unterschiedlich angeordneten Bildpunkten in dem ersten Bild 13 und dem zweiten Bild 14. Das bedeutet, ein Bildpunkt an der Stelle 22 weist seinen korrespondierenden Bildpunkt an der bezügliche der Stelle 22 unterschiedlichen Stelle 20 auf. Es kann somit für den Bildpunkt an der Stelle 22 in dem zweiten Bild 14 ein Bildtiefenwert beziehungsweise ein Disparitätswert mit ausreichender Genauigkeit bestimmt werden. Im Weiteren liegt der Fokus insbesondere auf dem Objekt 10 in der Nähe der Verbindungslinie 15 und somit der ersten Erfassungslinie 11 und der zweiten Erfassungslinie 12.
-
Es wird auf der Verbindungslinie 15 ein Zielpunkt 23 bestimmt. Der Zielpunkt 23 wird in einem zweiten Längenabschnitt 24a der Verbindungslinie 15 bestimmt. Der zweite Längenabschnitt 24a erstreckt sich von der zweiten Position 9 über das Objekt 10 ins Unendliche. Der Zielpunkt 23 wird vorzugsweise so auf dem zweiten Längenabschnitt 24a bestimmt, dass eine vorbestimmte erste Entfernung zu der zweiten Position 9 vorhanden ist. Die vorbestimmte erste Entfernung kann beispielsweise 30 Meter oder auch mehr betragen. Ein erster Längenabschnitt 24b der Verbindungslinie 15 erstreckt sich insbesondere gradlinig von der ersten Position 8 zu der zweiten Position 9.
-
4 zeigt ein Koordinatensystem 25, in welchem die erste Position 8 und die zweite Position 9 abgebildet sind. Das Koordinatensystem 25 kann beispielsweise eine relative Beziehung zwischen der ersten Position 8 und der zweiten Position 9 oder weiteren Positionen des Kraftfahrzeugs 1 beschreiben. An der ersten Position 8 wird das erste Bild 13 erfasst und an der zweiten Position 9 wird das zweite Bild 14 erfasst. Es ist eine erste optische Achse 26 der Kamera 4 an der ersten Position 8 gezeigt und es ist eine zweite optische Achse 27 der Kamera 4 an der zweiten Position 9 gezeigt. Die optischen Achsen 26, 27 sind insbesondere nur parallel angeordnet, falls das Kraftfahrzeug 1 geradeaus fährt. Fährt das Kraftfahrzeug 1 beispielsweise eine Kurve sind die optischen Achsen 26, 27 insbesondere nicht parallel angeordnet. In dem Koordinatensystem 25 wird die erste Position 8 und die zweite Position 9 nun mit der Verbindungslinie 15 verbunden. Die Verbindungslinie 15 ist insbesondere eine Halbgerade, welche ihren Ursprung an der ersten Position 8 aufweist und die zweite Position 9 durchläuft bis ins Unendliche. Zwischen der zweiten Position 9 und dem Unendlichen befindet sich der, ebenfalls insbesondere unendliche, zweite Längenabschnitt 24a. Auf dem zweiten Längenabschnitt 24a ist der Zielpunkt 23 angeordnet. Der Zielpunkt 23 kann beliebig auf dem Längenabschnitt 24a bestimmt werden, vorzugsweise allerdings so, dass die vorbestimmte erste Entfernung von dem Zielpunkt 23 und der zweiten Position 9 vorhanden ist.
-
5 zeigt das Koordinatensystem 25 ausschnittsweise und in einer ebenen Draufsicht dargestellt. Die erste Position 8 und die zweite Position 9 sind in dem Koordinatensystem 25 abgebildet. Die Verbindungslinie 15 erstreckt sich von der ersten Position 8 über die zweite Position 9 ins Unendliche. Auf der Verbindungslinie 15 befindet sich der Zielpunkt 23. Weiterhin sind die erste optische Achse 26 und die zweite optische Achse 27 in 5 dargestellt. Die optischen Achsen 26, 27 verlaufen nicht parallel, weil durch eine Fahrtrajektorie 28 des Kraftfahrzeugs 1 eine nichtlineare Bewegung vorliegt. Das Kraftfahrzeug 1 fährt also gemäß der Fahrtrajektorie 28 eine Kurve. Die Bewegung des Kraftfahrzeugs 1 kann insbesondere näherungsweise gleichgesetzt werden mit der Bewegung des Kamerasystems 3 und/oder der Kamera 4.
-
6 zeigt das zweite Bild 14 von dem Umgebungsbereich 7 mit dem Objekt 10 und dem weiteren Objekt 18. Der Zielpunkt 23 ist in das zweite Bild 14 als projizierter Zielpunkt 29 projiziert. Der projizierte Zielpunkt 29 wird insbesondere abhängig von einer inneren Orientierung und/oder einer äußeren Orientierung des Kamerasystems 3 beziehungsweise der Kamera 4 bereitgestellt. Der projizierte Zielpunkt 29 gibt nun im Wesentlichen an durch welchen Bereich des Bilds die erste Erfassungslinie 11 und die zweite Erfassungslinie 12 verlaufen würden. Nachdem, wie bereits zuvor beschrieben, in dem Umfeld beziehungsweise in der Nähe des projizierten Zielpunkts 29 eine Berechnung der Disparität von korrespondierenden Bildpunkten aus dem ersten Bild 13 und dem zweiten Bild 14 erschwert wird beziehungsweise nur ungenau möglich ist, wird um den projizierten Zielpunkt 29 herum ein Bildbereich 30 des zweiten Bilds 14 bestimmt. Gemäß dem Ausführungsbeispiel von 6 ist zusätzlich ein erweiterter Bildbereich 31 des zweiten Bilds 14 gezeigt. Vorzugsweise werden Bildpunkte des zweiten Bilds 14, welche innerhalb des Bildbereichs 30 oder des erweiterten Bildbereichs 31 angeordnet sind, nicht zur Weiterverarbeitung beispielsweise zur dreidimensionalen Rekonstruktion eines Objekts, beispielsweise des Objekts 10, in dem Umgebungsbereich 7 verwendet. Vorzugsweise wird von den Bildpunkten des zweiten Bilds 14, welche in dem Bildbereich 30 und/oder dem erweiterten Bildbereich 31 angeordnet sind, kein Bildtiefenwert beziehungsweise kein Disparitätswert bestimmt. Je näher ein Bildpunkt des zweiten Bilds 14 an dem projizierten Zielpunkt 29 angeordnet ist, desto ungenauer kann der Bildtiefenwert von dem jeweiligen Bildpunkt bestimmt werden. Bildpunkte des zweiten Bilds 14, welche sich in dem Bildbereich 30 befinden, werden also insbesondere ungenauere Bildtiefenwerte bereitstellen als Bildpunkte, welche sich nur in dem erweiterten Bildbereich 31 und nicht in dem Bildbereich 30 befinden. So kann beispielsweise ein Zuverlässigkeitswert bestimmt werden, welcher die Zuverlässigkeit des bestimmten Tiefenwerts anhand der Lage des jeweiligen Bildpunkts in dem zweiten Bild 14 bezüglich des projizierten Zielpunkts 29 beschreibt.
-
7 zeigt eine Fehlerverteilung von Bildtiefenwerten 32 des zweiten Bilds 14. Der Bildtiefenwert 32 beschreibt die Koordinate in die dritte Dimension zusätzlich zu der Zeilenkoordinate und der Spaltenkoordinate des zweiten Bilds 14. In 7 ist nun gezeigt, dass der Fehler bei der Bestimmung des Bildtiefenwerts 32 zunimmt, je mehr der jeweilige Blickpunkt, von welchem der Bildtiefenwert 32 bestimmt wird, an der Verbindungslinie 15 angeordnet ist. In dem Koordinatensystem 25 ist gemäß 7 eine Fehlerverteilung 33 der Bildtiefenwerte 32 gezeigt. Die Fehlerverteilung 33 zeigt, dass der Bildtiefenwert 32 mit zunehmendem Abstand von der Verbindungslinie 15 genauer bestimmt werden kann.
-
8 zeigt die Fehlerverteilung 33 der Bildtiefenwerte 32 in der Ebene des zweiten Bilds 14. Zu sehen ist, dass der Fehler der Bildtiefenwerte 32 zunimmt je näher der jeweilige Bildpunkt des zweiten Bilds an dem projizierten Zielpunkt 29 angeordnet ist.
-
9 zeigt das zweite Bild 14 und in Kombination mit dem ersten Bild 13 eine dreidimensionale Rekonstruktion 34 von dem Objekt 10. Weiterhin sind der projizierte Bildpunkt 29 und der Bildbereich 30 und der weitere Bildbereich 31 gezeigt. Je näher die Bildpunkte des zweiten Bilds 14, welche das Objekt 10 beschreiben, an dem projizierten Zielpunkt 29 angeordnet sind, desto ungenauer ist der bestimmte Bildtiefenwert 32 und als Folge daraus auch die dreidimensionale Rekonstruktion 34. Ein Radius des Bildbereichs 30 kann beispielsweise bis zu 25 Bildpunkte betragen und ein Radius des erweiterten Bildbereichs 31 kann beispielsweise bis zu 50 Bildpunkten betragen. Der Radius des Bildbereichs 30 und/oder des erweiterten Bildbereichs 31 kann alternativ aber ebenso anhand eines Winkels bestimmt werden. Der Winkel wird insbesondere von der ersten Erfassungslinie 11 und/oder der zweiten Erfassungslinie 12 zu der Verbindungslinie 15 bestimmt. Der Winkel beträgt beispielsweise mindestens 0,2°.
-
Das Verfahren läuft also vorzugsweise so ab, dass zuerst das erste Bild 13 an der ersten Position 8 erfasst wird und zeitlich nachfolgend das zweite Bild 14 an der zweiten Position 9 erfasst wird. Sodann wird die erste Position 8 und die zweite Position 9 in das Koordinatensystem 25 abgebildet. Es wird die erste Position 8 und die zweite Position 9 in dem Koordinatensystem 25 mit der Verbindungslinie 15 verbunden. Das Verbinden erfolgt in der Art, dass sich die Verbindungslinie 15 als Halbgerade von der ersten Position 8 über die zweite Position 9 bis ins Unendliche erstreckt. Auf der Verbindungslinie 15 wird der zweite Längenabschnitt 24a bestimmt, welcher sich von der zweiten Position 9 bis zu der Verbindungslinie 15 im Unendlichen erstreckt. Auf dem zweiten Längenabschnitt 24a wird der Zielpunkt 23 bestimmt. Der Zielpunkt 23 wird in das zweite Bild 14 projiziert und ist dort als der projizierte Zielpunkt 29 vorhanden. Um den projizierten Zielpunkt 29 herum wird der Bildbereich 30 und/oder der erweiterte Bildbereich 31, vorzugsweise in Form einer Kreisfläche, bestimmt. Schließlich wird das Bestimmen des Bildtiefenwerts 32 des zweiten Bilds 14 insbesondere nur dort ausgeführt, wo sich die Bildpunkte des zweiten Bilds 14 außerhalb des Bildbereichs 30 und/oder des erweiterten Bildbereichs 31 befinden. Außerhalb bedeutet, dass die Bildpunkte auf jener Seite der Kreislinie angeordnet sind, welche weiter von dem projizierten Zielpunkt 29 entfernt ist.
-
Somit kann ein Verfahren bereitgestellt werden, mit welchem das Bestimmen von einem Bildtiefenwert 32 genauer durchgeführt werden kann beziehungsweise eine Zuverlässigkeit für den bestimmten Bildtiefenwert 32 ermittelt werden kann. Als Folge davon kann auch die dreidimensionale Rekonstruktion 34 genauer und zuverlässiger durchgeführt werden.
