DE102015105529A1

DE102015105529A1 - Verfahren zum Transformieren eines Bildes einer virtuellen Kamera, Computerprogrammprodukt, Anzeigesystem und Kraftfahrzeug

Info

Publication number: DE102015105529A1
Application number: DE102015105529.5A
Authority: DE
Inventors: Huanqing Guo
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2015-04-10
Filing date: 2015-04-10
Publication date: 2016-10-13

Abstract

Die Erfindung betrifft ein Verfahren zum Transformieren eines Bilds (16), bei welchem ein Umgebungsbereich (13) eines Kraftfahrzeugs (1) zumindest teilweise durch das Bild (16) aus der Perspektive einer virtuell in dem Umgebungsbereich (13) angeordneten virtuellen Kamera (14) dargestellt wird, und das Bild (16) durch die Transformation aus einer Mehrzahl von Realbildern, welche mittels einer Mehrzahl von realen Kameras (5, 6, 7, 8) des Kraftfahrzeugs (1) bereitgestellt wird, bestimmt wird, wobei die Transformation bezüglich eines virtuellen Bildsensors (21) der virtuellen Kamera (14) durchgeführt wird, wobei für den virtuellen Bildsensor (21) eine Bildsensorebene (22) mit zumindest einer vorbestimmten Krümmung (23) vorgegeben wird.

Description

Die Erfindung betrifft ein Verfahren zum Transformieren eines Bilds, bei welchem ein Umgebungsbereich eines Kraftfahrzeugs zumindest teilweise durch das Bild aus der Perspektive einer virtuell in dem Umgebungsbereich angeordneten virtuellen Kamera dargestellt wird, und das Bild durch die Transformation aus einer Mehrzahl von Realbildern, welche mittels einer Mehrzahl von realen Kameras des Kraftfahrzeugs bereitgestellt wird, bestimmt wird. Die Erfindung betrifft auch ein Computerprogrammprodukt, ein Anzeigesystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Anzeigesystem.
Verfahren zum Transformieren eines Bilds, bei welchem ein Umgebungsbereich eines Kraftfahrzeugs zumindest teilweise durch das Bild aus der Perspektive einer virtuell in dem Umgebungsbereich angeordneten virtuellen Kamera dargestellt wird, sind aus dem Stand der Technik bekannt.
So wird in der DE 10 2013 013 364 A1 ein Verfahren zum verzerrungsarmen Abbilden von Umgebungsbilddaten bereitgestellt, welche von einer Mehrzahl an Kameras, die an einem Kraftfahrzeug angeordnet sind, erzeugt werden.
Weiterhin wird in der US 2011/0032357 A1 eine Bildverarbeitungsvorrichtung beschrieben, mit welcher ein Bild von einem Umgebungsbereich eines Kraftfahrzeugs aufgenommen wird. Das aufgenommene Bild wird in ein Bild konvertiert, welches aus der Perspektive einer virtuellen Sichtlinie betrachtet wird. Die virtuelle Sichtlinie läuft von einer vorbestimmten Position in dem Umgebungsbereich in eine vorbestimmte Richtung.
Weiterhin ist es bekannt, dass ein Bild mit einer virtuellen Kamera bereitgestellt wird. Die virtuelle Kamera kann dann üblicherweise beliebig um ein Kraftfahrzeug herum fiktiv angeordnet werden. Das Bild wird durch Transformieren von Realbildern bereitgestellt. Die Realbilder werden üblicherweise von einer Mehrzahl von realen Kameras des Kraftfahrzeugs bereitgestellt. Durch die Mehrzahl der realen Kameras wird üblicherweise ein Umgebungsbereich des Kraftfahrzeugs vollständig erfasst. Durch die virtuelle Kamera können die Realbilder derart ausgewählt und transformiert werden, dass das Bild aus der Perspektive der virtuellen Kamera bereitgestellt wird. Die virtuelle Kamera in dem Umgebungsbereich des Kraftfahrzeugs ist also nicht real existierend, sondern beschreibt die Transformation und Auswahl der Realbilder, sodass durch das Bild die gewünschte Perspektive der virtuellen Kamera gezeigt wird. Üblicherweise wird das Bereitstellen des Bilds durch eine Transformation, welche eine Translation und mehrere Rotationen umfasst, bestimmt. So wird beispielsweise jedes der Realbilder aus einem Kamerakoordinatensystem der jeweiligen realen Kamera in ein Kraftfahrzeugkoordinatensystem transformiert, und in dem Kraftfahrzeugkoordinatensystem kann schließlich die Position der virtuellen Kamera festgelegt werden.
Es ist Aufgabe der Erfindung, ein Verfahren, ein Computerprogrammprodukt, ein Anzeigesystem sowie ein Kraftfahrzeug bereitzustellen, mit welchem beziehungsweise bei welchem das Bild der virtuellen Kamera durch das Transformieren anschaulicher und realitätsnäher bereitgestellt werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Computerprogrammprodukt, durch ein Anzeigesystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst.
Bei einem erfindungsgemäßen Verfahren wird ein Bild transformiert. Es wird ein Umgebungsbereich eines Kraftfahrzeugs zumindest teilweise durch das Bild aus der Perspektive einer virtuell in dem Umgebungsbereich angeordneten virtuellen Kamera dargestellt. Das Bild wird durch die Transformation aus einer Mehrzahl von Realbildern bestimmt. Die Realbilder werden mittels einer Mehrzahl von realen Kameras des Kraftfahrzeugs bereitgestellt. Als ein wesentlicher Gedanke der Erfindung ist vorgesehen, dass die Transformation bezüglich eines virtuellen Bildsensors der virtuellen Kamera durchgeführt wird, wobei für den virtuellen Bildsensor eine Bildsensorebene mit zumindest einer vorbestimmten Krümmung vorgegeben wird.
Durch das erfindungsgemäße Verfahren wird es möglich, dass das Bild aus der Perspektive der virtuellen Kamera anschaulicher und realitätsnäher bereitgestellt wird.
Bei der Transformation, durch welche das Bild bereitgestellt wird, wird ein Kameramodell der virtuellen Kamera genutzt. Dieses Kameramodell kann beispielsweise zur vereinfachten Erklärung als ein Lochkameramodell beschrieben werden. Bei diesem Lochkameramodell sind eine Bildebene und eine Objektebene vorhanden. Durch die Bildebene wird das Bild beschrieben, und durch die Objektebene wird der Umgebungsbereich des Kraftfahrzeugs beschrieben. Die Bildebene des Kameramodells wird vorliegend insbesondere als die Bildsensorebene des virtuellen Bildsensors der virtuellen Kamera beschrieben. Im Stand der Technik wird die Bildebene als plan beziehungsweise eben beziehungsweise nicht gekrümmt beschrieben.
Durch das Vorgeben der Bildsensorebene beziehungsweise der Bildebene mit der vorbestimmten Krümmung kann die reale Welt anschaulicher und realitätsnäher modelliert werden. Die Bildsensorebene weist insbesondere mehrere vorbestimmte Krümmungen auf. Die vorbestimmten Krümmungen sind vorzugsweise in unterschiedlicher Weise gekrümmt. Aufgrund der anschaulicheren und realitätsnäheren Modellierung kann auch das Bild anschaulicher und realitätsnäher bereitgestellt werden. Durch die Bildsensorebene mit der vorbestimmten Krümmung kann ein gleichmäßiges Abtasten des Umgebungsbereichs modelliert werden. Dadurch können beispielsweise Bereiche am Rand des Bilds durch die Transformation mit einer höheren oder zumindest genauso hohen geometrischen Auflösung wie die zentralen Bereiche des Bilds bereitgestellt werden. Dies entspricht dem Vorliegen der realen Welt beziehungsweise des Umgebungsbereichs des Kraftfahrzeugs. Die Berücksichtigung der gekrümmten Bildsensorebene der virtuellen Kamera kann auch erfolgen, falls die Realbilder mit einem ebenen realen Bildsensor der realen Kameras bereitgestellt werden. Durch die Transformation abhängig von der Bildsensorebene mit der vorbestimmten Krümmung kann das Bild also auch nachträglich noch realitätsnah aufgrund der realitätsnahen Modellierung des Kameramodells der virtuellen Kamera bereitgestellt werden.
Vorzugsweise ist vorgesehen, dass die vorbestimmte Krümmung der Bildsensorebene mit einer Transformationsfunktion, durch welche die Transformation beschrieben wird, vorgegeben wird. Durch die Transformationsfunktion kann also die Abbildung des Bilds abhängig von der Bildsensorebene mit der vorbestimmten Krümmung bestimmt werden. So wird die Transformationsfunktion beispielsweise mit einem Modell beziehungsweise mit einer Beschreibung der gekrümmten Bildsensorebene beziehungsweise der Bildsensorebene mit der vorbestimmten Krümmung beschrieben. Die Transformationsfunktion kann beispielsweise auch nachträglich durch das Modell, welches den gekrümmten Bildsensor beziehungsweise die gekrümmte Bildsensorebene beschreibt, erweitert werden. Vorteilhaft ist also, dass das Bild einfach und effektiv anhand der Transformationsfunktion mit der Modellierung der gekrümmten Bildsensorebene bereitgestellt werden kann.
Weiterhin ist es vorzugsweise vorgesehen, dass die Transformationsfunktion abhängig von äußeren Abmessungen des Kraftfahrzeugs und/oder Abmessungen des in dem Bild teilweise dargestellten Umgebungsbereichs und/oder einer Form des in dem Bild teilweise dargestellten Umgebungsbereichs und/oder einer Verzerrung des Bilds und/oder in dem Bild dargestellten Objekten des Umgebungsbereichs vorgegeben wird. So kann die Transformationsfunktion und somit das Modell der Bildsensorebene mit der vorbestimmten Krümmung abhängig von einer Vielzahl von Bedingungen angepasst werden. Das Bild kann deshalb situationsgerecht für den jeweiligen Umgebungsbereich realitätsnah und anschaulich bereitgestellt werden.
Insbesondere ist vorgesehen, dass durch die vorbestimmte Krümmung der Bildsensorebene eine geometrische Auflösung des Bilds bestimmt wird. Die geometrische Auflösung kann auch als Bodenpixelauflösung (GSD – ground sampling distance) beschrieben werden. Durch die geometrische Auflösung wird ein Abstand zwischen Mittelpunkten von Bildpunkten des Bilds beschrieben, wie diese auf dem Boden der realen Welt, also dem Umgebungsbereich, vorliegt. Die geometrische Auflösung des Bilds beschreibt also, in welchem Abstand der Umgebungsbereich durch das Bild beziehungsweise durch die Bildpunkte des Bilds abgetastet wird. So ist die geometrische Auflösung bei einer dichten Abtastung des Umgebungsbereichs hoch, während die geometrische Auflösung bei einer weniger dichten Abtastung des Umgebungsbereichs niedrig ist. Die geometrische Auflösung des Bilds ist also insbesondere unabhängig von der Anzahl der Bildpunkte des Bilds. Vorteilhaft ist, dass durch die vorbestimmte Krümmung ein vielfältiges Anpassen der geometrischen Auflösung des Bilds effektiv und einfach durchgeführt werden kann. Die geometrische Auflösung des Bilds ist aber auch insbesondere unabhängig von der geometrischen Auflösung der Realbilder. So kann beispielsweise ein Interpolationsverfahren durchgeführt werden, falls die geometrische Auflösung des Bilds für bestimmte Bereiche des Bilds höher liegen soll als dies durch die geometrische Auflösung des Realbilds bereitgestellt wird.
Vorzugsweise ist vorgesehen, dass die geometrische Auflösung des Bilds durch die Transformation abhängig von der Bildsensorebene mit der vorbestimmten Krümmung in einem Randbereich des Bilds zumindest so hoch wie in einem Zentralbereich des Bilds bestimmt wird. Durch den Randbereich werden also insbesondere Bereiche des Bilds beschrieben, welche an einer linken und/oder rechten und/oder oberen und/oder unteren Seite des Bilds angeordnet sind. Durch den Zentralbereich werden insbesondere Bereiche des Bilds beschrieben, welche in der Mitte und somit nicht direkt am Rand des Bilds angeordnet sind. Durch das Berücksichtigen der zumindest gleich hohen geometrischen Auflösung im Randbereich als im Zentralbereich bei der Transformation kann das Bild anschaulicher und realitätsnäher bestimmt werden.
Weiterhin kann es vorgesehen sein, dass das Bild durch die Transformation in einem Koordinatensystem der virtuellen Kamera verschoben und/oder rotiert und/oder verzerrt wird. Das Bild kann also in dem Koordinatensystem der virtuellen Kamera vorliegen und dort manipuliert werden. Die Manipulation des Bilds, also beispielsweise das Verschieben und/oder das Rotieren und/oder das Verzerren, kann somit ebenfalls abhängig von der Bildsensorebene mit der vorbestimmten Krümmung durchgeführt werden. Bei der Transformation in dem Koordinatensystem der virtuellen Kamera wird die Position der virtuellen Kamera in dem Kraftfahrzeugkoordinatensystem insbesondere unverändert beibehalten. Das Koordinatensystem der virtuellen Kamera kann also beispielsweise als an das Kraftfahrzeugkoordinatensystem angehängtes Koordinatensystem vorliegen.
Weiterhin kann es vorgesehen sein, dass durch die Transformation abhängig von der Bildsensorebene mit der vorbestimmten Krümmung ein Bereich aus dem Bild ausgewählt wird und/oder das Bild anhand einer Information aus den Realbildern erweitert wird. Das Auswählen beziehungsweise das Erweitern kann beispielsweise auch als Hineinzoomen beziehungsweise Herauszoomen beschrieben werden. Das Auswählen und/oder das Erweitern werden also insbesondere ebenfalls abhängig von der Bildsensorebene mit der vorbestimmten Krümmung durchgeführt. Das Bild kann somit in einfacher und effektiver Weise auch nach dem Auswählen und/oder dem Erweitern anschaulicher und realitätsnäher dargestellt beziehungsweise bereitgestellt werden.
Vorzugsweise ist vorgesehen, dass ein das Kraftfahrzeug darstellender Bereich des Bilds von der Transformation abhängig von der Bildsensorebene mit der vorbestimmten Krümmung ausgeschlossen wird. Dadurch kann das Bild derart bereitgestellt werden, dass der das Kraftfahrzeug darstellende Bereich des Bilds unverzerrt dargestellt wird. Das Ausschließen des das Kraftfahrzeug darstellenden Bereichs kann insbesondere speziell durch die Transformation für die virtuelle Kamera des Kraftfahrzeugs bereitgestellt werden. So ist die Transformation zum Ausschließen des das Kraftfahrzeug darstellenden Bereichs insbesondere speziell für eine virtuelle Kamera aus dem Gebiet der Kraftfahrzeugtechnik ausgebildet. Durch das Ausschließen des Kraftfahrzeugs von der Transformation abhängig von der Bildsensorebene mit der vorbestimmten Krümmung kann das Bild mit dem darin dargestellten Kraftfahrzeug ebenfalls anschaulicher und realitätsgetreuer bereitgestellt werden. Das Kraftfahrzeug wird somit also insbesondere nicht verzerrt in dem Bild dargestellt.
Insbesondere ist vorgesehen, dass der Umgebungsbereich in dem Bild durch die Transformation in einer schüsselartigen Darstellung bereitgestellt wird. Durch die schüsselartige Darstellung kann das Bild an die reale Welt angepasst und anschaulich bereitgestellt werden. Die schüsselartige Darstellung wird dadurch charakterisiert, dass das Bild derart bereitgestellt wird, als wäre der Abstand von der virtuellen Kamera zu einer Objektebene beziehungsweise dem Umgebungsbereich an jedem Punkt der Objektebene gleich. Um dies zu ermöglichen, wird die geometrische Auflösung des Bilds bereichsweise angepasst. So kann der Randbereich des Bilds beispielsweise mit einer gleich hohen geometrischen Auflösung transformiert werden, als dies für den Zentralbereich des Bilds durchgeführt wird. Insgesamt ermöglicht die schüsselartige Darstellung wieder eine anschaulichere und realitätsnähere Darstellung des Umgebungsbereichs in dem Bild. Das Bild, welches den Umgebungsbereich schüsselartig darstellt, wird insbesondere auf einer ebenen, nicht schüsselartigen Anzeigeeinheit des Kraftfahrzeugs ausgegeben.
Die Erfindung betrifft auch ein Computerprogrammprodukt, welches zum Ausführen eines erfindungsgemäßen Verfahrens ausgebildet ist, wenn das Computerprogrammprodukt auf einer programmierbaren Computereinrichtung ausgeführt wird.
Die Erfindung umfasst ein Anzeigesystem mit einer Auswerteeinheit, einer Anzeigeeinheit und zumindest einer realen Kamera, wobei das Anzeigesystem dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. Die Auswerteeinheit kann beispielsweise in der realen Kamera und/oder in der Anzeigeeinheit integriert sein oder als separate Einheit vorliegen.
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Anzeigesystem oder eine vorteilhafte Ausführung davon.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Computerprogrammprodukt, das erfindungsgemäße Anzeigesystem sowie für das erfindungsgemäße Kraftfahrzeug.
Mit den Angaben „oben“, „unten“, „vorne“, „hinten“, „horizontal“, „vertikal“, „Tiefenrichtung“, „Breitenrichtung“, „Höhenrichtung“ etc. sind die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der virtuellen Kamera oder der realen Kamera oder dem Kraftfahrzeug und bei einem dann vor der der virtuellen Kamera oder der realen Kamera oder dem Kraftfahrzeug stehenden und in Richtung der der virtuellen Kamera oder der realen Kamera oder dem Kraftfahrzeug blickenden Beobachter gegebenen Positionen und Orientierungen angegeben.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen.
Die Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
Dabei zeigen:
1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Anzeigesystem;
2 eine schematische Darstellung einer virtuellen Anordnung einer virtuellen Kamera in einem Umgebungsbereich des Kraftfahrzeugs;
3 eine schematische Darstellung eines Bilds aus der Perspektive der virtuellen Kamera;
4 eine schematische Darstellung eines Kameramodells der virtuellen Kamera mit einem virtuellen Bildsensor;
5 eine schematische Darstellung einer Bildsensorebene mit einer vorbestimmten Krümmung des virtuellen Bildsensors der virtuellen Kamera;
6 eine schematische Darstellung eines bekannten Bilds einer bekannten virtuellen Kamera mit einer ungekrümmten Bildsensorebene;
7 eine schematische Darstellung des Bilds der virtuellen Kamera mit der Bildsensorebene mit der vorbestimmten Krümmung;
8 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens;
9 eine weitere schematische Darstellung des bekannten Bilds der bekannten virtuellen Kamera mit einer ungekrümmten Bildsensorebene; und
10 eine weitere schematische Darstellung des Bilds der virtuellen Kamera mit der Bildsensorebene mit der vorbestimmten Krümmung.
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Anzeigesystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Anzeigesystem 2 umfasst im Ausführungsbeispiel eine Auswerteeinheit 3 und eine Anzeigeeinheit 4. Weiterhin umfasst das Anzeigesystem 2 im Ausführungsbeispiel eine erste reale Kamera 5, eine zweite reale Kamera 6, eine dritte reale Kamera 7 und eine vierte reale Kamera 8. Gemäß dem Ausführungsbeispiel ist die erste reale Kamera 5 an einer Front 9 des Kraftfahrzeugs 1 angeordnet, die zweite reale Kamera 6 ist an einer rechten Seite 10 des Kraftfahrzeugs 1 angeordnet, die dritte reale Kamera 7 ist an einem Heck 11 des Kraftfahrzeugs 1 angeordnet und die vierte reale Kamera 8 ist an einer linken Seite 12 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der realen Kameras 5, 6, 7, 8 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass das Kraftfahrzeug 1 und/oder ein Umgebungsbereich 13 des Kraftfahrzeugs 1 zumindest teilweise erfasst werden kann.
Die realen Kameras 5, 6, 7, 8 weisen insbesondere einen weiten Erfassungsbereich, welcher beispielsweise größer als 180° sein kann, a uf. Der weite Erfassungsbereich kann beispielsweise durch eine Fischaugenlinse eines Objektivs der realen Kamera 5, 6, 7, 8 bereitgestellt werden. So kann das Anzeigesystem 2 beispielsweise als Umfeldsichtsystem (CMS – camera monitoring system) oder elektronischer Rückspiegel ausgebildet sein oder als ein weiteres Fahrerassistenzsystem des Kraftfahrzeugs 1, bei welchem der Umgebungsbereich 13 zumindest teilweise erfasst wird.
Die reale Kamera 5, 6, 7, 8 ist eine CMOS-Kamera (complementary metal-oxide semiconductor) oder aber eine CCD-Kamera (charge coupled device) oder eine beliebige Bilderfassungseinrichtung, welche ein Einzelbild von dem Umgebungsbereich 13 und/oder dem Kraftfahrzeug 1 bereitstellen kann. Die reale Kamera 5, 6, 7, 8 ist eine Videokamera, welche kontinuierlich eine Bildsequenz von Einzelbildern (frame) bereitstellt. Die Auswerteeinheit 3 verarbeitet die Bildsequenz der Einzelbilder dann beispielsweise in Echtzeit. Die Auswerteeinheit 3 kann beispielsweise innerhalb der jeweiligen realen Kamera 5, 6, 7, 8 oder innerhalb der Anzeigeeinheit 4 angeordnet sein. Die Auswerteeinheit 3 kann aber auch außerhalb der jeweiligen Kamera 5, 6, 7, 8 oder der Anzeigeeinheit 3 an einer beliebigen anderen Position innerhalb des Kraftfahrzeugs 1 angeordnet sein und somit als zur realen Kamera 5, 6, 7, 8 und zur Anzeigeeinheit 4 separaten Einheit ausgebildet sein.
Die Anzeigeeinheit 4 kann beispielsweise als Flüssigkristallanzeige (LCD – liquid crystal display) ausgebildet sein. Die Anzeigeeinheit 4 kann vielfältig in dem Kraftfahrzeug 1 angeordnet sein, vorzugsweise allerdings so, dass ein Nutzer des Kraftfahrzeugs 1 einen hindernisfreien Blick auf die Anzeigeeinheit 4 richten kann.
Durch die realen Kameras 5, 6, 7, 8 wird eine Mehrzahl von Realbildern aufgenommen. Die Realbilder zeigen den Umgebungsbereich 13 zumindest teilweise aus der Perspektive der jeweiligen realen Kamera 5, 6, 7, 8. Vorzugsweise werden die Realbilder zumindest teilweise überlappend aufgenommen.
2 zeigt eine virtuelle Anordnung einer virtuellen Kamera 14 in dem Umgebungsbereich 13 des Kraftfahrzeugs 1. Die virtuelle Kamera 14 kann vielfältig in dem Umgebungsbereich 13 angeordnet werden. Vorzugsweise wird die virtuelle Kamera 14 an vorgegebenen virtuellen Kamerapositionen 15 angeordnet. Abhängig von der jeweiligen virtuellen Kameraposition 15 der virtuellen Kamera 14 und deren Ausrichtung wird die Perspektive der virtuellen Kamera 14 auf den Umgebungsbereich 13 und/oder das Kraftfahrzeug 1 bestimmt. Die Perspektive der virtuellen Kamera 14 kann beispielsweise in Echtzeit beziehungsweise innerhalb einer vorbestimmten Rechenzeit angepasst werden.
3 zeigt ein Bild 16 der virtuellen Kamera 14. Das Bild 16 wird also aus der Perspektive der virtuellen Kamera 14 bestimmt. Das Bestimmen des Bilds 16 erfolgt anhand von der Mehrzahl der Realbilder. Durch die Realbilder kann also abhängig von einer Transformation das Bild 16 bestimmt werden. Das Bild 16 wird also mittels der Transformation durch eine Information aus den Realbildern bestimmt. Durch Veränderung der virtuellen Kameraposition 15 lässt sich das Bild 16 vielfältig ändern. Ebenso kann beispielsweise ein Blickwinkel auf das Kraftfahrzeug 1 und/oder den Umgebungsbereich 13 durch Verändern der virtuellen Kameraposition 15 vielfältig angepasst werden.
Das Bild 16, wie es in 3 beispielhaft gezeigt ist, wird vorzugsweise auf der Anzeigeeinheit 4 angezeigt. Ebenso vorzugsweise weist das Bild 16 ein erstes Bildüberlagerungselement 17 und ein zweites Bildüberlagerungselement 18 auf. Durch das erste Bildüberlagerungselement 17 kann beispielsweise ein Elevationswinkel beziehungsweise ein Neigungswinkel der virtuellen Kamera 14 senkrecht bezüglich einer Fahrbahnoberfläche des Umgebungsbereichs 13 beschrieben werden. Zudem kann durch das zweite Bildüberlagerungselement 18 ein Azimutwinkel der virtuellen Kamera 14 in bezüglich einer Ausrichtung der Längsachse des Kraftfahrzeugs 1 beschrieben werden.
4 zeigt ein Kameramodell 19 der virtuellen Kamera 14. Das Kameramodell 19 ist aus Gründen der anschaulicheren Beschreibung vereinfacht als Lochkameramodell dargestellt. Zusätzlich zeigt 4 ein bekanntes Kameramodell 20 einer bekannten Kamera beziehungsweise einer bekannten virtuellen Kamera. Sowohl das Kameramodell 19 der virtuellen Kamera 14, als auch das bekannte Kameramodell 20 der bekannten virtuellen Kamera, weisen ein Projektionszentrum P auf. Die virtuelle Kamera 14 weist in dem Kameramodell 19 einen virtuellen Bildsensor 21 mit einer Bildsensorebene 22 auf. Die Bildsensorebene 22 des virtuellen Bildsensors 21 wird mit einer vorbestimmten Krümmung 23 vorgegeben. Bei dem bekannten Kameramodell 20 der bekannten virtuellen Kamera wird eine bekannte Bildsensorebene 24 eines bekannten virtuellen Bildsensors 25 gerade beziehungsweise nicht gekrümmt vorgegeben.
Das Bild 16, welches mit der Bildsensorebene 22 und der vorbestimmten Krümmung 23 bestimmt wird, erstreckt sich gemäß 4 von A2 nach B2. Durch das Bild 16, welches sich von A2 nach B2 erstreckt, wird in dem Umgebungsbereich 13 ein Bereich dargestellt, welcher sich von M2 nach N2 erstreckt. Von M2 nach N2 liegt eine erste Entfernung d2. Ein bekanntes Bild, welches mit dem bekannten Kameramodell 20 bestimmt wird, erstreckt sich von A1 nach B1 und stellt einen Bereich des Umgebungsbereichs 13 dar, welcher sich von M1 nach N1 erstreckt. Von M1 nach N1 erstreckt sich eine zweite Entfernung d1. Die erste Entfernung d2 ist kleiner als die zweite Entfernung d1. Wenn nun also der Abstand von A1 nach B1 gleich groß wie der Abstand von A2 nach B2 ist, so wird durch das Bild 16 abhängig von der vorbestimmten Krümmung 23 eine höhere geometrische Auflösung des Umgebungsbereichs 13 bereitgestellt, als dies durch ein bekanntes Bild der bekannten virtuellen Kamera nach dem bekannten Kameramodell 20 bestimmt wird. Mit anderen Worten: Die Abtastung des Bereichs von M1 nach N1 erfolgt also in größeren Schritten, als dies von M2 nach N2 erfolgt. Insbesondere weisen das bekannte Bild und das Bild 16 gemäß 4 im Wesentlichen eine gleiche Anzahl von Bildpunkten auf. Somit kann durch die virtuelle Kamera 14 eine dichtere Abtastung des Umgebungsbereichs 13 als bei der bekannten virtuellen Kamera erfolgen. Bei der virtuellen Kamera 14 stehen für einen kleineren Bereich des Umgebungsbereichs 13, nämlich von M2 bis N2 genauso viele Bildpunkte zur Verfügung, wie dies bei der bekannten Kamera für einen größeren Bereich des Umgebungsbereichs 13, nämlich von M1 nach N1, der Fall ist.
Durch Anpassen der Krümmung kann die geometrische Auflösung des Bilds 16 auch für verschiedene Bereiche des Bilds 16 unterschiedlich bestimmt werden. So kann beispielsweise ein Randbereich 26 des Bilds 16 mit einer höheren geometrischen Auflösung bestimmt werden als dies für einen Zentralbereich 27 des Bilds 16 der Fall ist. Die geometrische Auflösung des Bilds 16 kann jedoch vielfältig für verschiedene Bereiche des Bilds 16 bestimmt werden.
5 zeigt die Bildsensorebene 22 und die bekannte Bildsensorebene 24. Die Bildsensorebene 22 des virtuellen Bildsensors 21 weist die zumindest eine vorbestimmte Krümmung 23 auf. Gemäß dem Ausführungsbeispiel ist die Bildsensorebene 22 mehrfach gekrümmt. Die Bildsensorebene 22 weist also mehrere Krümmungen auf. Die bekannte Bildsensorebene 24 des bekannten virtuellen Bildsensors 25 hingegen ist plan beziehungsweise eben ausgebildet.
Die vorbestimmte Krümmung 23 der Bildsensorebene 22 lässt sich mathematisch wie folgt beschreiben: Bildsensorebene 22 = bx² + by² + cx + dy, wobei a, b, c, d veränderbare Parameter beziehungsweise Variablen zum Anpassen der vorbestimmten Krümmung 23 sind. Die Werte der veränderbaren Parameter bewegen sich vorzugsweise zwischen –0,5 und 0,5. Zum Anpassen der veränderbaren Parameter a, b, c, d kann beispielsweise ein Sichtfeld, eine Bildpunktdichte, ein Hauptfokusbereich und/oder eine Verzerrung des Bilds 16 verwendet werden. Weiterhin können die veränderbaren Parameter a, b, c, d auch durch eine Beobachtung und visuelle Qualitätsbestimmung ermittelt werden. Zudem werden durch x und y kartesische Koordinaten in dem Koordinatensystem der virtuellen Kamera beschrieben.
Weiterhin kann die vorbestimmte Krümmung 23 der Bildsensorebene 22 auch beispielsweise mit folgender mathematischer Beschreibung vorgegeben werden: Bildsensorebene 22 = ax⁴ + by⁴ + cx + dy.
Durch die Gleichung wird die Fläche der Bildsensorebene 22 im dreidimensionalen Raum beschrieben. Die vorbestimmte Krümmung 23 kann also, wie gezeigt, beispielsweise anhand eines Polynoms vierten Grades vorgegeben werden.
6 zeigt ein bekanntes Bild 28, welches nach dem bekannten Kameramodell 20 und der bekannten Bildsensorebene 24 des bekannten virtuellen Bildsensors 25 bestimmt wird.
7 zeigt das Bild 16, welches mittels der virtuellen Kamera 14 und der Bildsensorebene 22 mit der vorbestimmten Krümmung 23 bestimmt wird. Die veränderbaren Parameter a, b, c, d zur Bestimmung der vorbestimmten Krümmung 23 der Bildsensorebene 22 betragen somit in dem Fall von dem Bild 16 gemäß 7 nicht alle Null. Würden die ausgewählten veränderbaren Parameter a, b den Wert Null betragen, so wäre keine Krümmung vorhanden und es läge die bekannte Bildsensorebene 24 vor.
8 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Transformieren des Bilds 16. In einem Schritt S1 werden Parameter der Transformation initial bestimmt. In einem Schritt S2 werden Parameter des Bilds 16 an die veränderbaren Parameter a, b, c, d angepasst, um die vorbestimmte Krümmung 23 der Bildsensorebene 22 vorzugeben. Zudem wird in einem Schritt S3 ein Anpassen des Bilds 16 beziehungsweise der virtuellen Kamera 14 bezüglich der virtuellen Kameraposition 15 durchgeführt. So wird in dem Schritt S3 beispielsweise ein Verschieben und/oder ein Rotieren und/oder ein Verzerren des Bilds 16 und/oder ein Hereinzoomen und/oder ein Herauszoomen in den Umgebungsbereich 13 beziehungsweise aus dem Umgebungsbereich 13 durchgeführt. Weiterhin wird das Bild 16 in einem Schritt S7 qualitativ angepasst. In einem Schritt S4 wird das Bild 16 abhängig von den in dem Schritt S2, dem Schritt S3 und dem Schritt S7 bestimmten Parametern bereitgestellt. Zudem wird in dem Schritt S4 eine Qualität des Bilds 16 bewertet. Die Bewertung der Qualität des Bilds 16 kann beispielsweise automatisiert und/oder visuell erfolgen. In einem Schritt S5 wird entschieden, ob die Qualität des Bilds 16 akzeptiert wird. Wird die Qualität des Bilds 16 akzeptiert, so wird das Bild 16 in einem Schritt S6 auf der Anzeigeeinheit 4 ausgegeben. Wird die Qualität des Bilds 16 in dem Schritt S5 nicht akzeptiert, so folgen die Schritte S2 und S3 und die jeweiligen Parameter aus den Schritten S2 und S3 werden abhängig von dem Ergebnis aus dem Schritt S4 angepasst.
9 zeigt das bekannte Bild 28. Bei dem bekannten Bild 28 gemäß 9 betragen die veränderbaren Parameter beziehungsweise die Variablen a und b gleich Null, während c und d unveränderlich festgelegt sind.
10 zeigt das Bild 16. Bei dem Bild 16 gemäß 10 betragen die veränderbaren Parameter a und b gleich –0,08, während die veränderbaren Parameter c und d wie bereits in 9 unveränderlich festgelegt sind. Das Bild 16 gemäß 10 weist ebenso den Randbereich 26 und den Zentralbereich 27 auf. Der Zentralbereich 27 ist in der Mitte des Bilds 16 angeordnet, während der Randbereich 26 außerhalb der Mitte des Bilds 16 angeordnet ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102013013364 A1 [0003]
US 2011/0032357 A1 [0004]

Claims

Verfahren zum Transformieren eines Bilds (16), bei welchem ein Umgebungsbereich (13) eines Kraftfahrzeugs (1) zumindest teilweise durch das Bild (16) aus der Perspektive einer virtuell in dem Umgebungsbereich (13) angeordneten virtuellen Kamera (14) dargestellt wird, und das Bild (16) durch die Transformation aus einer Mehrzahl von Realbildern, welche mittels einer Mehrzahl von realen Kameras (5, 6, 7, 8) des Kraftfahrzeugs (1) bereitgestellt wird, bestimmt wird, dadurch gekennzeichnet, dass die Transformation bezüglich eines virtuellen Bildsensors (21) der virtuellen Kamera (14) durchgeführt wird, wobei für den virtuellen Bildsensor (21) eine Bildsensorebene (22) mit zumindest einer vorbestimmten Krümmung (23) vorgegeben wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die vorbestimmte Krümmung (23) der Bildsensorebene (22) mit einer Transformationsfunktion, durch welche die Transformation beschrieben wird, vorgegeben wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Transformationsfunktion abhängig von äußeren Abmessungen des Kraftfahrzeugs (1) und/oder Abmessungen des in dem Bild (16) teilweise dargestellten Umgebungsbereichs (13) und/oder einer Form des in dem Bild (16) teilweise dargestellten Umgebungsbereichs (16) und/oder einer Verzerrung des Bilds (16) und/oder in dem Bild (16) dargestellten Objekten des Umgebungsbereichs vorgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch die vorbestimmte Krümmung (23) der Bildsensorebene (22) eine geometrische Auflösung des Bilds (16) bestimmt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die geometrische Auflösung des Bilds (16) durch die Transformation abhängig von der Bildsensorebene (22) mit der vorbestimmten Krümmung (23) in einem Randbereich (26) des Bilds (16) zumindest so hoch wie in einem Zentralbereich (27) des Bilds (16) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bild (16) durch die Transformation in einem Koordinatensystem der virtuellen Kamera (14) verschoben und/oder rotiert und/oder verzerrt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch die Transformation abhängig von der Bildsensorebene (22) mit der vorbestimmten Krümmung (23) ein Bereich aus dem Bild (16) ausgewählt wird und/oder das Bild (16) anhand einer Information aus den Realbildern erweitert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein das Kraftfahrzeug (1) darstellender Bereich des Bilds (16) von der Transformation abhängig von der Bildsensorebene (22) mit der vorbestimmten Krümmung (23) ausgeschlossen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Umgebungsbereich (13) in dem Bild (16) durch die Transformation in einer schüsselartigen Darstellung bereitgestellt wird.
Computerprogrammprodukt, zum Ausführen eines Verfahrens nach einem der vorhergehenden Ansprüche, wenn das Computerprogrammprodukt auf einer programmierbaren Computereinrichtung ausgeführt wird.
Anzeigesystem (2) mit einer Auswerteeinheit (3), einer Anzeigeeinheit (4) und zumindest einer realen Kamera (5, 6, 7, 8), welches dazu ausgelegt ist ein Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.
Kraftfahrzeug (1) mit einem Anzeigesystem (2) nach Anspruch 11.