DE102021212445A1

DE102021212445A1 - Verfahren und System zum Festlegen der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems

Info

Publication number: DE102021212445A1
Application number: DE102021212445.3A
Authority: DE
Inventors: Markus Eich; Ulrich Schaub; Wolfgang Fey
Original assignee: Continental Autonomous Mobility Germany GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2021-11-04
Filing date: 2021-11-04
Publication date: 2023-05-04
Also published as: CN118176523A; WO2023078514A1

Abstract

Die Erfindung betrifft ein Verfahren zur Festlegung einer virtuellen Kameraposition und Kameraausrichtung, um basierend auf dieser virtuellen Kameraposition und Kameraausrichtung die Umgebung eines Fahrzeugs (1) auf einer Anzeigeeinheit (2) des Fahrzeugs (1) darstellen zu können.

Description

Die Erfindung betrifft das Gebiet der Umfeldbeobachtungssysteme von Fahrzeugen. Insbesondere betrifft die Erfindung ein Verfahren und ein System zur Festlegung der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems.
Umfeldbeobachtungssysteme bei Fahrzeugen sind grundsätzlich bekannt. Insbesondere sind Umfeldbeobachtungssysteme bekannt, die einen dreidimensionalen, perspektivischen 360°-Rundumblick um das Fahrzeug ermöglichen, sog. 3D-Surroundview-Systeme. Bei derartigen Systemen werden die Bildinformationen mehrerer Kameras zu einer Rundumblickdarstellung verknüpft und auf eine dreidimensionale Oberfläche gemappt, um eine räumlich perspektivische Darstellung zu erhalten. Die räumlich perspektivische Darstellung der Umgebung des Fahrzeugs kann bei den bekannten Systemen aus unterschiedlichen Perspektiven erfolgen. So können die Position und Ausrichtung einer virtuellen Kamera, d.h. die Position und Blickrichtung, aus der ein virtueller Betrachter die Szene sieht, geändert werden, so dass unterschiedliche Bereiche der Umgebung des Fahrzeugs betrachtet werden können. Insbesondere können die Position und Ausrichtung der virtuellen Kamera beispielsweise derart gewählt werden, dass sowohl ein Umgebungsbereich als auch das Fahrzeug in diesem Umgebungsbereich erkennbar sind.
In bisherigen Umfeldbeobachtungssystemen müssen die Position und Ausrichtung der virtuellen Kamera durch den Nutzer situationsabhängig jeweils geeignet gewählt werden, um einen relevanten Bereich auf einer Anzeigeeinheit des Fahrzeugs darstellen zu können. Dadurch wird der Fahrzeugnutzer von der Steuerung des Fahrzeugs abgelenkt, was als nachteilig empfunden wird und zu Unfällen führen kann.
Ausgehend hiervon ist es Aufgabe der Erfindung, ein Verfahren anzugeben, das eine selbststätige Festlegung der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems ermöglicht.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche. Ein System zur Festlegung der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems ist Gegenstand des nebengeordneten Patentanspruchs 9.
Gemäß einem ersten Aspekt wird ein Verfahren zur Festlegung der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems offenbart. Basierend auf dieser virtuellen Kameraposition und Kameraausrichtung werden die Umgebungsinformationen eines Fahrzeugs auf einer Anzeigeeinheit des Fahrzeugs bildlich dargestellt. In anderen Worten wird durch die Festlegung der Position und Ausrichtung einer virtuellen Kamera die Perspektive definiert, aus der die Umgebungsinformationen betrachtet werden. Das Verfahren umfasst dabei die folgenden Schritte:

Zunächst wird die Fahrzeugumgebung mittels mehrerer Kameras des Fahrzeugs erfasst und es werden aktuelle Fahrzeugumgebungsinformationen basierend auf den Informationen der Kameras erzeugt. Insbesondere werden die von den Kameras bereitgestellten Bildinformationen derart miteinander verknüpft, dass diese eine 360°-Rundumdarstellung der aktuellen Fahrzeugumgebung ermöglichen.

Zudem wird eine Speichereinheit bereitgestellt, in der mehrere Datensätze gespeichert sind. Die Datensätze umfassen jeweils abgespeicherte Fahrzeugumgebungsinformationen, die mittels mehrerer Kameras des Fahrzeugs erfasst wurden. Zudem umfassen die Datensätze jeweils Informationen zu virtueller Kameraposition und Kameraausrichtung, so dass über den jeweiligen Datensatz eine Zuordnung von abgespeicherten Fahrzeugumgebungsinformationen zu virtueller Kameraposition und Kameraausrichtung erfolgt. Die Datensätze werden vorzugsweise durch den Fahrer in Fahrsituationen erzeugt, indem eine gewählte virtuelle Kameraposition und Kameraausrichtung zusammen mit den Fahrzeugumgebungsinformationen abgespeichert werden.
Anschließend werden die aktuell erfassten Fahrzeugumgebungsinformationen mit den in der Speichereinheit abgespeicherten Fahrzeugumgebungsinformationen zumindest eines Datensatzes verglichen.
Daraufhin wird zumindest ein Ähnlichkeitsparameter zu zumindest einem Datensatz ermittelt. Der Ähnlichkeitsparameter gibt jeweils den Grad der Ähnlichkeit der aktuell erfassten Fahrzeugumgebungsinformationen zu den abgespeicherten Fahrzeugumgebungsinformationen des jeweiligen Datensatzes an.
Zuletzt wird der Ähnlichkeitsparameter mit einem Schwellwert verglichen. Falls der Ähnlichkeitsparameter größer ist als ein vorgegebener Schwellwert, werden Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes, der die abgespeicherten Fahrzeugumgebungsinformationen enthält, ausgelesen. Zudem wird die virtuelle Kameraposition und die Kameraausrichtung basierend auf den ausgelesenen Informationen zu virtueller Kameraposition und Kameraausrichtung festgelegt, d.h. die Darstellung der Umgebungsinformationen erfolgt aus einer Perspektive, die durch die ausgelesenen Informationen zu virtueller Kameraposition und Kameraausrichtung festgelegt wird.
Das Verfahren hat den technischen Vorteil, dass das Umfeldbeobachtungssystem selbsttätig eine virtuelle Kameraposition und virtuelle Kameraausrichtung für Fahrzeugumgebungen wählen kann, an denen bereits in der Vergangenheit eine virtuelle Kameraposition und virtuelle Kameraausrichtung festgelegt wurde und basierend auf der virtuellen Kameraposition und virtuellen Kameraausrichtung die Darstellung der Fahrzeugumgebung auf der Anzeigeeinheit des Fahrzeugs erfolgt. Dadurch ist keine Fahrerinteraktion mit dem Umfeldbeobachtungssystem nötig, sofern der Fahrer die in der Vergangenheit getroffene virtuelle Kameraposition und virtuelle Kameraausrichtung erneut verwenden möchte. Dadurch kann sich der Fahrer besser auf das Fahrmanöver konzentrieren und wird nicht durch die Interaktion mit dem Umfeldbeobachtungssystem abgelenkt, was die Nutzerfreundlichkeit des Fahrerassistenzsystems erhöht.
Gemäß einem Ausführungsbeispiel umfasst das Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen ein Bestimmen von Bildähnlichkeiten und einen Abgleich von Bildmerkmalen zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen. Dadurch kann durch Bildverarbeitung ermittelt werden, ob sich das Fahrzeug an einer Position befindet, für die bereits Informationen zu virtueller Kameraposition und virtueller Kameraausrichtung hinterlegt sind.
Gemäß einem Ausführungsbeispiel werden mehrere Ähnlichkeitsparameter zu mehreren unterschiedlichen Datensätzen ermittelt. Es wird der maximale Ähnlichkeitsparameter bestimmt, der die größte Übereinstimmung zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen indiziert. Zum Schwellwertvergleich wird dann der maximale Ähnlichkeitsparameter verwendet. Zur Festlegung der virtuellen Kameraposition und virtuellen Kameraausrichtung werden die Informationen zu virtueller Kameraposition und Kameraausrichtung desjenigen Datensatzes ausgelesen, der die abgespeicherten Fahrzeugumgebungsinformationen enthält, die zu dem maximalen Ähnlichkeitsparameter geführt haben. Dadurch können die Fahrzeugumgebungsinformationen mehrerer Datensätze untersucht werden und derjenige Datensatz zur Festlegung der virtuellen Kameraposition und virtuellen Kameraausrichtung verwendet werden, dessen abgespeicherte Fahrzeugumgebungsinformationen die größte Übereinstimmung bzw. Ähnlichkeit mit den aktuellen Fahrzeugumgebungsinformationen aufweisen.
Gemäß einem Ausführungsbeispiel weisen die Datensätze jeweils positionsbezogene Umgebungsinformationen auf. Durch den Vergleich der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen, die Ermittlung des zumindest einen Ähnlichkeitsparameters und den Vergleich des Ähnlichkeitsparameters mit dem Schwellwert festgestellt wird, ob sich das Fahrzeug an einer Fahrzeugposition befindet, zu der eine virtuelle Kameraposition und eine virtuelle Kameraausrichtung bereits festgelegt wurde. Es wird damit durch die kamerabasierte Umgebungserfassung und den Vergleich mit bekannten Umgebungsinformationen festgestellt, ob eine Übereinstimmung mit einer bekannten Fahrzeugumgebung gegeben ist, für die in der Vergangenheit bereits eine Betrachtungsperspektive festgelegt wurde.
Gemäß einem Ausführungsbeispiel weist das Fahrzeug ein sensorbasiertes Positionsbestimmungssystem, beispielsweise ein GPSbasiertes Positionsbestimmungssystem auf. Die Datensätze weisen jeweils Positionsdaten auf, die vom Positionsbestimmungssystem in der Vergangenheit bereitgestellt wurden. Die Positionsdaten geben die geographische Position an, an der die jeweiligen abgespeicherten Fahrzeugumgebungsinformationen erfasst wurden. Die Positionsdaten sind beispielsweise geographische Koordinaten eines globalen Koordinatensystems. Damit ist es über die aktuelle Positionsinformation des Positionsbestimmungssystems und den Vergleich der aktuellen Positionsinformation mit den Positionsdaten der Datensätze möglich, die Relevanz der jeweiligen Datensätze einzuschätzen, ohne einen Vergleich der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen vornehmen zu müssen.
Gemäß einem Ausführungsbeispiel werden Positionsinformationen mittels des sensorbasierten Positionsbestimmungssystems bestimmt. Diese Positionsinformationen werden mit den in den Datensätzen abgespeicherten Positionsdaten verglichen. Durch den Vergleich der Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten erfolgt eine Einschränkung der Datensätze, und zwar dahingehend, für welche Datensätze bzw. in den jeweiligen Datensätzen enthaltenen abgespeicherten Fahrzeugumgebungsinformationen jeweils eine Bestimmung eines Ähnlichkeitsparameters zu erfolgen hat. Ein sensorbasiertes Positionsbestimmungssystem hat eine Ungenauigkeit bzw. Unschärfe in der Positionsbestimmung, die keine exakte Positionsbestimmung ermöglicht. Die Ungenauigkeit bzw. Unschärfe liegt typischerweise im Bereich einiger Meter. Durch das sensorbasierte Positionsbestimmungssystem lässt sich damit keine exakte Positionsbestimmung des Fahrzeugs erreichen, aber es ist möglich, die visuelle Positionsbestimmung, die auf den abgespeicherten Datensätzen basiert, durch das sensorbasierte Positionsbestimmungssystem zu unterstützen, und zwar dahingehend, dass der Vergleich der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen auf die relevanten Datensätze reduziert werden kann, die im Bereich der aktuellen Fahrzeugposition aufgenommen wurden. Dadurch kann der Rechenaufwand für den Vergleich entscheidend reduziert werden.
Gemäß einem Ausführungsbeispiel erzeugt eine Recheneinheit des Fahrzeugs aus den von den Kameras bereitgestellten Informationen basierend auf der virtuellen Kameraposition und der Kameraausrichtung dreidimensionale Umgebungsinformationen, die auf der Anzeigeeinheit des Fahrzeugs als räumlich perspektivische Umgebungsinformationen dargestellt werden. Die virtuelle Kameraposition und die Kameraausrichtung gibt dabei die Perspektive, aus der die Umgebungsinformationen betrachtet werden, und den Sektor der auf der Anzeigeeinheit dargestellten Umgebungsinformationen vor. Dadurch können durch das Umfelderfassungssystem die Umgebungsinformationen natürlich und nutzerfreundlich dargestellt werden.
Gemäß einem Ausführungsbeispiel enthalten die räumlich perspektivischen Umgebungsinformationen eine perspektivische Ansicht des Fahrzeugs selbst. Beispielsweise kann der Umgebungsbereich über das Fahrzeug selbst hinweg perspektivisch dargestellt werden, d.h. es ist in den perspektivischen Umgebungsinformationen nicht nur die Umgebung des Fahrzeugs selbst, sondern auch die Lage bzw. Einbettung des Fahrzeugs in die Umgebung erkennbar. Dadurch wird eine bessere Fahrerunterstützung durch das Umfelderfassungssystem ermöglicht, da der Fahrer besser erkennen kann, wie das Fahrzeug relativ zur Umgebung positioniert ist.
Gemäß einem weiteren Aspekt betrifft die Erfindung ein System zur Festlegung der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems. Das System umfasst mehrere um ein Fahrzeug herum verteilt angeordnete Kameras, eine Recheneinheit zur Verarbeitung der Informationen, die von den Kameras bereitgestellt werden, eine Speichereinheit und eine Anzeigeeinheit, die zur Darstellung von Umgebungsinformationen des Fahrzeugs ausgebildet ist. Die Recheneinheit ist dazu konfiguriert, die folgenden Schritte zu vollziehen:

- Erfassen der Fahrzeugumgebung mittels mehrerer Kameras des Fahrzeugs und Erzeugen von aktuellen Fahrzeugumgebungsinformationen basierend auf Informationen der Kameras;
- Abspeichern mehrerer Datensätze in der Speichereinheit, wobei die Datensätze jeweils abgespeicherte Fahrzeugumgebungsinformationen, die mittels mehrerer Kameras des Fahrzeugs erfasst wurden, und diesen abgespeicherten Fahrzeugumgebungsinformationen zugeordnete Informationen zu virtueller Kameraposition und Kameraausrichtung umfassen;
- Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen zumindest eines Datensatzes;
- Ermitteln zumindest eines Ähnlichkeitsparameters zu zumindest einem Datensatz, wobei der Ähnlichkeitsparameter jeweils den Grad der Ähnlichkeit der aktuellen Fahrzeugumgebungsinformationen zu den abgespeicherten Fahrzeugumgebungsinformationen des jeweiligen Datensatzes angibt;
- falls der Ähnlichkeitsparameter größer ist als ein vorgegebener Schwellwert, Auslesen der Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes, der die abgespeicherten Fahrzeugumgebungsinformationen enthält und Festlegen der virtuellen Kameraposition und der Kameraausrichtung basierend auf den ausgelesenen Informationen zu virtueller Kameraposition und Kameraausrichtung.

Gemäß einem Ausführungsbeispiel des Systems ist die Recheneinheit dazu ausgebildet, zum Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen Bildähnlichkeiten zu bestimmen und Bildmerkmale zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen abzugleichen. Dadurch kann durch Bildverarbeitung ermittelt werden, ob sich das Fahrzeug an einer Position befindet, für die bereits Informationen zu virtueller Kameraposition und virtueller Kameraausrichtung hinterlegt sind.
Gemäß einem Ausführungsbeispiel des Systems ist die Recheneinheit dazu ausgebildet, mehrere Ähnlichkeitsparameter zu mehreren unterschiedlichen Datensätzen zu ermitteln, den maximalen Ähnlichkeitsparameter zu bestimmen, der die größte Übereinstimmung zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen indiziert, zum Schwellwertvergleich den maximalen Ähnlichkeitsparameter zu verwenden und die Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes auszulesen, der die abgespeicherten Fahrzeugumgebungsinformationen, die zum maximalen Ähnlichkeitsparameter geführt haben, enthält. Dadurch können die Fahrzeugumgebungsinformationen mehrerer Datensätze untersucht werden und derjenige Datensatz zur Festlegung der virtuellen Kameraposition und virtuellen Kameraausrichtung verwendet werden, dessen abgespeicherte Fahrzeugumgebungsinformationen die größte Übereinstimmung bzw. Ähnlichkeit mit den aktuellen Fahrzeugumgebungsinformationen aufweisen.
Gemäß einem Ausführungsbeispiel des Systems weist das Fahrzeug ein sensorbasiertes Positionsbestimmungssystem auf. Die Recheneinheit ist dazu konfiguriert, in den Datensätzen jeweils vom Positionsbestimmungssystem bereitgestellte Positionsdaten zu speichern, die die geographische Position angeben, an der die jeweiligen abgespeicherten Fahrzeugumgebungsinformationen erfasst wurden. Die Positionsdaten geben die geographische Position an, an der die jeweiligen abgespeicherten Fahrzeugumgebungsinformationen erfasst wurden. Die Positionsdaten sind beispielsweise geographische Koordinaten eines globalen Koordinatensystems. Damit ist es über die aktuelle Positionsinformation des Positionsbestimmungssystems möglich, die Relevanz von Datensätzen einzuschätzen, ohne einen Vergleich der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen vornehmen zu müssen.
Gemäß einem Ausführungsbeispiel des Systems ist das sensorbasierte Positionsbestimmungssystem zur Bestimmung von geographischen Positionsinformationen ausgebildet. Die Recheneinheit ist dazu konfiguriert, die geographischen Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten zu vergleichen und durch den Vergleich der Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten die Datensätze einzuschränken, für die jeweils eine Bestimmung eines Ähnlichkeitsparameters erfolgt. Dadurch kann der Rechenaufwand für den Vergleich der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen entscheidend reduziert werden.
Gemäß einem Ausführungsbeispiel des Systems ist die Recheneinheit dazu konfiguriert, aus den von den Kameras bereitgestellten Informationen basierend auf der virtuellen Kameraposition und der Kameraausrichtung dreidimensionale Umgebungsinformationen zu erzeugen, die auf der Anzeigeeinheit des Fahrzeugs als räumlich perspektivische Umgebungsinformationen dargestellt werden. Dadurch können die Umgebungsinformationen durch das Umfelderfassungssystem natürlich und nutzerfreundlich dargestellt werden
Gemäß einem Ausführungsbeispiel des Systems ist die Recheneinheit dazu konfiguriert, in den räumlich perspektivischen Umgebungsinformationen eine perspektivische Ansicht des Fahrzeugs selbst darzustellen. Dadurch wird eine bessere Fahrerunterstützung durch das Umfelderfassungssystem ermöglicht, da der Fahrer besser erkennen kann, wie das Fahrzeug relativ zur Umgebung positioniert ist.
Die Ausdrücke „näherungsweise“, „im Wesentlichen“ oder „etwa“ bedeuten im Sinne der Erfindung Abweichungen vom jeweils exakten Wert um +/- 10%, bevorzugt um +/- 5% und/oder Abweichungen in Form von für die Funktion unbedeutenden Änderungen.
Weiterbildungen, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich auch aus der nachfolgenden Beschreibung von Ausführungsbeispielen und aus den Figuren. Dabei sind alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination grundsätzlich Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung. Auch wird der Inhalt der Ansprüche zu einem Bestandteil der Beschreibung gemacht.
Die Erfindung wird im Folgenden anhand der Figuren an Ausführungsbeispielen näher erläutert. Es zeigen:

1 beispielhaft eine schematische Draufsichtdarstellung eines Fahrzeugs, das ein System zur Darstellung von Umgebungsinformationen auf einer Anzeigeeinheit aufweist;
2 beispielhaft die Darstellung einer Halbkugel als 3D-bowl, auf die Umgebungsinformationen im Umgebungsbereich des Fahrzeugs gemappt werden, um die Umgebungsinformationen perspektivisch darstellen zu können;
3 beispielhaft ein schematisches Blockdiagramm eines Systems zur Festlegung der Position und Ausrichtung einer virtuellen Kamera zur perspektivischen Darstellung von Umgebungsinformationen im Umgebungsbereich des Fahrzeugs; und
4 ein Ablaufdiagramm, das die Schritte des Verfahrens zur Festlegung der Position und Ausrichtung einer virtuellen Kamera zur perspektivischen Darstellung von Umgebungsinformationen des Fahrzeugs verdeutlicht.

1 zeigt beispielhaft und schematisch ein Fahrzeug 1, das ein System zur dreidimensionalen Darstellung des Umgebungsbereichs des Fahrzeugs 1 auf einer Anzeigeeinheit 2, nachfolgend auch als 3D-Surroundview-System bezeichnet, aufweist. Die Anzeigeeinheit 2 ist insbesondere im Fahrzeuginnenraum vorgesehen und dient zur Unterstützung des Fahrers bei Fahrmanövern, beispielsweise beim Rückwärtsfahren oder Einparken in einer Parklücke.
Das Fahrzeug 1 weist mehrere Kameras 3 auf, die außenseitig am Fahrzeug 1 und umfangsseitig verteilt um das Fahrzeug 1 herum vorgesehen sind. Beispielsweise kann das Fahrzeug 1 eine Front-, eine Heck- und an jeder Seite zumindest eine Seitenkamera aufweisen. Die Kameras 3 sind vorzugsweise derart angeordnet und konfiguriert, dass durch das Zusammensetzen der von den jeweiligen Kameras 3 bereitgestellten Bilder eine 360°-Darstellung des Umgebungsbereichs des Fahrzeugs 1 möglich wird.
Das Fahrzeug 1 ist vorzugsweise dazu ausgebildet, aus den von den zumindest zwei Kameras 3 bereitgestellten Bildinformationen dreidimensionale Umgebungsinformationen zu erzeugen, die auf der Anzeigeeinheit 2 als räumlich perspektivische Umgebungsinformationen dargestellt werden.
2 zeigt beispielhaft eine perspektivische Darstellung des dreidimensionalen Raums im Umgebungsbereich des Fahrzeugs 1. Eine solche Darstellung wird beispielsweise als 3D-bowl bezeichnet. Aus den von den Kameras 3 bereitgestellten Bildinformationen können durch die fahrzeugseitig vorgesehene Recheneinheit 5 räumlich perspektivische Umgebungsinformationen berechnet werden. Bei diesen räumlich perspektivischen Umgebungsinformationen ist vorzugsweise das Fahrzeug 1 selbst bzw. dessen Kontur erkennbar. Diese Art der perspektivischen Rund-um-Sicht-Darstellung ermöglicht, im Gegensatz zu einer Draufsicht-Darstellung (Vogelperspektive), die perspektivische Betrachtung des Umgebungsbereichs des Fahrzeugs 1 von einem bestimmten Bezugspunkt bzw. Betrachtungspunkt aus, der im Folgenden als Kameraposition bezeichnet wird. Dabei kann die Kameraposition variiert werden, d.h. es kann die virtuelle Position, von der aus das Fahrzeug 1 und dessen Umgebung betrachtet werden, geändert werden (virtuelle Bewegung in der 3D-bowl). Dadurch wird eine realistischere Darstellung des Umgebungsbereichs des Fahrzeugs 1 erreicht.
Zudem kann von einer festgelegten Kameraposition aus die Kameraausrichtung verändert werden, d.h. der Winkel, mit dem das Fahrzeug 1 bzw. die Umgebung des Fahrzeugs 1 von der Kameraposition aus betrachtet wird.
Das Fahrzeug 1 ist dazu ausgebildet, die Kameraposition und die Kameraausrichtung automatisch festzulegen, und zwar dadurch, dass das Fahrzeug 1 ein visuelles Umgebungserkennungssystem aufweist, das dazu konfiguriert ist, festzustellen, ob das Fahrzeug 1 sich aktuell an einer Position befindet, zu der bereits eine Kameraposition und eine Kameraausrichtung von dem Fahrzeugnutzer festgelegt wurden. Das visuelle Umgebungserkennungssystem nutzt dabei die von den Kameras 3 bereitgestellten Bildinformationen, generiert daraus aktuelle Fahrzeugumgebungsinformationen und vergleicht diese mit abgespeicherten Fahrzeugumgebungsinformationen, an denen der Fahrzeugnutzer bereits eine Kameraposition und eine Kameraausrichtung festgelegt hat.
Wie in 1 schematisch angedeutet, umfasst das Fahrzeug eine Recheneinheit 5, mittels der die automatische Festlegung der Kameraposition und der Kameraausrichtung erfolgt. 3 zeigt in einem beispielhaften schematischen Blockdiagramm den Aufbau des Systems zur automatischen Festlegung der Kameraposition und der Kameraausrichtung. Eine Recheneinheit des Fahrzeugs 5 implementiert beispielsweise ein visuelles Umgebungserkennungssystem 7 und ein 3D-Surroundview-System 8. Das Umgebungserkennungssystem 7 ist mit den Kameras 3 des Fahrzeugs 1 gekoppelt und empfängt von diesen Bildinformationen. Die Bildinformationen der einzelnen Kameras 3 werden anschließend zusammengeführt und zu aktuellen Fahrzeugumgebungsinformationen weiterverarbeitet. Beispielsweise können die Bildinformationen der einzelnen Kameras 3 derart miteinander verknüpft werden, dass sich diese zu einer 360°-Rundumsicht ergänzen.
Das Umgebungserkennungssystem 7 ist mit einer Speichereinheit 4 gekoppelt. Die Speichereinheit 4 ist dazu ausgebildet, einen oder vorzugsweise mehrere Datensätze zu speichern. Ein Datensatz umfasst dabei Fahrzeugumgebungsinformationen, die zu einem vergangenen Zeitpunkt basierend auf den Bildinformationen der Kameras 3 ermittelt wurden. Die Fahrzeugumgebungsinformationen können dabei insbesondere auch von dem Umgebungserkennungssystem 7 durch Zusammensetzen von Bildinformationen mehrerer Kameras 3 erhalten worden sein. Zudem weisen die Datensätze jeweils Informationen zur virtuellen Kameraposition und zur virtuellen Kameraausrichtung auf, die von einem Fahrzeugnutzer in der aktuellen Fahrzeugumgebung bereits verwendet wurden. In anderen Worten dient damit die Speichereinheit 4 der Abspeicherung von nutzerbezogenen virtuellen Kamerapositions- und virtuellen Kameraausrichtungsinformationen an bestimmten Orten, die beispielsweise von dem Fahrzeugnutzer mehrmals aufgesucht werden.
Das Umgebungserkennungssystem 7 ist dazu konfiguriert, durch einen Vergleich der aktuell erfassten Fahrzeugumgebungsinformationen mit abgespeicherten Fahrzeugumgebungsinformationen, die in den Datensätzen in der Speichereinheit 4 des Fahrzeugs 1 gespeichert sind, zu erkennen, ob sich das Fahrzeug 1 an einer Position befindet, zu der bereits eine virtuelle Kameraposition und eine Kameraausrichtung durch den Fahrzeugnutzer festgelegt wurde.
Mehr im Detail werden die aktuell erfassten Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen verglichen, indem Bildähnlichkeiten und/oder Merkmalsübereinstimmungen bestimmt werden. Basierend auf dem Vergleich der erfassten Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen wird ein Ähnlichkeitsparameter bestimmt, der die Wahrscheinlichkeit angibt, dass die aktuell erfassten Fahrzeugumgebungsinformationen von der gleichen Fahrzeugposition aufgenommen wurden als die abgespeicherten Fahrzeugumgebungsinformationen. Wenn der Ähnlichkeitsparameter einen vorgegebenen Schwellwert überschreitet, wird angenommen, dass es sich bei der aktuellen Fahrzeugposition um die gleiche Position handelt, an der die abgespeicherten Fahrzeugumgebungsinformationen aufgenommen wurden. In diesem Fall werden die den abgespeicherten Fahrzeugumgebungsinformationen zugeordneten Informationen zu virtueller Kameraposition und Kameraausrichtung aus der Speichereinheit 4 ausgelesen und dazu genutzt die virtuelle Kameraposition und Kameraausrichtung an der aktuellen Fahrzeugposition basierend darauf festzulegen.
Die ausgelesene virtuelle Kameraposition und die Kameraausrichtung werden insbesondere an das 3D-Surroundview-System 8 übergeben, das basierend darauf eine Darstellung der aktuellen Fahrzeugumgebungsinformation an der Anzeigeeinheit 2 des Fahrzeugs 1 veranlasst.
Gemäß einem Ausführungsbeispiel weist das Fahrzeug 1 ein sensorbasiertes Positionsbestimmungssystem 6 auf. Das sensorbasierte Positionsbestimmungssystem 6 kann beispielsweise ein satellitengeschütztes GPS-System (GPS: Global Positioning System) sein. Mittels des Positionsbestimmungssystems 6 ist es möglich, eine Positionsinformation des Fahrzeugs 1 zu ermitteln. Diese Positionsinformation ist insbesondere eine Koordinate in einem globalen Koordinatensystem, die angibt, wo sich das Fahrzeug aktuell befindet.
Die Positionsinformation kann dazu verwendet werden, die visuelle Positionsbestimmung, die auf bildlichen Umgebungsinformationen fußt, zu unterstützen. Insbesondere kann eine Einschränkung von Datensätzen vorgenommen werden, die hinsichtlich einer Übereinstimmung von aktuellen Fahrzeugumgebungsinformationen mit abgespeicherten Fahrzeugumgebungsinformationen zu untersuchen sind. So können die Datensätze neben den abgespeicherten Fahrzeugumgebungsinformationen auch Positionsinformationen aufweisen, die durch das Positionsbestimmungssystem 6 erhalten wurden. Damit können vor dem Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit abgespeicherten Fahrzeugumgebungsinformationen die Datensätze bestimmt werden, die von Positionen in der Nähe der aktuellen Position des Fahrzeugs 1 stammen und es kann lediglich ein Vergleich der abgespeicherten Fahrzeugumgebungsinformationen derjenigen Datensätze mit den aktuellen Fahrzeugumgebungsinformationen erfolgen, die an einer Position aufgenommen wurden, die in der Nähe der aktuellen Position des Fahrzeugs 1 liegen.
Vorzugsweise sind die in der Speichereinheit 4 abgespeicherten Datensätze einem Profil eines Fahrzeugnutzers zugeordnet. Damit ist es möglich, die Position und Ausrichtung der virtuellen Kamera fahrzeugnutzerabhängig abzuspeichern und dann abhängig von dem aktuellen Nutzerprofil bei der Festlegung der Position und Ausrichtung der virtuellen Kamera zu verwenden.
4 zeigt ein Blockdiagramm, das die Schritte des Verfahrens zur Festlegung der Position und Ausrichtung der virtuellen Kamera veranschaulicht.
Zunächst wird die Fahrzeugumgebung mittels mehrerer Kameras des Fahrzeugs erfasst und es werden aktuelle Fahrzeugumgebungsinformationen basierend auf den Informationen der Kameras erzeugt (S10).
Des Weiteren wird eine Speichereinheit bereitgestellt, in der mehrere Datensätze gespeichert sind. Die Datensätze umfassen jeweils abgespeicherte Fahrzeugumgebungsinformationen, die mittels mehrerer Kameras des Fahrzeugs erfasst wurden. Die Datensätze umfassen zudem Informationen zu virtueller Kameraposition und Kameraausrichtung, die diesen abgespeicherten Fahrzeugumgebungsinformationen zugeordnet sind (S11).
Anschließend werden die aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen zumindest eines Datensatzes verglichen (S12).
Daraufhin wird zumindest ein Ähnlichkeitsparameter zu zumindest einem Datensatz ermittelt. Der Ähnlichkeitsparameter gibt jeweils den Grad der Ähnlichkeit der aktuellen Fahrzeugumgebungsinformationen zu den abgespeicherten Fahrzeugumgebungsinformationen des jeweiligen Datensatzes an (S13).
Falls der Ähnlichkeitsparameter größer ist als ein vorgegebener Schwellwert, werden Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes, der die abgespeicherten Fahrzeugumgebungsinformationen enthält, ausgelesen. Basierend auf den ausgelesenen Informationen zu virtueller Kameraposition und Kameraausrichtung werden die virtuelle Kameraposition und die Kameraausrichtung festgelegt (S14).
Die Erfindung wurde voranstehend an Ausführungsbeispielen beschrieben. Es versteht sich, dass zahlreiche Änderungen sowie Abwandlungen möglich sind, ohne dass dadurch der durch die Patentansprüche definierte Schutzbereich verlassen wird.
Bezugszeichenliste

1: Fahrzeug
2: Anzeigeeinheit
3: Kamera
4: Speichereinheit
5: Recheneinheit
6: Positionsbestimmungssystem
7: Umgebungserkennungssystem
8: 3D-Surroundview-System

Claims

Verfahren zur Festlegung einer virtuellen Kameraposition und Kameraausrichtung, um basierend auf dieser virtuellen Kameraposition und Kameraausrichtung die Umgebung eines Fahrzeugs (1) auf einer Anzeigeeinheit (2) des Fahrzeugs (1) darstellen zu können, wobei das Verfahren die folgenden Schritte umfasst: - Erfassen der Fahrzeugumgebung mittels mehrerer Kameras (3) des Fahrzeugs (1), und Erzeugen von aktuellen Fahrzeugumgebungsinformationen basierend auf den Informationen der Kameras (3) (S10); - Bereitstellen einer Speichereinheit (4), in der mehrere Datensätze gespeichert sind, wobei die Datensätze jeweils abgespeicherte Fahrzeugumgebungsinformationen, die mittels mehrerer Kameras (3) des Fahrzeugs (1) erfasst wurden, und diesen abgespeicherten Fahrzeugumgebungsinformationen zugeordnete Informationen zu virtueller Kameraposition und Kameraausrichtung umfassen (S11); - Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen zumindest eines Datensatzes (S12); - Ermitteln zumindest eines Ähnlichkeitsparameters zu zumindest einem Datensatz, wobei der Ähnlichkeitsparameter jeweils den Grad der Ähnlichkeit der aktuellen Fahrzeugumgebungsinformationen zu den abgespeicherten Fahrzeugumgebungsinformationen des jeweiligen Datensatzes angibt (S13); - falls der Ähnlichkeitsparameter größer ist als ein vorgegebener Schwellwert, Auslesen der Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes, der die abgespeicherten Fahrzeugumgebungsinformationen enthält und Festlegen der virtuellen Kameraposition und der Kameraausrichtung basierend auf den ausgelesenen Informationen zu virtueller Kameraposition und Kameraausrichtung (S14).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen ein Bestimmen von Bildähnlichkeiten und einen Abgleich von Bildmerkmalen zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen umfasst.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass mehrere Ähnlichkeitsparameter zu mehreren unterschiedlichen Datensätzen ermittelt werden, dass der maximale Ähnlichkeitsparameter bestimmt wird, der die größte Übereinstimmung zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen indiziert, dass zum Schwellwertvergleich der maximale Ähnlichkeitsparameter verwendet wird und dass die Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes ausgelesen werden, der die abgespeicherten Fahrzeugumgebungsinformationen, die zum maximalen Ähnlichkeitsparameter geführt haben, enthält.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datensätze jeweils positionsbezogene Umgebungsinformationen aufweisen und dass durch den Vergleich der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen festgestellt wird, die Ermittlung des zumindest einen Ähnlichkeitsparameters und den Vergleich des Ähnlichkeitsparameters mit dem Schwellwert festgestellt wird, ob sich das Fahrzeug (1) an einer Fahrzeugposition befindet, zu der eine virtuelle Kameraposition und Kameraausrichtung bereits festgelegt wurde.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrzeug (1) ein sensorbasiertes Positionsbestimmungssystem (6) aufweist und die Datensätze jeweils vom Positionsbestimmungssystem (6) bereitgestellte Positionsdaten aufweisen, die die geographische Position angeben, an der die jeweiligen abgespeicherten Fahrzeugumgebungsinformationen erfasst wurden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass Positionsinformationen mittels des sensorbasierten Positionsbestimmungssystems (6) bestimmt werden, diese Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten verglichen werden und dass durch den Vergleich der Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten die Anzahl der Datensätze eingeschränkt wird, für die jeweils eine Bestimmung eines Ähnlichkeitsparameters zu erfolgen hat.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Recheneinheit (5) des Fahrzeugs aus den von den Kameras (3) bereitgestellten Informationen basierend auf der virtuellen Kameraposition und der Kameraausrichtung dreidimensionale Umgebungsinformationen erzeugt, die auf der Anzeigeeinheit (2) des Fahrzeugs (1) als räumlich perspektivische Umgebungsinformationen dargestellt werden.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die räumlich perspektivischen Umgebungsinformationen eine perspektivische Ansicht des Fahrzeugs (1) selbst enthalten.
System umfassend mehrere um ein Fahrzeug (1) herum verteilt angeordnete Kameras (3), eine Recheneinheit (5) zur Verarbeitung der Informationen, die von den Kameras (3) bereitgestellt werden, eine Speichereinheit (4) und eine Anzeigeeinheit (2), die zur Darstellung von Umgebungsinformationen des Fahrzeugs (1) ausgebildet ist, wobei die Recheneinheit (5) dazu konfiguriert ist, die folgenden Schritte zu vollziehen: - Erfassen der Fahrzeugumgebung mittels mehrerer Kameras (3) des Fahrzeugs (1), und Erzeugen von aktuellen Fahrzeugumgebungsinformationen basierend auf Informationen der Kameras (3); - Abspeichern mehrerer Datensätze in der Speichereinheit (4), wobei die Datensätze jeweils abgespeicherte Fahrzeugumgebungsinformationen, die mittels mehrerer Kameras (3) des Fahrzeugs (1) erfasst wurden, und diesen abgespeicherten Fahrzeugumgebungsinformationen zugeordnete Informationen zu virtueller Kameraposition und Kameraausrichtung umfassen; - Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen zumindest eines Datensatzes; - Ermitteln zumindest eines Ähnlichkeitsparameters zu zumindest einem Datensatz, wobei der Ähnlichkeitsparameter jeweils den Grad der Ähnlichkeit der aktuellen Fahrzeugumgebungsinformationen zu den abgespeicherten Fahrzeugumgebungsinformationen des jeweiligen Datensatzes angibt; - falls der Ähnlichkeitsparameter größer ist als ein vorgegebener Schwellwert, Auslesen der Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes, der die abgespeicherten Fahrzeugumgebungsinformationen enthält und Festlegen der virtuellen Kameraposition und der Kameraausrichtung basierend auf den ausgelesenen Informationen zu virtueller Kameraposition und Kameraausrichtung.
System nach Anspruch 9, dadurch gekennzeichnet, dass die Recheneinheit (5) dazu ausgebildet ist, zum Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen Bildähnlichkeiten zu bestimmen und Bildmerkmale zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen abzugleichen.
System nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die Recheneinheit (5) dazu ausgebildet ist, mehrere Ähnlichkeitsparameter zu mehreren unterschiedlichen Datensätzen zu ermitteln, den maximalen Ähnlichkeitsparameter zu bestimmen, der die größte Übereinstimmung mit zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen indiziert, zum Schwellwertvergleich den maximalen Ähnlichkeitsparameter zu verwenden und die Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes auszulesen, der die abgespeicherten Fahrzeugumgebungsinformationen, die zum maximalen Ähnlichkeitsparameter geführt haben, enthält.
System nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass das Fahrzeug (1) ein sensorbasiertes Positionsbestimmungssystem (6) aufweist und dass die Recheneinheit (3) dazu konfiguriert ist, in den Datensätzen jeweils vom Positionsbestimmungssystem (6) bereitgestellte Positionsdaten zu speichern, die die geographische Position angeben, an der die jeweiligen abgespeicherten Fahrzeugumgebungsinformationen erfasst wurden.
System nach Anspruch 12, dadurch gekennzeichnet, dass das sensorbasierte Positionsbestimmungssystem (6) zur Bestimmung von geographischen Positionsinformationen ausgebildet ist, und dass die Recheneinheit (5) dazu konfiguriert ist, die geographischen Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten zu vergleichen und durch den Vergleich der Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten die Datensätze einzuschränken, für die jeweils eine Bestimmung eines Ähnlichkeitsparameters erfolgt.
System nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass die Recheneinheit (5) dazu konfiguriert ist, aus den von den Kameras (3) bereitgestellten Informationen basierend auf der virtuellen Kameraposition und der Kameraausrichtung dreidimensionale Umgebungsinformationen zu erzeugen, die auf der Anzeigeeinheit (2) des Fahrzeugs (1) als räumlich perspektivische Umgebungsinformationen dargestellt werden.
System nach Anspruch 14, dadurch gekennzeichnet, dass die Recheneinheit (5) dazu konfiguriert ist, in den räumlich perspektivischen Umgebungsinformationen eine perspektivische Ansicht des Fahrzeugs (1) selbst darzustellen.