DE102016011853A1 - Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs - Google Patents

Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs Download PDF

Info

Publication number
DE102016011853A1
DE102016011853A1 DE102016011853.9A DE102016011853A DE102016011853A1 DE 102016011853 A1 DE102016011853 A1 DE 102016011853A1 DE 102016011853 A DE102016011853 A DE 102016011853A DE 102016011853 A1 DE102016011853 A1 DE 102016011853A1
Authority
DE
Germany
Prior art keywords
vehicle
camera
dimensional information
images
side mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016011853.9A
Other languages
English (en)
Inventor
Sven Fleck
Markus Glaser
Thorben Klein
Tina Kraft
Peter Nicke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102016011853.9A priority Critical patent/DE102016011853A1/de
Publication of DE102016011853A1 publication Critical patent/DE102016011853A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs (1) durch Auswertung von mittels einer Kamera (3) erfassten Bildern, wobei die Kamera (3) in einem Seitenspiegel (2) des Fahrzeugs (1) angeordnet ist und während eines Stillstands des Fahrzeugs (1) durch ein Schwenken des Seitenspiegels (2) bewegt wird. Erfindungsgemäß wird während der Bewegung der Kamera (3) eine Bewegungsanalyse der mittels der Kamera (3) erfassten Bilder mittels Structure-from-Motion durchgeführt, um die dreidimensionalen Informationen zu generieren.

Description

  • Die Erfindung betrifft ein Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs nach den Merkmalen des Oberbegriffs des Anspruchs 1.
  • Aus dem Stand der Technik sind, wie in der DE 10 2009 031 809 A1 beschrieben, ein Verfahren und eine Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs bekannt. Bei dem Verfahren zur Bestimmung von Umfelddaten des Kraftfahrzeugs mit mindestens einer Kamera und zur Generierung von 3-D-Daten des Umfeldes führt im Stillstand des Kraftfahrzeugs die mindestens eine Kamera eine vorgegebene Bewegung aus, wobei unter Verwendung der Bewegung der Kamera aus den Umfelddaten die 3-D-Daten generiert werden. Eine entsprechende Vorrichtung weist einen Weggeber auf, um den Weg einer in einem Außenspiegel angeordneten Kamera während einer Spiegelbewegung festzustellen.
  • In der DE 10 2011 083 745 A1 wird ein Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen aus einem Fahrzeug heraus beschrieben. In dem Verfahren wird mit einem bildgebenden System eine Mehrzahl von Bildern derselben Szene aufgenommen, während sich das Fahrzeug bewegt. Die von verschiedenen Fahrzeugpositionen aufgenommenen Bilder werden unter Berücksichtigung der Fahrzeugbewegung verarbeitet, um die Gestalt und die Dimensionen des Parkplatzes zu ermitteln. Innerhalb eines Belichtungsfensters eines bilderfassenden Elements werden zumindest zwei Bilder ausgelesen. Aus den zumindest zwei Bildern werden ein oder mehrere Bereiche mit einer ersten gemessenen Bewegungsunschärfe einer jeweiligen Kante ermittelt. Für den oder die ermittelten Bereiche wird eine zweite, von der Fahrzeugbewegung abhängige, erwartete Bewegungsunschärfe der betreffenden Kante ermittelt. Weiter wird für jeden Bereich ein Maß für die Abweichung zwischen der ersten und der zweiten Bewegungsunschärfe einander entsprechender Kanten ermittelt. In Abhängigkeit des Maßes der Abweichung wird auf sich bewegende Objekte geschlossen, welche bei der Ermittlung von Tiefeninformationen des Parkplatzes in vorgegebener Weise verarbeitet werden.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs anzugeben.
  • Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs mit den Merkmalen des Anspruchs 1.
  • Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • In einem Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs durch Auswertung von mittels einer Kamera erfassten Bildern, wobei die Kamera in einem Seitenspiegel, d. h. in einem seitlichen Außenspiegel, des Fahrzeugs angeordnet ist, wird die Kamera während eines Stillstands des Fahrzeugs durch ein Schwenken des Seitenspiegels bewegt.
  • Erfindungsgemäß wird während der Bewegung der Kamera eine Bewegungsanalyse der mittels der Kamera erfassten Bilder mittels Structure-from-Motion durchgeführt, um die dreidimensionalen Informationen zu generieren.
  • Structure-from-Motion (SFM) auch als Structure-from-Motion-Verfahren oder Structure-from-Motion-Photogrammetrie bezeichnet, ist ein Photogrammetrieverfahren, welches es ermöglicht, die dreidimensionalen Informationen aus sich zweckmäßigerweise überlappenden, aus unterschiedlichen Blickwinkeln erfassten Bildern zu ermitteln.
  • Das Verfahren ist für alle Fahrzeuganwendungen verwendbar, für welche dreidimensionale Informationen der Umgebung des Fahrzeugs erforderlich sind, beispielsweise für ein Parkassistenzsystem, welches einen Fahrzeugführer bei Einpark- und/oder Ausparkmanövern unterstützt oder diese autonom durchführt, oder zur Durchführung eines teilautomatisierten oder autonomen Fahrbetriebs. Insbesondere werden für derartige Anwendungen dreidimensionale Umgebungskarten benötigt, um die Umgebung des Fahrzeugs realistisch abbilden zu können.
  • Bildanalysemethoden zur Generierung der dreidimensionalen Informationen erfordern eine Bewegung der Kamera, um Bilder aus unterschiedlichen Perspektiven zu erfassen. Mittels Kameras, welche relativ zum Fahrzeug unbeweglich sind, können daher im Stillstand des Fahrzeugs keine dreidimensionalen Informationen generiert werden. Dadurch stehen insbesondere bei einem Anfahren des Fahrzeugs und während eines ersten Bewegungsweges nach dem Anfahren keine dreidimensionalen Informationen der Umgebung des Fahrzeugs zur Verfügung, wodurch die oben beschriebenen Anwendungen, welche diese dreidimensionalen Informationen benötigen, während dieser Fahrphase des Fahrzeugs nicht verwendet werden können oder einen reduzierten Leistungsumfang aufweisen.
  • Dieses Problem wird durch das erfindungsgemäße Verfahren gelöst, denn durch die Bewegung des Seitenspiegels während des Stillstands des Fahrzeugs wird die Kamera im Seitenspiegel bewegt, so dass auch während des Stillstands des Fahrzeugs Bilder aus verschiedenen Perspektiven erfasst werden können und mittels Structure-from-Motion die dreidimensionalen Informationen generiert werden können. Dadurch stehen diese dreidimensionalen Informationen der Umgebung des Fahrzeugs bereits während des Anfahrens und des nachfolgenden ersten Bewegungswegs des Fahrzeugs für die oben beschriebenen Anwendungen zur Verfügung, wodurch diese mit voller Funktionalität arbeiten können.
  • Durch das erfindungsgemäße Verfahren ist es insbesondere nicht erforderlich, kostenintensive Stereokameras zu verwenden, sondern das Verfahren ist mit einer kostengünstigen als Monokamera ausgebildeten Kamera durchführbar. Aus dem Stand der Technik ist es bereits bekannt, derartige Kameras, insbesondere Monokameras, in Seitenspiegeln von Fahrzeugen zu verbauen. Ebenso ist es aus dem Stand der Technik bekannt, Seitenspiegel von Fahrzeugen im Sillstand des Fahrzeugs automatisch zu schwenken, d. h. nach einem Abstellen des Fahrzeugs an das Fahrzeug heranzuschwenken, um dadurch insbesondere eine Kollisionsgefahr anderer Verkehrsteilnehmern mit den Seitenspiegeln des abgestellten Fahrzeugs zu reduzieren, und vor dem Anfahren des Fahrzeugs, beispielsweise nach einem Entriegeln des Fahrzeugs, automatisch wieder zurück in eine vom Fahrzeug abgeklappte Betriebsposition zu schwenken. Das Verfahren ist daher insbesondere bei derartigen Fahrzeugen auf einfache und kostengünstige Weise zu implementieren, da diese bereits vorhandene Schwenkfunktion des jeweiligen Seitenspiegels und die im Seitenspiegel angeordnete Kamera für das Verfahren genutzt werden können. Mittels des Verfahrens werden im Stillstand des Fahrzeugs während dieses Schwenkens des Seitenspiegels mittels der Kamera Bilder erfasst und daraus die dreidimensionalen Informationen auf die oben beschriebene Weise generiert.
  • Zweckmäßigerweise weist das Fahrzeug zwei Seitenspiegel, d. h. zwei seitliche Außenspiegel, auf, welche jeweils einer Fahrzeugseite zugeordnet sind. Zweckmäßigerweise ist in jedem dieser Seitenspiegel jeweils eine Kamera angeordnet, so dass das oben beschriebene Verfahren mittels jeder der beiden Kameras und Seitenspiegel durchgeführt werden kann. Dadurch werden die dreidimensionalen Informationen für einen wesentlich größeren Bereich der Umgebung des Fahrzeugs generiert, insbesondere für beide seitliche Umgebungsbereiche des Fahrzeugs. Abhängig von einem Erfassungsbereich der jeweiligen Kamera können auch dreidimensionale Informationen für Bereiche vor und/oder hinter dem Fahrzeug, insbesondere seitlich vor und/oder hinter dem Fahrzeug, mittels des Verfahrens generiert werden.
  • Alternativ oder zusätzlich zu der Kamera im Seitenspiegel des Fahrzeugs oder zu den beiden Kameras im jeweiligen Seitenspiegel des Fahrzeugs kann das Fahrzeug ein oder mehrere weitere Kameras aufweisen. Die jeweilige weitere Kamera ist beispielsweise in einem Frontbereich, in einem Frontscheibenbereich, in einem Heckbereich oder in einem Heckscheibenbereich des Fahrzeugs in und/oder am Fahrzeug angeordnet. Ein Erfassungsbereich der jeweiligen weiteren Kamera ist beispielsweise im Wesentlichen nach vorn, d. h. auf einen Umgebungsbereich im Wesentlichen vor dem Fahrzeug, oder im Wesentlichen nach hinten, d. h. auf einen Umgebungsbereich im Wesentlichen hinter dem Fahrzeug, ausgerichtet, wobei zweckmäßigerweise auch Umgebungsbereiche seitlich des Fahrzeugs und/oder seitlich vor bzw. seitlich hinter dem Fahrzeug erfasst werden.
  • Diese weitere Kamera oder diese mehreren weiteren Kameras ist/sind beispielsweise ein Bestandteil eines so genannten Camera Mirror Replacement System (CMS), d. h. eines Systems, welches beispielsweise als Ersatz oder zumindest Ergänzung für die herkömmlichen Rückspiegel, beispielsweise für die Seitenspiegel und/oder einen Innenspiegel, des Fahrzeugs vorgesehen ist, wobei insbesondere Informationen, welche ein Fahrzeugführer bei Verwendung der herkömmlichen Rückspiegel über diese herkömmlichen Rückspiegel erlangen könnte, nun von der weiteren Kamera oder von den weiteren Kameras erfasst werden und über eine Bildausgabeeinheit oder mehrere Bildausgabeeinheiten im und/oder am Fahrzeug dem Fahrzeugführer angezeigt werden.
  • Auch diese weitere Kamera oder diese mehreren Weiteren Kameras kann/können zum Generieren von dreidimensionalen Informationen der Umgebung des Fahrzeugs durch Auswertung von mittels dieser weiteren Kamera oder mittels dieser mehreren weiteren Kameras erfassten Bildern verwendet werden. In einer besonders vorteilhaften Ausführungsform ist auch die jeweilige weitere Kamera während eines Stillstands des Fahrzeugs bewegbar, beispielsweise drehbar, schwenkbar und/oder verschiebbar. Dadurch kann/können auch diese weitere Kamera oder diese mehreren weiteren Kameras auf die oben beschriebene Weise zur Generierung der dreidimensionalen Informationen der Umgebung des Fahrzeugs während dessen Stillstand verwendet werden, beispielsweise indem während der Bewegung der jeweiligen weiteren Kamera eine Bewegungsanalyse der mittels der jeweiligen weiteren Kamera erfassten Bilder mittels Structure-from-Motion durchgeführt wird, um die dreidimensionalen Informationen zu generieren. Durch diese alternative oder zusätzliche Verwendung einer oder mehrerer dieser weiteren Kameras kann ein größerer Bereich der Umgebung des Fahrzeugs erfasst und entsprechend können von diesem größeren Bereich der Umgebung des Fahrzeugs dreidimensionale Informationen generiert werden.
  • Aus der alternativen oder zusätzlichen Verwendung dieser weiteren Kamera oder dieser mehreren weiteren Kameras und dem beschriebenen Verfahren resultieren somit die oben zu der Kamera im Seitenspiegel oder zu der jeweiligen Kamera im jeweiligen Seitenspiegel des Fahrzeugs und dem hierzu beschriebenen Verfahren geschilderten Vorteile.
  • Die jeweilige weitere Kamera kann beispielsweise als eine Monokamera oder als eine andere Kamera ausgebildet sein.
  • Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
  • Dabei zeigt:
  • 1 eine schematische Darstellung eines Fahrzeugs, und
  • 2 eine weitere schematische Darstellung eines Fahrzeugs.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • 1 zeigt eine schematische Darstellung eines Fahrzeugs 1 im Stillstand, d. h. in einem stehenden Zustand. Das Fahrzeug 1 weist zwei Seitenspiegel 2 auf, d. h. zwei seitliche Außenspiegel, wobei jeder Fahrzeugseite, d. h. einer rechten und einer linken Fahrzeugseite, jeweils einer der Seitenspiegel 2 zugeordnet ist. Beispielsweise ist einer der Seitenspiegel 2 an oder im Bereich einer Fahrertür am Fahrzeug 1 angeordnet und der andere Seitenspiegel 2 ist an oder im Bereich einer Beifahrertür am Fahrzeug 1 angeordnet.
  • Die Seitenspiegel 2 sind, wie durch Schwenkpfeile P angedeutet, schwenkbar am Fahrzeug 1 angeordnet, zweckmäßigerweise automatisch schwenkbar, beispielsweise mittels eines dem jeweiligen Seitenspiegel 2 zugeordneten elektrischen Antriebsmotors oder mittels einer anderen Antriebseinheit. Derartige schwenkbare Seitenspiegel 2, welche beispielsweise nach einem Abstellen und Verriegeln des Fahrzeugs 1 automatisch in eine angeklappte Position an das Fahrzeug 1 herangeschwenkt werden und nach einem Entriegeln des Fahrzeugs 1 automatisch in eine vom Fahrzeug 1 abgeklappte Betriebsposition geschwenkt werden, sind bereits aus dem Stand der Technik bekannt.
  • In und/oder an den Seitenspiegeln 2 ist jeweils eine Kamera 3 angeordnet, welche vorteilhafterweise als eine Monokamera ausgebildet ist. Die jeweilige Kamera 3 erfasst zweckmäßigerweise einen jeweiligen seitlichen Bereich einer Umgebung des Fahrzeugs 1, d. h. insbesondere einen Bereich seitlich des Fahrzeugs 1 und beispielsweise zusätzlich einen Bereich seitlich vor und/oder seitlich hinter dem Fahrzeug 1. In 1 ist ein Erfassungsbereich E der jeweiligen Kamera 3 bei der hier dargestellten Position des jeweiligen Seitenspiegels 2 und somit der jeweiligen Kamera 3 dargestellt.
  • Die jeweilige Kamera 3 ist zweckmäßigerweise von einer Schwenkachse des Seitenspiegels 2, in und/oder an welchem sie angeordnet ist, beabstandet, so dass die jeweilige Kamera 3 während des Schwenkens des jeweiligen Seitenspiegels 2 entlang eines vorgegebenen Bewegungsweges relativ zum Fahrzeug 1 bewegt wird, d. h. zweckmäßigerweise analog zum Seitenspiegel 2 ebenfalls eine Schwenkbewegung ausführt.
  • In einem Verfahren zum Generieren von dreidimensionalen Informationen der Umgebung des Fahrzeugs 1 wird die jeweilige Kamera 3 während des Stillstands des Fahrzeugs 1 durch das Schwenken des jeweiligen Seitenspiegels 2 bewegt, beispielsweise durch das automatische Anklappen des jeweiligen Seitenspiegels 2 an das Fahrzeug 1 nach dem Abstellen und insbesondere Verriegeln des Fahrzeugs 1 und insbesondere durch das automatische Ausklappen des jeweiligen Seitenspiegels 2 in die ausgeklappte Betriebsposition nach dem Entriegeln des Fahrzeugs 1. Während dieser Bewegung der jeweiligen Kamera 3 durch das Schwenken des jeweiligen Seitenspiegels 2 im Stillstand des Fahrzeugs 1 werden mittels der jeweiligen Kamera 3 Bilder der Umgebung des Fahrzeugs 1 erfasst und ausgewertet.
  • Während dieser Bewegung der jeweiligen Kamera 3 wird eine Bewegungsanalyse der mittels der jeweiligen Kamera 3 erfassten Bilder mittels Structure-from-Motion durchgeführt, um die dreidimensionalen Informationen zu generieren. Alternativ oder zusätzlich wird nach dieser Bewegung der jeweiligen Kamera 3 eine Bewegungsanalyse der mittels der jeweiligen Kamera 3 während dieser Bewegung der jeweiligen Kamera 3 erfassten Bilder der Umgebung des Fahrzeugs 1 mittels Structure-from-Motion durchgeführt, um die dreidimensionalen Informationen zu generieren.
  • Beispielsweise umfasst das Fahrzeug 1 für den jeweiligen Seitenspiegel 2 einen Weggeber und/oder Wegmesser, so dass die Position des jeweiligen Seitenspiegels 2 und somit der jeweiligen Kamera 3 relativ zum Fahrzeug 1 zweckmäßigerweise zu jedem Zeitpunkt ausreichend genau bekannt ist.
  • Alternativ oder zusätzlich zur Generierung der dreidimensionalen Informationen der Umgebung des Fahrzeugs 1 mittels Structure-from-Motion werden dreidimensionale Informationen der Umgebung des Fahrzeugs 1 aus zwei oder mehr auf die oben beschriebene Weise erfassten Bildern der jeweiligen Kamera 3 mittels Motion-Stereo und/oder mittels eines weiteren Stereobildverarbeitungsverfahrens oder mittels mehrerer weiterer Stereobildverarbeitungsverfahren generiert. Beispielsweise werden hierzu mittels der jeweiligen Kamera 3 zwei Bilder erfasst, wobei die jeweilige Kamera 3 durch Schwenken des jeweiligen Seitenspiegels 2 während der Erfassung dieser beiden Bilder relativ zum Fahrzeug 1 unterschiedlich positioniert ist. Zum Beispiel wird eines der beiden Bilder in einer vollständig ausgeklappten Position des jeweiligen Seitenspiegels 2, d. h. zweckmäßigerweise in der vollständig ausgeklappten Betriebsposition, und das andere Bild in einer vollständig eingeklappten Position des jeweiligen Seitenspiegels 2, d. h. zweckmäßigerweise in der vollständig an das Fahrzeug 1 angeklappten Position, mittels der jeweiligen Kamera 3 erfasst.
  • Das Verfahren wird mittels der jeweiligen Kamera 3 im jeweiligen Seitenspiegel 2 durchgeführt, d. h. sollte in anderen Ausführungsbeispielen das Fahrzeug 1 nur einen auf die oben beschriebene Weise schwenkbaren Seitenspiegel 2 mit Kamera 3 und/oder nur in und/oder an einem der auf die oben beschriebene Weise schwenkbaren Seitenspiegel 2 eine Kamera 3 aufweisen oder sollte nur einer der Seitenspiegel 2 mit Kamera 3 auf die oben beschriebene Weise schwenkbar sein, so wird das Verfahren entsprechend mit der Kamera 3 des auf die oben beschriebene Weise schwenkbaren Seitenspiegels 2 des Fahrzeugs 1 durchgeführt. Die hier dargestellte Lösung mit zwei auf die oben beschriebene Weise schwenkbaren Seitenspiegeln 2, in und/oder an denen jeweils eine Kamera 3 angeordnet ist und welche jeweils einer Fahrzeugseite zugeordnet sind, hat jedoch den Vorteil, dass dreidimensionale Informationen von einem größeren Bereich der Umgebung des Fahrzeugs 1, insbesondere von den beiden seitlichen Bereichen der Umgebung des Fahrzeugs 1, generiert werden können.
  • 2 zeigt eine schematische Darstellung einer weiteren Ausführungsform des Fahrzeugs 1 im Stillstand. In dieser Ausführungsform weist das Fahrzeug 1 zusätzlich zu den Kameras 3 in den Seitenspiegeln 2 eine oder mehrere weitere Kameras 4 auf. Die jeweilige weitere Kamera 4 kann, wie im dargestellten Beispiel, zusätzlich zu der Kamera 3 im Seitenspiegel 2 oder zur jeweiligen Kamera 3 im jeweiligen Seitenspiegel 2 vorgesehen sein oder die jeweilige Kamera 3 im jeweiligen Seitenspiegel 2 und eventuell auch der jeweilige Seitenspiegel 2 können entfallen. Insbesondere im letzgenannten Fall sind eine oder mehrere oder alle weiteren Kameras 4 zweckmäßigerweise Bestandteil eines so genannten Camera Mirror Replacement System (CMS), d. h. eines Systems, welches beispielsweise als Ersatz oder zumindest Ergänzung für die herkömmlichen Rückspiegel, beispielsweise für die Seitenspiegel 2 und/oder einen Innenspiegel, des Fahrzeugs 1 vorgesehen ist, wobei insbesondere Informationen, welche ein Fahrzeugführer bei Verwendung der herkömmlichen Rückspiegel über diese herkömmlichen Rückspiegel erlangen könnte, nun von der weiteren Kamera 4 oder von den weiteren Kameras 4 erfasst werden und über eine Bildausgabeeinheit oder mehrere Bildausgabeeinheiten im und/oder am Fahrzeug 1 dem Fahrzeugführer angezeigt werden.
  • Wie in 2 dargestellt, ist die jeweilige weitere Kamera 4 beispielsweise in einem Frontbereich, in einem Frontscheibenbereich, in einem Heckbereich oder in einem Heckscheibenbereich des Fahrzeugs 1 in und/oder am Fahrzeug 1 angeordnet. Ein hier nicht näher dargestellter Erfassungsbereich der jeweiligen weiteren Kamera 4 ist beispielsweise im Wesentlichen nach vorn, d. h. auf einen Umgebungsbereich im Wesentlichen vor dem Fahrzeug 1, oder im Wesentlichen nach hinten, d. h. auf einen Umgebungsbereich im Wesentlichen hinter dem Fahrzeug 1, ausgerichtet, wobei zweckmäßigerweise auch Umgebungsbereiche seitlich des Fahrzeugs 1 und/oder seitlich vor bzw. seitlich hinter dem Fahrzeug 1 erfasst werden.
  • Auch die jeweilige weitere Kamera 4 kann, alternativ oder zusätzlich zur jeweiligen Kamera 3 im jeweiligen Seitenspiegel 2 des Fahrzeugs 1, zum Generieren von dreidimensionalen Informationen der Umgebung des Fahrzeugs 1 durch Auswertung von mittels der jeweiligen weiteren Kamera 4 erfassten Bildern auf die oben beschriebene Weise verwendet werden. Vorteilhafterweise ist daher die jeweilige weitere Kamera 4 während des Stillstands des Fahrzeugs 1 bewegbar, beispielsweise drehbar, schwenkbar und/oder verschiebbar, um auch während des Stillstands des Fahrzeugs 1 die dreidimensionalen Informationen auf die oben beschriebene Weise zu generieren.
  • Während dieser Bewegung der jeweiligen weiteren Kamera 4 im Stillstand des Fahrzeugs 1 werden mittels der jeweiligen weiteren Kamera 4 Bilder der Umgebung des Fahrzeugs 1 erfasst und ausgewertet. Zweckmäßigerweise wird auch hier während dieser Bewegung der jeweiligen weiteren Kamera 4 eine Bewegungsanalyse der mittels der jeweiligen weiteren Kamera 4 erfassten Bilder mittels Structure-from-Motion durchgeführt, um die dreidimensionalen Informationen zu generieren. Alternativ oder zusätzlich wird nach dieser Bewegung der jeweiligen weiteren Kamera 4 eine Bewegungsanalyse der mittels der jeweiligen weiteren Kamera 4 während dieser Bewegung der jeweiligen weiteren Kamera 4 erfassten Bilder der Umgebung des Fahrzeugs 1 mittels Structure-from-Motion durchgeführt, um die dreidimensionalen Informationen zu generieren.
  • Beispielsweise umfasst das Fahrzeug 1 für die jeweilige weitere Kamera 4 einen Weggeber und/oder Wegmesser, so dass die Position der jeweiligen weiteren Kamera 4 relativ zum Fahrzeug 1 zweckmäßigerweise zu jedem Zeitpunkt ausreichend genau bekannt ist.
  • Alternativ oder zusätzlich zur Generierung der dreidimensionalen Informationen der Umgebung des Fahrzeugs 1 mittels Structure-from-Motion werden dreidimensionale Informationen der Umgebung des Fahrzeugs 1 aus zwei oder mehr auf die oben beschriebene Weise erfassten Bildern der jeweiligen weiteren Kamera 4 mittels Motion-Stereo und/oder mittels eines weiteren Stereobildverarbeitungsverfahrens oder mittels mehrerer weiterer Stereobildverarbeitungsverfahren generiert. Beispielsweise werden hierzu mittels der jeweiligen weiteren Kamera 4 zwei Bilder erfasst, wobei die jeweilige weitere Kamera 4 während der Erfassung dieser beiden Bilder relativ zum Fahrzeug 1 unterschiedlich positioniert ist.
  • Aus der alternativen oder zusätzlichen Verwendung dieser weiteren Kamera 4 oder dieser mehreren weiteren Kameras 4 und dem beschriebenen Verfahren resultieren somit die oben zu der Kamera 3 im Seitenspiegel 2 oder zu der jeweiligen Kamera 3 im jeweiligen Seitenspiegel 2 des Fahrzeugs 1 und dem hierzu beschriebenen Verfahren geschilderten Vorteile.
  • Die jeweilige weitere Kamera 4 kann beispielsweise als eine Monokamera oder als eine andere Kamera ausgebildet sein.
  • Bezugszeichenliste
  • 1
    Fahrzeug
    2
    Seitenspiegel
    3
    Kamera
    4
    weitere Kamera
    E
    Erfassungsbereich
    P
    Schwenkpfeil
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102009031809 A1 [0002]
    • DE 102011083745 A1 [0003]

Claims (5)

  1. Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs (1) durch Auswertung von mittels einer Kamera (3) erfassten Bildern, wobei die Kamera (3) in einem Seitenspiegel (2) des Fahrzeugs (1) angeordnet ist und während eines Stillstands des Fahrzeugs (1) durch ein Schwenken des Seitenspiegels (2) bewegt wird, dadurch gekennzeichnet, dass während der Bewegung der Kamera (3) eine Bewegungsanalyse der mittels der Kamera (3) erfassten Bilder mittels Structure-from-Motion durchgeführt wird, um die dreidimensionalen Informationen zu generieren.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zwei Bilder in unterschiedlichen Positionen der Kamera (3) erfasst werden und mittels Motion-Stereo ausgewertet werden.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass eines der beiden Bilder in einer vollständig ausgeklappten Position des Seitenspiegels (2) mittels der Kamera (3) erfasst wird und das andere Bild in einer vollständig eingeklappten Position des Seitenspiegels (2) mittels der Kamera (3) erfasst wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilder mittels einer als Monokamera ausgebildeten Kamera (3) erfasst werden.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Generieren dreidimensionaler Informationen der Umgebung des Fahrzeugs (1) mittels mindestens einer weiteren Kamera (4) Bilder der Umgebung des Fahrzeugs (1) erfasst werden, wobei die mindestens eine weitere Kamera (4) während eines Stillstands des Fahrzeugs (1) bewegt wird, wobei während der Bewegung der weiteren Kamera (4) eine Bewegungsanalyse der mittels der weiteren Kamera (4) erfassten Bilder mittels Structure-from-Motion durchgeführt wird und/oder zwei Bilder in unterschiedlichen Positionen der weiteren Kamera (4) erfasst werden und mittels Motion-Stereo ausgewertet werden.
DE102016011853.9A 2016-10-01 2016-10-01 Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs Withdrawn DE102016011853A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016011853.9A DE102016011853A1 (de) 2016-10-01 2016-10-01 Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016011853.9A DE102016011853A1 (de) 2016-10-01 2016-10-01 Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102016011853A1 true DE102016011853A1 (de) 2017-04-27

Family

ID=58490333

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016011853.9A Withdrawn DE102016011853A1 (de) 2016-10-01 2016-10-01 Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs

Country Status (1)

Country Link
DE (1) DE102016011853A1 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018002004A1 (de) 2018-03-13 2018-09-20 Daimler Ag Verfahren zur Kalibrierung eines Sensors
DE102017218781A1 (de) 2017-10-20 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Rückraumüberwachung bei einem Fahrzeug
DE102019000307A1 (de) 2019-01-16 2019-06-13 Daimler Ag Verfahren zur Kalibrierung einer Kamera
DE102021005333A1 (de) 2021-10-26 2021-12-23 Daimler Ag Verfahren zur Ausrichtung einer Kamera
DE102020208308A1 (de) 2020-07-02 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Absicherung einer Anfahrt eines teil- oder vollautomatisierten Fahrzeugs
DE102020208312A1 (de) 2020-07-02 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Absicherung einer Anfahrt eines teil- oder vollautomatisierten Fahrzeugs
DE102022212273A1 (de) 2022-11-17 2024-05-23 Continental Autonomous Mobility Germany GmbH Ermittlung eines Abstands eines stehenden Fahrzeugs von zumindest einem Objekt und/oder Hindernis in einer Umgebung des Fahrzeugs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009031809A1 (de) 2009-07-03 2011-01-13 Volkswagen Ag Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs
DE102011083745A1 (de) 2011-09-29 2013-04-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009031809A1 (de) 2009-07-03 2011-01-13 Volkswagen Ag Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs
DE102011083745A1 (de) 2011-09-29 2013-04-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017218781A1 (de) 2017-10-20 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Rückraumüberwachung bei einem Fahrzeug
DE102018002004A1 (de) 2018-03-13 2018-09-20 Daimler Ag Verfahren zur Kalibrierung eines Sensors
DE102019000307A1 (de) 2019-01-16 2019-06-13 Daimler Ag Verfahren zur Kalibrierung einer Kamera
DE102020208308A1 (de) 2020-07-02 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Absicherung einer Anfahrt eines teil- oder vollautomatisierten Fahrzeugs
DE102020208312A1 (de) 2020-07-02 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Absicherung einer Anfahrt eines teil- oder vollautomatisierten Fahrzeugs
DE102021005333A1 (de) 2021-10-26 2021-12-23 Daimler Ag Verfahren zur Ausrichtung einer Kamera
DE102022212273A1 (de) 2022-11-17 2024-05-23 Continental Autonomous Mobility Germany GmbH Ermittlung eines Abstands eines stehenden Fahrzeugs von zumindest einem Objekt und/oder Hindernis in einer Umgebung des Fahrzeugs

Similar Documents

Publication Publication Date Title
DE102016011853A1 (de) Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs
DE102009031809B4 (de) Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs
EP2753533B1 (de) Bestimmung der stellung von bauelementen eines fahrzeugs
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
DE102017122964A1 (de) Fahrzeugspiegelsystem
DE102010006521A1 (de) Verfahren und Vorrichtung zur Bestimmung des Knickwinkels eines Fahrzeuggespanns
DE102010062589A1 (de) Kamerabasiertes Verfahren zur Abstandsbestimmung bei einem stehenden Fahrzeug
DE102013012522A1 (de) Bilderfassungseinrichtung für einen Kraftwagen, Kraftwagen mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer Bilderfassungseinrichtung
DE102010005638A1 (de) Verfahren zum Anzeigen zumindest eines Bildes einer Fahrzeugumgebung auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzeinrichtung für ein Fahrzeugund Fahrzeug mit einer Fahrerassistenzeinrichtung
DE102007043905A1 (de) Verfahren und Vorrichtung zur Kalibrierung einer an einem Objekt angeordneten omnidirektionalen Kamera
DE102012001858A1 (de) Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung
EP3580923B1 (de) Kamerasystem für ein fahrzeug
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE102015209764A1 (de) Extrinsische Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs
DE102011010860A1 (de) Verfahren und Fahrerassistenzsystem zum Anzeigen von Bildern in einem Kraftfahrzeug sowie Kraftfahrzeug
DE102013222304A1 (de) Verfahren zur Bestimmung von Objektentfernungen mit einer in einem Kraftfahrzeug verbauten Kamera
DE102013214369A1 (de) Verfahren und Vorrichtung zur Wiedergabe eines Umgebungsbereichs eines Fahrzeugs
EP2996327A2 (de) Surround-view-system für fahrzeuge mit anbaugeräten
DE102018207756B3 (de) Verfahren zum Bereitstellen einer vorgegebenen Abbildung von einer Fahrzeugumgebung eines Kraftfahrzeugs, Kamerasystem für ein Kraftfahrzeug sowie Kraftfahrzeug mit einem derartigen Kamerasystem
DE102010034127A1 (de) Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung in einem Kraftfahrzeug, Fahrerassistenzsystem und Kraftfahrzeug
DE102013218299A1 (de) Verfahren zum Detektieren eines Schadens eines Fahrzeugs anhand eines Prüfbilds, entsprechendes System und Computerprogrammprodukt
DE102018002004A1 (de) Verfahren zur Kalibrierung eines Sensors
DE112017007812T5 (de) Fahrzeugperipheriebildanzeigevorrichtung und Fahrzeugperipheriebildanzeigeverfahren
DE102012024650A1 (de) Verfahren zur Reduktion einer HDR-Bewegungsunschärfe bei einem HDR-Bild, HDR-Kameraeinrichtung und Kraftfahrzeug
DE102017100669A1 (de) Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung einer Region von Interesse in Abhängigkeit von einem Anhänger, Recheneinrichtung, Kamerasystem sowie Kraftfahrzeug

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee