DE102012213132A1 - Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen - Google Patents

Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen Download PDF

Info

Publication number
DE102012213132A1
DE102012213132A1 DE201210213132 DE102012213132A DE102012213132A1 DE 102012213132 A1 DE102012213132 A1 DE 102012213132A1 DE 201210213132 DE201210213132 DE 201210213132 DE 102012213132 A DE102012213132 A DE 102012213132A DE 102012213132 A1 DE102012213132 A1 DE 102012213132A1
Authority
DE
Germany
Prior art keywords
camera
vehicle
environment
recording
shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE201210213132
Other languages
English (en)
Other versions
DE102012213132B4 (de
Inventor
Werner Baumgartner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102012213132.9A priority Critical patent/DE102012213132B4/de
Publication of DE102012213132A1 publication Critical patent/DE102012213132A1/de
Application granted granted Critical
Publication of DE102012213132B4 publication Critical patent/DE102012213132B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Offenbart wird ein Verfahren, das von einer elektronischen Verarbeitungseinheit in einem ersten Fahrzeug (2) ausgeführt wird, zur Anzeige des Umfelds des ersten Fahrzeugs (2), umfassend: Empfangen einer ersten Kameraaufnahme zumindest eines Teils (3) des Umfelds des ersten Fahrzeugs (2) von einer Kamera in dem ersten Fahrzeug (2) und einer der Kameraaufnahme zugeordneten ersten Position; Empfangen einer zweiten Kameraaufnahme zumindest eines Teils (6) des Umfelds eines zweiten Fahrzeugs (5) und einer der Kameraaufnahme zugeordneten zweiten Position mittels einer drahtlosen Verbindung von dem zweiten Fahrzeug (5); Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs (2) basierend auf der ersten und der zweiten Kameraaufnahme und der ersten und zweiten Position.

Description

  • Die Erfindung betrifft ein Verfahren zur Anzeige des Umfelds eines Fahrzeugs und eine zu diesem Zweck eingerichtete Vorrichtung.
  • Heutzutage sind Kamerasysteme für Fahrzeuge, insbesondere Kraftfahrzeuge wie Personenkraftwagen, bekannt, die die Umgebung des Fahrzeugs aufnehmen. Die Aufnahmen werden gegebenenfalls weiter verarbeitet, um sie dann in einer gewünschten Perspektive, beziehungsweise optisch korrigiert, anzuzeigen. Solche Systeme werden als Einparkhilfe verwendet, um den Abstand des Fahrzeugs zu anderen Fahrzeugen oder Hindernissen dem Fahrer des Fahrzeugs darzustellen.
  • Aus der Druckschrift EP 2 315 189 A2 ist ein System bekannt, in dem mehrere Fahrzeuge je eine Kamera umfassen, deren Aufnahmen zusammen mit der Position des Fahrzeugs an eine Zentraleinheit gesendet werden. Die Zentraleinheit wertet die empfangenen Aufnahmen aus und sendet Anweisungen an die Fahrzeuge, die an den jeweiligen Fahrer ausgegeben werden.
  • Das in der Druckschrift beschriebene System hat den Nachteil, dass der Fahrer sich nicht selbst ein Bild der Verkehrssituation oder sonstiger für seine Fahrt relevanter Eigenschaften machen kann, sondern abstrakte Anweisungen erhält. Diese können auf Fehlinterpretationen des Zentralsystems basieren und damit falsche Handlungsanweisungen umfassen. Auch kann eine komplexe Verkehrssituation, die von einem menschlichen Betrachter besser verstanden werden kann, durch die Zentraleinheit nicht korrekt erkannt werden und gegebenenfalls auch nicht korrekt in einer abstrakten Anweisung kommuniziert werden.
  • Aufgabe der Erfindung ist damit ein Verfahren und eine Vorrichtung bereitzustellen, mit deren Hilfe einem Fahrer eines Fahrzeugs eine eigenständige Interpretation des Umfelds seines Fahrzeugs ermöglicht wird.
  • Diese Aufgabe wird durch das Verfahren nach Anspruch 1 und die Vorrichtung nach Anspruch 9 gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen definiert.
  • Offenbart wird ein Verfahren, das von einer elektronischen Verarbeitungseinheit mit Anzeige in einem ersten Fahrzeug ausgeführt wird, zur Anzeige des Umfelds des ersten Fahrzeugs, umfassend: Empfangen einer ersten Kameraaufnahme zumindest eines Teils des Umfelds des ersten Fahrzeugs von einer Kamera in dem ersten Fahrzeug und einer der Kameraaufnahme zugeordneten ersten Position; Empfangen einer zweiten Kameraaufnahme zumindest eines Teils des Umfelds eines zweiten Fahrzeugs von einer Kamera in dem zweiten Fahrzeug und einer der zweiten Kameraaufnahme zugeordneten zweiten Position mittels einer drahtlosen Verbindung von dem zweiten Fahrzeug; Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs basierend auf der ersten und der zweiten Kameraaufnahme und der ersten und zweiten Position.
  • Auf diese Weise wird dem Fahrer des ersten Fahrzeugs ermöglicht, sich selbst ein Bild der Umgebung seines Fahrzeugs zu machen und die Situation einzuschätzen. Die empfangenen Kameraaufnahmen werden zu einem Gesamtbild (gegebenenfalls mit Lücken beziehungsweise fehlenden Teilen) zusammengefügt. Jedenfalls umfasst das Anzeigen Bereiche des Umfelds, die durch die erste Kameraaufnahme beziehungsweise durch Kameraaufnahmen des ersten Fahrzeugs, nicht abgedeckt werden. Das Gesamtbild kann Bereiche des Umfelds erfassen, die von dem ersten Fahrzeug ausgehend nicht sichtbar sind, sei es, weil sie zu weit entfernt sind, oder verdeckt sind. Der Fahrer muss sich nicht auf abstrakte Hinweise verlassen, die gegebenenfalls nicht akzeptiert und umgesetzt werden. Der Fahrer kann so zum Beispiel Stausituationen oder die Verschlechterung der Fahrbahn erkennen.
  • Auch kann das im ersten Fahrzeug vorhandene Gesamtbild dazu verwendet werden automatisch Gefahrensituationen zu erkennen und davor zu warnen, beispielsweise vor Auffahrunfällen, Stauauffahrunfällen, kurzfristigen Staus oder allgemein Unfällen.
  • Die Anzeige zumindest des Teils des Umfelds des ersten Fahrzeugs kann eine Draufsicht auf den Teil des Umfelds des ersten Fahrzeugs umfassen, oder eine Sicht, wie sie sich aus einer fiktiven Blickrichtung von oberhalb des ersten Fahrzeugs ergibt. Weiterhin ist das Verfahren auch auf eine größere Zahl an Fahrzeugen anwendbar. Dabei empfängt die elektronische Verarbeitungseinheit weitere Kameraaufnahmen zumindest eines Teils des Umfelds der jeweiligen weiteren Fahrzeuge mit Kamera und weitere den jeweiligen weiteren Kameraaufnahmen zugeordneten Positionen und zeigt zumindest einem Teil des Umfelds des ersten Fahrzeugs auch basierend auf den weiteren Kameraaufnahmen und der weiteren Positionen an. Auch ist es denkbar, dass Kameraaufnahmen schrittweise von einem Fahrzeug zum nächsten bis zum ersten Fahrzeug übertragen werden, also die Verarbeitungsvorrichtung vom zweiten Fahrzeug eine Kameraaufnahme zumindest eines Teils des Umfelds eines dritten Fahrzeugs von einer Kamera in dem dritten Fahrzeug und die der Kameraaufnahme zugeordnete Position empfängt und das Anzeigen auch darauf basiert.
  • Eine elektronische Verarbeitungseinheit in einem Fahrzeug kann sowohl eine fest im Fahrzeug verbaute Recheneinheit sein, als auch ein mobiles Endgerät, das sich nur temporär im Fahrzeug befindet, wie ein sogenanntes Smartphone. Die Kameraaufnahmen können Aufnahmen einer normalen Kamera für Licht im sichtbaren Bereich sein, einer Infrarotkamera und/oder einer Kamera mit Nachtsicht-Funktion. Die Aufnahmen können auch eine Kombination der verschiedenen Typen von Kameras sein und auch auf zusätzlichen Informationen basieren, die beispielsweise mit Abstandsmessungen mithilfe von Ultraschall oder Laserscannern gewonnen werden. Die Anzeige kann auf einem Bildschirm beziehungsweise seiner Anzeige im ersten Fahrzeug, aber auch auf einem Head-Up-Display oder einem Head-Mounted-Display vorgenommen werden. Es kann vorkommen, dass Teile des Umfelds des ersten Fahrzeugs nicht angezeigt werden, beispielsweise, weil für diese Teile keine Kameraaufnahmen empfangen wurden. Diese Teile können beim Anzeigen beispielsweise weiß gelassen werden. Der Empfang der zweiten Kameraaufnahmen kann mithilfe von WiFi, Bluetooth, Car2Car Kommunikation, oder über Mobilfunk erfolgen. Es ist denkbar, dass die Kameraaufnahmen vor dem Empfang bearbeitet wurden, um eine optische Korrektur beispielsweise der Perspektive vorzunehmen. Auch ist es möglich, dass die Daten vor dem Empfang komprimiert wurden. Die empfangenen Positionen können auf einer Positionsbestimmung mittels Satellitennavigation wie GPS oder Galileo basieren.
  • In einer vorteilhaften Weiterbildung umfasst das Verfahren auch das Empfangen einer der ersten Kameraaufnahme zugeordneten Zeit und das Empfangen einer der zweiten Kameraaufnahme zugeordneten Zeit von dem zweiten Fahrzeug.
  • In einer Weiterbildung umfasst das Verfahren auch das Anpassen der Perspektive der ersten und der zweiten Kameraaufnahme. Die Perspektiven der Kameraaufnahmen können aneinander angepasst werden, so dass dem Fahrer eine einheitliche Darstellung der Umgebung geboten wird. Dies umfasst häufig die optische Korrektur der empfangenen Kameraaufnahmen.
  • In einer Fortentwicklung umfasst das Anzeigen basierend auf der ersten und zweiten Position: Bestimmen der Anordnung der ersten und der zweiten Position zueinander. Dies ermöglicht eine auf das erste Fahrzeug und damit das Fahrzeug des Fahrers bezogene Anzeige der Umgebung. Abhängig von der Entfernung der zweiten Position zur ersten Position kann das Anzeigen zentriert auf die erste Position vorgenommen werden.
  • In einer bevorzugten Weiterbildung umfasst das Verfahren das Empfangen einer dritten Kameraaufnahme des Umfelds des ersten Fahrzeugs und einer der dritten Kameraaufnahme zugeordneten dritten Position von einer zentralen Recheneinheit, die entfernt vom ersten Fahrzeug angeordnet ist; Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs auch basierend auf der dritten Kameraaufnahme und der dritten Position. Die dritte Kameraaufnahme kann in einer Datenbank gespeichert sein. Auf diese Weise können Lücken beziehungsweise Teile des Umfelds, für die keine Kameraaufnahme des zweiten Fahrzeugs oder eines anderen Fahrzeugs vorliegen, trotzdem für den Fahrer auf der Anzeige angezeigt werden. Dem Fahrer wird so eine zusammenhängende Darstellung beziehungsweise Gesamtbild des Umfelds angezeigt. Bei der dritten Kameraaufnahme kann es sich um eine Kameraaufnahmen handeln, deren Aufnahmezeitpunkt bereits länger zurückliegt, beispielsweise ein Tag, ein Monat, ein Jahr oder sogar länger. Also eine Kameraaufnahme, die zwar das Umfeld wiedergibt, aber nicht in der aktuellen Verkehrssituation. Denkbar ist jedoch auch, dass die von der zentralen Recheneinheit empfangene Kameraaufnahme eine Aufnahme einer weiteren Kamera, beispielsweise einer fest installierten Kamera, oder einer Kamera eines weiteren Fahrzeugs ist, die die aktuelle Verkehrssituation wiedergibt. Die dritte Kameraaufnahme kann die Aufnahme des Umfelds hinter einer Abbiegung oder einer Kreuzung sein, sowie des Umfelds am Straßenrand.
  • In einer weiteren bevorzugten Weiterbildung umfasst das Verfahren weiterhin das Empfangen einer der ersten Kameraaufnahme zugeordneten ersten Aufnahmerichtung; Empfangen einer der zweiten Kameraaufnahme zugeordneten zweiten Aufnahmerichtung; Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs auch basierend auf der ersten und zweiten Aufnahmerichtung. Die Information der Aufnahmerichtung der ersten und zweiten Kameraaufnahme kann zum richtigen Anordnen und Anzeigen der Kameraaufnahme verwendet werden.
  • In einer Variante umfasst das Verfahren das Bestimmen einer Überlappung des von der ersten und der zweiten Kameraaufnahme dargestellten Umfelds; Erzeugen eines Gesamtbildes basierend auf der ersten und der zweiten Kameraaufnahme. Es kann vorkommen, dass sich sowohl die erste als auch die zweite Kameraaufnahme denselben Teil des Umfelds des ersten Fahrzeugs abbilden. Ein typischer Fall hierfür wäre die Aufnahme einer rückwärts gerichteten Kamera des zweiten sich direkt vor dem ersten Fahrzeug befindlichen Fahrzeugs und die Aufnahme einer vorwärts gerichteten Kamera des ersten Fahrzeugs. Zur korrekten Anzeige des Umfelds wird dann die Überlappung der Kameraaufnahmen bestimmt und beim Anzeigen berücksichtigt.
  • Weiterhin ist es denkbar, dass das Verfahren weiter folgendes umfasst: Speichern einer empfangenen Kameraaufnahme; Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs, auch basierend auf der gespeicherten Kameraaufnahme. Auf diese Weise kann das von dem ersten oder zweiten Fahrzeug vorhergehend aufgenommene Umfeld bei der Anzeige des Umfelds verwendet werden.
  • In einer vorteilhaften Weiterbildung umfasst das Verfahren das Empfangen eines Hinweises, insbesondere ein Hinweis auf Regen, ein Hindernis oder eine nasse Fahrbahn, von dem zweiten Fahrzeug; Anzeigen des Hinweises für das durch die zweite Kameraaufnahme angezeigte Umfeld. Beispielsweise kann von dem zweiten Fahrzeug ein Hinweis auf ein Hindernis auf der Fahrbahn empfangen werden. Dieser Hinweis wird beim Anzeigen dann der zweiten Kameraaufnahme zugeordnet angezeigt. Auf diese Weise wird verdeutlicht, dass in dem durch die zweite Kameraaufnahme dargestellten Umfeld mit Regen, nasser Fahrbahn oder einem Hindernis zu rechnen ist. Gegebenenfalls kann das Hindernis auch hervorgehoben werden, beispielsweise durch Markierung mit einer Leuchtfarbe beim Anzeigen.
  • Weiterhin kann beim Anzeigen der Teil des Umfelds, der auf einer von einem Server empfangenen Aufnahme beruht, die nicht das entsprechende Umfeld in der aktuellen Verkehrssituation wiedergibt, markiert werden, beispielsweise durch ausgrauen. Der Fahrer weiß somit, dass die Verkehrssituation in diesem Bereich eventuell anders ist, als angezeigt und kann beispielsweise mit weiteren Hindernissen in diesem Bereich rechnen.
  • Die Anzeige kann ein LCD Bildschirm, eine OLED Anzeige, ein Head-Up-Display, ein Head-Mounted-Display oder Ähnliches sein. Es ist denkbar, dass das Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs auf kontaktanaloge Weise mittels eines Head-Up-Displays oder eines Head-Mounted-Displays vorgenommen wird, was manchmal auch als augmented reality bezeichnet wird. Dies kann auch durch ein Navigationssystem unterstützt werden, das die kontaktanaloge Anzeige durch Bereitstellen der eigenen Position und dem Vergleich mit den den Kameraaufnahmen zugeordneten Positionen unterstützten kann.
  • Ebenfalls offenbart wird eine Vorrichtung, die eine elektronisch Verarbeitungseinheit umfasst. Die Vorrichtung ist dazu eingerichtet eines der vorgenannten Verfahren auszuführen. Dies kann durch die programmtechnische Einrichtung der elektronischen Recheneinheit geschehen. Die elektronische Verarbeitungseinheit kann einen Universalrechner beziehungsweise einen Computer umfassen, der mithilfe von Computerprogrammen oder sogenannten Apps zu einem bestimmten Verhalten eingerichtet werden kann. Von einem Fahrzeug können Mittel zum Empfangen von drahtlosen Übertragungssignalen umfasst sein wie ein WiFi Empfänger, ein WLAN Empfänger, ein Empfänger für die Car2Car Kommunikation oder ein Mobilfunkmodul. Dieser Empfänger gibt die empfangenen Signale an die elektronische Verarbeitungseinheit weiter.
  • KURZE BESCHREIBUNG DER ZEICHNUNG
  • 1 zeigt eine schematische Darstellung einer Verkehrssituation mit einem ersten und einem zweiten Fahrzeug, in der ein Verfahren gemäß einem Ausführungsbeispiel, ausgeführt wird.
  • 2 zeigt eine schematische Darstellung einer Anzeige gemäß einem Ausführungsbeispiel.
  • DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
  • 1 zeigt eine schematische Darstellung einer Verkehrssituation mit einem ersten Fahrzeug 2 und einem zweiten Fahrzeug 5 auf einer Fahrbahn 1. Das erste Fahrzeug 2 verfügt über eine Kamera, die eine Aufnahme eines Teils des Umfelds macht, hier als Aufnahmeumfeld 3 gekennzeichnet. Ebenso verfügt das zweite Fahrzeug 5 über eine Kamera, die eine Aufnahme eines Teils des Umfelds des Fahrzeugs 5 macht, hier als Aufnahmeumfeld 6 gekennzeichnet. Beide Fahrzeuge 2 und 5 verfügen ebenfalls über eine Einrichtung zur Car2Car Kommunikation, mit deren Hilfe das von dem Fahrzeug 5 aufgenommene Bild an eine elektronische Verarbeitungsvorrichtung in dem Fahrzeug 2 übertragen wird. Gleichzeitig empfängt das Fahrzeug über eine Mobilfunkeinrichtung eine Aufnahme eines Teils des Umfelds, hier als Aufnahmeumfeld 4 gekennzeichnet, von einem zentralen Server (nicht dargestellt), das den Bereich zwischen dem Aufnahmeumfeld 3 und 6 abdeckt. Die Einrichtung zur Kommunikation und die Mobilfunkeinrichtung geben die empfangenen Signale an eine elektronische Verarbeitungseinheit in dem Fahrzeug 2 weiter. Diese empfangene Kameraaufnahme des Aufnahmeumfelds 4 bildet nicht die aktuelle Verkehrssituation ab, sondern das Umfeld zu einem früher liegenden Aufnahmezeitpunkt. Die Aufnahme des Aufnahmeumfelds 4 wurde bereits länger, beispielsweise ein halbes Jahr, vor dem Passieren der Stelle durch das Fahrzeug 2 gemacht und in einer Datenbank gespeichert. Die von dem Server bereitgestellte Aufnahme wurde von der elektronischen Verarbeitungsvorrichtung zuvor angefordert. Mit jeder empfangenen Aufnahme empfängt die elektronische Verarbeitungsvorrichtung auch die für diese Aufnahme relevante Position der aufnehmenden Kamera und die Aufnahmerichtung. So kann der durch die Aufnahme repräsentierte Teil des Umfelds zugeordnet beziehungsweise identifiziert werden. Des Weiteren bestimmt und/oder schätzt die elektronische Verarbeitungsvorrichtung aufgrund einer Erfassung des Fahrzeugs 5 in der Kameraaufnahme des Aufnahmeumfelds 3, sowie aus dem Aufnahmeumfeld 6 und der Position der Kamera des Fahrzeugs 5 die Position und Größe des Fahrzeugs 5. Die Position der Kamera kann jeweils durch GPS oder Galileo Empfänger in dem Fahrzeug 2 und 5 bestimmt werden.
  • Die elektronische Verarbeitungsvorrichtung des Fahrzeugs 2 verarbeitet die empfangenen Aufnahmen derart, dass sie einem Fahrer des Fahrzeugs 2 als eine Draufsicht zumindest eines Teils des Umfelds des Fahrzeugs 2 angezeigt werden können. Derartige Transformationen der Perspektive beziehungsweise der Darstellung von Aufnahmen sind wohlbekannt und werden heutzutage beispielsweise für Rundumsichten für Fahrzeuge beim Einparken eingesetzt. Die empfangenen Aufnahmen 3, 4 und 6 überlappen leicht, was von den elektronischen Verarbeitungsmitteln ergänzend zu der Information der Position und Blickrichtung dazu verwendet wird, die einzelnen Aufnahmen korrekt aneinander auszurichten. Die sich für den Fahrer des Fahrzeugs 2 ergebende Ansicht ist beispielhaft in 2 dargestellt. Auf einer Anzeige 7, wie beispielsweise einer LCD oder OLED Anzeige, wird ein transformierter Abschnitt des Fahrzeugs 2' angezeigt. Vor diesem Abschnitt werden die transformierten Kameraaufnahmen 3', 4' und 6' angezeigt sowie das transformiert angezeigte Fahrzeug 5'. Der Teil des angezeigten Umfelds, der auf Kameraaufnahmen des Servers basiert, wird grau hinterlegt beziehungsweise ausgegraut dargestellt, um dem Fahrer zu symbolisieren, dass es sich nicht um aktuelle Bilddaten beziehungsweise aktuelle Kameraaufnahmen handelt. Teile der Kameraaufnahmen werden nicht angezeigt, um eine gleichförmige Darstellung zu erreichen, also eine rechteckige Darstellung im vorliegenden Fall. Der Fahrer erhält so ein Bild des Umfelds in einer Draufsicht von oben und hat die Möglichkeit die Verkehrssituation selbst zu beurteilen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • EP 2315189 A2 [0003]

Claims (9)

  1. Verfahren, das von einer elektronischen Verarbeitungseinheit mit Anzeige (7) in einem ersten Fahrzeug (2) ausgeführt wird, zur Anzeige des Umfelds des ersten Fahrzeugs (2), umfassend: Empfangen einer ersten Kameraaufnahme zumindest eines Teils (3) des Umfelds des ersten Fahrzeugs (2) von einer Kamera in dem ersten Fahrzeug (2) und einer der Kameraaufnahme zugeordneten ersten Position; Empfangen einer zweiten Kameraaufnahme zumindest eines Teils (6) des Umfelds eines zweiten Fahrzeugs (5) von einer Kamera in dem zweiten Fahrzeug (5) und einer der zweiten Kameraaufnahme zugeordneten zweiten Position mittels einer drahtlosen Verbindung von dem zweiten Fahrzeug (5); Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs (2) basierend auf der ersten und der zweiten Kameraaufnahme und der ersten und zweiten Position.
  2. Verfahren nach Anspruch 1, weiter umfassend: Anpassen der Perspektive der ersten und der zweiten Kameraaufnahme.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Anzeigen basierend auf der ersten und zweiten Position umfasst: Bestimmen der Anordnung der ersten und der zweiten Position zueinander.
  4. Verfahren nach einem der vorhergehenden Ansprüche, weiter umfassend: Empfangen einer dritten Kameraaufnahme zumindest eines Teils (4) des Umfelds des ersten Fahrzeugs (2) und einer der dritten Kameraaufnahme zugeordneten dritten Position von einer zentralen Recheneinheit; Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs auch basierend auf der dritten Kameraaufnahme und der dritten Position.
  5. Verfahren nach Anspruch 4, wobei die dritte Kameraaufnahme in einer Datenbank gespeichert ist.
  6. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Empfangen einer der ersten Kameraaufnahme zugeordneten ersten Aufnahmerichtung; Empfangen einer der zweiten Kameraaufnahme zugeordneten zweiten Aufnahmerichtung; Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs auch basierend auf der ersten und zweiten Aufnahmerichtung.
  7. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Bestimmen einer Überlappung des von der ersten und der zweiten Kameraaufnahme dargestellten Umfelds; Erzeugen eines Gesamtbildes basierend auf der ersten und der zweiten Kameraaufnahme.
  8. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Empfangen eines Hinweises, insbesondere ein Hinweis auf Regen, eine nasse Fahrbahn, eine Temperatur oder ein Hindernis, von dem zweiten Fahrzeug (5); Anzeigen eines Hinweises für das durch die zweite Kameraaufnahme angezeigte Umfeld.
  9. Vorrichtung umfassend eine elektronische Verarbeitungseinheit, wobei die Vorrichtung dazu eingerichtet ist ein Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.
DE102012213132.9A 2012-07-26 2012-07-26 Verfahren und Vorrichtung zur Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen Active DE102012213132B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102012213132.9A DE102012213132B4 (de) 2012-07-26 2012-07-26 Verfahren und Vorrichtung zur Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102012213132.9A DE102012213132B4 (de) 2012-07-26 2012-07-26 Verfahren und Vorrichtung zur Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen

Publications (2)

Publication Number Publication Date
DE102012213132A1 true DE102012213132A1 (de) 2014-05-22
DE102012213132B4 DE102012213132B4 (de) 2020-03-12

Family

ID=50625518

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012213132.9A Active DE102012213132B4 (de) 2012-07-26 2012-07-26 Verfahren und Vorrichtung zur Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen

Country Status (1)

Country Link
DE (1) DE102012213132B4 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105882528A (zh) * 2016-04-25 2016-08-24 北京小米移动软件有限公司 平衡车的路况共享方法、装置及平衡车
EP3103682A1 (de) * 2015-06-09 2016-12-14 LG Electronics Inc. Fahrerassistenzvorrichtung und steuerungsverfahren dafür
CN107968806A (zh) * 2016-10-20 2018-04-27 福特环球技术公司 车辆通信和图像投影***
EP3313696A4 (de) * 2015-06-26 2019-04-17 Paccar Inc System der erweiterten realität vermeidung des toten winkels bei einem fahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10035223A1 (de) * 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
DE102006055344A1 (de) * 2006-11-23 2008-05-29 Vdo Automotive Ag Verfahren zur drahtlosen Kommunikation zwischen Fahrzeugen
DE102009050368A1 (de) * 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
EP2315189A2 (de) 2009-10-22 2011-04-27 Siemens Corporation Mobile Messung für Straßensicherheit, Verkehrsverwaltung und Straßenunterhaltung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10035223A1 (de) * 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
DE102006055344A1 (de) * 2006-11-23 2008-05-29 Vdo Automotive Ag Verfahren zur drahtlosen Kommunikation zwischen Fahrzeugen
DE102009050368A1 (de) * 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
EP2315189A2 (de) 2009-10-22 2011-04-27 Siemens Corporation Mobile Messung für Straßensicherheit, Verkehrsverwaltung und Straßenunterhaltung

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3103682A1 (de) * 2015-06-09 2016-12-14 LG Electronics Inc. Fahrerassistenzvorrichtung und steuerungsverfahren dafür
CN106240456A (zh) * 2015-06-09 2016-12-21 Lg电子株式会社 驾驶员辅助设备及其控制方法
EP3326865A1 (de) * 2015-06-09 2018-05-30 LG Electronics Inc. Fahrerassistenzvorrichtung und steuerungsverfahren dafür
CN106240456B (zh) * 2015-06-09 2018-12-18 Lg电子株式会社 驾驶员辅助设备及其控制方法
US10377309B2 (en) 2015-06-09 2019-08-13 Lg Electronics Inc. Driver assistance apparatus and control method for the same
EP3569447A1 (de) * 2015-06-09 2019-11-20 Lg Electronics Inc. Fahrerassistenzvorrichtung
US11097660B2 (en) 2015-06-09 2021-08-24 LG Electionics Inc. Driver assistance apparatus and control method for the same
EP3313696A4 (de) * 2015-06-26 2019-04-17 Paccar Inc System der erweiterten realität vermeidung des toten winkels bei einem fahrzeug
US10373378B2 (en) 2015-06-26 2019-08-06 Paccar Inc Augmented reality system for vehicle blind spot prevention
US10909765B2 (en) 2015-06-26 2021-02-02 Paccar Inc Augmented reality system for vehicle blind spot prevention
CN105882528A (zh) * 2016-04-25 2016-08-24 北京小米移动软件有限公司 平衡车的路况共享方法、装置及平衡车
CN107968806A (zh) * 2016-10-20 2018-04-27 福特环球技术公司 车辆通信和图像投影***

Also Published As

Publication number Publication date
DE102012213132B4 (de) 2020-03-12

Similar Documents

Publication Publication Date Title
DE102009005505B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs
EP2205944B1 (de) Verfahren und vorrichtung zur ausgabe von optischen fahrempfehlungen in einem fahrzeug
WO2012152475A1 (de) Verfahren und vorrichtung zur kalibrierung einer projektionseinrichtung eines fahrzeugs
WO2008061890A1 (de) Verfahren zur drahtlosen kommunikation zwischen fahrzeugen
DE102012001951A1 (de) Anzeigevorrichtung für ein Fahrzeug und Verfahren zum Betreiben einer Anzeigevorrichtung
DE102012200731A1 (de) Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
DE102008043743A1 (de) Verfahren und Steuergerät zur Auswertung eines Sensorsignals
DE102008046544A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102015003847A1 (de) Verfahren und Fahrerassistenzsystem zum Erfassen und Signalisieren von Lichtsignalen von wenigstens einer Lichtsignaleinrichtung einer Wechsellichtzeichenanlage
EP3620842A1 (de) Konzept zum einstellen eines head-up-displays in einem kraftfahrzeug
DE102008046214A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102013210729A1 (de) Verfahren und Vorrichtung zum Signalisieren eines visuell zumindest teilweise verdeckten Verkehrsobjekts für einen Fahrer eines Fahrzeugs
EP2888623B1 (de) Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display
EP3488607A1 (de) Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion
DE102017216775A1 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug
DE102012213132B4 (de) Verfahren und Vorrichtung zur Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen
DE102018204325A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel
DE102013211005A1 (de) Verfahren zum Ermitteln eines Zustands eines Fahrzeugs nach einer Benutzung des Fahrzeugs und entsprechendes System
DE102012018556B4 (de) Assistenzsystem zur Ermöglichung einer erweiterten Vorausschau für nachfolgende Verkehrsteilnehmer
DE102019217642A1 (de) Verfahren zur Erfassung von Bildmaterial zur Überprüfung von bildauswertenden Systemen, Vorrichtung und Fahrzeug zur Verwendung bei dem Verfahren sowie Computerprogramm
DE102012223588A1 (de) Vorrichtung zur erweiterten Darstellung eines Umgebungsbereichs eines Fahrzeugs
DE102006051539A1 (de) Verfahren und Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen
DE102010033786A1 (de) Verfahren zur Erfassung und Anzeige seitlich neben und seitlich hinter einem Fahrzeug befindlicher Bereiche und Fahrzeug mit mehreren Bilderfassungseinheiten zur Erfassung seitlich neben und seitlich hinter dem Fahrzeug befindlicher Bereiche
DE102017209802A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
WO2016096195A1 (de) Kamerasystem und verfahren zum visualisieren mindestens eines fahrzeugumfeldbereiches eines fahrzeugumfeldes eines fahrzeuges

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001080000

Ipc: B60R0001000000

R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final