DE102012213132A1 - Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen - Google Patents
Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen Download PDFInfo
- Publication number
- DE102012213132A1 DE102012213132A1 DE201210213132 DE102012213132A DE102012213132A1 DE 102012213132 A1 DE102012213132 A1 DE 102012213132A1 DE 201210213132 DE201210213132 DE 201210213132 DE 102012213132 A DE102012213132 A DE 102012213132A DE 102012213132 A1 DE102012213132 A1 DE 102012213132A1
- Authority
- DE
- Germany
- Prior art keywords
- camera
- vehicle
- environment
- recording
- shot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 title claims description 21
- 238000011161 development Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Offenbart wird ein Verfahren, das von einer elektronischen Verarbeitungseinheit in einem ersten Fahrzeug (2) ausgeführt wird, zur Anzeige des Umfelds des ersten Fahrzeugs (2), umfassend: Empfangen einer ersten Kameraaufnahme zumindest eines Teils (3) des Umfelds des ersten Fahrzeugs (2) von einer Kamera in dem ersten Fahrzeug (2) und einer der Kameraaufnahme zugeordneten ersten Position; Empfangen einer zweiten Kameraaufnahme zumindest eines Teils (6) des Umfelds eines zweiten Fahrzeugs (5) und einer der Kameraaufnahme zugeordneten zweiten Position mittels einer drahtlosen Verbindung von dem zweiten Fahrzeug (5); Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs (2) basierend auf der ersten und der zweiten Kameraaufnahme und der ersten und zweiten Position.
Description
- Die Erfindung betrifft ein Verfahren zur Anzeige des Umfelds eines Fahrzeugs und eine zu diesem Zweck eingerichtete Vorrichtung.
- Heutzutage sind Kamerasysteme für Fahrzeuge, insbesondere Kraftfahrzeuge wie Personenkraftwagen, bekannt, die die Umgebung des Fahrzeugs aufnehmen. Die Aufnahmen werden gegebenenfalls weiter verarbeitet, um sie dann in einer gewünschten Perspektive, beziehungsweise optisch korrigiert, anzuzeigen. Solche Systeme werden als Einparkhilfe verwendet, um den Abstand des Fahrzeugs zu anderen Fahrzeugen oder Hindernissen dem Fahrer des Fahrzeugs darzustellen.
- Aus der Druckschrift
EP 2 315 189 A2 ist ein System bekannt, in dem mehrere Fahrzeuge je eine Kamera umfassen, deren Aufnahmen zusammen mit der Position des Fahrzeugs an eine Zentraleinheit gesendet werden. Die Zentraleinheit wertet die empfangenen Aufnahmen aus und sendet Anweisungen an die Fahrzeuge, die an den jeweiligen Fahrer ausgegeben werden. - Das in der Druckschrift beschriebene System hat den Nachteil, dass der Fahrer sich nicht selbst ein Bild der Verkehrssituation oder sonstiger für seine Fahrt relevanter Eigenschaften machen kann, sondern abstrakte Anweisungen erhält. Diese können auf Fehlinterpretationen des Zentralsystems basieren und damit falsche Handlungsanweisungen umfassen. Auch kann eine komplexe Verkehrssituation, die von einem menschlichen Betrachter besser verstanden werden kann, durch die Zentraleinheit nicht korrekt erkannt werden und gegebenenfalls auch nicht korrekt in einer abstrakten Anweisung kommuniziert werden.
- Aufgabe der Erfindung ist damit ein Verfahren und eine Vorrichtung bereitzustellen, mit deren Hilfe einem Fahrer eines Fahrzeugs eine eigenständige Interpretation des Umfelds seines Fahrzeugs ermöglicht wird.
- Diese Aufgabe wird durch das Verfahren nach Anspruch 1 und die Vorrichtung nach Anspruch 9 gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen definiert.
- Offenbart wird ein Verfahren, das von einer elektronischen Verarbeitungseinheit mit Anzeige in einem ersten Fahrzeug ausgeführt wird, zur Anzeige des Umfelds des ersten Fahrzeugs, umfassend: Empfangen einer ersten Kameraaufnahme zumindest eines Teils des Umfelds des ersten Fahrzeugs von einer Kamera in dem ersten Fahrzeug und einer der Kameraaufnahme zugeordneten ersten Position; Empfangen einer zweiten Kameraaufnahme zumindest eines Teils des Umfelds eines zweiten Fahrzeugs von einer Kamera in dem zweiten Fahrzeug und einer der zweiten Kameraaufnahme zugeordneten zweiten Position mittels einer drahtlosen Verbindung von dem zweiten Fahrzeug; Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs basierend auf der ersten und der zweiten Kameraaufnahme und der ersten und zweiten Position.
- Auf diese Weise wird dem Fahrer des ersten Fahrzeugs ermöglicht, sich selbst ein Bild der Umgebung seines Fahrzeugs zu machen und die Situation einzuschätzen. Die empfangenen Kameraaufnahmen werden zu einem Gesamtbild (gegebenenfalls mit Lücken beziehungsweise fehlenden Teilen) zusammengefügt. Jedenfalls umfasst das Anzeigen Bereiche des Umfelds, die durch die erste Kameraaufnahme beziehungsweise durch Kameraaufnahmen des ersten Fahrzeugs, nicht abgedeckt werden. Das Gesamtbild kann Bereiche des Umfelds erfassen, die von dem ersten Fahrzeug ausgehend nicht sichtbar sind, sei es, weil sie zu weit entfernt sind, oder verdeckt sind. Der Fahrer muss sich nicht auf abstrakte Hinweise verlassen, die gegebenenfalls nicht akzeptiert und umgesetzt werden. Der Fahrer kann so zum Beispiel Stausituationen oder die Verschlechterung der Fahrbahn erkennen.
- Auch kann das im ersten Fahrzeug vorhandene Gesamtbild dazu verwendet werden automatisch Gefahrensituationen zu erkennen und davor zu warnen, beispielsweise vor Auffahrunfällen, Stauauffahrunfällen, kurzfristigen Staus oder allgemein Unfällen.
- Die Anzeige zumindest des Teils des Umfelds des ersten Fahrzeugs kann eine Draufsicht auf den Teil des Umfelds des ersten Fahrzeugs umfassen, oder eine Sicht, wie sie sich aus einer fiktiven Blickrichtung von oberhalb des ersten Fahrzeugs ergibt. Weiterhin ist das Verfahren auch auf eine größere Zahl an Fahrzeugen anwendbar. Dabei empfängt die elektronische Verarbeitungseinheit weitere Kameraaufnahmen zumindest eines Teils des Umfelds der jeweiligen weiteren Fahrzeuge mit Kamera und weitere den jeweiligen weiteren Kameraaufnahmen zugeordneten Positionen und zeigt zumindest einem Teil des Umfelds des ersten Fahrzeugs auch basierend auf den weiteren Kameraaufnahmen und der weiteren Positionen an. Auch ist es denkbar, dass Kameraaufnahmen schrittweise von einem Fahrzeug zum nächsten bis zum ersten Fahrzeug übertragen werden, also die Verarbeitungsvorrichtung vom zweiten Fahrzeug eine Kameraaufnahme zumindest eines Teils des Umfelds eines dritten Fahrzeugs von einer Kamera in dem dritten Fahrzeug und die der Kameraaufnahme zugeordnete Position empfängt und das Anzeigen auch darauf basiert.
- Eine elektronische Verarbeitungseinheit in einem Fahrzeug kann sowohl eine fest im Fahrzeug verbaute Recheneinheit sein, als auch ein mobiles Endgerät, das sich nur temporär im Fahrzeug befindet, wie ein sogenanntes Smartphone. Die Kameraaufnahmen können Aufnahmen einer normalen Kamera für Licht im sichtbaren Bereich sein, einer Infrarotkamera und/oder einer Kamera mit Nachtsicht-Funktion. Die Aufnahmen können auch eine Kombination der verschiedenen Typen von Kameras sein und auch auf zusätzlichen Informationen basieren, die beispielsweise mit Abstandsmessungen mithilfe von Ultraschall oder Laserscannern gewonnen werden. Die Anzeige kann auf einem Bildschirm beziehungsweise seiner Anzeige im ersten Fahrzeug, aber auch auf einem Head-Up-Display oder einem Head-Mounted-Display vorgenommen werden. Es kann vorkommen, dass Teile des Umfelds des ersten Fahrzeugs nicht angezeigt werden, beispielsweise, weil für diese Teile keine Kameraaufnahmen empfangen wurden. Diese Teile können beim Anzeigen beispielsweise weiß gelassen werden. Der Empfang der zweiten Kameraaufnahmen kann mithilfe von WiFi, Bluetooth, Car2Car Kommunikation, oder über Mobilfunk erfolgen. Es ist denkbar, dass die Kameraaufnahmen vor dem Empfang bearbeitet wurden, um eine optische Korrektur beispielsweise der Perspektive vorzunehmen. Auch ist es möglich, dass die Daten vor dem Empfang komprimiert wurden. Die empfangenen Positionen können auf einer Positionsbestimmung mittels Satellitennavigation wie GPS oder Galileo basieren.
- In einer vorteilhaften Weiterbildung umfasst das Verfahren auch das Empfangen einer der ersten Kameraaufnahme zugeordneten Zeit und das Empfangen einer der zweiten Kameraaufnahme zugeordneten Zeit von dem zweiten Fahrzeug.
- In einer Weiterbildung umfasst das Verfahren auch das Anpassen der Perspektive der ersten und der zweiten Kameraaufnahme. Die Perspektiven der Kameraaufnahmen können aneinander angepasst werden, so dass dem Fahrer eine einheitliche Darstellung der Umgebung geboten wird. Dies umfasst häufig die optische Korrektur der empfangenen Kameraaufnahmen.
- In einer Fortentwicklung umfasst das Anzeigen basierend auf der ersten und zweiten Position: Bestimmen der Anordnung der ersten und der zweiten Position zueinander. Dies ermöglicht eine auf das erste Fahrzeug und damit das Fahrzeug des Fahrers bezogene Anzeige der Umgebung. Abhängig von der Entfernung der zweiten Position zur ersten Position kann das Anzeigen zentriert auf die erste Position vorgenommen werden.
- In einer bevorzugten Weiterbildung umfasst das Verfahren das Empfangen einer dritten Kameraaufnahme des Umfelds des ersten Fahrzeugs und einer der dritten Kameraaufnahme zugeordneten dritten Position von einer zentralen Recheneinheit, die entfernt vom ersten Fahrzeug angeordnet ist; Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs auch basierend auf der dritten Kameraaufnahme und der dritten Position. Die dritte Kameraaufnahme kann in einer Datenbank gespeichert sein. Auf diese Weise können Lücken beziehungsweise Teile des Umfelds, für die keine Kameraaufnahme des zweiten Fahrzeugs oder eines anderen Fahrzeugs vorliegen, trotzdem für den Fahrer auf der Anzeige angezeigt werden. Dem Fahrer wird so eine zusammenhängende Darstellung beziehungsweise Gesamtbild des Umfelds angezeigt. Bei der dritten Kameraaufnahme kann es sich um eine Kameraaufnahmen handeln, deren Aufnahmezeitpunkt bereits länger zurückliegt, beispielsweise ein Tag, ein Monat, ein Jahr oder sogar länger. Also eine Kameraaufnahme, die zwar das Umfeld wiedergibt, aber nicht in der aktuellen Verkehrssituation. Denkbar ist jedoch auch, dass die von der zentralen Recheneinheit empfangene Kameraaufnahme eine Aufnahme einer weiteren Kamera, beispielsweise einer fest installierten Kamera, oder einer Kamera eines weiteren Fahrzeugs ist, die die aktuelle Verkehrssituation wiedergibt. Die dritte Kameraaufnahme kann die Aufnahme des Umfelds hinter einer Abbiegung oder einer Kreuzung sein, sowie des Umfelds am Straßenrand.
- In einer weiteren bevorzugten Weiterbildung umfasst das Verfahren weiterhin das Empfangen einer der ersten Kameraaufnahme zugeordneten ersten Aufnahmerichtung; Empfangen einer der zweiten Kameraaufnahme zugeordneten zweiten Aufnahmerichtung; Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs auch basierend auf der ersten und zweiten Aufnahmerichtung. Die Information der Aufnahmerichtung der ersten und zweiten Kameraaufnahme kann zum richtigen Anordnen und Anzeigen der Kameraaufnahme verwendet werden.
- In einer Variante umfasst das Verfahren das Bestimmen einer Überlappung des von der ersten und der zweiten Kameraaufnahme dargestellten Umfelds; Erzeugen eines Gesamtbildes basierend auf der ersten und der zweiten Kameraaufnahme. Es kann vorkommen, dass sich sowohl die erste als auch die zweite Kameraaufnahme denselben Teil des Umfelds des ersten Fahrzeugs abbilden. Ein typischer Fall hierfür wäre die Aufnahme einer rückwärts gerichteten Kamera des zweiten sich direkt vor dem ersten Fahrzeug befindlichen Fahrzeugs und die Aufnahme einer vorwärts gerichteten Kamera des ersten Fahrzeugs. Zur korrekten Anzeige des Umfelds wird dann die Überlappung der Kameraaufnahmen bestimmt und beim Anzeigen berücksichtigt.
- Weiterhin ist es denkbar, dass das Verfahren weiter folgendes umfasst: Speichern einer empfangenen Kameraaufnahme; Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs, auch basierend auf der gespeicherten Kameraaufnahme. Auf diese Weise kann das von dem ersten oder zweiten Fahrzeug vorhergehend aufgenommene Umfeld bei der Anzeige des Umfelds verwendet werden.
- In einer vorteilhaften Weiterbildung umfasst das Verfahren das Empfangen eines Hinweises, insbesondere ein Hinweis auf Regen, ein Hindernis oder eine nasse Fahrbahn, von dem zweiten Fahrzeug; Anzeigen des Hinweises für das durch die zweite Kameraaufnahme angezeigte Umfeld. Beispielsweise kann von dem zweiten Fahrzeug ein Hinweis auf ein Hindernis auf der Fahrbahn empfangen werden. Dieser Hinweis wird beim Anzeigen dann der zweiten Kameraaufnahme zugeordnet angezeigt. Auf diese Weise wird verdeutlicht, dass in dem durch die zweite Kameraaufnahme dargestellten Umfeld mit Regen, nasser Fahrbahn oder einem Hindernis zu rechnen ist. Gegebenenfalls kann das Hindernis auch hervorgehoben werden, beispielsweise durch Markierung mit einer Leuchtfarbe beim Anzeigen.
- Weiterhin kann beim Anzeigen der Teil des Umfelds, der auf einer von einem Server empfangenen Aufnahme beruht, die nicht das entsprechende Umfeld in der aktuellen Verkehrssituation wiedergibt, markiert werden, beispielsweise durch ausgrauen. Der Fahrer weiß somit, dass die Verkehrssituation in diesem Bereich eventuell anders ist, als angezeigt und kann beispielsweise mit weiteren Hindernissen in diesem Bereich rechnen.
- Die Anzeige kann ein LCD Bildschirm, eine OLED Anzeige, ein Head-Up-Display, ein Head-Mounted-Display oder Ähnliches sein. Es ist denkbar, dass das Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs auf kontaktanaloge Weise mittels eines Head-Up-Displays oder eines Head-Mounted-Displays vorgenommen wird, was manchmal auch als augmented reality bezeichnet wird. Dies kann auch durch ein Navigationssystem unterstützt werden, das die kontaktanaloge Anzeige durch Bereitstellen der eigenen Position und dem Vergleich mit den den Kameraaufnahmen zugeordneten Positionen unterstützten kann.
- Ebenfalls offenbart wird eine Vorrichtung, die eine elektronisch Verarbeitungseinheit umfasst. Die Vorrichtung ist dazu eingerichtet eines der vorgenannten Verfahren auszuführen. Dies kann durch die programmtechnische Einrichtung der elektronischen Recheneinheit geschehen. Die elektronische Verarbeitungseinheit kann einen Universalrechner beziehungsweise einen Computer umfassen, der mithilfe von Computerprogrammen oder sogenannten Apps zu einem bestimmten Verhalten eingerichtet werden kann. Von einem Fahrzeug können Mittel zum Empfangen von drahtlosen Übertragungssignalen umfasst sein wie ein WiFi Empfänger, ein WLAN Empfänger, ein Empfänger für die Car2Car Kommunikation oder ein Mobilfunkmodul. Dieser Empfänger gibt die empfangenen Signale an die elektronische Verarbeitungseinheit weiter.
- KURZE BESCHREIBUNG DER ZEICHNUNG
-
1 zeigt eine schematische Darstellung einer Verkehrssituation mit einem ersten und einem zweiten Fahrzeug, in der ein Verfahren gemäß einem Ausführungsbeispiel, ausgeführt wird. -
2 zeigt eine schematische Darstellung einer Anzeige gemäß einem Ausführungsbeispiel. - DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
-
1 zeigt eine schematische Darstellung einer Verkehrssituation mit einem ersten Fahrzeug2 und einem zweiten Fahrzeug5 auf einer Fahrbahn1 . Das erste Fahrzeug2 verfügt über eine Kamera, die eine Aufnahme eines Teils des Umfelds macht, hier als Aufnahmeumfeld3 gekennzeichnet. Ebenso verfügt das zweite Fahrzeug5 über eine Kamera, die eine Aufnahme eines Teils des Umfelds des Fahrzeugs5 macht, hier als Aufnahmeumfeld6 gekennzeichnet. Beide Fahrzeuge2 und5 verfügen ebenfalls über eine Einrichtung zur Car2Car Kommunikation, mit deren Hilfe das von dem Fahrzeug5 aufgenommene Bild an eine elektronische Verarbeitungsvorrichtung in dem Fahrzeug2 übertragen wird. Gleichzeitig empfängt das Fahrzeug über eine Mobilfunkeinrichtung eine Aufnahme eines Teils des Umfelds, hier als Aufnahmeumfeld4 gekennzeichnet, von einem zentralen Server (nicht dargestellt), das den Bereich zwischen dem Aufnahmeumfeld3 und6 abdeckt. Die Einrichtung zur Kommunikation und die Mobilfunkeinrichtung geben die empfangenen Signale an eine elektronische Verarbeitungseinheit in dem Fahrzeug2 weiter. Diese empfangene Kameraaufnahme des Aufnahmeumfelds4 bildet nicht die aktuelle Verkehrssituation ab, sondern das Umfeld zu einem früher liegenden Aufnahmezeitpunkt. Die Aufnahme des Aufnahmeumfelds4 wurde bereits länger, beispielsweise ein halbes Jahr, vor dem Passieren der Stelle durch das Fahrzeug2 gemacht und in einer Datenbank gespeichert. Die von dem Server bereitgestellte Aufnahme wurde von der elektronischen Verarbeitungsvorrichtung zuvor angefordert. Mit jeder empfangenen Aufnahme empfängt die elektronische Verarbeitungsvorrichtung auch die für diese Aufnahme relevante Position der aufnehmenden Kamera und die Aufnahmerichtung. So kann der durch die Aufnahme repräsentierte Teil des Umfelds zugeordnet beziehungsweise identifiziert werden. Des Weiteren bestimmt und/oder schätzt die elektronische Verarbeitungsvorrichtung aufgrund einer Erfassung des Fahrzeugs5 in der Kameraaufnahme des Aufnahmeumfelds3 , sowie aus dem Aufnahmeumfeld6 und der Position der Kamera des Fahrzeugs5 die Position und Größe des Fahrzeugs5 . Die Position der Kamera kann jeweils durch GPS oder Galileo Empfänger in dem Fahrzeug2 und5 bestimmt werden. - Die elektronische Verarbeitungsvorrichtung des Fahrzeugs
2 verarbeitet die empfangenen Aufnahmen derart, dass sie einem Fahrer des Fahrzeugs2 als eine Draufsicht zumindest eines Teils des Umfelds des Fahrzeugs2 angezeigt werden können. Derartige Transformationen der Perspektive beziehungsweise der Darstellung von Aufnahmen sind wohlbekannt und werden heutzutage beispielsweise für Rundumsichten für Fahrzeuge beim Einparken eingesetzt. Die empfangenen Aufnahmen3 ,4 und6 überlappen leicht, was von den elektronischen Verarbeitungsmitteln ergänzend zu der Information der Position und Blickrichtung dazu verwendet wird, die einzelnen Aufnahmen korrekt aneinander auszurichten. Die sich für den Fahrer des Fahrzeugs2 ergebende Ansicht ist beispielhaft in2 dargestellt. Auf einer Anzeige7 , wie beispielsweise einer LCD oder OLED Anzeige, wird ein transformierter Abschnitt des Fahrzeugs2' angezeigt. Vor diesem Abschnitt werden die transformierten Kameraaufnahmen3' ,4' und6' angezeigt sowie das transformiert angezeigte Fahrzeug5' . Der Teil des angezeigten Umfelds, der auf Kameraaufnahmen des Servers basiert, wird grau hinterlegt beziehungsweise ausgegraut dargestellt, um dem Fahrer zu symbolisieren, dass es sich nicht um aktuelle Bilddaten beziehungsweise aktuelle Kameraaufnahmen handelt. Teile der Kameraaufnahmen werden nicht angezeigt, um eine gleichförmige Darstellung zu erreichen, also eine rechteckige Darstellung im vorliegenden Fall. Der Fahrer erhält so ein Bild des Umfelds in einer Draufsicht von oben und hat die Möglichkeit die Verkehrssituation selbst zu beurteilen. - ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- EP 2315189 A2 [0003]
Claims (9)
- Verfahren, das von einer elektronischen Verarbeitungseinheit mit Anzeige (
7 ) in einem ersten Fahrzeug (2 ) ausgeführt wird, zur Anzeige des Umfelds des ersten Fahrzeugs (2 ), umfassend: Empfangen einer ersten Kameraaufnahme zumindest eines Teils (3 ) des Umfelds des ersten Fahrzeugs (2 ) von einer Kamera in dem ersten Fahrzeug (2 ) und einer der Kameraaufnahme zugeordneten ersten Position; Empfangen einer zweiten Kameraaufnahme zumindest eines Teils (6 ) des Umfelds eines zweiten Fahrzeugs (5 ) von einer Kamera in dem zweiten Fahrzeug (5 ) und einer der zweiten Kameraaufnahme zugeordneten zweiten Position mittels einer drahtlosen Verbindung von dem zweiten Fahrzeug (5 ); Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs (2 ) basierend auf der ersten und der zweiten Kameraaufnahme und der ersten und zweiten Position. - Verfahren nach Anspruch 1, weiter umfassend: Anpassen der Perspektive der ersten und der zweiten Kameraaufnahme.
- Verfahren nach einem der vorhergehenden Ansprüche, wobei das Anzeigen basierend auf der ersten und zweiten Position umfasst: Bestimmen der Anordnung der ersten und der zweiten Position zueinander.
- Verfahren nach einem der vorhergehenden Ansprüche, weiter umfassend: Empfangen einer dritten Kameraaufnahme zumindest eines Teils (
4 ) des Umfelds des ersten Fahrzeugs (2 ) und einer der dritten Kameraaufnahme zugeordneten dritten Position von einer zentralen Recheneinheit; Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs auch basierend auf der dritten Kameraaufnahme und der dritten Position. - Verfahren nach Anspruch 4, wobei die dritte Kameraaufnahme in einer Datenbank gespeichert ist.
- Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Empfangen einer der ersten Kameraaufnahme zugeordneten ersten Aufnahmerichtung; Empfangen einer der zweiten Kameraaufnahme zugeordneten zweiten Aufnahmerichtung; Anzeigen von zumindest einem Teil des Umfelds des ersten Fahrzeugs auch basierend auf der ersten und zweiten Aufnahmerichtung.
- Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Bestimmen einer Überlappung des von der ersten und der zweiten Kameraaufnahme dargestellten Umfelds; Erzeugen eines Gesamtbildes basierend auf der ersten und der zweiten Kameraaufnahme.
- Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Empfangen eines Hinweises, insbesondere ein Hinweis auf Regen, eine nasse Fahrbahn, eine Temperatur oder ein Hindernis, von dem zweiten Fahrzeug (
5 ); Anzeigen eines Hinweises für das durch die zweite Kameraaufnahme angezeigte Umfeld. - Vorrichtung umfassend eine elektronische Verarbeitungseinheit, wobei die Vorrichtung dazu eingerichtet ist ein Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012213132.9A DE102012213132B4 (de) | 2012-07-26 | 2012-07-26 | Verfahren und Vorrichtung zur Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012213132.9A DE102012213132B4 (de) | 2012-07-26 | 2012-07-26 | Verfahren und Vorrichtung zur Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102012213132A1 true DE102012213132A1 (de) | 2014-05-22 |
DE102012213132B4 DE102012213132B4 (de) | 2020-03-12 |
Family
ID=50625518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102012213132.9A Active DE102012213132B4 (de) | 2012-07-26 | 2012-07-26 | Verfahren und Vorrichtung zur Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102012213132B4 (de) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105882528A (zh) * | 2016-04-25 | 2016-08-24 | 北京小米移动软件有限公司 | 平衡车的路况共享方法、装置及平衡车 |
EP3103682A1 (de) * | 2015-06-09 | 2016-12-14 | LG Electronics Inc. | Fahrerassistenzvorrichtung und steuerungsverfahren dafür |
CN107968806A (zh) * | 2016-10-20 | 2018-04-27 | 福特环球技术公司 | 车辆通信和图像投影*** |
EP3313696A4 (de) * | 2015-06-26 | 2019-04-17 | Paccar Inc | System der erweiterten realität vermeidung des toten winkels bei einem fahrzeug |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10035223A1 (de) * | 2000-07-20 | 2002-01-31 | Daimler Chrysler Ag | Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts |
DE102006055344A1 (de) * | 2006-11-23 | 2008-05-29 | Vdo Automotive Ag | Verfahren zur drahtlosen Kommunikation zwischen Fahrzeugen |
DE102009050368A1 (de) * | 2008-10-24 | 2010-05-27 | Magna Electronics Europe Gmbh & Co.Kg | Verfahren zum automatischen Kalibrieren einer virtuellen Kamera |
EP2315189A2 (de) | 2009-10-22 | 2011-04-27 | Siemens Corporation | Mobile Messung für Straßensicherheit, Verkehrsverwaltung und Straßenunterhaltung |
-
2012
- 2012-07-26 DE DE102012213132.9A patent/DE102012213132B4/de active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10035223A1 (de) * | 2000-07-20 | 2002-01-31 | Daimler Chrysler Ag | Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts |
DE102006055344A1 (de) * | 2006-11-23 | 2008-05-29 | Vdo Automotive Ag | Verfahren zur drahtlosen Kommunikation zwischen Fahrzeugen |
DE102009050368A1 (de) * | 2008-10-24 | 2010-05-27 | Magna Electronics Europe Gmbh & Co.Kg | Verfahren zum automatischen Kalibrieren einer virtuellen Kamera |
EP2315189A2 (de) | 2009-10-22 | 2011-04-27 | Siemens Corporation | Mobile Messung für Straßensicherheit, Verkehrsverwaltung und Straßenunterhaltung |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3103682A1 (de) * | 2015-06-09 | 2016-12-14 | LG Electronics Inc. | Fahrerassistenzvorrichtung und steuerungsverfahren dafür |
CN106240456A (zh) * | 2015-06-09 | 2016-12-21 | Lg电子株式会社 | 驾驶员辅助设备及其控制方法 |
EP3326865A1 (de) * | 2015-06-09 | 2018-05-30 | LG Electronics Inc. | Fahrerassistenzvorrichtung und steuerungsverfahren dafür |
CN106240456B (zh) * | 2015-06-09 | 2018-12-18 | Lg电子株式会社 | 驾驶员辅助设备及其控制方法 |
US10377309B2 (en) | 2015-06-09 | 2019-08-13 | Lg Electronics Inc. | Driver assistance apparatus and control method for the same |
EP3569447A1 (de) * | 2015-06-09 | 2019-11-20 | Lg Electronics Inc. | Fahrerassistenzvorrichtung |
US11097660B2 (en) | 2015-06-09 | 2021-08-24 | LG Electionics Inc. | Driver assistance apparatus and control method for the same |
EP3313696A4 (de) * | 2015-06-26 | 2019-04-17 | Paccar Inc | System der erweiterten realität vermeidung des toten winkels bei einem fahrzeug |
US10373378B2 (en) | 2015-06-26 | 2019-08-06 | Paccar Inc | Augmented reality system for vehicle blind spot prevention |
US10909765B2 (en) | 2015-06-26 | 2021-02-02 | Paccar Inc | Augmented reality system for vehicle blind spot prevention |
CN105882528A (zh) * | 2016-04-25 | 2016-08-24 | 北京小米移动软件有限公司 | 平衡车的路况共享方法、装置及平衡车 |
CN107968806A (zh) * | 2016-10-20 | 2018-04-27 | 福特环球技术公司 | 车辆通信和图像投影*** |
Also Published As
Publication number | Publication date |
---|---|
DE102012213132B4 (de) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102009005505B4 (de) | Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs | |
EP2205944B1 (de) | Verfahren und vorrichtung zur ausgabe von optischen fahrempfehlungen in einem fahrzeug | |
WO2012152475A1 (de) | Verfahren und vorrichtung zur kalibrierung einer projektionseinrichtung eines fahrzeugs | |
WO2008061890A1 (de) | Verfahren zur drahtlosen kommunikation zwischen fahrzeugen | |
DE102012001951A1 (de) | Anzeigevorrichtung für ein Fahrzeug und Verfahren zum Betreiben einer Anzeigevorrichtung | |
DE102012200731A1 (de) | Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs | |
DE102008043743A1 (de) | Verfahren und Steuergerät zur Auswertung eines Sensorsignals | |
DE102008046544A1 (de) | Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges | |
DE102015003847A1 (de) | Verfahren und Fahrerassistenzsystem zum Erfassen und Signalisieren von Lichtsignalen von wenigstens einer Lichtsignaleinrichtung einer Wechsellichtzeichenanlage | |
EP3620842A1 (de) | Konzept zum einstellen eines head-up-displays in einem kraftfahrzeug | |
DE102008046214A1 (de) | Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges | |
DE102013210729A1 (de) | Verfahren und Vorrichtung zum Signalisieren eines visuell zumindest teilweise verdeckten Verkehrsobjekts für einen Fahrer eines Fahrzeugs | |
EP2888623B1 (de) | Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display | |
EP3488607A1 (de) | Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion | |
DE102017216775A1 (de) | Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug | |
DE102012213132B4 (de) | Verfahren und Vorrichtung zur Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen | |
DE102018204325A1 (de) | Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel | |
DE102013211005A1 (de) | Verfahren zum Ermitteln eines Zustands eines Fahrzeugs nach einer Benutzung des Fahrzeugs und entsprechendes System | |
DE102012018556B4 (de) | Assistenzsystem zur Ermöglichung einer erweiterten Vorausschau für nachfolgende Verkehrsteilnehmer | |
DE102019217642A1 (de) | Verfahren zur Erfassung von Bildmaterial zur Überprüfung von bildauswertenden Systemen, Vorrichtung und Fahrzeug zur Verwendung bei dem Verfahren sowie Computerprogramm | |
DE102012223588A1 (de) | Vorrichtung zur erweiterten Darstellung eines Umgebungsbereichs eines Fahrzeugs | |
DE102006051539A1 (de) | Verfahren und Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen | |
DE102010033786A1 (de) | Verfahren zur Erfassung und Anzeige seitlich neben und seitlich hinter einem Fahrzeug befindlicher Bereiche und Fahrzeug mit mehreren Bilderfassungseinheiten zur Erfassung seitlich neben und seitlich hinter dem Fahrzeug befindlicher Bereiche | |
DE102017209802A1 (de) | Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille | |
WO2016096195A1 (de) | Kamerasystem und verfahren zum visualisieren mindestens eines fahrzeugumfeldbereiches eines fahrzeugumfeldes eines fahrzeuges |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: B60R0001080000 Ipc: B60R0001000000 |
|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |