DE102016208214A1 - Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Fahrzeuges - Google Patents

Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Fahrzeuges Download PDF

Info

Publication number
DE102016208214A1
DE102016208214A1 DE102016208214.0A DE102016208214A DE102016208214A1 DE 102016208214 A1 DE102016208214 A1 DE 102016208214A1 DE 102016208214 A DE102016208214 A DE 102016208214A DE 102016208214 A1 DE102016208214 A1 DE 102016208214A1
Authority
DE
Germany
Prior art keywords
vehicle
image data
external sensor
sensor
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016208214.0A
Other languages
English (en)
Inventor
Frederic Stefan
Uwe Gussen
Christoph Arndt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102016208214A1 publication Critical patent/DE102016208214A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162Decentralised systems, e.g. inter-vehicle communication event-triggered
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Unterstützung eines Manövriervorganges eines Fahrzeuges. Bei einem erfindungsgemäßen Verfahren zur Unterstützung eines Manövriervorganges eines Fahrzeuges werden unter Verwendung wenigstens eines an dem Fahrzeug vorgesehenen, fahrzeugeigenen Sensors die Fahrzeugumgebung betreffende Bilddaten erfasst, und es wird auf Basis dieser Bilddaten eine visuelle Darstellung der Fahrzeugumgebung an den Fahrer übermittelt, wobei das Verfahren folgende Schritte aufweist: Empfangen weiterer, die Fahrzeugumgebung betreffender Bilddaten, welche von wenigstens einem externen Sensor (121, 141) erfasst wurden, Verknüpfen der von diesem externen Sensor (121, 141) empfangenen Bilddaten mit den von dem wenigstens einen fahrzeugeigenen Sensor erfassten Bilddaten, und Übermitteln einer visuellen Darstellung der Fahrzeugumgebung an den Fahrer auf Basis der verknüpften Bilddaten, wobei das Empfangen und/oder Verknüpfen der weiteren Bilddaten nur erfolgt, wenn der jeweilige externe Sensor wenigstens ein vorgegebenes, auf die Relativposition zwischen dem Fahrzeug und dem externen Sensor bezogenes Kriterium erfüllt.

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Unterstützung eines Manövriervorganges eines Fahrzeuges.
  • Zur Unterstützung des Fahrers eines Fahrzeuges bei Manövriervorgängen, insbesondere während der Durchführung von Parkmanövern, sind 360°-Kamerasysteme von unterschiedlichen Herstellern entwickelt worden. Typischerweise besitzen solche Systeme eine Mehrzahl von Kameras, z.B. Kameras in den Außenspiegeln, Rücksichtkameras und Frontsichtkameras. Diese Kameras werden in bestimmten Situationen aktiviert, wobei die von den Kameras gelieferten Bilder zusammengeführt und dazu genutzt werden, eine Ansicht des eigenen Fahrzeuges während des Manövrierens in Bezug auf die in der Umgebung des Fahrzeuges befindlichen, von den Kameras erfassten Objekte darzustellen.
  • Wenngleich die beschriebenen Kamerasysteme den Fahrer mit zusätzlichen Informationen über in der Nähe befindliche Hindernisse versorgen, weisen sie diverse Nachteile auf. Beispielsweise kann in der Praxis der Fall auftreten, dass infolge der begrenzten Anzahl von Kameras sowie deren Position innerhalb des Fahrzeuges bestimmte Objekte von dem jeweiligen System nicht oder erst verspätet erfasst werden. Des Weiteren führt die Erzeugung der 360°-Ansicht häufig zu Verzerrungen in der Darstellung nach Zusammenführung der einzelnen Kamerabilder, was unter Umständen die Abschätzung von Entfernungen zu einem bestimmten Objekt oder einem bestimmten Ziel erschwert.
  • Aus DE 10 2013 204 843 A1 ist u.a. ein Fahrerassistenzsystem bekannt, welches es ermöglicht, Halteverbotsschilder im Rahmen eines automatisierten Einparkassistenten zu berücksichtigen. Dabei kann eine Steuereinheit auch dazu eingerichtet sein, die Daten bezüglich des ermittelten Verkehrszeichens an ein im Umfeld befindliches anderes Fahrzeug zu übermitteln.
  • Zum weiteren Stand der Technik wird lediglich beispielhaft auf US 7,782,227 B2 , US 7,102,496 B1 , DE 10 2008 034 606 A1 , DE 10 2012 009 297 A1 und DE 10 2009 027 755 A1 verwiesen.
  • Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zur Unterstützung eines Manövriervorganges eines Fahrzeuges bereitzustellen, welche eine zuverlässigere Berücksichtigung der Fahrzeugumgebung ermöglichen.
  • Diese Aufgabe wird durch das Verfahren gemäß den Merkmalen des unabhängigen Anspruchs 1 bzw. die Vorrichtung gemäß den Merkmalen des nebengeordneten Anspruchs 10 gelöst.
  • Bei einem erfindungsgemäßen Verfahren zur Unterstützung eines Manövriervorganges eines Fahrzeuges werden unter Verwendung wenigstens eines an dem Fahrzeug vorgesehenen, fahrzeugeigenen Sensors die Fahrzeugumgebung betreffende Bilddaten erfasst, und es wird auf Basis dieser Bilddaten eine visuelle Darstellung der Fahrzeugumgebung an den Fahrer übermittelt, wobei das Verfahren folgende Schritte aufweist:
    • – Empfangen weiterer, die Fahrzeugumgebung betreffender Bilddaten, welche von wenigstens einem externen Sensor erfasst wurden;
    • – Verknüpfen der von diesem externen Sensor empfangenen Bilddaten mit den von dem wenigstens einen fahrzeugeigenen Sensor erfassten Bilddaten; und
    • – Übermitteln einer visuellen Darstellung der Fahrzeugumgebung an den Fahrer auf Basis der verknüpften Bilddaten;
    • – wobei das Empfangen und/oder Verknüpfen der weiteren Bilddaten nur erfolgt, wenn der jeweilige externe Sensor wenigstens ein vorgegebenes, auf die Relativposition zwischen dem Fahrzeug und dem externen Sensor bezogenes Kriterium erfüllt.
  • Der Erfindung liegt insbesondere das Konzept zugrunde, wenigstens eine externe Kamera bzw. wenigstens einen externen visuellen Sensor für eine bessere Berücksichtigung der Fahrzeugumgebung, z.B. für eine verbesserte 360°-Ansicht, zu nutzen. Im Ergebnis kann gemäß der Erfindung die Erfassung auch von für fahrzeugeigene Sensoren verdeckten Bereichen, eine genauere bzw. mit weniger Störungen wie Verzerrungen behaftete visuelle Darstellung der Fahrzeugumgebung, eine exaktere Abschätzung vorhandener Abstände zu in der Fahrzeugumgebung befindlichen Objekten sowie ggf. auch die zuverlässigere Erzeugung etwaiger Warnsignale erreicht werden.
  • Die Erfindung beinhaltet weiter das Konzept, den wenigstens einen externen Sensor anhand geeigneter Auswahlkriterien so auszuwählen, dass ein Informationsgewinn im Vergleich zu einer alleinigen Nutzung fahrzeugeigener Sensoren erzielt wird. Durch diese Vorauswahl kann sichergestellt werden, dass im Rahmen des erfindungsgemäßen Verfahrens ausschließlich geeignete Signale an das die Erfindung implementierende Fahrzeug übertragen und von diesem verarbeitet werden. Hierdurch kann wiederum eine Begrenzung des Datenvolumens erreicht werden, welche bei dem jeweiligen Datenaustausch (z.B. bei einer Fahrzeug-zu-Fahrzeug-Kommunikation oder einer Kommunikation zwischen einer externen Infrastruktureinrichtung und dem Fahrzeug) übertragen werden muss. Diese Begrenzung des Datenvolumens führt wiederum dazu, dass der zur Datenverarbeitung erforderliche Speicherplatz in einer zentralen Prozessoreinheit (CPU) des Fahrzeugs sowie die erforderliche Datenverarbeitungszeit innerhalb der Prozessoreinheit reduziert werden können. Aufgrund der intelligenten Auswahl der optimal geeigneten Information bzw. der Sensordaten wird eine Überlastung des Fahrzeugsystems vermieden.
  • Gemäß einer Ausführungsform erfolgt das Empfangen und/oder Verknüpfen der weiteren Bilddaten bzw. eine Auswahl des betreffenden externen Sensors nur, wenn aufgrund der von dem externen Sensor empfangenen Bilddaten ein Informationsgewinn, insbesondere hinsichtlich des Abstandes zu wenigstens einem in der Fahrzeugumgebung befindlichen Objekt, erzielbar ist.
  • Die erfindungsgemäße intelligente Auswahl des wenigstens einen externen Sensors erfolgt vorzugsweise derart, dass sowohl eine direkte Sichtverbindung zwischen dem betreffenden externen Sensor und dem eigenen Fahrzeug als auch ein von dem wenigstens einen fahrzeugeigenen Sensor zumindest vorübergehend nicht erfassbarer, jedoch von dem externen Sensor erfassbarer Bereich existiert (also der externe Sensor nicht nur die gleichen Bilddaten empfängt, die auch von fahrzeugeigenen Sensoren bereits empfangen werden können).
  • Gemäß einer Ausführungsform kann das für das Empfangen und/oder Verknüpfen der weiteren Bilddaten zu erfüllende vorgegebene Kriterium ferner die Erfassbarkeit eines vorgegebenen longitudinalen und/oder seitlichen Abschnitts des Fahrzeuges durch den externen Sensor umfassen. Gemäß einer weiteren Ausführungsform kann auch gefordert werden, dass die Relativposition des wenigstens einen externen Sensors zum eigenen Fahrzeug abgeschätzt werden kann.
  • Gemäß einer Ausführungsform erfolgt das Empfangen und/oder Verknüpfen der weiteren Bilddaten nach automatischem Aufbau einer drahtlosen Kommunikation zwischen dem Fahrzeug und dem externen Sensor.
  • Gemäß einer Ausführungsform erfolgt das Empfangen und/oder Verknüpfen der weiteren Bilddaten nur, wenn der jeweilige externe Sensor wenigstens ein vorgegebenes Kriterium erfüllt. Das wenigstens eine vorgegebene Kriterium kann insbesondere ein auf die Relativposition zwischen dem Fahrzeug und dem externen Sensor bezogenes Kriterium sein. Gemäß einer Ausführungsform umfasst das wenigstens eine vorgegebene Kriterium die Eignung des externen Sensors zur drahtlosen Übermittlung der von diesem externen Sensor empfangenen Bilddaten an das Fahrzeug.
  • Gemäß einer Ausführungsform erfolgt das Empfangen und/oder Verknüpfen der weiteren Bilddaten nach automatischem Aufbau einer drahtlosen Kommunikation zwischen dem Fahrzeug und dem externen Sensor.
  • Gemäß einer Ausführungsform ist der wenigstens eine externe Sensor ein an einem Fremdfahrzeug vorgesehener Sensor.
  • Gemäß einer Ausführungsform ist der wenigstens eine externe Sensor ein an einer Verkehrs-Infrastruktureinrichtung vorgesehener Sensor.
  • Gemäß einer Ausführungsform ist der wenigstens eine externe Sensor ein an einer mobilen Kommunikationsvorrichtung (z.B. einem Smartphone) vorgesehener Sensor.
  • Gemäß einer Ausführungsform erfolgt das Übermitteln der visuellen Darstellung der Fahrzeugumgebung an den Fahrer in Form einer 360°-Ansicht.
  • Die Erfindung betrifft weiter eine Vorrichtung zur Unterstützung eines Manövriervorganges eines Fahrzeuges, welche dazu konfiguriert ist, ein Verfahren mit den vorstehend beschriebenen Merkmalen durchzuführen. Zu Vorteilen und bevorzugten Ausgestaltungen der Vorrichtung wird auf die vorstehenden Ausführungen im Zusammenhang mit dem erfindungsgemäßen Verfahren verwiesen.
  • Weitere Ausgestaltungen der Erfindung sind der Beschreibung sowie den Unteransprüchen zu entnehmen.
  • Die Erfindung wird nachstehend anhand einer beispielhaften Ausführungsform unter Bezugnahme auf die beigefügten Abbildungen näher erläutert.
  • Es zeigen:
  • 1 eine schematische Darstellung eines beispielhaften Szenarios während der Durchführung eines Manövriervorgangs; und
  • 2 eine schematische Übersicht über in einer erfindungsgemäßen Vorrichtung vorhandene Komponenten.
  • 1 zeigt in lediglich schematischer Darstellung ein beispielhaftes Szenario während der Durchführung eines Manövriervorganges. Gemäß 1 führt ein Fahrzeug 110 einen Manövriervorgang in Form eines Einparkvorganges in eine Parklücke zwischen einem Fremdfahrzeug 120 und einem weiteren Fremdfahrzeug 130 durch. Mit der erfindungsgemäßen Vorrichtung wird nun erfasst, dass das Fremdfahrzeug 120 mit einem visuellen Sensor 121 in Form einer Rücksichtkamera ausgestattet ist, welcher dazu in der Lage ist, aufgenommene Daten über eine Fahrzeug-zu-Fahrzeug-Kommunikation zu übertragen, wobei von dem betreffenden visuellen Sensor 121 bzw. der am Fremdfahrzeug 120 vorhandenen Rücksichtkamera zudem eine gute Sichtverbindung zum Fahrzeug 110 und dem vom Fahrzeug 110 durchgeführten Manöver gegeben ist. Des Weiteren ist gemäß 1 auch eine Verkehrs-Infrastruktureinrichtung 140 (im Beispiel in Form eines auf dem Bordstein 105 befindlichen Pfeilers) mit einem visuellen Sensor 141 ausgestattet, von dem aus ebenfalls eine gute Sichtverbindung zum Fahrzeug 110 gegeben ist.
  • Es erfolgt nun der Aufbau einer Kommunikationsverbindung zwischen der erfindungsgemäßen Vorrichtung im Fahrzeug 110 und den beiden externen visuellen Sensoren 121, 141 (d.h. der Rücksichtkamera am Fremdfahrzeug 120 und der an der Verkehrs-Infrastruktureinrichtung 140 vorhandenen Kamera) sowie eine Verknüpfung bzw. Zusammenführung der von diesen externen Kameras aufgenommenen Bilder mit den fahrzeugeigenen (nicht dargestellten) Kameras am Fahrzeug 110, um z.B. die Genauigkeit einer 360°-Ansicht zu verbessern.
  • Hierbei können diverse Kriterien, welche von dem betreffenden externen visuellen Sensor zu erfüllen sind, herangezogen werden.
  • Gemäß einem Kriterium kann gefordert werden, dass die Möglichkeit gegeben ist, die jeweils von dem externen visuellen Sensor erfassten Bilder an das eigene, erfindungsgemäß ausgestattete Fahrzeug 110 zu übertragen, was insbesondere z.B. durch ein geeignetes Fahrzeug-zu-Fahrzeug-Kommunikationsmodul erfolgen kann. Des Weiteren kann hierbei auch eine zur Informationsübertragung ausreichende Energieversorgung gefordert werden.
  • Des Weiteren kann die Erfüllung bestimmter Positionskriterien, welche sich auf die Position des jeweiligen externen visuellen Sensors beziehen, gefordert werden. Hierbei kann insbesondere das Bestehen einer direkten Sichtverbindung zwischen dem externen visuellen Sensor und dem eigenen Fahrzeug, das Bestehen einer Sichtverbindung von dem externen visuellen Sensor zu einem in der Fahrzeugumgebung befindlichen, jedoch von den fahrzeugeigenen Sensoren bzw. Kameras nicht erfassten Bereich, die Abdeckung entweder eines bestimmten longitudinalen oder seitlichen Abschnitts des eigenen Fahrzeuges und/oder eine hinreichende Nähe des externen visuellen Sensors zum eigenen Fahrzeug (zwecks Bereitstellung zusätzlicher Informationen zur Abschätzung des Abstandes zu in der Umgebung des eigenen Fahrzeuges befindlichen Objekten) gefordert werden.
  • Gemäß einem weiteren Kriterium kann gefordert werden, dass die Relativposition des wenigstens einen externen visuellen Sensors zum eigenen Fahrzeug abgeschätzt werden kann.
  • Der erfindungsgemäße genutzte, wenigstens eine externe visuelle Sensor kann an einem anderen Fahrzeug, einer beliebigen Verkehrs-Infrastruktureinrichtung oder auch an einer mobilen Kommunikationsvorrichtung wie z.B. einem Smartphone vorgesehen sein.
  • Falls wenigstens ein geeigneter externer, visueller Sensor bzw. eine externe Kamera existiert, wird eine Kommunikationsverbindung mit dem betreffenden externen Sensor bzw. der externen Kamera aufgebaut, um die von dem betreffenden externen Sensor bzw. der externen Kamera erzeugte Ansicht der Manövrierumgebung zu empfangen. Bei Kenntnis bzw. Abschätzung der Position des betreffenden externen Sensors bzw. der externen Kamera kann sodann eine Verknüpfung bzw. Zusammenführung der betreffenden, zusätzlich verfügbaren externen Bilder mit den von den fahrzeugeigenen Kameras aufgenommenen Bilddaten erfolgen.
  • Die Aktivierung der erfindungsgemäßen Vorrichtung kann in unterschiedlicher Art und Weise erfolgen.
  • Gemäß einer Ausführungsform kann die Aktivierung der erfindungsgemäßen Vorrichtung manuell durch den Fahrer erfolgen. Des Weiteren kann die Aktivierung gegebenenfalls automatisch erfolgen, sobald der Rückwärtsgang eingelegt wird, ein Fahrerassistenzsystem zur Unterstützung eines Einparkmanövers oder eines sonstigen Manövers von niedriger Geschwindigkeit aktiviert wird, oder wenn die Fahrzeuggeschwindigkeit einen vorgegebenen Schwellenwert unterschreitet.
  • Des Weiteren können auch vorgegebene Bedingungen für eine Deaktivierung der erfindungsgemäßen Vorrichtung bestehen, beispielsweise die Nichterfüllung sämtlicher Aktivierungsbedingungen oder die erfolgte Beendigung des jeweiligen Manövers (z.B. Abschalten der Zündung, Stillstand für eine bestimmte Zeitdauer etc.).
  • In weiteren Ausführungsformen kann auch eine Zusammenführung bzw. Verknüpfung der von dem wenigstens einen externen visuellen Sensor erhaltenen Information mit der Information anderweitiger fahrzeugeigener Sensoren (z.B. Näherungssensoren wie Parksensoren) erfolgen, um eine bestmögliche Abbildung der Umgebung des Fahrzeuges 110 zu erzielen.
  • 2 zeigt in lediglich schematischer Darstellung eine Übersicht über in einer erfindungsgemäßen Vorrichtung vorhandene Komponenten.
  • Ein Steuerungsmodul 201 dient zur Aktivierung bzw. Deaktivierung der erfindungsgemäßen Vorrichtung. Die erfindungsgemäße Vorrichtung weist eine Mensch-Maschine-Schnittstelle (HMI) 202 in Form eines Displays zur Darstellung einer 360°-Ansicht auf. Die Mensch-Maschine-Schnittstelle (HMI) 202 kann in Ausführungsformen auch dazu konfiguriert sein, den geschätzten Abstand zu einer Zielposition oder einem Hindernis basierend auf dem angezeigten (Kamera-)Bild anzugeben bzw. darzustellen.
  • Mit "203" ist ein Modul zur Erfassung des Fahrzeugzustandes bezeichnet, welches Informationen über den aktuellen Fahrzeugzustand (z.B. aktuelle Fahrzeuggeschwindigkeit, Getriebestellung, Aktivierungszustand des Assistenzsystems etc.) bereitstellt. Die erfindungsgemäße Vorrichtung weist ein Modul 204 zur Erfassung eines externen visuellen Sensors bzw. einer externen Kamera auf. Dieses Modul 204 überwacht die Umgebung des Fahrzeuges bzw. erfasst in der Umgebung befindliche externe Kameras und ermittelt ferner, welche externe(n) Kamera(s) bzw. Sensor(en) zur Unterstützung der erfindungsgemäßen Vorrichtung verwendet werden kann bzw. können.
  • Ein Kommunikationsmodul 205 dient zur Durchführung der Kommunikation mit einer oder mehreren externen visuellen Sensoren bzw. Kameras und ist für den Empfang der von der jeweiligen externen Kamera aufgenommenen Bilder einschließlich der (insbesondere zeitlichen) Planung zuständig.
  • Eine Verarbeitungseinheit bzw. Prozessoreinheit 206 verknüpft die externen Kamerabilder mit den Bildern der fahrzeugeigenen Kameras, um eine Draufsicht (bzw. eine Ansicht aus der "Vogelperspektive") auf das eigene Fahrzeug zu verbessern und in der HMI 202 bzw. dem Display anzuzeigen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102013204843 A1 [0004]
    • US 7782227 B2 [0005]
    • US 7102496 B1 [0005]
    • DE 102008034606 A1 [0005]
    • DE 102012009297 A1 [0005]
    • DE 102009027755 A1 [0005]

Claims (10)

  1. Verfahren zur Unterstützung eines Manövriervorganges eines Fahrzeuges, wobei unter Verwendung wenigstens eines an dem Fahrzeug vorgesehenen, fahrzeugeigenen Sensors die Fahrzeugumgebung betreffende Bilddaten erfasst werden und wobei auf Basis dieser Bilddaten eine visuelle Darstellung der Fahrzeugumgebung an den Fahrer übermittelt wird, dadurch gekennzeichnet, dass das Verfahren folgende Schritte aufweist: Empfangen weiterer, die Fahrzeugumgebung betreffender Bilddaten, welche von wenigstens einem externen Sensor (121, 141) erfasst wurden; Verknüpfen der von diesem externen Sensor (121, 141) empfangenen Bilddaten mit den von dem wenigstens einen fahrzeugeigenen Sensor erfassten Bilddaten; und Übermitteln einer visuellen Darstellung der Fahrzeugumgebung an den Fahrer auf Basis der verknüpften Bilddaten; wobei das Empfangen und/oder Verknüpfen der weiteren Bilddaten nur erfolgt, wenn der jeweilige externe Sensor (121, 141) wenigstens ein vorgegebenes, auf die Relativposition zwischen dem Fahrzeug (110) und dem externen Sensor (121, 141) bezogenes Kriterium erfüllt.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Empfangen und/oder Verknüpfen der weiteren Bilddaten nur erfolgt, wenn aufgrund der von dem externen Sensor (121, 141) empfangenen Bilddaten ein Informationsgewinn, insbesondere hinsichtlich des Abstandes zu wenigstens einem in der Fahrzeugumgebung befindlichen Objekt, erzielbar ist.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das wenigstens eine vorgegebene Kriterium die Existenz eines von dem wenigstens einen fahrzeugeigenen Sensor zumindest vorübergehend nicht erfassbaren, jedoch von dem externen Sensor (121, 141) erfassbaren Bereichs sowie das Bestehen einer direkten Sichtverbindung zwischen dem Fahrzeug (110) und dem externen Sensor (121, 141) umfasst.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das wenigstens eine vorgegebene Kriterium ferner die Erfassbarkeit eines vorgegebenen longitudinalen und/oder seitlichen Abschnitts des Fahrzeugs (110) durch den externen Sensor (121, 141) umfasst.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das wenigstens eine vorgegebene Kriterium ferner die Abschätzbarkeit der Relativposition des externen Sensors (121, 141) zum Fahrzeug (110) umfasst.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das wenigstens eine vorgegebene Kriterium die Eignung des externen Sensors (121, 141) zur drahtlosen Übermittlung der von diesem externen Sensor empfangenen Bilddaten an das Fahrzeug (110) umfasst.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Empfangen und/oder Verknüpfen der weiteren Bilddaten nach automatischem Aufbau einer drahtlosen Kommunikation zwischen dem Fahrzeug (110) und dem externen Sensor (121, 141) erfolgt.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der wenigstens eine externe Sensor (121) ein an einem Fremdfahrzeug (120) vorgesehener Sensor, ein an einer Verkehrs-Infrastruktureinrichtung (140) vorgesehener Sensor oder ein an einer mobilen Kommunikationsvorrichtung vorgesehener Sensor ist.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übermitteln der visuellen Darstellung der Fahrzeugumgebung an den Fahrer in Form einer 360°-Ansicht erfolgt.
  10. Vorrichtung zur Unterstützung eines Manövriervorganges eines Fahrzeuges, dadurch gekennzeichnet, dass die Vorrichtung dazu konfiguriert ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
DE102016208214.0A 2015-05-22 2016-05-12 Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Fahrzeuges Pending DE102016208214A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015209445.6 2015-05-22
DE102015209445 2015-05-22

Publications (1)

Publication Number Publication Date
DE102016208214A1 true DE102016208214A1 (de) 2016-11-24

Family

ID=57231810

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016208214.0A Pending DE102016208214A1 (de) 2015-05-22 2016-05-12 Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Fahrzeuges

Country Status (3)

Country Link
US (1) US20160339840A1 (de)
CN (1) CN106169258A (de)
DE (1) DE102016208214A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108583426A (zh) * 2018-03-14 2018-09-28 斑马网络技术有限公司 超车指示***及其指示方法
DE102017207810A1 (de) * 2017-05-09 2018-11-15 Audi Ag Verfahren zur automatisierten Führung eines Kraftfahrzeugs
WO2019091982A1 (de) * 2017-11-07 2019-05-16 Continental Automotive Gmbh Verfahren zum betreiben eines sensors eines kraftfahrzeugs, sensor und kopplungseinrichtung
DE102019128926A1 (de) * 2019-10-25 2021-04-29 Valeo Schalter Und Sensoren Gmbh Verfahren zur automatisierten Fahrzeugführung
DE102020101021A1 (de) 2020-01-17 2021-07-22 Bayerische Motoren Werke Aktiengesellschaft Fahrassistenzsystem und Fahrassistenzverfahren für ein Fahrzeug

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568746B (en) * 2017-11-28 2021-05-19 Jaguar Land Rover Ltd Parking assist method and apparatus
US20210009135A1 (en) * 2018-04-05 2021-01-14 Mitsubishi Electric Corporation Driving support device
DE102020206134A1 (de) * 2020-05-15 2021-11-18 Ford Global Technologies, Llc Verfahren zum Betrieb eines Kraftfahrzeugs

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7102496B1 (en) 2002-07-30 2006-09-05 Yazaki North America, Inc. Multi-sensor integration for a vehicle
DE102008034606A1 (de) 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
US7782227B2 (en) 2006-04-28 2010-08-24 International Business Machines Corporation Dynamic vehicle grid infrastructure to allow vehicles to sense and respond to traffic conditions
DE102009027755A1 (de) 2009-07-16 2011-01-20 Robert Bosch Gmbh Verfahren zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs sowie Fahrerassistenzvorrichtung
DE102012009297A1 (de) 2012-05-03 2012-12-13 Daimler Ag Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
DE102013204843A1 (de) 2013-03-19 2014-10-09 Bayerische Motoren Werke Aktiengesellschaft Einparkassistent mit kooperativer Halteverbotserkennung

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
WO2012145822A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
US9466002B2 (en) * 2012-01-23 2016-10-11 Global Ip Holdings, Llc Real-time system for aiding drivers during vehicle backup and image capture and transmitter unit for use therein
US9058038B2 (en) * 2012-03-29 2015-06-16 GM Global Technology Operations LLC Method and system for predicting vehicle battery health using a collaborative vehicle battery health model
US9117371B2 (en) * 2012-06-22 2015-08-25 Harman International Industries, Inc. Mobile autonomous surveillance
US9134955B2 (en) * 2013-01-24 2015-09-15 Intel Corporation Customization of a vehicle
KR101519209B1 (ko) * 2013-08-06 2015-05-11 현대자동차주식회사 Avm 영상 제공 장치 및 방법
CN104092995A (zh) * 2014-07-15 2014-10-08 广州杰赛科技股份有限公司 一种泊车辅助***
US9371133B2 (en) * 2014-11-07 2016-06-21 Paccar Inc Drone systems for pre-trip inspection and assisted backing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7102496B1 (en) 2002-07-30 2006-09-05 Yazaki North America, Inc. Multi-sensor integration for a vehicle
US7782227B2 (en) 2006-04-28 2010-08-24 International Business Machines Corporation Dynamic vehicle grid infrastructure to allow vehicles to sense and respond to traffic conditions
DE102008034606A1 (de) 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
DE102009027755A1 (de) 2009-07-16 2011-01-20 Robert Bosch Gmbh Verfahren zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs sowie Fahrerassistenzvorrichtung
DE102012009297A1 (de) 2012-05-03 2012-12-13 Daimler Ag Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
DE102013204843A1 (de) 2013-03-19 2014-10-09 Bayerische Motoren Werke Aktiengesellschaft Einparkassistent mit kooperativer Halteverbotserkennung

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017207810A1 (de) * 2017-05-09 2018-11-15 Audi Ag Verfahren zur automatisierten Führung eines Kraftfahrzeugs
DE102017207810B4 (de) 2017-05-09 2022-12-22 Audi Ag Verfahren zur automatisierten Führung eines Kraftfahrzeugs
WO2019091982A1 (de) * 2017-11-07 2019-05-16 Continental Automotive Gmbh Verfahren zum betreiben eines sensors eines kraftfahrzeugs, sensor und kopplungseinrichtung
CN108583426A (zh) * 2018-03-14 2018-09-28 斑马网络技术有限公司 超车指示***及其指示方法
DE102019128926A1 (de) * 2019-10-25 2021-04-29 Valeo Schalter Und Sensoren Gmbh Verfahren zur automatisierten Fahrzeugführung
DE102020101021A1 (de) 2020-01-17 2021-07-22 Bayerische Motoren Werke Aktiengesellschaft Fahrassistenzsystem und Fahrassistenzverfahren für ein Fahrzeug

Also Published As

Publication number Publication date
US20160339840A1 (en) 2016-11-24
CN106169258A (zh) 2016-11-30

Similar Documents

Publication Publication Date Title
DE102016208214A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Fahrzeuges
DE102016211180B4 (de) Verfahren und Vorrichtung zum Durchführen einer automatisierten Fahrt eines Fahrzeugs
EP2581892B1 (de) Abstandsmesssystem sowie Verfahren zur Abstandsmessung insbesondere eines Fahrzeugs zu seiner Umgebung
DE102012213344A1 (de) Verkehrszeichenerkennung
DE102012200721A1 (de) Verfahren zum Überwachen eines Fahrzeugumfeldes
DE102008046214A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102012211041A1 (de) Verfahren zur Unterstützung eines Einparksystems mittels portabler Sensoren
DE102012023498A1 (de) Verfahren und System zur selbsttätigen und/oder assistierenden Fahrzeugführung
DE102009027755A1 (de) Verfahren zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs sowie Fahrerassistenzvorrichtung
DE102015121353A1 (de) Verfahren zum Erkennen einer möglichen Kollision zwischen einem Kraftfahrzeug und einem Objekt unter Berücksichtigung einer räumlichen Unsicherheit, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015200044A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Kraftfahrzeugs
DE202014006923U1 (de) Fahrassistenzsystem, Computerprogrammprodukt sowie Kraftfahrzeug
DE102016204877A1 (de) Verfahren zum Betreiben eines Fahrassistenzsystems zur Durchführung eines autonomen oder teilautonomen Fahrmanövers eines Fahrzeugs und derartiges Fahrassistenzsystem
DE102012208288A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
DE102019217428A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems, Fahrerassistenzsystem und Fahrzeug
DE102014016237A1 (de) Verfahren zum Betrieb eines Fahrzeugs
DE102012214829A1 (de) Verfahren und Vorrichtung zum Darstellen einer Ausweichtrajektorie zur Kollisionsvermeidung für ein Fahrzeug
DE102014204316A1 (de) Optische Signaleinrichtung für ein Kraftfahrzeug und Kraftfahrzeug
DE102019210534A1 (de) Fahrerassistenzsystem eines Kraftfahrzeugs, Verfahren zur Assistenz eines Fahrers während eines Einparkvorgangs, Computerprogrammprodukt sowie Kraftfahrzeug
DE102014219876A1 (de) Verfahren und Vorrichtung zur Unterstützung eines automatischen Einparkvorganges eines Kraftfahrzeugs
WO2017108430A1 (de) Verfahren zur situationsbasierten unterstützung eines kraftfahrzeuges zur bildung eines korridors für einsatzfahrzeuge
DE102015223836A1 (de) Fahrzeug und Verfahren zur Bergung eines vollautomatisch fahrfähigen Fahrzeugs
WO2011003659A1 (de) Verfahren zum betreiben eines systems zur fahrerassistenz
DE102015013043A1 (de) Verfahren zur Vermeidung einer Kollision oder zumindest zur Verringerung einer Kollisionsschwere eines Fahrzeuges
DE102017210825A1 (de) Verfahren und Vorrichtung zum Erhöhen der Aufmerksamkeit eines Fahrers eines Fahrzeugs, Fahrzeug und Computerprogrammprodukt

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: BONSMANN - BONSMANN - FRANK PATENTANWAELTE, DE

R016 Response to examination communication
R084 Declaration of willingness to licence