DE102016119592A1 - Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug - Google Patents

Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug Download PDF

Info

Publication number
DE102016119592A1
DE102016119592A1 DE102016119592.8A DE102016119592A DE102016119592A1 DE 102016119592 A1 DE102016119592 A1 DE 102016119592A1 DE 102016119592 A DE102016119592 A DE 102016119592A DE 102016119592 A1 DE102016119592 A1 DE 102016119592A1
Authority
DE
Germany
Prior art keywords
sensor data
motor vehicle
wavelength range
classified
plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016119592.8A
Other languages
English (en)
Inventor
James McDonald
John McDonald
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Priority to DE102016119592.8A priority Critical patent/DE102016119592A1/de
Priority to EP17757697.2A priority patent/EP3526725A1/de
Priority to PCT/EP2017/069928 priority patent/WO2018068919A1/en
Publication of DE102016119592A1 publication Critical patent/DE102016119592A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen von Objekten (9) in einem Umgebungsbereich (8) eines Kraftfahrzeugs (1), bei welchem mittels einer Erfassungseinrichtung (4) des Kraftfahrzeugs (1) erste Sensordaten, welche den Umgebungsbereich (8) im sichtbaren Wellenlängenbereich beschreiben, und zweite Sensordaten, welche den Umgebungsbereich (8) im infraroten Wellenlängenbereich beschreiben, bereitgestellt werden und das Objekt (9) anhand der ersten Sensordaten und/oder der zweiten Sensordaten erkannt wird, wobei das Objekt (9) anhand der ersten Sensordaten und/oder der zweiten Sensordaten als statisches Objekt oder als dynamisches Objekt klassifiziert wird und falls das Objekt (9) als statisches oder als dynamisches Objekt klassifiziert wird, anhand der zweiten Sensordaten überprüft wird, ob das Objekt eine Pflanze (11) ist.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs, bei welchem mittels einer Erfassungseinrichtung des Kraftfahrzeugs erste Sensordaten, welche den Umgebungsbereich im sichtbaren Wellenlängenbereich beschreiben, und zweite Sensordaten, welche den Umgebungsbereich im infraroten Wellenlängenbereich beschreiben, bereitgestellt werden und das Objekt anhand der ersten Sensordaten und/oder der zweiten Sensordaten erkannt wird. Darüber hinaus betrifft die vorliegende Erfindung eine Objekterkennungsvorrichtung. Des Weiteren betrifft die vorliegende Erfindung ein Fahrerassistenzsystem. Schließlich betrifft die vorliegende Erfindung ein Kraftfahrzeug.
  • Das Interesse richtet sich vorliegend auf die Erkennung von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs. Hierzu ist es aus dem Stand der Technik bekannt, dass Objekte in der Umgebung mit Sensoren erkannt werden, welche an dem Kraftfahrzeug angeordnet sind. Die Informationen über die Objekte können dann von Fahrerassistenzsystemen des Kraftfahrzeugs verwendet werden. Beispielsweise kann eine Warnung an den Fahrer des Kraftfahrzeugs ausgegeben werden, falls eine Kollision mit einem Objekt bzw. Hindernis droht. Die Objekte können beispielsweise mithilfe von Kameras erkannt werden, welche Bilder von dem Umgebungsbereich bereitstellen. Unter Verwendung von entsprechenden Objekterkennungsverfahren können dann die Objekte in den Bildern erkannt werden. Dabei ist es ferner bekannt, dass die Objekte klassifiziert werden bzw. einer Gruppe zugeordnet werden. Beispielsweise können die Objekte als Fußgänger, Fahrzeuge oder Fahrbahnmarkierungen erkannt werden. Ferner kann es vorgesehen sein, dass die Objekte als statische oder als dynamische Objekte klassifiziert werden.
  • Aus dem Stand der Technik ist es ferner bekannt, dass zur Erkennung von Objekten Sensordaten verwendet werden, welche den Umgebungsbereich im infraroten Wellenlängenbereich beschreiben. Hierzu beschreibt die WO 2015/161208 A1 ein Fahrzeug mit einem Sichtsystem, welches eine Stereokamera für Licht im sichtbaren Wellenlängenbereich aufweist. Zudem umfasst das Sichtsystem eine Infrarotkamera. Dabei kann es weiterhin vorgesehen sein, dass das Sichtsystem eine Kamera für den nahen infraroten Wellenlängenbereich aufweist. Mithilfe des Sichtsystems kann eine dreidimensionale Punktwolke zum Erkennen von Objekten in der Umgebung des Fahrzeugs bestimmt werden.
  • Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie Objekte in einer Umgebung des Kraftfahrzeugs zuverlässiger erkannt und klassifiziert werden können.
  • Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Objekterkennungsvorrichtung, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind Gegenstand der abhängigen Ansprüche.
  • Bei einer Ausführungsform eines Verfahrens zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs werden bevorzugt mittels einer Erfassungseinrichtung des Kraftfahrzeugs erste Sensordaten, welche insbesondere den Umgebungsbereich im sichtbaren Wellenlängenbereich beschreiben, und zweite Sensordaten, welche insbesondere den Umgebungsbereich im infraroten Wellenlängenbereich beschreiben, bereitgestellt. Zudem wird das Objekt bevorzugt anhand der ersten Sensordaten und/oder der zweiten Sensordaten erkannt. Des Weiteren wird das Objekt bevorzugt anhand der ersten Sensordaten und/oder der zweiten Sensordaten als statisches oder als dynamisches Objekt klassifiziert und falls das Objekt als statisches oder als dynamisches Objekt klassifiziert wird, wird bevorzugt anhand der zweiten Sensordaten überprüft, ob das Objekt eine Pflanze ist.
  • Ein erfindungsgemäßes Verfahren dient zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs. Hierbei werden mittels einer Erfassungseinrichtung des Kraftfahrzeugs erste Sensordaten, welche den Umgebungsbereich im sichtbaren Wellenlängenbereich beschreiben, und zweite Sensordaten, welche den Umgebungsbereich im infraroten Wellenlängenbereich beschreiben, bereitgestellt. Ferner wird das Objekt anhand der ersten Sensordaten und/oder der zweiten Sensordaten erkannt. Darüber hinaus wird das Objekt anhand der ersten Sensordaten und/oder der zweiten Sensordaten als statisches Objekt oder als dynamisches Objekt klassifiziert. Falls das Objekt als statisches oder als dynamisches Objekt klassifiziert wird, wird anhand der zweiten Sensordaten überprüft, ob das Objekt eine Pflanze ist.
  • Mithilfe des Verfahrens sollen Objekte in dem Umgebungsbereich des Kraftfahrzeugs erkannt werden. Zu diesem Zweck werden mit der Erfassungseinrichtung die ersten Sensordaten bereitgestellt. Die ersten Sensordaten beschreiben den Umgebungsbereich im sichtbaren Wellenlängenbereich. Die ersten Sensordaten beschreiben also insbesondere das Licht im sichtbaren Wellenlängenbereich, welches von dem Objekt reflektiert wird und/oder von dem Objekt ausgesendet wird. Darüber hinaus werden mittels der Erfassungseinrichtung die zweiten Sensordaten bereitgestellt, welche den Umgebungsbereich und insbesondere das Objekt im infraroten Wellenlängenbereich beschreiben. Die zweiten Sensordaten beschreiben also insbesondere die Strahlung im infraroten Wellenlängenbereich, welche von dem Objekt reflektiert wird und/oder von diesem abgestrahlt wird.
  • Auf Grundlage der ersten Sensordaten und/oder der zweiten Sensordaten kann dann das Objekt erkannt werden. So kann beispielsweise eine Recheneinrichtung verwendet werden, mittels welcher die ersten Sensordaten und/oder die zweiten Sensordaten ausgewertet werden. Wenn die ersten Sensordaten und die zweiten Sensordaten jeweils als Bild bereitgestellt werden, kann beispielsweise mithilfe der Recheneinrichtung ein entsprechender Objekterkennungsalgorithmus durchgeführt werden, um das Objekt zu erkennen. Hierbei können zum Beispiel Methoden der Segmentierung und/oder Klassifizierung genutzt werden, um das Objekt in den Bildern zu erkennen. Es kann auch vorgesehen sein, dass das erkannte Objekt mit bekannten Formen verglichen wird. Insbesondere ist es vorgesehen, dass das Objekt auf Grundlage der ersten Sensordaten und/oder der zweiten Sensordaten klassifiziert wird. Bei der Klassifizierung kann insbesondere zwischen einem statischen oder einem sich nicht bewegenden Objekt einerseits und einem dynamischen oder einem sich bewegenden Objekt andererseits unterschieden werden. Als dynamische Objekte sind insbesondere solche Objekte zu verstehen, welche sich relativ zu dem Kraftfahrzeug bewegen. Die dynamischen Objekte können sich insbesondere auf einer Fahrbahn oder einem Boden bewegen. Als statische Objekte sind insbesondere solche Objekte zu verstehen, welche sich nicht relativ zu dem Kraftfahrzeug bewegen. Die statischen Objekte können sich insbesondere auf der Fahrbahn oder neben der Fahrbahn befinden.
  • Gemäß einem wesentlichen Aspekt der Erfindung ist es vorgesehen, dass falls das Objekt als statisches Objekt oder als dynamisches Objekt klassifiziert wird, anhand der zweiten Sensordaten überprüft wird, ob das Objekt eine Pflanze ist. Dem liegt die Erkenntnis zugrunde, dass sich Pflanzen in Folge der Umwelteinflüsse bewegen können. Beispielsweise können sich die Pflanzen und insbesondere deren Blätter bei Wind oder bei Niederschlag bewegen. Dies kann zu der Situation führen, dass diese Pflanzen oder Teile davon als bewegtes Objekt klassifiziert werden. Außerdem können die Texturen in der statischen Vegetation die Muster von Objekten oder Fußgänger, welche in Klassifizierungsmethoden verwendet werden, nachahmen. Somit können diese Texturen der statischen Pflanzen als statische Objekte klassifiziert werden. Wenn das Objekt als statisches oder als bewegtes Objekt klassifiziert wird, können die zweiten Sensordaten, die das Objekt beschreiben, herangezogen werden. Es wird also die infrarote Strahlung und insbesondere die nahe infrarote Strahlung, die von dem Objekt reflektiert und/oder ausgesendet wird, untersucht. Hierbei wird berücksichtigt, dass Pflanzen während der Photosynthese typischerweise Strahlung im nahen infraroten Wellenlängenbereich reflektieren bzw. streuen. Die Pflanzen reflektieren oder streuen die Strahlung im nahen infraroten Wellenlängenbereich, um eine Überhitzung und damit eine Beschädigung der Zellen zu verhindern. Durch die zusätzliche Berücksichtigung der zweiten Sensordaten ist es ermöglicht, die als statische oder als bewegte Objekte klassifizierten Objekte von Pflanzen zu unterscheiden. Somit kann die Falsch-Positiv-Rate deutlich reduziert werden.
  • Bevorzugt wird anhand der zweiten Sensordaten überprüft, ob das Objekt eine Pflanze ist, falls das Objekt als bewegter Fußgänger klassifiziert wird. Anhand der ersten Sensordaten und/oder der zweiten Sensordaten kann das Objekt beispielsweise als Fußgänger klassifiziert werden, welcher sich relativ zu dem Kraftfahrzeug bewegt. Hier haben Versuche gezeigt, dass insbesondere sich bewegende Pflanzen sehr häufig als sich bewegender Fußgänger erkannt werden. Anhand der ersten Sensordaten und/oder der zweiten Sensordaten kann das Objekt als statischer Fußgänger klassifiziert werden. Wie bereits beschrieben, kann dies durch die Textur der Pflanzen begründet sein. Durch die Überprüfung anhand der zweiten Sensordaten kann auf zuverlässige Weise ermittelt werden, ob es sich um einen Fußgänger oder um eine Pflanze, beispielsweise einem Baum, einen Strauch oder dergleichen, handelt. Diese Information kann dann beispielsweise von einem Fahrerassistenzsystem des Kraftfahrzeugs verwendet werden um eine Kollision zwischen dem Kraftfahrzeug und dem Fußgänger zu vermeiden.
  • Weiterhin ist es vorteilhaft, wenn das als statisch oder als dynamisch klassifizierte Objekt anhand einer von dem Objekt abgegebenen Strahlung im nahen infraroten Wellenlängenbereich, insbesondere in einem Wellenlängenbereich zwischen 0,7 µm und 1,1 µm, als Pflanze erkannt wird. Hierbei wird die Erkenntnis berücksichtigt, dass Pflanzen insbesondere bei der Fotosynthese deutlich Strahlung im nahen infraroten Bereich reflektieren oder streuen um eine Überhitzung und somit eine Beschädigung der Zellen zu verhindern. Wenn nun erkannt wird, dass das Objekt Strahlungen in diesem Wellenlängenbereich aussendet, kann mit einer hohen Wahrscheinlichkeit davon ausgegangen werden, dass es sich um eine Pflanze handelt.
  • Gemäß einer weiteren Ausführungsform wird zusätzlich anhand der ersten Sensordaten überprüft, ob das als statisch oder als dynamisch klassifizierte Objekt eine Pflanze ist. Es können auch die ersten Sensordaten, die den Umgebungsbereich im sichtbaren Wellenlängenbereich beschreiben, herangezogen werden, um das als statisch oder als dynamisch klassifizierte Objekt näher zu beurteilen. Beispielsweise kann überprüft werden, welche Farbe das Objekt aufweist. Wenn das Objekt eine grüne Farbe aufweist, kann mit einer hohen Wahrscheinlichkeit davon ausgegangen werden, dass es sich um eine Pflanze handelt. Dabei kann die Farbe des Objekts oder eines Teils des Objekts mit vorbestimmten Farben verglichen werden, welche unterschiedliche Pflanzen beschreiben. Hierbei wird berücksichtigt, dass beispielsweise Blätter von Bäumen und Büsche andere Farben aufweisen können. Somit kann die Falsch-Positiv-Rate zusätzlich reduziert werden.
  • Es ist insbesondere vorgesehen dass das als statisch oder als dynamisch klassifizierte Objekt anhand einer von dem Objekt abgegebenen Strahlung in einem Wellenlängenbereich zwischen 0,4 µm und 0,7 µm als Pflanze erkannt wird. Hierbei wird berücksichtigt, dass das Chlorophyll in den Pflanzen und insbesondere in den Blättern der Pflanzen Licht im sichtbaren Wellenlängenbereich zwischen 0,4 µm und 0,7 µm reflektiert beziehungsweise streut. Dies ermöglicht eine zuverlässige Erkennung von Pflanzen in dem Umgebungsbereich des Kraftfahrzeugs.
  • Gemäß einer weiteren Ausgestaltung wird anhand der ersten Sensordaten und der zweiten Sensordaten ein normalisierter differenzierter Vegetationsindex des als dynamisch klassifizierten Objekts bestimmt und anhand des normalisierten differenzierten Vegetationsindex wird überprüft, ob das Objekt eine Pflanze ist. Der normalisierte differenzierte Vegetationsindex (NDVI - Normalized Differenced Vegetation Index) wird üblicherweise auf Basis von Satellitendaten errechnet. Dieser NDVI kann nun auf Grundlage der ersten Sensordaten und der zweiten Sensordaten bestimmt werden. Insbesondere kann der NDVI aus den Reflexionswerten im nahen Infrarotbereich, welche in den zweiten Sensordaten enthalten sind, und Reflexionswerten im roten sichtbaren Bereichs, welche in den ersten Sensordaten enthalten sind, bestimmt werden. Auf Grundlage des NDVI können Pflanzen in dem Umgebungsbereich auf einfache und zuverlässige Weise bestimmt werden.
  • Gemäß einer weiteren Ausführungsform wird anhand der ersten Sensordaten und der zweiten Sensordaten ein Bild des Umgebungsbereichs bestimmt und anhand des Bilds wird überprüft, ob das Objekt eine Pflanze ist. Insbesondere kann auf Grundlage der ersten Sensordaten und der zweiten Sensordaten ein zusammengesetztes Bild bereitgestellt werden, welches Informationen in dem sichtbaren Wellenlängenbereich und dem infraroten Wellenlängenbereich enthält. Beispielsweise kann dieses Bild den NDVI beschreiben. Es kann auch vorgesehen sein, dass ein sogenanntes NRG-Bild (NRG - Near-infrared/Red/Green) bereitgestellt, welches den Umgebungsbereich im nahen infraroten Wellenlängenbereich, im roten Wellenlängenbereich und im grünen Wellenlängenbereich beschreibt. Somit kann auf einfache Weise zwischen ländlichen Gegenden und städtischen Bereichen unterschieden werden. Ferner kann der Anteil am Pflanzen beziehungsweise Vegetation in dem Umgebungsbereich bestimmt werden.
  • Eine erfindungsgemäße Objekterkennungsvorrichtung für ein Fahrerassistenzsystem eines Kraftfahrzeugs umfasst eine Erfassungseinrichtung und eine Recheneinrichtung. Die Objekterkennungsvorrichtung ist zum Durchführen eines erfindungsgemäßen Verfahrens und vorteilhafter Ausgestaltungen davon ausgelegt. Die Recheneinrichtung ist insbesondere mit der Erfassungseinrichtung zur Datenübertragung verbunden und kann die ersten Sensordaten und die zweiten Sensordaten von der Erfassungseinrichtung empfangen. Die Recheneinrichtung kann zudem das Objekt in dem Umgebungsbereich auf Grundlage der ersten Sensordaten und/oder der zweiten Sensordaten erkennen und klassifizieren. Ferner kann die Recheneinrichtung anhand der zweiten Sensordaten überprüfen, ob es sich bei dem als statisch oder als dynamisch klassifizierten Objekt um eine Pflanze handelt.
  • Gemäß einer Ausführungsform weist der Erfassungseinrichtung eine Kamera zum Bereitstellen der ersten Sensordaten und einen Sensor zum Bereitstellen der zweiten Sensordaten auf. Bei der Kamera kann es sich um eine Kamera handeln, welche üblicherweise zur Objekterkennung im Kraftfahrzeugbereich verwendet wird. Mit der Kamera können beispielsweise als die ersten Sensordaten Bilder des Umgebungsbereichs bereitgestellt werden. Mit dem Sensor können dann zusätzlich zweite Sensordaten im infraroten Wellenlängenbereich und insbesondere nahen infraroten Wellenlängenbereich bereitgestellt werden. Der Sensor kann beispielsweise eine entsprechende Infrarot-Kamera sein.
  • Gemäß einer alternativen Ausführungsform kann die Erfassungseinrichtung eine Kamera aufweisen, welche sowohl die ersten Sensordaten als auch die zweiten Sensordaten bereitstellen kann. Als Erfassungseinrichtung kann eine Kamera verwendet werden, welche keinen Infrarotfilter aufweist. Somit kann diese Kamera beispielsweise Bilder bereitstellen, die neben den Informationen im sichtbaren Wellenlängenbereich auch Informationen im infraroten Wellenlängenbereich liefern.
  • Ein erfindungsgemäßes Fahrerassistenzsystem umfasst eine erfindungsgemäße Objekterkennungsvorrichtung. Mit Hilfe der Objekterkennungsvorrichtung können Objekte und insbesondere Fußgänger zuverlässig erkannt werden. Ferner können mit der Objekterkennungsvorrichtung auf Grundlage der ersten Sensordaten und/oder der zweiten Sensordaten statische Objekte, wie beispielsweise Wände, Bordsteine, Leitplanken oder dergleichen erkannt werden. Ferner können weitere Kraftfahrzeuge, Motorräder oder Fahrradfahrer erkannt werden. Diese Informationen können von dem Fahrerassistenzsystem genutzt werden, um den Fahrer beim Fahren des Kraftfahrzeugs zu unterstützen.
  • Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
  • Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Objekterkennungsvorrichtung, das erfindungsgemäße Fahrerassistenzsystem sowie das erfindungsgemäße Kraftfahrzeug.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
  • Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
  • Dabei zeigen:
    • 1 ein Kraftfahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung, welches ein Fahrerassistenzsystem mit einer Objekterkennungsvorrichtung aufweist; und
    • 2 ein Bild, welches mit der Objekterkennungsvorrichtung bereitgestellt wird.
  • In den Figuren werden gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
  • 1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Das Kraftfahrzeug 1 ist vorliegend als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Fahrerassistenzsystem 2, welches dazu dient, einen Fahrer beim Führen des Kraftfahrzeugs 1 zu unterstützen. Das Fahrerassistenzsystem 2 umfasst eine Objekterkennungsvorrichtung 3. Mit Hilfe der Objekterkennungsvorrichtung 3 können Objekte 9 in einem Umgebungsbereich 8 des Kraftfahrzeugs 1 erkannt werden. Vorliegend befinden sich in dem Umgebungsbereich 8 des Kraftfahrzeugs 1 in Fahrtrichtung vor dem Kraftfahrzeug 1 als Objekte 9 ein Fußgänger 10 sowie eine Pflanze 11 bzw. einen Baum.
  • Falls mittels der Objekterkennungsvorrichtung 3 ein Objekt 9 in dem Umgebungsbereich 8 erkannt wird, kann beispielsweise eine Warnung an den Fahrer des Kraftfahrzeugs 1 ausgegeben werden. Alternativ oder zusätzlich kann das Fahrerassistenzsystem 2 in eine Lenkung, einen Antriebsmotor und/oder ein Bremssystem des Kraftfahrzeugs 1 eingreifen, um eine Kollision zwischen dem Kraftfahrzeug 1 und dem Objekt 9 zu verhindern.
  • Die Objekterkennungsvorrichtung 3 umfasst eine Kamera 5, mittels welcher erste Sensordaten bereitgestellt werden können. Die ersten Sensordaten beschreiben den Umgebungsbereich 8 im sichtbaren Wellenlängenbereich. Als erste Sensordaten können von der Kamera 5 beispielsweise Bilddaten bzw. Bilder bereitgestellt werden. Darüber hinaus umfasst die Objekterkennungsvorrichtung 3 einen Sensor 6, mittels welchem zweite Sensordaten bereitgestellt werden können. Die zweiten Sensordaten beschreiben den Umgebungsbereich 8 im infraroten Wellenlängenbereich. Der Sensor 6 ist vorliegend als Infrarotkamera ausgebildet. Darüber hinaus umfasst die Objekterkennungsvorrichtung 3 eine Recheneinrichtung 7. Die Recheneinrichtung 7 ist zur Datenübertragung mit der Kamera 5 und dem Sensor 6 verbunden. Mittels der Recheneinrichtung 7 können die ersten Sensordaten von der Kamera 5 und die zweiten Sensordaten von dem Sensor 6 empfangen werden.
  • Mithilfe der Recheneinrichtung 7 können die Objekte 9 in dem Umgebungsbereich 8 auf Grundlage der ersten Sensordaten und/oder der zweiten Sensordaten erkannt werden. Die ersten Sensordaten und die zweiten Sensordaten können beispielsweise als Bild bereitgestellt werden. Es kann auch vorgesehen sein, dass mit Hilfe der Recheneinrichtung 7 ein zusammengesetztes Bild 12 auf Grundlage der ersten Sensordaten und der zweiten Sensordaten bestimmt wird. Die Objekte 9 können mit Hilfe eines entsprechenden Objekterkennungsalgorithmus erkannt werden. Beispielsweise kann ein Segmentierungsverfahren genutzt werden. Mittels der Recheneinrichtung 7 können die erkannten Objekte 9 zusätzliche klassifiziert werden. Insbesondere ist es vorgesehen, dass die Objekte 9 als statische Objekte oder als dynamische Objekte klassifiziert werden.
  • Wenn die Objekte 9 in dem Umgebungsbereich 8 als statische oder als bewegte Objekte klassifiziert werden, wird zusätzlich überprüft, ob das als statisch oder als dynamisch klassifizierte Objekt eine Pflanze 11 ist. Zu diesem Zweck wird mit der Recheneinrichtung 7 auf Grundlage der ersten Sensordaten und der zweiten Sensordaten ein Bild 12 bereitgestellt, welches den Umgebungsbereich 8 und die Objekte 9 zeigt. Ein solches Bild 12 ist beispielhaft in 2 gezeigt. Das Bild 12 zeigt den Fußgänger 10 sowie einen Teil der Pflanze 11 bzw. des Baums. Dabei kann es der Fall sein, dass sowohl der Fußgänger 10 als auch die Pflanze 11 als statisches oder als bewegtes Objekt und insbesondere als Fußgänger klassifiziert werden. Dies kann dadurch begründet sein, dass sich die Pflanze 11 und insbesondere die Blätter der Pflanze 11 in Folge von Umgebungsbedingungen, beispielsweise Wind, bewegen.
  • Wenn das Objekt 9 als statisch oder als dynamisch klassifizierte wird, kann auf Grundlage der zweiten Sensordaten überprüft werden, ob das Objekt 9 Strahlung im nahen infraroten Wellenlängenbereich und insbesondere in einem Wellenlängenbereich zwischen 0,7 µm und 1,1 µm, reflektiert oder streut. Hierbei wird berücksichtigt, dass die Pflanzen 11 Strahlung in diesem Wellenlängenbereich streuen, um eine Überhitzung und eine dadurch hervorgerufene Beschädigung der Zellen zu verhindern. Alternativ oder zusätzlich kann auf Grundlage der ersten Sensordaten überprüft werden, ob das Objekt Licht in einem Wellenlängenbereich zwischen 0,4 µm 0,7 µm streut. Hierbei wird berücksichtigt, dass das Chlorophyll in den Blättern der Pflanzen Licht in diesem Wellenlängenbereich stark absorbiert.
  • In dem vorliegenden Beispiel wird als das Bild 12 ein zusammengesetztes Bild bereitgestellt, dass sowohl Anteile im sichtbaren Wellenlängenbereich als auch im nahen infraroten Wellenlängenbereich zeigt. Insbesondere kann das Bild 12 den normalisierten differenzierten Vegetationsindex (NDVI) zeigen. In dem Bild 12 weisen der Fußgänger 10 und die Pflanze 11 unterschiedliche Werte für den NDVI auf. Beispielsweise kann die Pflanze einen NDVI von 1 aufweisen. Dies ist schematische durch die Schraffur 13 veranschaulicht.
  • Auf diese Weise können Objekte 9, die zunächst als statische oder als dynamische Objekte klassifiziert werden, genauer untersucht werden. Weiterhin kann die Falsch-Positiv-Rate bei der Erkennung von statischen oder bewegten Objekten deutlich reduziert werden. Dies ermöglicht eine zuverlässige Erkennung von Objekten 9 in dem Umgebungsbereich 8 des Kraftfahrzeugs 1. Somit kann auch ein zuverlässiger Betrieb des Fahrerassistenzsystems 2 ermöglicht werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2015/161208 A1 [0003]

Claims (12)

  1. Verfahren zum Erkennen von Objekten (9) in einem Umgebungsbereich (8) eines Kraftfahrzeugs (1), bei welchem mittels einer Erfassungseinrichtung (4) des Kraftfahrzeugs (1) erste Sensordaten, welche den Umgebungsbereich (8) im sichtbaren Wellenlängenbereich beschreiben, und zweite Sensordaten, welche den Umgebungsbereich (8) im infraroten Wellenlängenbereich beschreiben, bereitgestellt werden und das Objekt (9) anhand der ersten Sensordaten und/oder der zweiten Sensordaten erkannt wird, dadurch gekennzeichnet, dass das Objekt (9) anhand der ersten Sensordaten und/oder der zweiten Sensordaten als statisches Objekt oder als dynamisches Objekt klassifiziert wird und falls das Objekt (9) als statisches oder als dynamisches Objekt klassifiziert wird, anhand der zweiten Sensordaten überprüft wird, ob das Objekt eine Pflanze (11) ist.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass anhand der zweiten Sensordaten überprüft wird, ob das Objekt (9) eine Pflanze (11) ist, falls das Objekt (9) als Fußgänger (10) klassifiziert wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das als statisch oder als dynamisch klassifizierte Objekt anhand einer von dem Objekt (9) abgegebenen Strahlung im nahen infraroten Wellenlängenbereich, insbesondere in einem Wellenlängenbereich zwischen 0,7 µm und 1,1 µm, als Pflanze (11) erkannt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich anhand der ersten Sensordaten überprüft wird, ob das als statisch oder als dynamisch klassifizierte Objekt eine Pflanze (11) ist.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das als statisch oder als dynamisch klassifizierte Objekt anhand einer von dem Objekt (9) abgegebenen Strahlung in einem Wellenlängenbereich zwischen 0,4 µm und 0,7 µm als Pflanze (11) erkannt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der ersten Sensordaten und der zweiten Sensordaten ein normalisierter differenzierter Vegetationsindex des als statisch oder als dynamisch klassifizierten Objekts bestimmt wird und anhand des normalisierten differenzierten Vegetationsindex überprüft wird, ob das Objekt (9) eine Pflanze (11) ist.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der ersten Sensordaten und der zweiten Sensordaten ein Bild (12) des Umgebungsbereichs (8) bestimmt wird und anhand des Bilds (12) überprüft wird, ob das Objekt (9) eine Pflanze (11) ist.
  8. Objekterkennungsvorrichtung (3) für ein Fahrerassistenzsystem (2) eines Kraftfahrzeugs (1) mit einer Erfassungseinrichtung (4) und mit einer Recheneinrichtung (7), wobei die Objekterkennungsvorrichtung (3) zum Durchführen eines Verfahrens nach einem der vorhergehenden Ansprüche ausgelegt ist.
  9. Objekterkennungsvorrichtung (3) nach Anspruch 8, dadurch gekennzeichnet, dass die Erfassungseinrichtung (4) eine Kamera (5) zum Bereitstellen der ersten Sensordaten und einen Sensor (6) zum Bereitstellen der zweiten Sensordaten aufweist.
  10. Objekterkennungsvorrichtung (3) nach Anspruch 8, dadurch gekennzeichnet, dass die Erfassungseinrichtung (4) eine Kamera aufweist, welche zum Bereitstellen der ersten Sensordaten und der zweiten Sensordaten ausgelegt ist.
  11. Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1) mit einer Objekterkennungsvorrichtung (3) nach einem der Ansprüche 8 bis 10.
  12. Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 11.
DE102016119592.8A 2016-10-14 2016-10-14 Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug Pending DE102016119592A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102016119592.8A DE102016119592A1 (de) 2016-10-14 2016-10-14 Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
EP17757697.2A EP3526725A1 (de) 2016-10-14 2017-08-07 Verfahren zur detektion von objekten in einem umgebungsbereich eines kraftfahrzeugs unter berücksichtigung von sensordaten im infrarotwellenlängenbereich, objektdetektionsvorrichtung, fahrerassistenzsystem sowie kraftfahrzeug
PCT/EP2017/069928 WO2018068919A1 (en) 2016-10-14 2017-08-07 Method for detecting objects in an environmental region of a motor vehicle considering sensor data in the infrared wavelength range, object detection apparatus, driver assistance system as well as motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016119592.8A DE102016119592A1 (de) 2016-10-14 2016-10-14 Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Publications (1)

Publication Number Publication Date
DE102016119592A1 true DE102016119592A1 (de) 2018-05-03

Family

ID=59702673

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016119592.8A Pending DE102016119592A1 (de) 2016-10-14 2016-10-14 Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Country Status (3)

Country Link
EP (1) EP3526725A1 (de)
DE (1) DE102016119592A1 (de)
WO (1) WO2018068919A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022127833A1 (de) 2022-10-21 2024-05-02 Bayerische Motoren Werke Aktiengesellschaft Fahrassistenzsystem und Fahrassistenzverfahren für ein Fahrzeug

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020105821A1 (de) 2020-03-04 2021-09-09 Connaught Electronics Ltd. Verfahren und System zum Führen eines Fahrzeugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040231239A1 (en) * 2001-07-24 2004-11-25 The Board Of Regents For Oklahoma State University Use of within-field-element-size CV for improved nutrient fertilization in crop production
DE102006059033A1 (de) * 2006-12-14 2008-06-19 Volkswagen Ag Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung
WO2015161208A1 (en) 2014-04-18 2015-10-22 Cnh Industrial America Llc Stereo vision for sensing vehicles operating environment
DE102014223741A1 (de) * 2014-11-20 2016-05-25 Conti Temic Microelectronic Gmbh Erfassen von Terahertz-Strahlung zum Unterstützen eines Fahrers eines Fahrzeugs
DE102014224857A1 (de) * 2014-12-04 2016-06-09 Conti Temic Microelectronic Gmbh Sensorsystem und Verfahren zur Klassifikation von Fahrbahnoberflächen

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8350724B2 (en) * 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
MX2011013334A (es) * 2009-06-11 2012-04-11 Pa Llc Indices de vegetacion para medir densidad de microcultivo y crecimiento en multicapas.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040231239A1 (en) * 2001-07-24 2004-11-25 The Board Of Regents For Oklahoma State University Use of within-field-element-size CV for improved nutrient fertilization in crop production
DE102006059033A1 (de) * 2006-12-14 2008-06-19 Volkswagen Ag Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung
WO2015161208A1 (en) 2014-04-18 2015-10-22 Cnh Industrial America Llc Stereo vision for sensing vehicles operating environment
DE102014223741A1 (de) * 2014-11-20 2016-05-25 Conti Temic Microelectronic Gmbh Erfassen von Terahertz-Strahlung zum Unterstützen eines Fahrers eines Fahrzeugs
DE102014224857A1 (de) * 2014-12-04 2016-06-09 Conti Temic Microelectronic Gmbh Sensorsystem und Verfahren zur Klassifikation von Fahrbahnoberflächen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022127833A1 (de) 2022-10-21 2024-05-02 Bayerische Motoren Werke Aktiengesellschaft Fahrassistenzsystem und Fahrassistenzverfahren für ein Fahrzeug

Also Published As

Publication number Publication date
EP3526725A1 (de) 2019-08-21
WO2018068919A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
DE102018203807A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
DE102009006113A1 (de) Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
DE102005054972A1 (de) Verfahren zur Totwinkelüberwachung bei Fahrzeugen
WO2013083313A1 (de) Verfahren und vorrichtung zur erkennung einer bremssituation
EP2400473A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers
DE102011056671A1 (de) Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera
EP3488607B1 (de) Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion
DE212017000196U1 (de) Kraftfahrzeug mit einer Vorrichtung zum Messen eines Abstands zwischen einem ersten Fahrzeug und einem zweiten, dem ersten Fahrzeug unmittelbar vorausfahrenden, Fahrzeug
DE102016117712A1 (de) Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs unter Berücksichtigung eines Erfassungsbereichs eines Sensors, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017111931A1 (de) Verfahren zum Überwachen eines Bodenbereichs unterhalb eines Kraftfahrzeugs mittels einer optischen Sensoreinrichtung, Sensorvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2009077445A1 (de) Verfahren und vorrichtung zum optischen erfassen einer fahrzeugumgebung
DE102016114160A1 (de) Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs in eine Garage auf Grundlage von Ultraschallsignalen und Kamerabildern, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102013022076A1 (de) Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102010023199A1 (de) Bilderfassungsvorrichtung für ein Fahrzeug und Verfahren zum Betrieb einer Bilderfassungsvorrichtung
DE102016119592A1 (de) Verfahren zum Erkennen von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs unter Berücksichtigung von Sensordaten im infraroten Wellenlängenbereich, Objekterkennungsvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102021106685A1 (de) Vorrichtung und verfahren zur strassenzustandsklassifizierung unter verwendung von sensordaten
DE102015006569A1 (de) Verfahren zur bildbasierten Erkennung des Straßentyps
DE102013022050A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102019121919A1 (de) Identifizierung von Verschmutzungen auf einer Fahrbahn
DE102019129737A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102018121158A1 (de) Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen
DE102020001532A1 (de) Verfahren zum Reduzieren von Fehldetektionen von Objekten in der Umgebung eines Fahrzeugs, Vorrichtung zum Durchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung
DE102019008079A1 (de) Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung
DE102020101375A1 (de) Verfahren zur Querverkehrswarnung für ein Fahrzeug mit Erkennung von Fahrspuren, Recheneinrichtung sowie Fahrerassistenzsystem
DE102019107396A1 (de) Erfassen und Klassifizieren erhabener Fahrbahnmarkierungen unter Verwendung von LIDAR

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed