DE102018212538A1 - Vorrichtung zur Erkennung von Personen im Umfeld eines Fahrzeuges - Google Patents

Vorrichtung zur Erkennung von Personen im Umfeld eines Fahrzeuges Download PDF

Info

Publication number
DE102018212538A1
DE102018212538A1 DE102018212538.4A DE102018212538A DE102018212538A1 DE 102018212538 A1 DE102018212538 A1 DE 102018212538A1 DE 102018212538 A DE102018212538 A DE 102018212538A DE 102018212538 A1 DE102018212538 A1 DE 102018212538A1
Authority
DE
Germany
Prior art keywords
person
vehicle
evaluation unit
environment
designed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102018212538.4A
Other languages
English (en)
Inventor
Karsten Berger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102018212538.4A priority Critical patent/DE102018212538A1/de
Priority to PCT/EP2019/068655 priority patent/WO2020020650A1/de
Publication of DE102018212538A1 publication Critical patent/DE102018212538A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird eine Vorrichtung (2) zur Erkennung von Personen (6) im Umfeld (8) eines Fahrzeugs (4) angegeben, mit zumindest einem Sensor (10) zur Überwachung des Umfelds (8) des Fahrzeuges (4), der im Betrieb Sensordaten (S) erzeugt, einer Auswerteeinheit (12) zur Auswertung der Sensordaten (S), die zur Ermittlung ausgelegt ist, ob sich im Umfeld (8) des Fahrzeugs (4) eine Person (6) aufhält. Die Auswerteeinheit (12) ist derart ausgebildet, dass sie die Sensordaten (S) auf Indizien (I) überprüft, die auf die Anwesenheit einer Person (6) im Umfeld (8) des Fahrzeugs (4) schließen, wobei als Indiz (I) ein charakteristischer Zustand des Umfelds (8) angesehen wird, der lediglich indirekt durch die Person (6) hervorgerufen ist.

Description

  • Die Erfindung betrifft eine Vorrichtung zur Erkennung von Personen im Umfeld eines Fahrzeuges mit den Merkmalen des Oberbegriffs des Anspruchs 1.
  • Vorrichtungen zur Erkennung von Personen sind heutzutage weitestgehend in jedem Fahrzeug, insbesondere Personenkraftfahrzeug eingesetzt. Die Vorrichtungen dienen einer Unterstützung des Fahrers des Fahrzeuges, indem sie ein Umfeld des Fahrzeuges z.B. mittels mehrerer Sensoren überwachen. Als Sensoren kommen hierbei beispielsweise Radarsensoren oder Kameras zum Einsatz. Im Betrieb, also während einer Fahrt des Fahrzeuges, überwachen die Sensoren das Umfeld des Fahrzeuges auf Personen und geben diese Information an den Fahrer weiter. In einem einfachsten Fall erfolgt eine Warnung des Fahrers, beispielsweise mittels eines Warntons, der dem Fahrer signalisieren soll, dass sich eine oder mehrere Personen im Umfeld des Fahrzeuges befinden, um so potentielle Gefahrensituationen (z.B. eine Kollision mit einer der Personen, die unaufmerksam die Straße quert oder auf die Straße tritt) zu vermeiden. In einem erweiterten Fall kann die Vorrichtung auch aktiv in den Fahrbetrieb des Fahrzeuges eingreifen. Dies geschieht dann vorzugsweise unabhängig vom Fahrer. Beispielsweise kann die Vorrichtung bei einem Erkennen von einer oder mehreren Personen im Umfeld des Fahrzeuges ein Signal an eine Bremsensteuereinheit übermittelt, sodass das Fahrzeug abgebremst wird.
  • Aus der DE 10 2016 012 342 A1 ist eine Vorrichtung zur Erfassung der Umgebung eines Fahrzeuges zu entnehmen, bei der die Umgebung mittels Sensoren abgesucht wird, die zur Erfassung von Wärmestrahlung ausgebildet sind. Hierdurch können auch hinter Objekten versteckte Personen, die möglicherweise auf die Fahrbahn treten könnten, aufgrund ihrer Wärmesignatur erfasst werden.
  • Die DE 20 2013 006 467 U1 beschreibt ein Fahrzeugumfeld-Überwachungssystem mit einer Personen-Erkennungseinrichtung, bei dem ein oder mehrere Personen beispielsweise mittels einer Kamera erfasst werden und in Abhängigkeit einer Sichtbarkeit der erfassten Person für den Fahrer ein (Hinweis-)Signal an diesen übermittelt wird.
  • Bei teilautonom oder sogar vollautonom fahrenden Fahrzeugen gewinnen derartige Sensoren an Bedeutung. Die insbesondere rechtzeitige Erkennung von Personen im Umfeld des Fahrzeuges stellt für (teil-)autonom fahrende Fahrzeuge eine Herausforderung dar, da Personen schnell ihre (Geh-)Richtung ändern können oder oft durch Objekte in der Umgebung verdeckt sind. Unter der insbesondere rechtzeitigen Erkennung von Personen wird hierbei verstanden, dass die Sensoren die Person und vorzugsweise auch eine Bewegungsrichtung der Person so frühzeitig erkennen, dass eine Reaktionszeit des (teil-)autonom fahrenden Fahrzeuges verlängert wird, um so einen Unfall zu vermeiden. Eine direkte Erfassung der Person, beispielsweise anhand der Silhouette, also wenn die Person in einen Sichtbereich der Sensoren, insbesondere einer Kamera tritt, ist hierbei oftmals nicht ausreichend bzw. zu spät, sodass die Reaktionszeit des (teil-)autonom fahrenden Fahrzeugs unter Umständen nicht ausreicht, um einen Unfall (Zusammenstoß mit der Person) zu verhindern oder die Gefahr eines Unfalls zu minimieren.
  • Ausgehend hiervon liegt der Erfindung die Aufgabe zugrunde, eine Vorrichtung zur Erkennung von Personen anzugeben, mit deren Hilfe Personen frühzeitig und zuverlässig erkannt werden.
  • Die Aufgabe wird erfindungsgemäß gelöst durch eine Vorrichtung zur Erkennung von Personen im Umfeld eines Fahrzeugs mit den Merkmalen das Anspruchs 1. Vorteilhafte Ausgestaltungen, Weiterbildungen und Varianten sind Gegenstand der Unteransprüche.
  • Die Vorrichtung zur Erkennung von Personen im Umfeld eines Fahrzeugs ist insbesondere zur Erkennung von Personen im Umfeld eines Kraftfahrzeuges, beispielsweise eines Personenkraftfahrzeuges und speziell zur Erkennung von Personen im Umfeld eines (teil-)autonom fahrenden Kraftfahrzeugs ausgebildet. Hierbei wird unter (teil-)autonom fahrendem Kraftfahrzeug beispielsweise ein Personenkraftfahrzeug verstanden, welches zumindest ein Teil der, vorzugsweise alle Fahrfunktionen (z.B. Beschleunigen, Bremsen, Lenken) selbstständig und somit autonom ausführt, sodass der Fahrer des Kraftfahrzeuges nur in bestimmten Situationen (z.B. Gefahrensituationen) oder sogar überhaupt nicht mehr eingreifen muss und somit zum „Passagier“ des Kraftfahrzeuges wird.
  • Die Vorrichtung weist zumindest einen Sensor zur Überwachung des Umfelds des Fahrzeugs auf. Der zumindest eine Sensor erzeugt im Betrieb, also beispielsweise während einer Fahrt, Sensordaten. Bevorzugt weist die Vorrichtung mehrere Sensoren auf, die insbesondere derart ausgebildet und (an oder in dem Fahrzeug) angeordnet sind, dass sie das gesamte Umfeld, also in einem Winkel von 360° um das Fahrzeug, abdecken und „scannen“ können.
  • Weiterhin weist die Vorrichtung eine Auswerteeinheit auf. Die Auswerteeinheit dient zur Auswertung der Sensordaten, die im Betrieb von dem zumindest einen Sensor erzeugt wurden. Die Auswerteeinheit ist zudem derart ausgebildet, dass sie die Sensordaten auf Indizien hin überprüft, die auf eine Anwesenheit einer Person im Umfeld des Fahrzeugs schließen lassen. Als Indiz wird hierbei ein charakteristischer Zustand des Umfelds angesehen, der lediglich indirekt durch die Person hervorgerufen wird. Als charakteristischer Zustand des Umfelds wird hierbei vorzugsweise ein sich von einem normalen Zustands des Umfelds unterscheidender Zustand verstanden. Unter dem normalen Zustand des Umfelds wird hierbei ein Zustand des Umfeld verstanden, der durch die Person unbeeinflusst ist. Mit anderen Worten, so wie der Zustand des Umfelds sein würde, wenn die Person fehlen würde, also nicht da wäre.
  • Weiterhin enthalten die Indizien (insbesondere) keine direkten körperlichen Merkmale der Person, wie z.B. eine Kontur der Person, eine Bewegung der Person oder eine Signatur der von der Person ausgestrahlten (Körper-)Wärme.
  • Es wird folglich eine Erkennung von (verdeckten) Personen anhand indirekter Merkmale ermöglicht und somit ein Erkennen von Personen anhand ihres Einflusses auf das Umfeld des Fahrzeuges. Eine Erkennung von Personen im Umfeld des Fahrzeuges ist somit nicht mehr an die direkte Erfassung einer Anwesenheit der Person gebunden. Vielmehr ist mittels der Vorrichtung ein Erkennen der Person ermöglicht, ohne dass sie in einen Erfassungsbereich des zumindest einen Sensors gelangt. Der Vorteil hierbei ist, dass durch diese frühzeitige Erkennung der Person allein schon aufgrund der Indizien, die Person schnell erfasst werden kann und diese Information frühzeitig und zuverlässig für eine (mögliche) Reaktion des (teil-)autonom fahrenden Fahrzeuges zur Verfügung steht. Unter der (möglichen) Reaktion wird beispielsweise ein Abbremsen oder ein Ausweichmanöver verstanden, um die erkannte Person, sofern sie sich beispielsweise auf die Fahrbahn zu bewegt, nicht zu verletzen.
  • Bevorzugt ist die Auswerteeinheit dazu ausgebildet, anhand der Sensordaten ein Bild des Umfelds zu erstellen und dieses auf die Indizien, d.h. auf charakteristische Zustände zu überprüfen. Zweckdienlicherweise handelt es sich bei dem zumindest einen Sensor beispielsweise um eine Kamera. Es werden somit im Betrieb von dem zumindest einen Sensor vorzugsweise Bilddaten erzeugt und diese von der Auswerteeinheit auf die Indizien hin überprüft.
  • Gemäß einer zweckdienlichen Ausgestaltung ist die Auswerteeinheit derart ausgebildet, das Bild insbesondere auf ein oder mehrere der folgenden Indizien hin zu überprüfen:
    • - ein Schatten der Person,
    • - ein persönlicher Gegenstand der Person sowie
    • - ein personenbeeinflusster Zustand des Umfelds, der auf eine unmittelbar vorhergehende Handlung der Person zurückzuführen ist.
  • Bei dem persönlichen Gegenstand der Person handelt es sich beispielsweise um einen Gegenstand des täglichen Lebens bzw. um einen Alltagsgegenstand, wie z.B. einen Regenschirm oder eine Handtasche, die von dem zumindest einen Sensor erfasst wird und anhand dessen auf eine Anwesenheit der Person geschlossen wird. Es handelt sich also bei dem Gegenstand um einen Gegenstand, der (nur und/oder immer) von der Person genutzt wird. Weiterhin zählen beispielsweise aber auch ein Hund und/oder eine Hundeleine zu dem Gegenstand der Person und somit zu einem Indiz. Diesem Letzt genannten Beispiel liegt der Gedanke zugrunde, dass üblicherweise ein Hund immer in Begleitung einer Person in der Öffentlichkeit unterwegs ist. Somit ist bei einer Erfassung eines Hundes und/oder einer Hundeleine durch den zumindest einen Sensor für die Auswerteeinheit davon auszugehen, dass sich zudem auch eine Person im Umfeld aufhält, selbst, wenn die Person beispielsweise (noch) durch einen Baum verdeckt ist.
  • Unter dem personenbeeinflussten Zustand des Umfeldes und insbesondere unter der unmittelbar (dem personenbeeinflussten Zustand des Umfeldes) vorhergehenden Handlung der Person wird hierbei eine Handlung verstanden, die von der Person ausgeht und die speziell auf eine Anwesenheit der Person im Umfeld schließen lässt. So ist beispielsweise eine Erfassung einer offenen Autotür als ein personenbeeinflusster Zustand des Umfeldes anzusehen und das Öffnen der Autotür (von der Person) als die unmittelbar vorhergehende Handlung. Somit kann aufgrund dieses personenbeeinflussten Zustands, auch ohne die Person direkt zu erfassen, auf diese innerhalb des Umfeldes geschlossen werden, da die Autotür, im Regelfall, lediglich von einer Person geöffnet werden kann. Als ein weiteres Beispiel für einen personenbeeinflussten Zustand ist ein auf die Straße rollender Ball, der von dem zumindest einen Sensor erfasst wird.
  • Diese Ausgestaltung hat den Vorteil, dass keine direkte Erfassung der Person, durch z.B. eine Erfassung der zuvor beschriebenen körperlichen Merkmale, notwendig ist, um die Anwesenheit der Person im Umfeld zu erkennen. Es wird also bewusst vorzugsweise auf indirekte aber mit der Person in Zusammenhang stehende Indizien zurückgegriffen, um die Person rechtzeitig, im Idealfall bevor sie tatsächlich optisch von dem zumindest einen Sensor wahrgenommen wird, zu erfassen. So bleibt dem insbesondere (teil-)autonom fahrenden Fahrzeug genug Reaktionszeit, um einen (potentiellen) Unfall durch ein geeignetes Manöver zu verhindern.
  • Vorzugsweise ist die Auswerteeinheit derart ausgebildet, basierend auf den Indizien Rückschlüsse auf die Position der Person zu ziehen. D.h. beim zuvor genannten Beispiel der von dem Baum verdeckten Person mit dem Hund, schließt die Auswerteeinheit durch die Überprüfung und Erkennung des Hundes und/oder der Hundeleine auf eine sich in der unmittelbaren Umgebung des Hundes befindliche Person, sodass die Position der Person auf diese unmittelbare Umgebung des Hundes eingegrenzt werden kann. Sofern die Auswerteeinheit bei der Überprüfung des Bildes auf die - ebenfalls bereits erwähnte - geöffnete Autotür stößt, schließt sie hieraus, dass sich die Person (noch) innerhalb des Autos befinden muss und zieht somit den Rückschluss auf die Position der Person.
  • Durch die Ausbildung der Auswerteinheit, basierend auf den Indizien Rückschlüsse auf die Position der Person zu schließen, ist eine Vorhersage einer Anwesenheit der Person im Umfeld des Fahrzeugs vorteilhaft optimiert.
  • Gemäß einer bevorzugten Weiterbildung ist die Auswerteeinheit derart ausgebildet, dass sie anhand der Indizien einen potentiellen Gefahrenbereich bestimmt. So wird beispielsweise bei vorliegenden Indizien, die durch die Auswerteeinheit aus dem erzeugten Bild ermittelt, dort, wo die Indizien im Bild ermittelt wurden ein derartiger Gefahrenbereich bestimmt. Mit anderen Worten: Ergibt die Auswertung des Bildes durch die Auswerteeinheit, dass beispielsweise (in Fahrtrichtung betrachtet) im vorderen rechten Bereich des Umfelds des Fahrzeuges ein Hund und/oder eine Hundeleine „zu sehen ist“, dann schließt die Auswerteeinheit darauf, dass sich in diesem Bereich eine Person anwesend sein könnte. Die Auswerteeinheit bestimmt anschließend für den vorderen rechten Bereich einen Gefahrenbereich.
  • Die Auswerteeinheit trifft somit eine Wahrscheinlichkeitsaussage bezüglich der Anwesenheit der Person im Umfeld des Fahrzeuges. Der oder die bestimmten Gefahrenbereiche weisen folglich eine erhöhte Wahrscheinlichkeit auf, dass sich in ihnen eine Person aufhält, da in den Gefahrenbereichen die Indizien vorlagen oder vorliegen.
  • Gemäß einer zweckdienlichen Weiterbildung ist die Auswerteeinheit derart ausgebildet, dass der Gefahrenbereich mit erhöhter Priorität auf die Anwesenheit der Person überwacht wird. Hierzu wird beispielsweise der Erfassungsbereich des oder der Sensoren auf den Gefahrenbereich fokussiert und/oder der Gefahrenbereich häufiger von dem oder den Sensoren abgetastet.
  • Hierdurch ist eine erhöhte Aufmerksamkeit der Vorrichtung im Hinblick auf eine Erkennung von Personen erreicht. Insbesondere im Hinblick auf das (teil-)autonom fahrende Fahrzeug ist somit eine Imitation eines natürlichen Verhaltens eines Fahrers erreicht. D.h. die Vorrichtung und folglich das gesamte (teil-)autonom fahrende Fahrzeug ahmt die Verhaltensweise eines natürlichen Fahrers nach, der seine Fahrweise üblicherweise anpasst, wenn er davon ausgeht, dass sich Personen im Umfeld aufhalten, auch, wenn lediglich indirekte Merkmale (hier die Indizien) für die Anwesenheit der Person vorliegen.
  • Weiterhin ist die Auswerteeinheit gemäß einer bevorzugten Ausgestaltung derart ausgelegt, bei Erfassung von Indizien Betriebsparameter des Fahrzeugs proaktiv zu ändern. Unter Betriebsparameter des Fahrzeugs werden hierbei insbesondere beispielsweise eine aktuelle Geschwindigkeit und/oder ein Abstand zu einem voraus fahrenden Fahrzeug verstanden. Diese proaktive Änderung der Betriebsparameter erfolgt insbesondere, wenn sich das Fahrzeug dem bestimmten Gefahrenbereich nähert.
  • Hierdurch ist die Imitation des natürlichen Verhaltens des Fahrers seitens des (teil-)autonom fahrenden Fahrzeuges weiter vorteilhaft optimiert.
  • Zweckdienlicherweise ist die Auswerteeinheit derart ausgebildet, dass sie zur Ermittlung des charakteristischen Zustands und somit der Indizien, dynamische Veränderungen des Umfelds auswertet. Hierbei wird unter den dynamischen Veränderung speziell eine personenbeeinflusste Veränderung des Umfelds verstanden, beispielsweise ein Auftauchen eines Gegenstands der Person im Erfassungsbereich des zumindest einen Sensors. Um dynamische Veränderungen des Umfelds zuverlässig und frühzeitig zu detektieren, erzeugt der zumindest eine Sensor im Betrieb, also während einer Fahrt, fortlaufend Sensordaten.
  • Bevorzugt greift die Auswerteeinheit zur Identifizierung der charakteristischen Zustände auf hinterlegte und/oder angelernte Muster zurück. Bei den Mustern handelt es sich vorzugsweise um Bildmuster. Die Hinterlegung erfolgt beispielsweise auf einem internen Speicher der Auswerteeinheit, sodass aktuelle Bilddaten hinsichtlich der charakteristischen Zustände und speziell hinsichtlich der Indizien mit den hinterlegten Mustern verglichen werden können.
  • So können beispielsweise bestimmte Verkehrsschilder als Muster hinterlegt werden, anhand derer Gefahrenbereiche erkannt werden können. Ist beispielsweise das Verkehrsschild als Muster hinterlegt, welches eine Spielstraße kennzeichnet, so kann bei einer Erfassung eines derartigen Spielstraßen-Verkehrsschildes eine hohe Wahrscheinlichkeit für eine Anwesenheit von Personen und speziell Kindern getroffen werden. Als proaktive Reaktion des (teil-)autonom fahrenden Fahrzeuges käme hierbei beispielsweise eine Reduzierung der aktuellen Geschwindigkeit in Frage. Bei den angelernten Mustern handelt es sich beispielsweise um nach Art einer künstlichen Intelligenz der Auswerteeinheit angelernte Muster. D.h. die Auswerteeinheit lernt fortlaufend mit einer steigenden Anzahl an Situationen, in denen ein oder mehrere charakteristische Zustände erfasst wurden.
  • Gemäß einer zweckdienlichen und bevorzugten Weiterbildung beruhen die angelernten Muster auf einem Maschinenlernen, speziell auf einem Maschine Learning Algorithmus (ML Algorithmus). So werden beispielsweise charakteristische Zustände in Form von Trainingsdaten vorgegeben. Zudem wird bevorzugt vermerkt, wo sich die Person innerhalb dieses charakteristischen Zustands verbirgt, sodass bei einem gleichen oder sehr ähnlichen Zustand eine Voraussage getroffen werden kann, wo sich die Person innerhalb des Umfeldes mit hoher Wahrscheinlichkeit aufhält. Weiterhin können diese Trainingsdaten auch in einer zeitlichen Abfolge als Training verwendet werden, sodass beispielsweise die Person zunächst für den ML Algorithmus „nicht sichtbar“ ist und im zeitlichen Verlauf des charakteristischen Zustands die Person sichtbar wird, z.B. hinter einem Baum hervorkommt. Auf diese Art kann der ML Algorithmus derartige charakteristische Zustände erlernen und bei auftretenden Zuständen während des Betriebes, also während der Fahrt, anwenden. D.h. der ML Algorithmus kann bei auftretenden charakteristischen Zuständen auf das Erlernte zurückgreifen und eine genauere Position der Person früher vorhersagen, sodass dem (teil-)autonom fahrenden Fahrzeug mehr Reaktionszeit zur Verfügung steht.
  • So kann beispielsweise alternativ oder ergänzend durch ein Training von Schattenbildern und deren Richtungen seitens des ML Algorithmus eine Aussage getroffen werden, in welche Richtung sich eine Person im Umfeld bewegt, auch wenn der Sensor lediglich den Schattenwurf der Person und nicht die Person an sich erfasst.
  • Zusammenfassend lässt sich ein Verfahren zur Erkennung der Person wie folgt beschreiben:
    • Während einer Fahrt des (teil-)autonom fahrenden Fahrzeuges erzeugt der zumindest eine Sensor in wiederkehrenden Zeitabständen Sensordaten des Umfeldes, vorzugsweise in Form von Bilddaten. Die Auswerteeinheit überprüft anschließend, ob vorgegebene Indizien über eine Anwesenheit der Person vorliegen. Diese Indizien dienen vorzugsweise nicht der direkten Erkennung der Person als solche, sondern dienen dazu, eine Wahrscheinlichkeitsaussage zu treffen, wo sich eine Person im Umfeld aufhalten könnte, die aktuell, also zum Zeitpunkt der Erzeugung der Sensordaten, noch nicht sichtbar ist. Es wird also eine Vorhersage getroffen, wo eine Person möglicherweise im Umfeld des Fahrzeuges auftauchen könnte. Wenn die vorgegebenen Indizien positiv geprüft wurden, also die Auswerteeinheit auf eine anwesende Person im Umfeld schließt, greift die Auswerteeinheit bei Bedarf proaktiv in Betriebsparameter des (teil-)autonom fahrenden Fahrzeuges ein und verringert beispielsweise die aktuelle Geschwindigkeit des Kraftfahrzeuges. Mittels der Vorrichtung zur Erkennung von Personen ist somit ein vorausschauendes Fahren in einem (teil-)autonomen Fahrbetrieb ermöglicht, ohne dass der Fahrer eingreifen muss. Vielmehr ist dieses das natürliche Verhalten des menschlichen Fahrers in einer Situation, in der plötzlich Personen in das Umfeld des Fahrzeuges treten können imitiert und somit auf eine Maschine übertragen.
  • Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der Figur näher erläutert. Diese zeigt in teilweise stark vereinfachter Darstellung:
    • 1 eine skizzierte Draufsicht auf ein Fahrzeug mit einer Vorrichtung zur Erkennung von Personen.
  • Die erfindungsgemäße Vorrichtung 2 ist in 1 in einem Fahrzeug 4 angeordnet. Bei dem Fahrzeug 4 handelt es sich im Ausführungsbeispiel um ein Kraftfahrzeug, insbesondere um ein (teil-)autonom fahrendes Personenkraftfahrzeug.
  • Die Vorrichtung 2 dient zur Erkennung von Personen 6 im Umfeld 8 des Fahrzeugs 4. Hierzu weist die Vorrichtung 2 zumindest einen, im Ausführungsbeispiel zwei Sensoren 10 zur Überwachung des Umfelds 8 auf. Im Ausführungsbeispiel sind aus Gründen der Vereinfachung lediglich, in einer Fahrtrichtung F betrachtet, frontseitige Sensoren 10 des Fahrzeuges 4 dargestellt. Vorzugsweise sind jedoch umfangsseitig um das Fahrzeug 4 Sensoren 10 angeordnet, sodass das gesamte Umfeld 8 des Fahrzeuges 4 in einem Winkel von 360°, also rundum, überwacht wird.
  • Im Betrieb, also beispielsweise während einer Fahrt, erzeugen die Sensoren 10 fortlaufend Sensordaten S in Form von Bilddaten. Diese Sensordaten S übermitteln die Sensoren 10 an eine Auswerteeinheit 12, die im Fahrzeug 4 angeordnet ist und mit den Sensoren 10 verbunden ist.
  • Die Auswerteeinheit 12 ist derart ausgebildet, dass sie die Sensordaten S auf Indizien I überprüft, die auf die Anwesenheit einer Person 6 im Umfeld 8 des Fahrzeugs 4 schließen lassen. Die Person 6 und insbesondere deren Position wird also von der Vorrichtung 2 auch erfasst und erkannt, wenn die Person 6 noch nicht direkt, also beispielsweise anhand ihrer Silhouette für die Sensoren 10 oder für einen Fahrer des Fahrzeuges 4 sichtbar ist. Es werden also Indizien I überprüft, mit denen eine Wahrscheinlichkeitsaussage hinsichtlich einer Anwesenheit einer Person 6 im Umfeld 8 getroffen werden kann. Hierzu werden insbesondere als Indizien I charakteristische Zustände angesehen, die lediglich indirekt durch die Person 6 hervorgerufen werden. Mit anderen Worten wird gerade nicht die Person 6 direkt also als solche erfasst oder beispielsweise eine Wärmesignatur oder ein Umriss der Person. Vielmehr wird beispielsweise im Ausführungsbeispiel ein persönlicher Gegenstand 14, z.B. ein Regenschirm der Person 6 erfasst, die sich hinter einem Objekt 16, beispielsweise hinter einem parkenden Auto befindet und die in 1 nicht dargestellte Straße überqueren will. Obwohl die Sensoren 10 die Person 6 nicht direkt erfassen können, da das Objekt 16 die Sicht auf die Person 6 verhindert, ist durch die Erfassung des in diesem Beispiel als Indiz I dienenden Gegenstands 14 ein charakteristischer Zustand gegeben, bei dem sich eine Person 6 im Umfeld 8 befindet, denn der persönliche Gegenstand 14 setzt voraus, dass er von jemandem getragen/genutzt/gehalten wird.
  • Alternativ können als Indiz I andere Gegenstände des täglichen Lebens von Personen 6 dienen, wie beispielsweise Blumensträuße oder Einkaufstaschen oder weiter alternativ ein Schatten der Person 6. Weiterhin alternativ oder ergänzend dient als Indiz I ein personenbeeinflusster Zustand, wie beispielsweise eine geöffnete Autotür, die von den Sensoren 10 erfasst wird. Die erfasste geöffnete Autotür setzt in diesem Fall voraus, dass sie von einer Person 6 geöffnet worden ist, die sich womöglich noch in dem Auto befindet. Hierdurch ist dann eine Wahrscheinlichkeitsaussage der Auswerteeinheit 12 ermöglicht, dass sich mit hoher Wahrscheinlichkeit eine Person 6 in dem Auto befindet.
  • Basierend auf der Überprüfung und der Anwesenheit der Indizien I, ist seitens der Auswerteeinheit 12 eine Aussage über die Position der Person 6 innerhalb des Umfeldes 8 treffbar, sodass im Ausführungsbeispiel von der Auswerteinheit 12 ein (potentieller) Gefahrenbereich 18 bestimmt werden kann. Der Gefahrenbereich 18 wird anschließend mit einer erhöhten Priorität auf die Anwesenheit der Person 6 hin überwacht, sodass beispielsweise im Ausführungsbeispiel beim Betreten der Fahrbahn durch die Person 6 das Fahrzeug 4 abgebremst werden kann. Hierbei ist die Auswerteeinheit 12 derart ausgebildet, dass Betriebsparameter des Fahrzeuges, wie beispielsweise die aktuelle Geschwindigkeit, proaktiv bei der Erfassung von Indizien I und/oder einer Bestimmung eines Gefahrenbereichs 18 geändert werden können. Im vorangegangenen Beispiel erfolgt einer proaktive Änderung der Betriebsparameter des Fahrzeugs 2 beispielsweise derart, dass bei Erfassung des Betretens der Fahrbahn durch die Person 6, die Auswerteeinheit 12 eine Abbremsung des Fahrzeuges 4 initialisiert.
  • Um eine zuverlässige und frühzeitige Erkennung von Personen 6 zu gewährleisten, erfolgt die Identifizierung der charakteristischen Zustände und somit der Indizien im Ausführungsbeispiel mittels eines Maschinenlernens, bei dem ein Maschine Learning Algorithmus anhand von vorgegebenen Trainingsdaten in Form von charakteristischen Situationen, lernt, Personen 6 und insbesondere die Wahrscheinlichkeit einer Anwesenheit der Personen 6 anhand der erfassten Indizien I zu erkennen.
  • Die Erfindung ist nicht auf das vorstehend beschriebene Ausführungsbeispiel beschränkt. Vielmehr können auch andere Varianten der Erfindung von dem Fachmann hieraus abgeleitet werden, ohne den Gegenstand der Erfindung zu verlassen. Insbesondere sind ferner alle im Zusammenhang mit dem Ausführungsbeispiel beschriebenen Einzelmerkmale auch auf andere Weise miteinander kombinierbar, ohne den Gegenstand der Erfindung zu verlassen.
  • Bezugszeichenliste
  • 2
    Vorrichtung
    4
    Fahrzeug
    6
    Person
    8
    Umfeld
    10
    Sensor
    12
    Auswerteeinheit
    14
    persönlicher Gegenstand
    16
    Objekt
    18
    Gefahrenbereich
    I
    Indiz
    F
    Fahrtrichtung
    S
    Sensordaten
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102016012342 A1 [0003]
    • DE 202013006467 U1 [0004]

Claims (10)

  1. Vorrichtung (2) zur Erkennung von Personen (6) im Umfeld (8) eines Fahrzeugs (4) mit - zumindest einem Sensor (10) zur Überwachung des Umfelds (8) des Fahrzeuges (4), der im Betrieb Sensordaten (S) erzeugt, - einer Auswerteeinheit (12) zur Auswertung der Sensordaten (S), die zur Ermittlung ausgelegt ist, ob sich im Umfeld (8) des Fahrzeugs (4) eine Person (6) aufhält, dadurch gekennzeichnet, dass die Auswerteeinheit (12) derart ausgebildet ist, dass sie die Sensordaten (S) auf Indizien (I) überprüft, die auf die Anwesenheit einer Person (6) im Umfeld (8) des Fahrzeugs (4) schließen, wobei als Indiz (I) ein charakteristischer Zustand des Umfelds (8) angesehen wird, der lediglich indirekt durch die Person (6) hervorgerufen ist.
  2. Vorrichtung (2) nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Auswerteeinheit (12) dazu ausgebildet ist, anhand der Sensordaten (S) ein Bild des Umfelds (8) zu erstellen und dieses auf die Indizien (I) überprüft.
  3. Vorrichtung (2) nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Auswerteeinheit (12) derart ausgebildet ist, das Bild auf ein oder mehrere der folgenden Indizien (I) zu überprüfen: - ein Schatten der Person (6) - ein persönlicher Gegenstand (14) der Person (6) sowie - ein personenbeeinflusster Zustand des Umfelds (8), der auf eine unmittelbar vorhergehende Handlung der Person (6) zurückzuführen ist.
  4. Vorrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit (12) derart ausgebildet ist, basierend auf den Indizien (I) Rückschlüsse auf die Position der Person (6) zu ziehen.
  5. Vorrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit (12) derart ausgebildet ist, dass sie anhand der Indizien (I) einen potentiellen Gefahrenbereich (18) bestimmt.
  6. Vorrichtung (2) nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Auswerteeinheit (12) derart ausgebildet ist, dass der Gefahrenbereich (18) mit erhöhter Priorität auf die Anwesenheit der Person (6) überwacht wird.
  7. Vorrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit (12) derart ausgelegt ist, dass Betriebsparameter des Fahrzeugs (4) proaktiv bei Erfassung von Indizien (I) geändert werden.
  8. Vorrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit (12) derart ausgebildet ist, dass sie zur Ermittlung des charakteristischen Zustands dynamische Veränderungen des Umfelds (8) auswertet.
  9. Vorrichtung (2) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinheit (12) zur Identifizierung der charakteristischen Zustände auf hinterlegte und/oder angelernte Muster zugreift.
  10. Vorrichtung (2) nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die angelernten Muster auf einem Maschinenlernen beruhen.
DE102018212538.4A 2018-07-27 2018-07-27 Vorrichtung zur Erkennung von Personen im Umfeld eines Fahrzeuges Ceased DE102018212538A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102018212538.4A DE102018212538A1 (de) 2018-07-27 2018-07-27 Vorrichtung zur Erkennung von Personen im Umfeld eines Fahrzeuges
PCT/EP2019/068655 WO2020020650A1 (de) 2018-07-27 2019-07-11 Vorrichtung zur erkennung von personen im umfeld eines fahrzeuges

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018212538.4A DE102018212538A1 (de) 2018-07-27 2018-07-27 Vorrichtung zur Erkennung von Personen im Umfeld eines Fahrzeuges

Publications (1)

Publication Number Publication Date
DE102018212538A1 true DE102018212538A1 (de) 2020-01-30

Family

ID=67514570

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018212538.4A Ceased DE102018212538A1 (de) 2018-07-27 2018-07-27 Vorrichtung zur Erkennung von Personen im Umfeld eines Fahrzeuges

Country Status (2)

Country Link
DE (1) DE102018212538A1 (de)
WO (1) WO2020020650A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022108069A1 (de) 2022-04-05 2023-10-05 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug sowie Verfahren zum Betreiben eines Kraftfahrzeugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080266396A1 (en) * 2007-04-30 2008-10-30 Gideon Stein Rear obstruction detection
DE102010025351A1 (de) * 2010-06-28 2011-12-29 Audi Ag Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers
DE202013006467U1 (de) * 2013-07-18 2014-10-22 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrzeugumfeld-Überwachungssystem
DE102016012342A1 (de) * 2016-10-14 2017-04-27 Daimler Ag Vorrichtung zur Erfassung der Umgebung eines Fahrzeugs
EP3205540A1 (de) * 2016-02-09 2017-08-16 Continental Automotive GmbH Fahrerassistenzvorrichtung sowie ein verfahren zur unterstützung eines fahrzeugführers beim führen eines fahrzeugs

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6384419B2 (ja) * 2015-07-24 2018-09-05 トヨタ自動車株式会社 動物種類判定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080266396A1 (en) * 2007-04-30 2008-10-30 Gideon Stein Rear obstruction detection
DE102010025351A1 (de) * 2010-06-28 2011-12-29 Audi Ag Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers
DE202013006467U1 (de) * 2013-07-18 2014-10-22 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrzeugumfeld-Überwachungssystem
EP3205540A1 (de) * 2016-02-09 2017-08-16 Continental Automotive GmbH Fahrerassistenzvorrichtung sowie ein verfahren zur unterstützung eines fahrzeugführers beim führen eines fahrzeugs
DE102016012342A1 (de) * 2016-10-14 2017-04-27 Daimler Ag Vorrichtung zur Erfassung der Umgebung eines Fahrzeugs

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022108069A1 (de) 2022-04-05 2023-10-05 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug sowie Verfahren zum Betreiben eines Kraftfahrzeugs

Also Published As

Publication number Publication date
WO2020020650A1 (de) 2020-01-30

Similar Documents

Publication Publication Date Title
DE102013210050B4 (de) Neurokognitive Verarbeitung eines Fahrerzustands
DE102014201159A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
DE10336638A1 (de) Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
DE102013210941A1 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
DE102013017626A1 (de) Verfahren zur Warnung weiterer Verkehrsteilnehmer vor Fußgängern durch ein Kraftfahrzeug und Kraftfahrzeug
WO2016096330A1 (de) Unterstützung beim führen eines fahrzeugs
DE102010018331A1 (de) Vorrichtung und Verfahren zum Erkennen einer Gefahrensituation für ein Fahrzeug
WO2015051990A2 (de) Verfahren und system zur identifizierung einer gefahrensituation sowie verwendung des systems
EP0952039B1 (de) Vorrichtung zur Einschlafwarnung eines Kraftfahrzeugführers
EP1652161B2 (de) Vorrichtung zur klassifizierung wenigstens eines objekts in einem fahrzeugumfeld
DE102015103361A1 (de) Verkehrsdichte-empfindlichkeitswähler
DE102016224576B4 (de) Verhaltensmodell von Verkehrsteilnehmern für ein Fahrerassistenzsystem umfassend Statistiken zu Abweichungen vom Normverhalten
WO2018033518A1 (de) Verfahren zum betreiben eines zumindest teilautonom betriebenen kraftfahrzeugs und kraftfahrzeug
DE102021004191A1 (de) Verfahren zur Erkennung einer Überholabsicht und/oder Vorhersage von Einschermanövern von Fahrzeugen vor einem Ego-Fahrzeug
DE102008043755B4 (de) Verfahren und Steuergerät zur Unterstützung eines Fahrers eines Fahrzeugs
DE102018209388A1 (de) Erkennung fahrtrelevanter Situationen auf größere Entfernung
DE102018212538A1 (de) Vorrichtung zur Erkennung von Personen im Umfeld eines Fahrzeuges
DE102014215430A1 (de) Verfahren und Vorrichtung zum Überwachen eines abgestellten Fahrzeugs
DE102019003864A1 (de) Vorrichtung und Verfahren zur Kollisionserkennung einer Karosserie mit einem Objekt
DE102017010513A1 (de) Verfahren zur Ermittlung einer Aufmerksamkeit einer in einer Umgebung eines Fahrzeuges erfassten Person
DE102004047122A1 (de) Verfahren zum Überwachen eines Fahrzeugs
WO2020104355A1 (de) Verfahren und vorrichtung zum speichern von daten für ein fahrzeug
DE102017211026B4 (de) Vorrichtung und Verfahren zur Freigabe eines automatischen Fahrbetriebs für ein Fahrzeug
DE102020202966A1 (de) Sicherheitseinrichtung, Verfahren zur Korrektur einer Warnvorrichtung und Kraftfahrzeug
DE102009013326A1 (de) Verfahren zur Steuerung eines Fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final