DE102009023326A1 - Vorrichtung und Verfahren zum Detektieren eines kritischen Bereiches und Fußgängerdetektionsvorrichtung unter Verwendung derselben - Google Patents

Vorrichtung und Verfahren zum Detektieren eines kritischen Bereiches und Fußgängerdetektionsvorrichtung unter Verwendung derselben Download PDF

Info

Publication number
DE102009023326A1
DE102009023326A1 DE102009023326A DE102009023326A DE102009023326A1 DE 102009023326 A1 DE102009023326 A1 DE 102009023326A1 DE 102009023326 A DE102009023326 A DE 102009023326A DE 102009023326 A DE102009023326 A DE 102009023326A DE 102009023326 A1 DE102009023326 A1 DE 102009023326A1
Authority
DE
Germany
Prior art keywords
obstacles
detecting
vehicle
detection device
critical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102009023326A
Other languages
English (en)
Other versions
DE102009023326B4 (de
Inventor
Alberto Broggi
Pietro Cerri
Ho-Gi Jung
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HL Klemove Corp
Original Assignee
Mando Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mando Corp filed Critical Mando Corp
Publication of DE102009023326A1 publication Critical patent/DE102009023326A1/de
Application granted granted Critical
Publication of DE102009023326B4 publication Critical patent/DE102009023326B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34Protecting non-occupants of a vehicle, e.g. pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

Eine Vorrichtung, ein Verfahren zum Detektieren von kritischen Bereichen und eine Fußgängerdetektionsvorrichtung unter Verwendung derselben werden bereitgestellt. Eine Anwendung des Fußgängerdetektionssystems wird bereitgestellt, um beim kritischen Beschränken von Umgebung in der Stadt auf bestimmte Bereiche zu helfen. Im Gegensatz zu herkömmlichen Fußgängerdetektionssystemen, die alle Fußgänger lokalisieren, die vor dem betreffenden Fahrzeug auftauchen, findet die Vorrichtung zuerst kritische Bereiche in städtischer Umgebung und führt eine fokussierte Suche nach Fußgängern durch. Umgebung wird unter Verwendung eines Standardlaserscanners rekonstruiert, aber die nachfolgende Überprüfung auf Vorhandensein von Fußgängern wird durch Einbeziehen eines bildgebenden Systems durchgeführt. Die Vorrichtung identifiziert Fußgänger in wesentlich begrenzten Bildbereichen und führt zu einer Verbesserung der Steuerungsleistung, da keine Auswertung bzw. Bewertung von kritischen Graden notwendig ist, bis der Fahrer oder on-Board-Computer über einen tatsächlichen Fußgänger informiert wird.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Detektieren eines kritischen Bereiches und eine Fußgängerdetektionsvorrichtung unter Verwendung derselben. Genauer gesagt betrifft die vorliegende Erfindung eine Vorrichtung zum Schützen von Fußgängern durch Lokalisieren von Hindernissen in der Umgebung eines betreffenden Fahrzeugs und danach Suchen nach Fußgängern unter den Hindernissen und ein Verfahren dafür.
  • HINTERGRUND DER ERFINDUNG
  • Herkömmliche Fußgängerdetektionssysteme basieren auf Suchen nach allen Fußgängern, die vor einem Fahrzeug auftauchen. Bei genannten Fußgängerdetektionssystemen werden potentielle Fußgänger unter Verwendung von menschlichen Eigenschaften, wie zum Beispiel Beinbewegungsmuster, Symmetrie, Gestalt, Bewegung und Periodizität, lokalisiert. Wenn eine Fusion von unterschiedlichen Messtechnologien verwendet wird, spüren die jeweiligen Sensoren fußgängerspezifische Merkmale auf, während sie einen hohen oder einen niedrigen Pegel erreichen.
  • Diese Lösungsansätze der herkömmlichen Fußgängerdetektionssysteme schaffen es nicht, ein optimales Ergebnis zu erzeugen, weil sie geeignet sind, gewisse allgemeine städtische Umgebungen zu erkennen und Fußgänger in einem großen Bereich vor dem Fahrzeug zu detektieren.
  • OFFENBARUNG DER ERFINDUNG
  • Zur Lösung der oben genannten Probleme ist die vorliegende Erfindung gestaltet, um in einem besonders anspruchsvollen Stadtszenario zu arbeiten, so dass auf eine Suche nach stillstehenden Fahrzeugen vorrangiges Suchen nach Fußgängern in unmittelbarer Nähe der abgesuchten Fahrzeuge oder in unsichtbaren Bereichen hinter den Fahrzeugen folgt.
  • Eine Ausführungsform der vorliegenden Erfindung liefert eine Detektionseinrichtung zum Detektieren eines kritischen Bereiches in einer Fußgängerdetektionsvorrichtung zum Detektieren von Fußgängern um Fahrzeuge, umfassend eine Detektionseinheit zum Detektieren eines kritischen Bereiches, die bei Empfang von Distanzdaten, die durch Detektieren von Hindernissen in der Umgebung der Fahrzeuge erzeugt sind, die Umgebung der Fahrzeuge und sich bewegenden Hindernisse unter Verwendung der Distanzdaten identifiziert, um eine vor gegebene Umgebung und die Bereiche, die die sich bewegenden Hindernisse umgeben, als kritische Bereiche zu detektieren.
  • Eine weitere Ausführungsform der vorliegenden Erfindung liefert eine Fußgängerdetektionsvorrichtung zum Detektieren von Fußgängern um ein Fahrzeug, umfassend einen Bildgenerator zum Aufzeichnen von Bildern von einer Umgebung des Fahrzeugs und Erzeugen und Liefern von Bildausgaben, einen Sensor zum Erkennen von Hindernissen um das Fahrzeug und Liefern von Distanzdaten der Distanz zwischen den Hindernissen und dem Fahrzeug, eine Detektionseinrichtung zum Detektieren eines kritischen Bereiches unter Verwendung der Distanzdaten zum Identifizieren der Fahrzeugumgebung und sich bewegender Hindernisse und Detektieren einer vorgegebenen Umgebung und der die sich bewegenden Hindernisse umgebenden Bereiche als kritische Bereiche, und eine Fußgängerdetektionseinrichtung zum Detektieren der Fußgänger vorzugsweise anhand von Bildern, die den kritischen Bereichen entsprechen.
  • Eine weitere Ausführungsform der vorliegenden Erfindung liefert ein Verfahren zum Detektieren eines kritischen Bereiches in einer Fußgängerdetektionsvorrichtung zum Detektieren von Fußgängern um ein Fahrzeug, umfassend (a) Korrigieren von Distanzdaten bei Empfang derselben von einem Sensor gemäß Positionsänderungen des Fahrzeugs, (b) Gruppieren der Distanzdaten als Ketten von Segmenten durch Verbinden zwischen korrigierten Distanzdaten in unmittelbarer Nähe, (c) Zusammenfügen der Segmente durch Verbinden der gruppierten Distanzdatensegmente und Zusammenfügen der Segmente parallel und in unmittelbarer Nähe zu einem Linienzug, (d) Zusammenfügen von Linien durch Integrieren von Linienzügen in unmittelbarer Nähe zu einer einzigen zusammengefügten Linie, (e) Klassifizieren von Hindernissen durch Klassifikation von Linienzügen gemäß deren Größe und Gestalt in mehreren Kategorien, um mehrere Kategorien von Hindernissen zu detektieren, (f) Klassifizieren der Hindernisse durch Korrigieren der Linienzüge gemäß den Fahrzeugpositionsänderungen und Klassifizieren der Linienzüge in mehreren Kategorien gemäß dem Grad von Überlappung zwischen den Linienzügen vor Korrektur und den Linienzügen nach Korrektur, um mehrere Kategorien von Hindernissen zu detektieren; und (g) Identifizieren von kritischen Bereichen durch Identifizieren der Umgebung und der sich bewegenden Hindernisse durch Verwendung der mehreren Kategorien von Hindernissen, die in den Schritten (e) und (f) des Klassifizierens der Hindernisse detektiert worden sind, um die kritischen Bereiche zu detektieren.
  • Wie oben beschrieben, wird gemäß der vorliegenden Erfindung bei Detektion von jeder speziellen Umgebungsstruktur, das heißt angehaltenen Fahrzeugen, die die Fußgänger verdecken können, deren mögliches Vorhandensein in speziellen Bereichen überprüft, wodurch eine neuartige Fußgängerdetektionsvorrichtung implementiert wird, um Verkehrssicherheit zu fördern und irgendwelche möglichen Kollisionen mit schwachen Straßenbenutzern zu vermeiden.
  • Diese Lösung konzentriert sich auch auf eine besonders kritische Umgebung, typisch für städtische Unfälle.
  • Neben der direkten Detektion von gefährlichen Situationen erhöht die vorliegende Erfindung auch die Zeitsteuerleistung, da der rechenintensive Teil – die bildgestützte Fußgängererkennung – nur auf begrenzten Abschnitten des Bildes durchgeführt wird.
  • Nachfolgend werden bevorzugte Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben werden. In der folgenden Beschreibung werden dieselben Elemente mit denselben Bezugszahlen gekennzeichnet werden, obwohl sie in unterschiedlichen Zeichnungen gezeigt sind. Außerdem wird in der folgenden Beschreibung der vorliegenden Erfindung eine ausführliche Beschreibung von bekannten Funktionen und Konfigurationen, die hierin enthalten sind, weggelassen werden, wenn dadurch der Gegenstand der vorliegenden Erfindung eher unklar würde.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Die obigen und weiteren Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden anhand der folgenden ausführlichen Beschreibung in Verbindung mit den beigefügten Zeichnungen ersichtlicher werden, in denen:
  • 1A bis 1C darstellen, wie ein Fußgänger vor einem Fahrzeug in Abhängigkeit von der Umgebung gemäß einer Ausführungsform der vorliegenden Erfindung als gefährlich oder nicht angesehen werden kann;
  • 2A bis 2D unterschiedliche betrachtete Situationen und hinsichtlich möglicher Fußgänger zu detektierende Bereiche gemäß einer Ausführungsform der vorliegenden Erfindung darstellen;
  • 3 ein Testfahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
  • 4A und 4B Rohlaserdaten und korrigierte Daten bezüglich sich nicht bewegender Hindernisse darstellen;
  • 5 ein sich bewegendes Fahrzeug darstellt, wobei eine einzige Linie einer Fahrzeugseite entspricht und vier parallele Linien seiner Stoßstange entsprechen;
  • 6A bis 6C Schritte des Linienzusammenfügealgorithmus zum Lokalisieren und Klassifizieren von statischen und sich bewegenden Hindernissen darstellen;
  • 7 eine Hindernisklassifikation darstellt;
  • 8 eine Hindernisklassifikation und einen Gefahrenbereich darstellt;
  • 9 korrekt identifizierte Fußgänger darstellt;
  • 10 korrekt identifizierte Hindernisse darstellt;
  • 11 ein zum Zusammenfügen von Bild- und Laserscannerdaten verwendetes Schema darstellt;
  • 12 ein Blockdiagramm einer elektronischen Konstruktion einer Fußgängerdetektionsvorrichtung unter Verwendung von Detektion von kritischen Bereichen gemäß einer Ausführungsform der vorliegenden Erfindung zeigt; und
  • 13 ein Ablaufdiagramm zur Darstellung eines Verfahrens zum Detektieren eines kritischen Bereiches gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
  • AUSFÜHRLICHE BESCHREIBUNG VON BEISPIELHAFTEN AUSFÜHRUNGSFORMEN
  • I. Einleitung
  • Die vorliegende Erfindung schlägt ein Fußgängerdetektionssystem auf der Grundlage eines neuen Lösungsansatzes vor. Insbesondere ist die vorliegende Erfindung entwickelt worden, um in einem besonders anspruchsvollen Stadtszenario zu bearbeiten, in dem traditionelle Fußgängerdetektionslösungsansätze keine optimalen Ergebnisse liefern konnten. Anstelle einer Suche nach Fußgängern in einem großen Bereich vor dem Fahrzeug mit dem System und in einer allgemeinen städtischen Situation, konzentriert sich außerdem das System gemäß der vorliegenden Erfindung auf ein spezielles Szenario, in dem nicht nur die Detektion von einem Fußgänger von grundlegender Bedeutung ist, sondern die Gefahr der Situation auch klar beurteilt werden kann.
  • In der Tat stellt eine korrekte Detektion in einem Fahrzeugsystem gerade die erste Phase eines erfolgreichen Produkts dar: Die Lokalisierung eines Verkehrsschildes/einer Verkehrsampel/eines Hindernisses oder eines Fußgänger ohne korrespondierende Anzeige seiner bzw. ihrer Position in Bezug auf das Fahrzeug und die Umgebung bringt nur sehr wenig Information, was das Detektionssystem unvollständig macht. Beispielsweise ein Fußgängerdetektionssystem, das alle in der Szene vorhandenen Fußgänger korrekt lokalisieren kann, liefert ein großes Maß an Information, die unverändert gefiltert werden muss, um entweder für den Fahrer oder den on-Board-Computer für automatische Manöver nützlich zu sein. Ein möglicher Filter kann durch Zusammenfügen von Informationen, die von anderen Systemen, wie zum Beispiel Spurdetektions- oder andere Maschinen zur Analyse von Situationen, eintreffen, und CAN (Controller Area Network)-Daten implementiert werden: ein Fußgänger genau vor dem Fahrzeug kann in Abhängigkeit von der Umgebung, wie in den 1A bis 1C gezeigt, als gefährlich angesehen werden oder nicht.
  • 1A bis 1C stellen dar, wie ein Fußgänger vor dem Fahrzeug in Abhängigkeit von der Umgebung gemäß einer Ausführungsform der vorliegenden Erfindung als gefährlich angesehen werden kann oder nicht.
  • Wie in 1A gezeigt, kann die Detektionseinrichtung den Gefahrengrad nicht beurteilen, wenn zwar ein Fußgänger lokalisiert worden ist, aber kein Bezug zur Umgebung bereitgestellt wird. Wenn Umgebungsinformation hinzugefügt wird, kann genau derselbe Fußgänger zu einer Gefahr werden, wie in 1B dargestellt, oder als in Ordnung in einer sicheren Position angesehen werden, wie in 1C dargestellt.
  • Die vorliegende Erfindung nähert sich dem Problem auf entgegengesetzte Weise: Statt der Detektion aller möglichen Kandidaten und Herausfiltern derselben nach der Analyse der Umgebung beurteilt das System gemäß der vorliegenden Erfindung zunächst das Szenario und sucht dann nach möglichen Fußgängern an speziellen Positionen in dem speziellen Szenario.
  • Auf diese Weise sind alle Fußgänger, die detektiert werden, mögliche Gefahren und ist kein weiteres Filtern erforderlich (abgesehen von einer Validierung und einem möglichen finalen Verfolgungsschritt). Die Szenarien, die in dieser Offenbarung betrachtet werden, beziehen sich auf die sehr üblichen städtischen Situationen, in denen das Vorhandensein eines Fußgängers ein ernstes Problem darstellt, das durch eine frühe Detektion entschärft werden könnte. Insbesondere wenn sich Fahrzeuge auf einer städtischen Straße bewegen bzw. darauf fahren, ist die einzige Gefahr, die ein Fußgänger darstellen kann – was somit eine erfolgreiche Detektion erfordert – die Überquerung einer Straße. Umgekehrt schaffen angehaltene Fahrzeuge auf der Straße oder an den Straßenseiten eine vollständig neue Gruppe von Szenarien, in denen das Vorhandensein eines Fußgängers absolut gefährlich sein könnte. Die zugrunde liegende Idee der vorliegenden Erfindung besteht darin, angehaltene Fahrzeuge zu lokalisieren und danach nach Fußgängern in der unmittelbaren Nähe der Fahrzeuge oder in den durch diese verdeckten Bereichen zu suchen. Diese angehaltenen Fahrzeuge, deren bekannte Kanten die Suche nach Fußgängern auslösen werden, können geparkte Autos am Straßenrand, temporär angehaltene Fahrzeuge auf der Straße oder Fahrzeuge, die in einer Reihe vor einer Verkehrsampel, einem Zebrastreifen oder sich einfach in einem Stau befinden, Schlangestehen, sein.
  • 2A bis 2D stellen unterschiedliche betrachtete Situationen und interessierende zu detektierende Bereiche mit möglichen Fußgängern gemäß einer Ausführungsform der vorliegenden Erfindung dar.
  • 2A bis 2D stellen allgemein Situationen dar, die in dieser Erfindung betrachtet werden, wobei durch gestrichelte Kreise gekennzeichnete interessierende Bereiche zur Detektion eines möglichen Fußgängers betrachtet werden. In 2A wird ein überquerender Fußgänger durch ein geparktes Fahrzeug verdeckt. In 2B überquert ein Fußgänger die Straße hinter einem angehaltenen Bus. In 2C springt ein Fußgänger zwischen zwei geparkten Fahrzeugen hervor. 2D zeigt einen Fußgänger, der die Straße zwischen zwei angehaltenen Fahrzeugen auf der anderen Seite der Straße überquert. Es ist wichtig zu beachten, dass sich Situationen in 2A und 2B auf spezielle und lokalisierte Stadtbereiche (Zebrastreifen und Bushaltestellen) beziehen, während die Situationen in den 2C und 2D in jedem Abschnitt des Straßennetzes auftreten können.
  • Die 2A bis 2D zeigen einige Beispiele für Situationen, in denen die Sichtbarkeit eines überquerenden Fußgängers durch angehaltene Fahrzeuge beeinträchtigt ist. Die durch gestrichelte Kreise in den 2A bis 2D für die jeweilige Situation hervorgehobenen Bereiche sind die Bereiche, in denen das System eine Überprüfung des Vorhandenseins eines möglichen Fußgängers durchführen wird. Eine direkte Erweiterung, die in dieser Offenbarung gegenwärtig nicht untersucht wird, kann zum Lokalisieren von großen statischen Strukturen (wie zum Beispiel Gebäuden oder Leitplanken) und Behandlung derselben wie angehaltene Fahrzeuge in der obigen Beschreibung verwendet werden.
  • Mit anderen Worten konzentriert sich diese Erfindung auf die Detektion von Fußgängern, die hinter angehaltenen Fahrzeugen hervorlaufen bzw. -springen; Fußgänger, die in dem Frontbereich des Fahrzeugs deutlich sichtbar sind, können auch detektiert werden, aber diese Funkti on, die mit von der Erfindung verschiedenen Systemen gemein ist, wird hierin nicht detailliert dargelegt.
  • Die Idee des Konzentrierens bzw. Fokussierens auf eine spezielle Szene ist auf dem Gebiet von Fußgängerdetektionssystemen nicht neu. Auf diesem Gebiet ist ein Modul zum Detektieren von Kugeln entwickelt worden, die gewöhnlich ein starkes Zeichen für das Vorhandensein eines Kindes sind.
  • Es ist bekannt, dass geparkte Fahrzeuge, die die Sichtbarkeit von Fußgängern verhindern, einer der Hauptgründe für Unfälle sind: In der Tat sollten in Wohnbereichen Parkplätze bzw. -lücken diagonal angeordnet werden. Wie jedoch in den 2A2D gezeigt ist, gibt es Situationen, in denen Fahrzeuge temporär auf der Straße anhalten und deren Position anders als im Falle von Parkplätzen nicht strategisch organisiert und sorgfältig verwaltet werden kann. Obwohl sich einige dieser Situationen auf spezielle Stadtbereiche, z. B. Zebrastreifen und Bushaltestellen beziehen, könnten sie durch intelligente Infrastrukturen, die auf Warnen von ankommenden Fahrzeugen gerichtet sind, speziell verbessert werden. Andere Situationen können an jedem Fleck des Straßennetzes eintreten, wodurch die Installation von intelligenten Infrastrukturen unpraktisch wird.
  • Die Haupteigenschaft, die von einem derartigen System gefordert wird, besteht in der Fähigkeit zum:
    • 1. schnellen Detektieren von Fußgängern, angesichts des kurzen Arbeitsbereiches und der besonderen Gefahr einer unmittelbar bevorstehenden Kollision;
    • 2. Detektieren von Fußgängern, sobald sie in Erscheinung treten, somit sogar, wenn sie teilweise verdeckt sind; und
    • 3. Begrenzen der Suche auf bestimmte Bereiche, die durch eine schnelle Vorverarbeitung bestimmt sind.
  • Das mit der vorliegenden Erfindung präsentierte System widmet sich einer speziellen Anwendung eines Fußgängerdetektionssystems, die in einem Feldversuch an einem PKW-Modell, das in 3 dargestellt ist, besteht.
  • In dem nächsten Abschnitt wird der Aufbau des Testfahrzeugs präsentiert und danach erfolgt in Abschnitt III eine Beschreibung der Gefahrenbereichsdetektion. In Abschnitt IV werden Aspekte hinsichtlich einer Bildfusion diskutiert und in Abschnitt V werden einige Abschlussbemerkungen gemacht.
  • II. Das Testfahrzeug
  • A. Messtechnologien
  • Da einem Stadtszenario Rechnung getragen werden soll, in dem das Prototypfahrzeug nahe von angehaltenen Fahrzeugen fährt, ist eine Begrenzung der Fahrzeuggeschwindigkeit und des Detektionsbereiches einfach. Als eine sichere Wahl können niedrige bis mittlere Fahrzeuggeschwindigkeiten von bis zu 50 km/h und ein Detektionsbereich von circa 40 m angesehen werden.
  • Das Erkennen der Umgebung erfordert, dass angehaltene Fahrzeuge detektiert werden; eine lasergestützte Lösung ist ausreichend stark, um große Hindernisse, wie Fahrzeuge, zu lokalisieren und sie aufgrund von deren Gestalt zu klassifizieren. Zur Überwindung des Mangels von Geschwindigkeitsinformation, der mit Laserscans verbunden ist, wurde ein spezieller Laserscanner ausgewählt, der ineinander verschachtelte (interlaced) Daten liefert. Er gruppiert eine Anzahl von interlaced-Scans zur Bildung eines einzigen Scans mit höherer Auflösung.
  • Die Analyse dieser interlaced-Daten, die mit Fahrzeug-CAN-Daten gekoppelt sind, ermöglicht die Abschätzung von Hindernisgeschwindigkeit und somit die Lokalisierung von Fahrzeugen mit Nullgeschwindigkeit.
  • Die beste Technologie zum Überprüfen des Vorhandenseins eines Fußgängers in einer bestimmten Gruppe von speziellen Flecken bzw. Stellen stellt das Sehen dar. Einäugiges (monokulares) Sehen reicht aus, da keine 3D-Rekonstruktion notwendig ist und eine Abschätzung der Distanz leicht erhältlich ist. Obwohl das System unter Tageslichtbedingungen getestet wurde, ermöglicht die Verwendung einer NIR (Near Infrared)-Kamera und eine geeignete Beleuchtung Erweiterung seines Arbeitsbereiches auf die Nacht.
  • B. Sensorauswahl
  • Die Kamera kann Empfindlichkeit sowohl im sichtbaren als auch im NIR-Spektrum aufweisen. Zusätzliche Scheinwerfer sind vor dem Fahrzeug montiert. Ein NIR-LED-Scheinwerfer mit einer Apertur von circa 25° ist vor dem Strahler montiert und die hohen Strahlen sind durch SL (Super Light) individuell gefertigt, um das sichtbare Licht zu blockieren und nur im NIR-Spektrum zu beleuchten.
  • Der Laserscanner kann ein SICK LMS 211-30206 sein. Geeignete Detektionsfähigkeiten schließen Scanwinkel von 100°, minimale Winkelauflösung von 0,25°, Bereich bis zu 80 Meter und Nebelkorrektur ein. Der Laserscanner kann eine Auflösung von 1° aufweisen, aber durch Durchführung von 4 aufeinanderfolgenden Drehungen, unter Verwendung eines interlacing-Systems, und eine Phasenlücke von 0,25 Grad ist es möglich, um die endgültige Granularität auf 0,25° zu verringern. Jede Drehung kann 13,32 ms benötigen, so dass in 53,28 ms vier Drehungen durchgeführt werden.
  • Die Messung der Zeitdifferenz zwischen Pulsen ist vernachlässigbar; außerdem ist bei Bewegung des Fahrzeugs die Verschiebung zwischen der Position des Laserscanners, wenn der erste Puls gemessen wird, und der Position, wenn der letzte Puls gemessen wird, merklich: das Interlacing-System des Laserscanners macht dieses Problem noch offensichtlicher.
  • C. Fahrzeugaufbau
  • Ein kompakter PC kann im Kofferraum oder Gepäckraum montiert werden, während ein Laserscanner und zwei unterschiedliche NIR-Scheinwerfer vor der vorderen Stoßstange angeordnet werden können. Die NIR-Kamera kann in der Kabine in der Nähe des Rückspiegels des Fahrzeugs platziert sein, wie dies in 3 gezeigt ist.
  • III. Hauptaugenmerk
  • Zwei verschiedene Laserdatenklassifikationen wurden entwickelt, um den Algorithmus robust zu gestalten. Beide Verfahren basieren auf Pulse-Clustering (Gruppieren) in geraden Linien, aber, während das erste nur den letzten Scan zum Klassifizieren von Hindernissen berücksichtigt, verwendet das zweite eine feste Anzahl von vorangehenden Scans zum Verifizieren der vorangehenden Position von Hindernissen und somit zum Schätzen von deren Geschwindigkeit.
  • A. Datenkorrektur
  • Wie bereits im Abschnitt II erläutert, können Verschiebungen zwischen aufeinanderfolgenden Laserscannermessungen merklich sein: Dieses Merkmal kann Clustering- oder Klassifikationsprobleme verursachen, weil die Hindernisgestalt verzerrt erscheinen kann. Unter Verwendung von ego-motion-Daten, die auf dem CAN bereitgestellt werden, ist es möglich, die Ro to-Translation des Fahrzeugs zu berechnen und die für jeden Puls gemessene Position zu korrigieren.
  • 4A und 4B zeigen Rohlaserdaten bzw. korrigierte Daten, die sich auf sich nicht bewegende Hindernisse beziehen. Die vier Drehungen, die einen Scan erzeugen, sind vor der Korrektur deutlich sichtbar, während das Hindernis als eine einzige Linie nach der Korrektur erscheint. Echo-Pulse durch sich bewegende Hindernisse können nicht auf eine einzige Linie reduziert werden, da sich die Position des Hindernisses während des Scans ändert: sich bewegende Hindernisse werden durch vier parallele Linien nach der Datenkorrektur identifiziert. Diese Information kann für die Hindernisklassifikation sehr nützlich werden.
  • B. Daten-Clustering
  • Mit Ausnahme von sich bewegenden Hindernissen funktioniert das Verbinden von aufeinanderfolgenden Pulsen, während Information über die Drehung, zu der der Puls gehört, verworfen wird, in allen Situationen. Bessere Ergebnisse können durch Verbinden nur der Pulse erreicht werden, die zur selben Drehung gehören: sich bewegende Hindernisse werden dann durch vier verschiedene und parallele Cluster identifiziert. Die Pulse sind als Segmentketten geclustert bzw. zusammengefügt. Die Punkte, die zu keiner Kette derselben Drehung verbunden werden können, werden dann hinsichtlich des Zusammenfügens mit Punkten von anderen Drehungen bei Berücksichtigung von lediglich der Nähe getestet. Die Punkte, die mit keinem anderen Punkt verbunden werden können oder sich auf der Grenze des Laserscannerbereiches (cirka 80 Meter) befinden, werden dauerhaft verworfen.
  • C. Segmentzusammenfügung
  • Bis jetzt sind Pulse in einer Kette von Segmenten ohne irgendwelche andere Information verbunden. Benachbarte Segmente mit näherungsweise derselben Orientierung können zu einem längeren Segment zusammengefügt werden, was die Hindernisgestalt bewahrt, aber die Komplexität der Datenstruktur und die Details der Darstellung reduziert. Jede Kette wird dann zu einem Linienzug segmentiert.
  • 5 stellt ein sich bewegendes Fahrzeug dar, wobei die vier parallelen Linien seiner Stoßstange entsprechen, während die einzelne Linie seiner Seite entspricht. Gestrichelte Punkte sind Linienzugstartpunkte, leere Punkte sind Punkte in der Mitte der Linienzüge, karierte Punkte sind Linienzugendpunkte, volle Punkte sind Punkte, die zu einer Linie gehören. 5 zeigt ein sich bewegendes Fahrzeug, wobei die hintere Stoßstange als vier parallele Linien eingerahmt ist, während seine Seite, die parallel zur Fahrzeugbewegungsrichtung ist, durch eine einzige Linie markiert ist.
  • D. Linienzusammenfügung
  • Jedes Hindernis in dem Sichtfeld des Laserscanners wird durch vier Linien identifiziert, eine für jede Drehung, die den gesamten Scan mit hoher Auflösung bildet. Im Fall von statischen Hindernissen überlappen sich die vier Linien recht perfekt aufgrund der vorangehenden Datenkorrektur und können sie zusammengefügt werden. Im umgekehrten Fall von sich bewegenden Hindernissen sind die Linien parallel, aber überlappen sich nicht. Somit können statische und sich bewegende Hindernisse lokalisiert und korrekt klassifiziert werden. 6A6C zeigen die Schritte des Algorithmus, wobei 6A Daten-Clustering zeigt und 6B eine Approximation unter Verwendung von Linienzügen zeigt.
  • 6C zeigt das Endergebnis, bei dem alle Punkte zu einer einzigen Linie zusammengefügt bzw. verschmolzen sind: zur Vereinfachung der folgenden Schritte werden geringe Abdriftungen vernachlässigt. Dieser schnelle und einfache, dennoch sehr effektive, Prozess zum Identifizieren von statischen Objekten kann falsche negative Befunde erzeugen, wenn die Neigung des Fahrzeugs nicht vernachlässigbar ist. Abschnitt V wird den Punkt diskutieren.
  • E. Erste Hindernisklassifikation
  • Die erhaltenen Linienzüge können gemäß nur deren Größe und Gestalt klassifiziert werden. Es ist möglich, Hindernisse in fünf Kategorien zu unterteilen:
    Mögliche Fußgänger; Straßenrand; L-förmiges Hindernis; sich bewegendes Hindernis und allgemeines (generisches) Hindernis.
  • Es wird angenommen, dass Hindernisse, die eventuell als Fußgänger klassifiziert werden können, eine geringere Größe aufweisen, während Hindernisse, die eine große Größe aufweisen und nahezu parallel zum Fahrzeug verlaufen, als Straßenränder (Leitplanken, Straßeninfrastrukturen ...) angenommen werden. Ein einfaches und schnelles Verfahren, das auf Linienorientierung basiert, kann zum Detektieren von L-förmigen Hindernissen verwendet werden. Sich bewegende Hindernisse können bereits in dem vorangehenden Schritt des Algorithmus individualisiert werden. Alle Hindernisse, die noch nicht klassifiziert sind, können als allgemeine Hindernisse markiert werden. Die erhaltenen Ergebnisse sind bisher zufriedenstellend, wie in 7 gezeigt ist.
  • Hindernisklassifikation ist in 7 dargestellt, wo sich Linien 710 auf L-förmige Hindernisse, Linien 720 auf mögliche Fußgänger und Linien 730 auf allgemeine Hindernisse beziehen.
  • F. Zeitliche und gestaltgestützte Korrelation
  • Die in dem vorangehenden Unterabschnitt erläuterte Klassifikation klassifiziert alle winzigen Hindernisse als möglichen Fußgänger. Selbst wenn es möglich ist, dass alle Fußgänger korrekt klassifiziert sind, ist eine Anzahl von falschen positiven Befunden vorhanden. Feste Hindernisse entlang der Straße (zum Beispiel geparkte Fahrzeuge) werden hier zum Lokalisieren von kritischen Bereichen vor dem Fahrzeug verwendet, um die Aufmerksamkeit auf die Zwi schennähe der Kanten dieses Gefahrenbereiches zu fokussieren, wo Fußgänger hervorlaufen bzw. -springen und gefährlich werden können.
  • Durch die vorangehenden Scan bereitgestellte Linienzüge können gemäß ego-motion (Selbstbewegung) bewegt werden; dann wird die Überlappung zwischen den momentanen Linienzügen und den vorangehenden überprüft, um eine neue Klassifikation in den folgenden 4 Klassen zu liefern: sich bewegendes Hindernis, statisches Hindernis, Hindernis mit sich ändernder Gestalt und neues Hindernis.
  • Scandaten bezüglich sich bewegender Hindernisse sollten geringe oder gar keine räumliche Überlappung aufweisen, wenn das Zeitfenster groß ist, aber leider erscheint die Seite eines sich bewegenden Fahrzeugs statisch (hohe räumliche Überlappung). Aufgrund der vorangehenden Markierung von L-förmigen Hindernissen gehören trotzdem die Stoßstange und die Seiten desselben Fahrzeugs zum selben Objekt, das somit die Kennung „sich bewegend” übernimmt.
  • Hindernisse, die durch gut überlappende Scans in dem bestimmten Zeitfenster repräsentiert sind, werden als statisch markiert, selbst wenn die neueren Scanlinien länger und genauer als die alten (aufgrund dessen, dass das Fahrzeug sich dem Hindernis nähert) sind.
  • Jedesmal wenn Scanlinien detektiert werden, die nur in einigen Regionen überlappen und sich in anderen unterscheiden, wird das Objekt als ein Hindernis mit sich ändernder Gestalt klassifiziert. Dies kann der Fall sein, wenn einige neue Akteure der Straße (wie zum Beispiel ein Fußgänger oder ein Fahrzeug, der bzw. das vorangehend verdeckt war) in die Szene gerät: nahe einem anderen Objekt erscheint dies in den Laserdaten so, als ob seine Gestalt mit der Gestalt seines benachbarten Hindernisses verbunden wäre. Es kann auch eintreten, wenn ein Fahrer eines angehaltenen Fahrzeugs die Tür öffnet und das Fahrzeug verlässt.
  • Wenn es keine Übereinstimmung zwischen dem aktuellen Linienzug und älteren gibt, wird das Objekt als ein neues Hindernis klassifiziert.
  • Sich bewegende Hindernisse werden verworfen; statische Hindernisse sind wichtig, um die interessierenden Bereiche zu lokalisieren, in denen Sehen (Vision) nach Fußgängern suchen wird; Hindernisse mit sich ändernder Gestalt sind von grundlegender Bedeutung, da sie einen Fußgänger in einer sehr genauen Region von deren Gestalt enthalten können; und neue Hindernisse lokalisieren schließlich andere interessierende Bereiche, in denen Sehen vonstatten gehen wird.
  • G. Gefahrenbereichidentifikation
  • Die gesamte in den vorangehenden Schritten erhaltene Information kann zum Identifizieren der Umgebung (statische Hindernisse und Fahrzeuge) und der sich bewegenden Hindernisse (Fußgänger und Fahrzeuge) verwendet werden. Hindernisse, die durch die zweite Klassifikation als statisch und nicht als sich bewegend durch erstere klassifiziert worden sind, werden zum Definieren der Struktur der Umgebung verwendet. Ferner werden Hindernisse mit sich ändernder Gestalt verwendet, um die Umgebung aufzubauen, wobei nur Punkte berücksichtigt werden, die sich nicht ändern. Sich nicht bewegende Hindernisse in dem rechten und linken Teil der Straße vor dem Fahrzeug werden zum Aufbauen der rechten und linken Ränder bzw. Grenzen des Gefahrenbereiches, nämlich des Bereiches, der durch das Fahrzeug in naher Zukunft erreicht werden kann, wie in 8 gezeigt, verwendet.
  • 8 zeigt die Hindernissklassifikation und den Gefahrenbereich. Die Linien 810 stellen Positionen von Hindernissen dar, die durch vorangehende Scans geliefert wurden, die Linie 820 stellt ein sich bewegendes Hindernis dar, die Linien 830 stellen statische Hindernisse dar, die Linie 840 stellt ein Hindernis mit sich ändernder Gestalt dar, während die Linien 850 linke und rechte Ränder eines kritischen oder Gefahrenbereiches repräsentieren.
  • Hindernisse, die sich in dem Gefahrenbereich bewegen, können als gefährliche Hindernisse markiert werden. Die Aufmerksamkeit ist speziell auf Bereiche zwischen statischen Hindernissen zu fokussieren. Gefährliche Fußgänger, die detektiert werden müssen, werden hinter einem statischen Hindernis erscheinen oder die Gestalt eines statischen Hindernisses modifizieren.
  • H. Ergebnisse des Aufpassprozesses
  • 9 und 10 stellen Fußgänger bzw. Hindernisse dar, die korrekt identifiziert wurden.
  • Aufgrund der Projektion von Laserdaten auf Bilder zeigt 9 einen Fall, in dem ein Fußgänger hinter einem geparkten Fahrzeug hervorläuft und ein anderer Fußgänger in dem Gefahrenbereich geht. Beide Fußgänger sind korrekt detektiert. 10 zeigt einen Van, der aus einer Parklücke hervorfährt, und einen Radfahrer, der in der Nähe der geparkten Fahrzeuge fährt: Beide gefährlichen Hindernisse sind korrekt detektiert. Die Ausführungszeit beträgt weniger als 5 Millisekunden mit einem Pentium 4-PC mit 2,8 GHz; cirka 48 Millisekunden verbleiben für die Bildfusion bzw. -zusammenfügung, um Echtzeitbedingungen einzuhalten.
  • IV. Bildfusion
  • Interessierende Gebiete sind 2D-Bereiche in Weltkoordinaten; deren korrespondierenden Bereiche im Bild werden dann mit Hilfe von Kamerakalibrierung und perspektivischer Abbildung (mapping) lokalisiert. In der Tat spielt Kamerakalibrierung und allgemeiner Systemkalibrierung eine grundlegende Rolle in einem Fusionssystem und muss in Angriff genommen werden.
  • Fahrzeugneigung während der Bewegung bzw. Fahrt kann Kameraorientierung in Bezug auf die Welt ändern, aber – was am wichtigsten ist – sie verursacht auch, dass der Laserscanner die Szene unter Verwendung einer anderen Orientierung scannt. Für Straßenanwendungen wird dies allgemein als bedingtes Problem für Kurzdistanzmessungen angesehen, und ist es sogar noch weniger wichtig, wenn Hindernisse vertikal angeordnet sind. Umgekehrt im Fall von erheblichen Fahrzeugneigungswinkeln – speziell negativen Winkeln, die den Laserscanner in Richtung zum Boden lenken – kann die Scanebene des Laserscanners den Boden schneiden und somit keine signifikanten Ergebnisse liefern.
  • Aufgrund der Tatsache, dass die beiden Sensoren an dem Fahrzeugchassis befestigt sind, bewegen sie sich entsprechend und kann eine einzige Kompensation ausreichend sein. Neben der Verwendung zum Lokalisieren von Merkmalen von Fußgängern in den interessierenden Regionen kann Sehen (Vision) auch zum Abschätzen der Fahrzeugneigung verwendet werden. Ein zusätzlicher Beschleunigungsmesser wird nun zum Überprüfen von Neigungsmessergebnissen, die durch Sehen bereitgestellt werden, verwendet. Die momentane Fahrzeugneigung wird in die Laserscannerverarbeitung gegeben (um die Erzeugung von falschen Ergebnissen während einer Fahrzeugneigung zu verhindern) und sie wird auch zum Stabilisieren des Bildstroms verwendet, wie in 11 gezeigt, die ein zum Zusammenfügen (Fusionieren) von Bild- und Laserscannerdaten verwendetes Schema darstellt.
  • Wenn die interessierenden Bereiche lokalisiert sind, wird die Suche nach Fußgängern unter Verwendung von AdaBoost-Klassifikator ausgelöst. Die identifizierten Bereiche können auf eine feste Größe (50 × 20) resampled werden und alle Pixel können als Eingabe verwendet werden. AdaBoost kann unter Verwendung der durch die vorangehenden Schritte des Algorithmus individualisierten und als Fußgänger oder nicht von Hand markierten Bereiche trainiert werden.
  • V. Schlussbemerkungen
  • Diese Erfindung hat ein neues Schema zur Erhöhung von Sicherheit und zum möglichen Vermeiden von Kollisionen mit verletzbaren Straßenbenutzern präsentiert. Anstelle einer Implementierung eines allgemeinen (generischen) Fußgängerdetektorsystems, der sich sowohl ein Validierungsschritt als auch die Beurteilung des Gefährdungsniveaus anschließt, schlägt diese Arbeit einen neuartigen Lösungsansatz vor.
  • Jedesmal wenn eine spezielle Umgebungsstruktur detektiert wird (d. h. angehaltene Fahrzeuge, die Fußgänger verbergen können), wird das mögliche Vorhandensein von Fußgängern in speziellen Bereichen überprüft. Diese Lösung nähert sich nicht nur dem Problem aus einer anderen Perspektive in Bezug auf traditionelle Implementierungen, sondern fokussiert bzw. konzentriert sich auch auf eine besonders kritische Umgebung, typisch für Unfälle in einer Stadt. Neben einer direkten Detektion von gefährlichen Situationen verbessert sie auch die Steuerleistung, da der rechenintensive Teil – die bildgestützte Fußgängererkennung – nur auf begrenzten Abschnitten des Bild durchgeführt wird. Die Beschleunigung aufgrund des Schrittes der Lokalisierung eines kritischen Bereiches kann als die Differenz zwischen der Anzahl von möglichen Fußgängern, die durch ein klassisches System erzeugt wird (das nur Größe zum Lokalisieren von Fußgängern betrachtet) und derjenigen, die durch dieses Verfahren erzeugt wird, gemessen werden: mehrere Tests in Stadtszenarien zeigen, dass das vorgeschlagene Verfahren im Durchschnitt weniger als ein Viertel von möglichen Fußgängern als das klassische System liefert.
  • 12 zeigt ein Blockdiagramm einer elektronischen Konstruktion einer Fußgängerdetektionsvorrichtung mit Detektion von kritischen Bereichen gemäß einer Ausführungsform der vorliegenden Erfindung.
  • Die Fußgängerdetektionsvorrichtung ist gestaltet, um Fußgänger zu detektieren, die um Fahrzeuge irren, und kann eine Kamera 1210 zur Abbildung einer Umgebung der Fahrzeuge und Erzeugen und Liefern von Bildausgaben, einen Sensor 1220 zum Erkennen von Hindernissen um die Fahrzeuge und Liefern von Distanzdaten, eine Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches unter Verwendung der Distanzdaten zum Identifizieren der Fahrzeugumgebung und sich bewegender Hindernisse und Detektieren einer vorgegebenen Umgebung und der die sich bewegenden Hindernisse umgebenden Bereiche als kritische Bereiche und eine Fußgängerdetektionseinrichtung 1240 zum Detektieren von Fußgänger vorzugsweise anhand der Bilder, die den kritischen Bereichen entsprechen, aufweisen. Hier kann der Abbildungsabschnitt 1210 eine Nahinfrarot (NIR)-Kamera und eine Vielzahl von NIR-LED-Scheinwerfern aufweisen. Zusätzlich kann die Fußgängerdetektionseinrichtung 1240 nur bei Auftreten von sich bewegenden Hindernissen beim Detektieren von Fußgängern anhand der Bilder oder ausgewählter potentieller Bilder vorzugsweise Fußgänger anhand der Bereichsbilder detektieren, die mit den kritischen Bereichen übereinstimmen.
  • Die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches der Fußgängerdetektionsvorrichtung detektiert kritische Bereiche und identifiziert bei Empfang der anhand von Detektieren der Umgebungshindernisse des Fahrzeuges erzeugten Distanzdaten die Umgebung der Fahrzeuge und sich bewegenden Hindernisse unter Verwendung der Distanzdaten, um eine vorgegebene Umgebung und die die sich bewegenden Hindernisse umgebenden Bereiche als kritische Bereiche zu detektieren.
  • Zusätzlich kann die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches ein Fahrzeug mit Nullgeschwindigkeit durch Auswerten von Hindernissgeschwindigkeiten durch Empfangen der Distanzdaten von dem Sensor 1220 auffinden, der mit einem Laserscanner für Interlaced-Scanning ausgestattet ist. Ferner kann die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches einen Datenkorrekturabschnitt zum Empfangen der Distanzdaten von dem Sensor 1220 und Korrigieren derselben im Anschluss an die Positionsänderungen der Fahrzeuge, einen Datengruppier(cluster)-Abschnitt zum Verbinden zwischen den korrigierten Distanzdaten in unmittelbarer Nähe und Gruppieren (clustern) derselben als Ketten von Segmenten, einen Segmentzusammenfügeabschnitt zum Verbinden der gruppierten Distanzdatensegmente und Zusammenfügen der benachbarten Segmente mit näherungsweise derselben Orientierung zu einem Linienzug, einen Linienzusammenfügeabschnitt zum Integrieren der Linienzüge in unmittelbarer Nähe zu einer einzigen zusammengefügten Linie, einen ersten Hindernisklassifikationsabschnitt zum Klassifizieren der erhaltenen Linienzüge gemäß lediglich deren Größe und Gestalt in mehreren Kategorien und Detektieren von mehreren Kategorien von Hindernissen, einen zweiten Hindernisklassifikationsabschnitt zum Korrigieren der Linienzüge gemäß den Fahrzeugpositionsänderungen und Klassifizieren der Linienzüge in mehreren Kategorien gemäß der Überlappung zwischen den Linienzügen vor Korrektur und den Linienzügen nach Korrektur und Detektieren von mehreren Kategorien von Hindernissen und einen Gefahrenbereichidentifikationsabschnitt zum Identifizieren der Umgebung und der sich bewegenden Hindernisse durch Verwendung der mehrfachen Kategorien von Hindernissen, die in den ersten und zweiten Hindernisklassifikationsabschnitten detektiert sind, aufweisen.
  • Außerdem kann der Datenkorrekturabschnitt die Distanzdaten durch Berechnen der Fahrzeug-Roto-Translation unter Verwendung der Ego-Motion-Daten, die von dem Fahrzeug-CAN empfangen werden, korrigieren. Der Datengruppierabschnitt kann die Distanzdaten durch Verbinden von kontinuierlichen Pulsen der Distanzdaten von lediglich denjenigen, die zur selben Drehung gehören, gruppieren. Der erste Hindernisklassifikationsabschnitt kann eine oder mehrere von mehreren Kategorien von Hindernissen, die einen möglichen Fußgänger, Straßenrand, L-förmiges Hindernis, sich bewegendes Hindernis und allgemeines Hindernis einschließen, detektieren. Der zweite Hindernisklassifikationsabschnitt ist ein Modul, das die zeitliche und gestaltgestützte Korrelation zum Erzeugen von korrigierten Linienzügen durch Bewegen der Linienzüge gemäß der Ego-Motion durchführt. Der zweite Hindernisklassifikationsabschnitt kann auch eine oder mehrere von mehreren Kategorien von Hindernissen detektieren, die ein sich bewegendes Hindernis, ein statisches Hindernis, ein Hindernis mit sich ändernder Gestalt und ein neues Hindernis enthalten.
  • 13 zeigt ein Ablaufdiagramm zur Darstellung eines Verfahrens zum Detektieren eines kritischen Bereiches gemäß einer Ausführungsform der vorliegenden Erfindung.
  • Wenn der Fahrzeug-on-Board-Sensor 1220 durch einen Laserscan, die Hindernisse im Umfeld des Fahrzeugs erkennt und die Distanzdaten erzeugt, kann die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches die Distanzdaten von den Sensor 1220 empfangen und die empfangenen Distanzdaten gemäß der Positionsänderung des Fahrzeugs in Schritt S1310 korrigieren.
  • Die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches kann nach Korrektur der Distanzdaten diese in unmittelbarer Nähe verbinden und sie als Ketten von Segmenten in einem Schritt S1320 gruppieren. Sie verbindet die gruppierten Distanzdatensegmente so, dass die benachbarten Segmente mit näherungsweise derselben Orientierung zu einem Linienzug in einem Schritt S1330 zusammengefügt werden. Danach werden die Linienzüge in unmittelbarer Nähe zu einer einzigen zusammengefügten Linie in Schritt S1340 integriert.
  • Zusätzlich detektiert die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches mehrere Kategorien von Hindernissen durch Klassifizieren der erhaltenen Linienzüge gemäß nur deren Größe und Gestalt in mehreren Kategorien in Schritt S1350 und durch Korrigieren der Linienzüge gemäß den Fahrzeugpositionsänderungen und danach Klassifizieren der Linienzüge in mehreren Kategorien gemäß der Überlappung zwischen den Linienzügen vor Korrektur und den Linienzügen nach Korrektur in Schritt S1360.
  • Ferner identifiziert die Detektionseinrichtung 1230 zum Detektieren eines kritischen Bereiches die Atmosphäre und sich bewegende Hindernisse durch Verwendung von gesammelter Information anhand der Schritte S1310 bis S1350 und speziell der mehreren Kategorien von Hindernissen, die in den Schritten S1350 bis S1360 detektiert worden sind, um die kritischen Bereiche in Schritt S1370 vor Beendigung des Verfahrens zum Detektieren eines kritischen Bereiches gemäß der Erfindung zu identifizieren.
  • Obwohl beispielhafte Ausführungsformen der vorliegenden Erfindung zu Darstellungszwecken beschrieben worden sind, werden Fachleute auf dem Gebiet erkennen, dass zahlreiche Modifikationen, Hinzufügungen und Substitutionen möglich sind, ohne aus dem Schutzbereich und Geist der Erfindung zu gelangen. Somit sind beispielhafte Ausführungsformen der vorliegenden Erfindung nicht zum Zwecke der Beschränkung beschrieben worden. Zudem ist der technische Bereich der vorliegenden Erfindung nicht durch die aktuellen Ausführungsformen beschränkt. Dementsprechend wird der Schutzbereich der Erfindung durch die Ansprüche und deren Äquivalente begrenzt.

Claims (12)

  1. Fußgängerdetektionsvorrichtung zum Detektieren von Fußgängern um ein Fahrzeug, umfassend: einen Bildgenerator zum Aufzeichnen von Bildern von einer Umgebung des Fahrzeugs und Erzeugen und Liefern von Bildausgaben; einen Sensor zum Erkennen von Hindernissen um das Fahrzeug und Liefern von Distanzdaten der Distanz zwischen den Hindernissen und dem Fahrzeug; eine Detektionseinrichtung zum Detektieren eines kritischen Bereiches unter Verwendung der Distanzdaten zum Identifizieren der Fahrzeugumgebung und sich bewegender Hindernisse und Detektieren einer vorgegebenen Umgebung und der die sich bewegenden Hindernisse umgebenden Bereiche als kritische Bereiche; und eine Fußgängerdetektionseinrichtung zum Detektieren der Fußgänger vorzugsweise anhand von Bildern, die den kritischen Bereichen entsprechen.
  2. Fußgängerdetektionsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Bildgenerator eine Nahinfrarot-Kamera und eine Vielzahl von Nahinfrarot-LED-Scheinwerfern umfasst.
  3. Fußgängerdetektionsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Fußgängerdetektionseinrichtung vorzugsweise Fußgänger anhand der Bilder, die den kritischen Bereichen entsprechen, nur bei Auftreten der sich bewegenden Hindernisse während einer Detektion von Fußgängern anhand der Bilder oder ausgewählten Kandidatenbilder detektiert.
  4. Detektionseinrichtung zum Detektieren eines kritischen Bereiches in einer Fußgängerdetektionsvorrichtung zum Detektieren von Fußgängern um Fahrzeuge, umfassend: eine Detektionseinrichtung zum Detektieren eines kritischen Bereiches, die bei Empfang von Distanzdaten, die anhand von Detektieren von Umgebungshindernissen der Fahrzeuge erzeugt sind, die Umgebung der Fahrzeuge und sich bewegende Hindernisse unter Ver wendung der Distanzdaten identifiziert, um eine vorgegebene Umgebung und die die sich bewegenden Hindernisse umgebenden Bereiche als kritische Bereiche zu detektieren.
  5. Detektionseinrichtung zum Detektieren eines kritischen Bereiches nach Anspruch 4, ferner umfassend Empfangen der Distanzdaten von einem Sensor, der mit einem Laserscanner mit Interlaced-Scanning ausgestattet ist.
  6. Detektionseinrichtung zum Detektieren eines kritischen Bereiches nach Anspruch 4, dadurch gekennzeichnet, dass die Detektionseinheit zum Detektieren eines kritischen Bereiches umfasst: einen Datenkorrekturabschnitt zum Empfangen der Distanzdaten von einem Sensor und Korrigieren derselben gemäß den Positionsänderungen der Fahrzeuge; ein Datengruppierabschnitt zum Verbinden zwischen den korrigierten Distanzdaten in unmittelbarer Nähe und Gruppieren derselben als Ketten von Segmenten; einen Segmentzusammenfügeabschnitt zum Verbinden der gruppierten Distanzsatensegmente und Zusammenfügen von benachbarten Segmenten mit näherungsweise derselben Orientierung zu einem Linienzug; einen Linienzusammenfügeabschnitt zum Integrieren der Linienzüge in unmittelbarer Nähe zu einer einzigen zusammengefügten Linie; einen ersten Hindernisklassifikationsabschnitt zum Klassifizieren von erhaltenen Linienzügen gemäß deren Größe und Gestalt in mehreren Kategorien, um mehrere Kategorien von Hindernissen zu detektieren; einen zweiten Hindernisklassifikationsabschnitt zum Korrigieren der Linienzüge gemäß den Fahrzeugpositionsänderungen und Klassifizieren der Linienzüge in mehreren Kategorien gemäß dem Grad von Überlappung zwischen den Linienzügen vor Korrektur und den Linienzügen nach Korrektur, um mehrere Kategorien von Hindernissen zu detektieren; und einen Abschnitt zum Identifizieren eines kritischen Bereiches zum Detektieren der kritischen Bereiche durch Identifizieren der Umgebung und der sich bewegenden Hindernisse unter Verwendung der mehreren Kategorien von Hindernissen, die in den ersten und zweiten Hindernisklassifikationsabschnitten detektiert worden sind.
  7. Detektionseinrichtung zum Detektieren eines kritischen Bereiches nach Anspruch 6, dadurch gekennzeichnet, dass der Korrekturabschnitt die Distanzdaten durch Berechnen einer Fahrzeug-Roto-Translation unter Verwendung von Ego-Motion-Daten, die von einem Fahrzeug-CAN empfangen sind, korrigiert.
  8. Detektionseinrichtung zum Detektieren eines kritischen Bereiches nach Anspruch 6, dadurch gekennzeichnet, dass der Datengruppierabschnitt die Distanzdaten durch Verbinden von kontinuierlichen Pulsen der Distanzdaten nur derjenigen, die zur selben Drehung gehören, gruppiert.
  9. Detektionseinrichtung zum Detektieren eines kritischen Bereiches nach Anspruch 6, dadurch gekennzeichnet, dass der erste Hindernisklassifikationsabschnitt eine oder mehrere von mehreren Kategorien von Hindernissen detektiert, die einen möglichen Fußgänger, Straßenrand, L-förmiges Hindernis, sich bewegendes Hindernis und allgemeines Hindernis enthalten.
  10. Detektionseinrichtung zum Detektieren eines kritischen Bereiches nach Anspruch 6, dadurch gekennzeichnet, dass der zweite Hindernisklassifikationsabschnitt die korrigierten Linienzüge durch Bewegen der Linienzüge gemäß Ego-Motion erzeugt.
  11. Detektionseinrichtung zum Detektieren eines kritischen Bereiches nach Anspruch 6, dadurch gekennzeichnet, dass der zweite Hindernisklassifikationsabschnitt eine oder mehrere von mehreren Kategorien von Hindernissen detektiert, die ein sich bewegendes Hindernis, statisches Hindernis, Hindernis mit sich ändernder Gestalt und neues Hindernis enthalten.
  12. Verfahren zum Detektieren eines kritischen Bereiches in einer Fußgängerdetektionsvorrichtung zum Detektieren von Fußgängern um ein Fahrzeug, umfassend: (a) Korrigieren von Distanzdaten bei Empfang derselben von einem Sensor gemäß Positionsänderungen des Fahrzeugs; (b) Gruppieren der Distanzdaten als Ketten von Segmente durch Verbinden zwischen korrigierten Distanzdaten in unmittelbarer Nähe; (c) Zusammenfügen der Segmente durch Verbinden der gruppierten Distanzdatensegmente und Zusammenfügen der Segmente parallel und in unmittelbarer Nähe zu einem Linienzug; (d) Zusammenfügen von Linien durch Integrieren von Linienzügen in unmittelbarer Nähe zu einer einzigen zusammengefügten Linie; (e) Klassifizieren von Hindernissen durch Klassifikation von Linienzügen gemäß deren Größe und Gestalt in mehreren Kategorien, um mehrere Kategorien von Hindernissen zu detektieren; (f) Klassifizieren der Hindernisse durch Korrigieren der Linienzüge gemäß den Fahrzeugpositionsänderungen und Klassifizieren der Linienzüge in mehreren Kategorien gemäß dem Grad von Überlappung zwischen den Linienzügen vor Korrektur und den Linienzügen nach Korrektur, um mehrere Kategorien von Hindernissen zu detektieren; und (g) Identifizieren von kritischen Bereichen durch Identifizieren der Umgebung und der sich bewegenden Hindernisse durch Verwendung der mehreren Kategorien von Hindernissen, die in den Schritten (e) und (f) des Klassifizierens der Hindernisse detektiert worden sind, um die kritischen Bereiche zu detektieren.
DE102009023326.1A 2008-06-04 2009-05-29 Vorrichtung und Verfahren zum Detektieren eines kritischen Bereiches und Fußgängerdetektionsvorrichtung unter Verwendung derselben Active DE102009023326B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080052738A KR101141874B1 (ko) 2008-06-04 2008-06-04 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치
KR10-2008-0052738 2008-06-04

Publications (2)

Publication Number Publication Date
DE102009023326A1 true DE102009023326A1 (de) 2010-02-04
DE102009023326B4 DE102009023326B4 (de) 2021-02-04

Family

ID=41399802

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009023326.1A Active DE102009023326B4 (de) 2008-06-04 2009-05-29 Vorrichtung und Verfahren zum Detektieren eines kritischen Bereiches und Fußgängerdetektionsvorrichtung unter Verwendung derselben

Country Status (3)

Country Link
US (1) US8164432B2 (de)
KR (1) KR101141874B1 (de)
DE (1) DE102009023326B4 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010025351A1 (de) * 2010-06-28 2011-12-29 Audi Ag Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers
DE102011113099A1 (de) 2011-09-09 2013-03-14 Volkswagen Aktiengesellschaft Verahren zur Bestimmung von Objekten in einer Umgebung eines Fahrzeugs
DE102013215098A1 (de) * 2013-08-01 2015-02-05 Bayerische Motoren Werke Aktiengesellschaft Umfeldmodelle für Fahrzeuge
EP3205540A1 (de) * 2016-02-09 2017-08-16 Continental Automotive GmbH Fahrerassistenzvorrichtung sowie ein verfahren zur unterstützung eines fahrzeugführers beim führen eines fahrzeugs
DE102016117496A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Verfahren zum Erkennen eines Fußgängers in einem Umgebungsbereich eines Kraftfahrzeugs, Bildverarbeitungseinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016124157A1 (de) * 2016-12-13 2018-06-14 Valeo Schalter Und Sensoren Gmbh Ermitteln einer Bremsnotwendigkeit zum Vermeiden einer Kollision eines Kraftfahrzeugs mit einem Fußgänger
DE102011078615B4 (de) 2011-07-04 2022-07-14 Toyota Jidosha Kabushiki Kaisha Objekterfassungsvorrichtung und objekterfassungsprogramm

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5147874B2 (ja) * 2010-02-10 2013-02-20 日立オートモティブシステムズ株式会社 車載画像処理装置
EP2388756B1 (de) * 2010-05-17 2019-01-09 Volvo Car Corporation Frontalaufprallrisikoverringerung
JP5338801B2 (ja) * 2010-12-23 2013-11-13 株式会社デンソー 車載障害物情報報知装置
EP2653346B1 (de) * 2012-04-16 2020-06-10 Volvo Car Corporation Fahrzeugsicherheitsbeleuchtungsanordnung und -verfahren
JP5592441B2 (ja) * 2012-06-26 2014-09-17 本田技研工業株式会社 配光制御装置
US9633436B2 (en) 2012-07-26 2017-04-25 Infosys Limited Systems and methods for multi-dimensional object detection
JP5696701B2 (ja) * 2012-08-31 2015-04-08 株式会社デンソー 対歩行者報知装置
US9440648B2 (en) * 2012-10-30 2016-09-13 Toyota Jidosha Kabushiki Kaisha Vehicle safety apparatus
JP5783163B2 (ja) * 2012-12-03 2015-09-24 株式会社デンソー 物標検出装置
DE102013201545A1 (de) * 2013-01-30 2014-07-31 Bayerische Motoren Werke Aktiengesellschaft Erstellen eines Umfeldmodells für ein Fahrzeug
JP5729416B2 (ja) * 2013-04-26 2015-06-03 株式会社デンソー 衝突判定装置、および衝突緩和装置
US10214208B2 (en) 2013-05-31 2019-02-26 Toyota Jidosha Kabushiki Kaisha Drive assist apparatus of vehicle and onboard computer
JP6205923B2 (ja) * 2013-07-11 2017-10-04 株式会社デンソー 走行支援装置
US9786178B1 (en) 2013-08-02 2017-10-10 Honda Motor Co., Ltd. Vehicle pedestrian safety system and methods of use and manufacture thereof
JP6429368B2 (ja) 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
US9505412B2 (en) 2013-08-02 2016-11-29 Honda Motor Co., Ltd. System and method for detection and utilization of driver distraction level
US9580014B2 (en) * 2013-08-08 2017-02-28 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
KR101550972B1 (ko) 2013-09-25 2015-09-07 현대자동차주식회사 레이저 스캐너를 이용하여 장애물을 인식하기 위한 특징점 추출 장치 및 방법
US9336436B1 (en) 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックIpマネジメント株式会社 測距撮像システム
KR101519261B1 (ko) * 2013-12-17 2015-05-11 현대자동차주식회사 차량의 모니터링 방법 및 자동 제동 장치
JP6174516B2 (ja) * 2014-04-24 2017-08-02 本田技研工業株式会社 衝突回避支援装置、衝突回避支援方法、及びプログラム
CN106663193B (zh) 2014-05-14 2020-12-25 御眼视觉技术有限公司 用于路缘检测和行人危险评估的***和方法
US9646428B1 (en) 2014-05-20 2017-05-09 State Farm Mutual Automobile Insurance Company Accident response using autonomous vehicle monitoring
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
JP2016006626A (ja) * 2014-05-28 2016-01-14 株式会社デンソーアイティーラボラトリ 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
US10387962B1 (en) 2014-07-21 2019-08-20 State Farm Mutual Automobile Insurance Company Methods of reconstructing an accident scene using telematics data
JP6407626B2 (ja) 2014-08-26 2018-10-17 日立オートモティブシステムズ株式会社 物体認識装置及び車両制御システム
US10915965B1 (en) 2014-11-13 2021-02-09 State Farm Mutual Automobile Insurance Company Autonomous vehicle insurance based upon usage
JP2016133341A (ja) * 2015-01-16 2016-07-25 株式会社リコー 物体検出装置、センシング装置、移動体装置及び物体検出方法
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
US20210166323A1 (en) 2015-08-28 2021-06-03 State Farm Mutual Automobile Insurance Company Determination of driver or vehicle discounts and risk profiles based upon vehicular travel environment
KR20170031901A (ko) * 2015-09-14 2017-03-22 한화테크윈 주식회사 고속 스캐닝 장치를 이용한 스캐닝 방법
JP6582936B2 (ja) * 2015-12-01 2019-10-02 株式会社デンソー 経路生成装置、自動走行制御システム
US10384678B1 (en) 2016-01-22 2019-08-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
DE102016000723A1 (de) * 2016-01-23 2017-07-27 Audi Ag Erfassung einer Gefahrensituation im Straßenverkehr
CA3012439A1 (en) * 2016-01-29 2017-08-03 Nissan Motor Co., Ltd. Vehicle travel control method and vehicle travel control device
US10832331B1 (en) 2016-07-11 2020-11-10 State Farm Mutual Automobile Insurance Company Systems and methods for allocating fault to autonomous vehicles
EP3273423B1 (de) * 2016-07-21 2019-03-13 Continental Automotive GmbH Vorrichtung und verfahren zur erkennung eines fussgängers
EP3318890B1 (de) * 2016-11-02 2019-05-01 Aptiv Technologies Limited Verfahren zur bereitstellung einer fahrzeugumgebungskonturpolylinie aus detektionsdaten
KR102441060B1 (ko) * 2016-12-13 2022-09-06 현대자동차주식회사 보행자 추돌 사고 방지 장치, 그를 포함한 시스템 및 그 방법
EP3563365A4 (de) * 2017-01-02 2020-08-12 Visteon Global Technologies, Inc. Verwendung von fahrzeugsensorinformationen zum abrufen von daten
US10663584B2 (en) * 2017-05-26 2020-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. Publishing LIDAR cluster data
JP6747389B2 (ja) * 2017-06-29 2020-08-26 株式会社デンソー 衝突推定装置および衝突推定方法
US11430071B2 (en) * 2017-08-16 2022-08-30 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
JP6676025B2 (ja) * 2017-10-23 2020-04-08 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
WO2019089591A1 (en) * 2017-10-30 2019-05-09 Mobileye Vision Technologies Ltd. Vehicle navigation based on human activity
JP7077606B2 (ja) * 2017-12-22 2022-05-31 株式会社デンソー 衝突判定装置
US10650553B2 (en) * 2017-12-27 2020-05-12 Intel IP Corporation Method of image processing and image processing device
KR102469361B1 (ko) * 2017-12-28 2022-11-23 에이치엘만도 주식회사 온도퓨즈의 체결구조
JP6598885B2 (ja) * 2018-01-05 2019-10-30 三菱電機株式会社 物体認識装置および物体認識方法
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
CN108734124A (zh) * 2018-05-18 2018-11-02 四川国软科技发展有限责任公司 一种激光雷达动态行人检测方法
EP3576069B1 (de) * 2018-05-30 2022-08-03 Aptiv Technologies Limited Verfahren für ein host-fahrzeug zur bewertung des risikos des überholens eines zielfahrzeugs auf einem fussgängerstreifen
DE102018210814A1 (de) * 2018-06-30 2020-01-02 Robert Bosch Gmbh Verfahren zur Erkennung statischer Radarziele mit einem Radarsensor für Kraftfahrzeuge
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
DE102018127990A1 (de) * 2018-11-08 2020-05-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs
JP7390312B2 (ja) * 2019-01-10 2023-12-01 株式会社小糸製作所 LiDARセンサユニット
KR20200139443A (ko) * 2019-06-04 2020-12-14 주식회사 만도 운전자 보조 시스템 및 그 제어 방법
CN110765841A (zh) * 2019-09-03 2020-02-07 上海交通大学 基于混合注意力机制的群组行人重识别***及终端
KR20210088780A (ko) 2020-01-06 2021-07-15 주식회사 만도 운전자 보조 장치 및 그 방법
CN112346080A (zh) * 2020-11-02 2021-02-09 成都云科新能汽车技术有限公司 一种基于单线激光雷达的自适应避障方法
KR102658708B1 (ko) 2022-01-05 2024-04-17 대구대학교 산학협력단 항온동물 탐지 및 접근 예지 학습을 통한 충돌 위험 알림 시스템 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3174832B2 (ja) * 1999-10-27 2001-06-11 建設省土木研究所長 横断歩行者衝突防止システム
DE10220837A1 (de) * 2002-05-08 2003-11-27 Daimler Chrysler Ag Vorrichtung zur Parklückensuche mittels Radar
DE10319700A1 (de) * 2003-05-02 2004-11-18 Ibeo Automobile Sensor Gmbh Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit für eine Kollision eines Fahrzeugs mit einem Gegenstand
US7263209B2 (en) * 2003-06-13 2007-08-28 Sarnoff Corporation Vehicular vision system
US6956469B2 (en) * 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
DE10341753A1 (de) * 2003-09-10 2005-04-21 Bosch Gmbh Robert Vorrichtung zur Detektion einer Annäherung an einem Fußgängerüberweg in einem Fahrzeug
JP4425642B2 (ja) * 2004-01-08 2010-03-03 富士重工業株式会社 歩行者抽出装置
WO2005086079A1 (en) * 2004-03-02 2005-09-15 Sarnoff Corporation Method and apparatus for differentiating pedestrians, vehicles, and other objects
JP4556533B2 (ja) * 2004-08-02 2010-10-06 日産自動車株式会社 車両用歩行者報知装置及び歩行者報知方法
JP4715579B2 (ja) 2006-03-23 2011-07-06 株式会社豊田中央研究所 潜在危険度推定装置
JP2007310457A (ja) 2006-05-16 2007-11-29 Denso Corp 車車間通信システム、車車間通信装置、および制御装置
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010025351A1 (de) * 2010-06-28 2011-12-29 Audi Ag Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers
DE102011078615B4 (de) 2011-07-04 2022-07-14 Toyota Jidosha Kabushiki Kaisha Objekterfassungsvorrichtung und objekterfassungsprogramm
DE102011113099A1 (de) 2011-09-09 2013-03-14 Volkswagen Aktiengesellschaft Verahren zur Bestimmung von Objekten in einer Umgebung eines Fahrzeugs
DE102013215098A1 (de) * 2013-08-01 2015-02-05 Bayerische Motoren Werke Aktiengesellschaft Umfeldmodelle für Fahrzeuge
US10198951B2 (en) 2013-08-01 2019-02-05 Bayerische Motoren Werke Aktiengesellschaft Models of the surroundings for vehicles
EP3205540A1 (de) * 2016-02-09 2017-08-16 Continental Automotive GmbH Fahrerassistenzvorrichtung sowie ein verfahren zur unterstützung eines fahrzeugführers beim führen eines fahrzeugs
DE102016117496A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Verfahren zum Erkennen eines Fußgängers in einem Umgebungsbereich eines Kraftfahrzeugs, Bildverarbeitungseinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016124157A1 (de) * 2016-12-13 2018-06-14 Valeo Schalter Und Sensoren Gmbh Ermitteln einer Bremsnotwendigkeit zum Vermeiden einer Kollision eines Kraftfahrzeugs mit einem Fußgänger

Also Published As

Publication number Publication date
US8164432B2 (en) 2012-04-24
US20090303026A1 (en) 2009-12-10
KR20090126586A (ko) 2009-12-09
DE102009023326B4 (de) 2021-02-04
KR101141874B1 (ko) 2012-05-08

Similar Documents

Publication Publication Date Title
DE102009023326B4 (de) Vorrichtung und Verfahren zum Detektieren eines kritischen Bereiches und Fußgängerdetektionsvorrichtung unter Verwendung derselben
EP2291836B1 (de) Fahrerassistenzsystem zur vermeidung von kollisionen eines fahrzeugs mit fussgängern
DE60126382T2 (de) Verfahren und Gerät zur Erkennung von Gegenständen
DE102006010295B4 (de) Kamerasystem mit zumindest zwei Bildaufnehmern
EP1589484A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
EP1566060A1 (de) Vorrichtung und verfahren zur verbesserung der sicht in einem kraftfahrzeug
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
DE102015121952A1 (de) Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102013017626A1 (de) Verfahren zur Warnung weiterer Verkehrsteilnehmer vor Fußgängern durch ein Kraftfahrzeug und Kraftfahrzeug
DE102009014437B4 (de) Objekterkennungssystem und -verfahren
EP2150939A1 (de) Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens
WO2011045277A1 (de) Kamerasystem
EP2116958A2 (de) Verfahren und Vorrichtung zum Ermitteln des Fahrbahnverlaufs im Bereich vor einem Fahrzeug
DE102007025147B4 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
EP1028387B1 (de) Einrichtung zur Umfelderkennung, insbesondere zur Verkehrszeichenerkennung
DE102007021580B4 (de) Verfahren und Vorrichtung zum Ermitteln der fahrzeugrelevanten Verkehrszeichen
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
EP2748760B1 (de) VERFAHREN ZUR SCHÄTZUNG EINES STRAßENVERLAUFS UND VERFAHREN ZUR STEUERUNG EINER LICHTAUSSENDUNG ZUMINDEST EINES SCHEINWERFERS EINES FAHRZEUGS
DE102009038406B4 (de) Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs
DE102015209550A1 (de) Verfahren und vorrichtung zur erkennung von objekten in einer fahrzeugumgebung eines fahrzeugs
DE112018002867T5 (de) Verbindereinrichtung und verbindersystem
AT517658B1 (de) System zur Aufnahme von Fahrzeugseitenansichten
DE102008025749A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines in mindestens einem Bild einer Abbildung eines Bereichs vor einem Fahrzeug detektierten Objekts
EP1962245B1 (de) Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten
DE102018107212A1 (de) Verfahren zum Erfassen eines Verkehrsbereichs-Belegungserkennungs-Hilfselements in einem Umgebungsbereich eines Kraftfahrzeugs, Computerprogrammprodukt sowie Fahrzeugführungssystem

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8128 New person/name/address of the agent

Representative=s name: BOSCH JEHLE PATENTANWALTSGESELLSCHAFT MBH, 80639 M

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: HL KLEMOVE CORP., KR

Free format text: FORMER OWNER: MANDO CORPORATION, PYEONGTAEK-SI, GYEONGGI-DO, KR

Owner name: MANDO MOBILITY SOLUTIONS CORP., PYEONGTAEK-SI, KR

Free format text: FORMER OWNER: MANDO CORPORATION, PYEONGTAEK-SI, GYEONGGI-DO, KR

R081 Change of applicant/patentee

Owner name: HL KLEMOVE CORP., KR

Free format text: FORMER OWNER: MANDO MOBILITY SOLUTIONS CORP., PYEONGTAEK-SI, GYEONGGI-DO, KR