DE102014207650A1

DE102014207650A1 - Vorrichtung und Verfahren zur Erkennung von Fußgängern

Info

Publication number: DE102014207650A1
Application number: DE102014207650.1A
Authority: DE
Inventors: Dong Kyu Ryu; Byung Jun Kang; Joon Bum CHO
Original assignee: Hyundai Mobis Co Ltd
Current assignee: Hyundai Mobis Co Ltd
Priority date: 2013-11-28
Filing date: 2014-04-23
Publication date: 2015-06-25
Also published as: CN104680124A; US20150146919A1; CN104680124B; KR101498114B1; US9349043B2

Abstract

Es ist eine Bildverarbeitungsvorrichtung für die Erkennung von Fußgängern vorgesehen. Die Bildverarbeitungsvorrichtung weist ein Fahrspurbegrenzungserkennungsmodul, das zum Extrahieren eines Fahrspurbegrenzungskoordinatenwerts aus einem Eingangsbild konfiguriert ist, und ein Fußgängererkennungsmodul auf, das dazu konfiguriert ist, als einen interessierenden Fußgängerbereich (ROI) einen Bereich einzustellen, der zwischen einer ersten Linie, die durch Enden einer ersten linken und rechten Fahrspurbegrenzung verläuft, und einer zweiten Linie liegt, die durch Enden einer zweiten linken und rechten Fahrspurbegrenzung verläuft, die jeweils über der linken und der rechten Fahrspurbegrenzung angeordnet ist, und den Fußgänger-ROI unter Verwendung eines vorbestimmten Fensters zu suchen, um so einen ein Fußgängermerkmal aufweisenden Fußgängerbereich zu erkennen.

Description

Querverweis auf verwandte Anmeldungen
Die vorliegende Anmeldung beansprucht gemäß 35 U.S.0 § 119 die Priorität der Koreanischen Patentanmeldung Nr. 10-2013-0146162 , angemeldet am 28. November 2013, deren Offenbarung durch Bezugnahme in vollem Umfang Teil der vorliegenden Anmeldung ist.
Technisches Gebiet
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Fußgängererkennung und insbesondere eine Vorrichtung und ein Verfahren zur Fußgängererkennung zur Verwendung in Fahrzeugen.
Hintergrund der Erfindung
In jüngerer Zeit werden als Teil der mit dem Fußgängerschutz verbundenen Forschung Fußgängererkennungsvorrichtungen in Fahrzeugen eingebaut und vertrieben. Die Fußgängererkennungsvorrichtung erfasst einen plötzlich vor dem Fahrzeug auftauchenden Fußgänger und gibt eine Fußgängerwarnung an den Fahrer aus oder steuert den Fahrzeugbetrieb, wodurch ein Unfall mit dem Fußgänger vermieden wird.
Herkömmlicherweise wurde ein Fußgängererkennungsverfahren vorgeschlagen, bei welchem ein Bild von einer digitalen Bilderkennungsvorrichtung erfasst, ein Suchfenster in Blöcke umgewandelt, und ein Fußgänger erfasst wird, indem ein Vollsuchverfahren auf der Basis eines Support-Vector-Machine-Klassifikators (SVM) verwendet wird. Das Fußgängererkennungsverfahren entfernt mehrere Suchfenster und erfasst einen Fußgänger unter Verwendung eines sekundären Klassifikators mit einem hohen Grad an Genauigkeit, so dass der Energieverbrauch durch den hohen Grad der Genauigkeit und der Erkennungsvorgang reduziert wird. Bei dem Fußgängererkennungsverfahren nimmt jedoch die zur Fußgängererkennung zu verarbeitende Datenmenge mit der Zunahme der Auflösung des Eingangsbildes zu, weshalb die Verarbeitungsgeschwindigkeit gering ist.
Ein weiteres Verfahren nach dem Stand der Technik ermittelt einen finalen Konfidenzwert, welcher durch das Kombinieren eines auf kantenbasierter Erkennungsanalyse basierenden Konfidenzwerts und eines auf bewegungsbasierter Erkennungsanalyse basierenden Konfidenzwerts erhalten wird, vergleicht den erhaltenen finalen Konfidenzwert und einen Schwellenwert, um festzustellen, ob ein Fußgänger in einem Eingangsbild enthalten ist, und gibt eine Fußgängerwarnung an einen Fahrer entsprechend dem Erkennungsergebnis aus. Da die Bewegungsrichtung des Gesamtbereichs des Eingangsbilds mittels der bewegungsbasierten Erkennungsanalyse analysiert wird, ist bei diesem Verfahren die Verarbeitungsgeschwindigkeit gering, wie bei dem das Vollsuche-Verfahren verwendenden Fußgängererkennungsverfahren, und ferner ist die Genauigkeit der Fußgängererkennung gering, wenn keine Bewegung eines Fußgängers gegeben ist.
Überblick
Dementsprechend schafft die vorliegende Erfindung eine Vorrichtung und ein Verfahren zur Fußgängererkennung, durch welche die Verarbeitungsgeschwindigkeit und die Leistung der Fußgängererkennung verbessert werden.
Nach einem allgemeinen Aspekt weist eine Bildverarbeitungsvorrichtung zur Erkennung von Fußgängern auf: ein Fahrspurbegrenzungserkennungsmodul, das zum Extrahieren eines Fahrspurbegrenzungskoordinatenwerts aus einem Eingangsbild konfiguriert ist; und ein Fußgängererkennungsmodul, das konfiguriert ist, um als interessierenden Fußgängerbereich (ROI) einen Bereich zwischen einer ersten Linie, welche sich durch Enden erster linker und rechter Fahrspurbegrenzungsbegrenzungen erstreckt, und einer zweiten Linie einstellt, welche sich zwischen Enden zweiter linker und rechter Fahrspurbegrenzungen erstreckt, die jeweils über den linken und rechten Fahrspurbegrenzungen angeordnet sind, und um nach dem Fußgänger-ROI zu suchen, indem ein vorbestimmtes Fenster zum Erkennen eines Fußgängerbereichs verwendet wird, der ein Fußgängermerkmal enthält.
Nach einem anderen allgemeinen Aspekt weist ein Fußgängererkennungsverfahren in einer Bildverarbeitungsvorrichtung auf: das Extrahieren eines Fahrspurbegrenzungskoordinatenwerts aus einem Eingangsbild; das Einstellen eines Fußgänger-ROI und eines Fahrspurbegrenzungsabstands in dem Eingangsbild unter Verwendung des extrahierten Fahrspurbegrenzungskoordinatenwerts; das Einstellen eines Suchfensters unter Verwendung des eingestellten Fahrspurbegrenzungsabstands; und das Erkennen eines Fußgängerbereichs in dem eingestellten Fußgänger-ROI unter Verwendung eines Fußgängererkennungsalgorithmus.
Andere Merkmale und Aspekte ergeben sich aus der nachfolgenden detaillierten Beschreibung, den Zeichnungen und den Ansprüchen.
Kurzbeschreibung der Zeichnungen
1 ist ein Diagramm zur Beschreibung der in der vorliegenden Erfindung verwendeten Fußgängererkennungstechnologie.
2 ist ein Blockdiagramm zur Darstellung einer inneren Konfiguration einer Bildverarbeitungsvorrichtung nach einem Ausführungsbeispiel der vorliegenden Erfindung.
3 ist ein Blockdiagramm zur Darstellung einer inneren Konfiguration eines Fußgängererkennungsmoduls von 2.
4 ist ein Diagramm zur Beschreibung eines Vorgangs zur Erkennung eines interessierenden Bereichs (ROI) nach einem Ausführungsbeispiel der vorliegenden Erfindung.
5 und 6 sind Diagramme zur Beschreibung eines Vorgangs zur Erkennung eines Merkmals eines Histogramms orientierter Gradienten (HOG) für einen Oberkörper und eines HOG-Merkmals für einen Unterkörper aus einem HOG-Merkmal nach einem Ausführungsbeispiel der vorliegenden Erfindung.
7 ist ein Flussdiagramm zur Darstellung eines Fußgängererkennungsverfahrens nach einem Ausführungsbeispiel der vorliegenden Erfindung.
Detaillierte Beschreibung von Ausführungsbeispielen
Die vorliegende Erfindung schlägt ein Fußgängererkennungsverfahren vor, das feststellt, ob ein Fußgänger vorhanden ist und die Möglichkeit einer Kollision besteht, indem es einen in einem Fahrzeug eingebauten Bildsensor verwendet.
Ferner schlägt die vorliegende Erfindung ein Fußgängererkennungsverfahren vor, das mehrere Kandidaten-Fußgängerbereiche, in denen sich tatsächlich ein Fußgänger befindet, einstellt, indem es Fahrspurbegrenzungsinformationen verwendet und so die bei der Erkennung eines Fußgängers aufgewendete Erkennungszeit verkürzt.
Ferner schlägt die vorliegende Erfindung ein Fußgängererkennungsverfahren vor, welches einen Kandidaten-Fußgängerbereich in einen Oberkörperbereich und einen Unterkörperbereich unterteilt, und, wenn Fußgängermerkmale aus sowohl dem Oberkörperbereich, als auch dem Unterkörperbereich erkannt werden, feststellt, den Kandidaten-Fußgängerbereich als einen Fußgängerbereich bestimmt, wodurch das Fußgängererkennungsverfahren robust gegenüber Rauschen ist.
Im Folgenden werden einige auf die vorliegende Erfindung anwendbare Technologien beschrieben, bevor Ausführungsbeispiele der vorliegenden Erfindung im Einzelnen unter Bezugnahme auf die zugehörigen Zeichnungen beschrieben werden.
Fahrspurbegrenzungserkennungstechnologie
Die Fahrspurbegrenzungserkennungstechnologie findet in einem Spurhalteassistentensystem (LDWS) Verwendung, das das stabile Fahren eines Fahrzeugs unterstützt. Die vorliegende Erfindung kann mehrere Kandidaten-Fußgängerbereiche einstellen, indem sie Fahrspurbegrenzungsinformationen verwendet, die durch die Fahrspurbegrenzungserkennungstechnologie in Verbindung mit dem LDWS erzeugt werden.
Die Fahrspurbegrenzungserkennungstechnologie kann durch verschiedene Fahrspurbegrenzungserkennungsalgorithmen implementiert sein. Die Fahrspurbegrenzungserkennungsalgorithmen können eine Hough-Transformation, ein Deformable-Template-Modell, trainingsbasierte und dynamische Programmierung verwenden, die hinreichend bekannt sind.
Ein die Hough-Transformation verwendender Algorithmus extrahiert eine Grenzlinie eines Bildes und erkennt eine Linie durch Verwendung der Hough-Transformation. Der Algorithmus bestimmt die Linie mittels eines Verifizierungsvorgangs als eine Fahrspurbegrenzung.
Ein Algorithmus, der ein Deformable-Template-Modell verwendet, extrahiert Grenzlinieninformationen. In einem derartigen Algorithmus ist eine Wahrscheinlichkeitsfunktion definiert, um eine Fahrspurbegrenzung zu erkennen, die einem definierten Straßenmodell entspricht. Algorithmen, wie beispielsweise ein Metropolis-Algorithmus oder ein Simulated-Annealing-Algorithmus, dienen der Erkennung einer Fahrspurbegrenzung, welche die Wahrscheinlichkeitsfunktion erfüllt.
Ein trainingsbasierter Algorithmus verwendet Algorithmen, wie beispielsweise eine Support Vector Machine (SVM) und ein neurales Netzwerk, und erkennt eine Fahrspurbegrenzung durch Verwendung eines vorab trainierten Klassifikators. Ein derartiges Verfahren erfordert Verzeichnisdaten und Trainingsarbeit zur Erzeugung von Klassifikatoren.
Ein Algorithmus, welcher eine dynamische Programmierung verwendet, unterteilt zunächst einen Bereich in mehrere Bereiche. Bei einem solchen Algorithmus ist eine Funktion zur Erkennung einer Fahrspurbegrenzung definiert, indem Grenzen verwendet werden, innerhalb derer eine Fahrspurbegrenzung Kontinuität zwischen Bereichen aufweist und nicht von einem bestimmten Winkel abweicht. Eine Gruppe von Bereichen, welche die definierte Funktion am besten erfüllt, wird als eine Fahrspurbegrenzung erkannt.
Darüber hinaus existiert ein Verfahren, das eine Fahrspurbegrenzung durch Verwenden statistischer Informationen über einen Fahrspurbegrenzungstyp und Fahrspurbegrenzungsfarben erkennt. Das Verfahren moderiert Empfindlichkeiten für Gelb, Blau und Weiß, welche die Farben von Fahrspurbegrenzungen sind, und konvertiert RGB-Farben in YCbCr-Farben zur effizienten Betonung einer Fahrspurbegrenzungsfarbe. Um Fahrspurbegrenzungskandidaten aus einem Bereich mit betonten Fahrspurbegrenzungsfarben zu wählen, spricht ein Fahrspurbegrenzungsfilter in einem Bereich stark an, der eine der Breite des Fahrspurbegrenzungsfilters ähnliche Größe aufweist, große Unterschiede zu benachbarten Pixeln hat und hell ist. Ein solches Verfahren kann einen Bereich, der einer Fahrspurbegrenzung entspricht, effizient erkennen, da es eine Eigenschaft und die Breite einer Fahrspurbegrenzung berücksichtigt, die heller ist als ein Straßenbereich.
Durch die zuvor beschriebenen Verfahren erkannte Fahrspurbegrenzungen können als Bildinformationen bereitgestellt werden, bei welchen nur eine Fahrspurbegrenzung in einem Bild markiert ist, oder sie können als der Fahrspurbegrenzung entsprechender zweidimensionaler (2D) Koordinatenwert bereitgestellt werden.
Fußgängererkennungstechnologie
Beispiele für Technologien zum Erkennen eines in einem Bild enthaltenen Fußgängers umfassen ein HOG-Merkmalsextraktionsverfahren. Das HOG-Merkmalsextraktionsverfahren führt eine Blockumwandlung eines ROI durch, teilt jeden der umgewandelten Blöcke in mehrere Zellen auf, berechnet Neigungen zwischen Pixeln in jeder der mehreren Zellen, und verwendet ein Histogramm der Neigungen.
Wie in 1 dargestellt wird ein 16×16-Bild 11 im Schritt (A) in mehrere Blöcke 13 block-konvertiert und jeder der mehreren Blöcke 13 wird im Schritt (B) in mehrere Zellen unterteilt. Im Schritt (C) werden Neigungen zwischen Pixeln sämtlicher Pixel von einer Zelle am linken oberen Ende aus sequentiell berechnet. Im Schritt (D) wird ein Histogramm für jede Zelle analysiert. Im Schritt (E) werden die analysierten Histogramme angeordnet. Als Ergebnis wird ein HOG-Merkmalsvektor für einen Block erzeugt. Die dominanteste Neigung wird in mehreren HOG-Merkmalsvektoren analysiert, und wenn mehrere der analysierten dominantesten Neigungen eine menschliche Form bilden, wird festgestellt, dass sich ein Fußgänger in dem Block befindet.
Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung unter Bezugnahme auf die zugehörigen Zeichnungen näher beschrieben.
2 ist ein Blockdiagramm zur Darstellung einer inneren Konfiguration einer Bildverarbeitungsvorrichtung 100 nach einem Ausführungsbeispiel der vorliegenden Erfindung.
Wie in 2 dargestellt weist die Bildverarbeitungsvorrichtung 100 nach einem Ausführungsbeispiel der vorliegenden Erfindung ein Bildsensormodul 100, ein Bildverarbeitungsmodul 200 und ein Benachrichtigungsmodul 300 auf.
Das Bildsensormodul 100 kann eine Kamera sein, die in einem Fahrzeug angebracht ist und ein (nachfolgend als Eingangsbild bezeichnetes) Frontbild erfasst.
Das Bildverarbeitungsmodul 200 stellt fest, ob sich ein Fußgänger in dem Eingangsbild befindet. Wenn festgestellt wird, dass sich ein Fußgänger in dem Eingangsbild befindet, benachrichtigt das Bildverarbeitungsmodul 200 den Nutzer durch Verwendung des Benachrichtigungsmoduls 300 von dem Feststellungsergebnis. Zu diesem Zweck weist das Bildverarbeitungsmodul 200 ein Fahrspurbegrenzungsextraktionsmodul 220 und ein Fußgängererkennungsmodul 240 auf. Das Fahrspurbegrenzungsextraktionsmodul 220 extrahiert eine in dem Eingangsbild enthaltene Fahrspurbegrenzung gemäß dem zuvor beschriebenen Fahrspurbegrenzungserkennungsalgorithmus und gibt die erkannte Fahrspurbegrenzung als einen Fahrspurbegrenzungskoordinatenwert aus. Das Fußgängererkennungsmodul 240 legt einen Fußgänger-ROI fest, indem es einen von dem Fahrspurbegrenzungsextraktionsmodul 220 eingegebenen Fahrspurbegrenzungskoordinatenwert verwendet. Das Fußgängererkennungsmodul 240 berechnet einen Fahrspurbegrenzungsabstand unter Verwendung des Fahrspurbegrenzungskoordinatenwerts und legt ein Suchfenster für die Suche nach dem von dem Fußgängererkennungsmodul 240 festgelegten Fußgänger-ROI fest, indem es den berechneten Fahrspurbegrenzungsabstand verwendet. Daher ist der Suchbereich für das Erkennen eines Fußgängers effizient auf den Fußgänger-ROI begrenzt und der Fußgänger-ROI wird abgesucht, indem das entsprechend dem Fahrspurbegrenzungsabstand adaptiv festgelegte Suchfenster verwendet wird, wodurch die Fußgängererkennungszeit verringert wird. Ferner unterteilt das Fußgängererkennungsmodul 240 den Fußgänger-ROI in einen Oberkörperbereich und einen Unterkörperbereich auf, um einen Fußgängerbereich genauer zu erkennen, wodurch die Fußgängererkennungsleistung verbessert ist.
Das Benachrichtigungsmodul 300 kann eine Kollisionswarnung, bei welcher es sich um ein ausgegebenes Ergebnis des Fußgängererkennungsmoduls 240 handelt, in eine visuelle oder auditive Information umwandeln und diese Information an einen Fahrer liefern. Beispielsweise kann das Benachrichtigungsmodul 300 mit einer Anzeigevorrichtung, einer Sprachausgabevorrichtung oder einer Kombination derselben ausgebildet sein, und kann einen Warnbildschirm über die Anzeigevorrichtung oder einen Warnton über die Sprachausgabevorrichtung ausgeben. Alternativ kann das Benachrichtigungsmodul 300 gleichzeitig einen Warnbildschirm und einen Warnton über eine kombinierte Vorrichtung aus Anzeigevorrichtung und Sprachausgabevorrichtung ausgeben.
3 ist ein Blockdiagramm zur Darstellung einer inneren Konfiguration des Fußgängererkennungsmoduls von 2.
Wie in 3 dargestellt, weist das Fußgängererkennungsmodul 240 einen Synthesizer 240-1, einen ROI-Detektor 240-2, einen Merkmalsdetektor 240-3, einen Oberkörperdetektor 240-4, einen Unterkörperdetektor 240-5, einen Fußgängerbereichsdetektor 240-6, einen Kollisionswarnungsdeterminator 240-7, einen Speicher 240-8 und einen Controller 240-9 auf.
Der Synthesizer 240-1 synthetisiert ein Eingangsbild, das von dem Bildsensormodul 100 ausgegeben wird, und einen Fahrspurbegrenzungskoordinatenwert, welcher von dem Fahrspurbegrenzungsextraktionsmodul 220 ausgegeben wird.
Der ROI-Detektor 240-2 erkennt mehrere Fußgänger-ROI unter Verwendung des Fahrspurbegrenzungskoordinatenwerts und legt ein Suchfenster für die Suche nach jedem der Fußgänger-ROI fest. Das Suchfenster kann verschiedene Größen für die Fußgänger-ROI aufweisen.
Der Merkmalsextraktor 240-3 sucht unter Verwendung des Suchfensters nach jedem der Fußgänger-ROI und extrahiert ein Fußgängermerkmal aus einem Bereich, der von dem Suchfenster durchsucht wird. Anschließend wird das Fußgängermerkmal basierend auf einem HOG-Merkmalsextraktionsalgorithmus als HOG-Merkmal angenommen, ist jedoch nicht darauf beschränkt. Sämtliche Algorithmen, die für die Erkennung eines Menschen geeignet sind, können verwendet werden.
Der Oberkörperdetektor 240-4 empfängt das HOG-Merkmal, welches aus dem von dem Suchfenster durchsuchten Bereich extrahiert wurde, erkennt, ob ein Oberkörperbereich des Fußgängers in dem HOG-Merkmal, das aus dem Suchbereich extrahiert wurde, enthalten ist, indem ein vorab erlerntes Oberkörper-HOG-Merkmal verwendet wird, und gibt einen ersten Ergebniswert R1 aus, welcher durch Digitalisieren des Erkennungsergebnisses erhalten wird. Wenn beispielsweise eine Übereinstimmungsrate zwischen dem aus dem Suchbereich extrahierten HOG-Merkmal und dem vorab erlernten Oberkörper-HOG-Merkmal 60% oder mehr beträgt, stellt der Oberkörperdetektor 240-4 fest, dass der Suchbereich den Oberkörperbereich eines Fußgängers beinhaltet, und gibt den durch das Digitalisieren der Übereinstimmungsrate erhaltenen ersten Ergebniswert R1 aus.
Der Unterkörperdetektor 240-5 empfängt selektiv das HOG-Merkmal, das aus dem von dem Suchfenster durchsuchten Bereich extrahiert wurde, erkennt, ob ein Unterkörperbereich eines Fußgängers in dem aus dem Suchbereich extrahierten HOG-Merkmal enthalten ist, indem ein vorab erlerntes Unterkörper-HOG-Merkmal verwendet wird, und gibt einen zweiten Ergebniswert R2 aus, welcher durch Digitalisierung des Erkennungswerts erhalten wurde. Wenn beispielsweise die Übereinstimmungsrate zwischen dem aus dem Suchbereich extrahierten HOG-Merkmal und dem vorab erlernten Unterkörper-HOG-Merkmal 60% oder mehr beträgt, stellt der Unterkörperdetektor 240-5 fest, dass der Suchbereich den Unterkörperbereich eines Fußgängers beinhaltet, und gibt den durch Digitalisierung der Übereinstimmungsrate erhaltenen zweiten Ergebniswert R2 aus.
Der Fußgängerbereichsdetektor 240-6 erkennt den Suchbereich als einen Fußgängerbereich auf der Basis des ersten Ergebniswerts R1 des Oberkörperdetektors 240-4. Beispielsweise erkennt der Fußgängerbereichsdetektor, wenn der erste Ergebniswert R1 gleich oder größer als der erste Ergebniswert R1 ist, den Suchbereich als den einen Fußgänger beinhaltenden Fußgängerbereich.
Optional kann der Fußgängerbereichsdetektor 240-6 eine arithmetische Operation an dem ersten Ergebniswert R1 (eingegeben von dem Oberkörperdetektor 240-4) und dem zweiten Ergebniswert R2, der von dem Oberkörperdetektor 240-5 eingegeben wurde, durchführen, und wenn der Ergebniswert der arithmetischen Operation gleich oder größer als der Schwellenwert ist, kann der Fußgängerbereichsdetektor 240-6 den Suchbereich als den einen Fußgänger beinhaltenden Fußgängerbereich erkennen. Beispielsweise kann der Fußgängerbereichsdetektor 240-6 den ersten Ergebniswert R1 und den zweiten Ergebniswert R2 summiere, und wenn der Summenergebniswert gleich oder größer als der Schwellenwert ist, kann der Fußgängerbereichsdetektor 240-6 den Suchbereich als den einen Fußgänger beinhaltenden Fußgängerbereich erkennen.
Optional kann der Fußgängerbereichsdetektor 240-6 dem ersten Ergebniswert R1 einen ersten Gewichtungswert W1 geben, dem zweiten Ergebniswert R2 einen zweiten Gewichtungswert W2, der geringer als der erste Gewichtungswert W1 ist, geben und zur Erkennung des Fußgängerbereichs eine arithmetische Operation an dem ersten Ergebniswert R1 mit dem diesem zugeordneten ersten Gewichtungswert W1 und dem zweiten Ergebniswert R2 mit dem diesem zugeordneten zweiten Gewichtungswert W1 durchführen. Beispielsweise kann der Fußgängerbereichsdetektor 240-6 den mit dem ersten Gewichtswert W1 multiplizierten ersten Ergebniswert R1 und den mit dem zweiten Gewichtungswert W2 multiplizierten zweiten Ergebniswert W2 addieren, und wenn der Summenbildungsergebniswert gleich oder größer als der Schwellenwert ist, kann der Fußgängerbereichsdetektor 240-6 den Suchbereich als den Fußgängerbereich erkennen.
Der Kollisionswarnungsdeterminator 240-7 empfängt ein Erkennungsergebnis von dem Fußgängerbereichsdetektor 240-6, empfängt die Fahrzeuggeschwindigkeit von einer elektronischen Steuereinheit (ECU, nicht dargestellt) des Fahrzeugs und stellt unter Verwendung des Erkennungsergebnisses und des Fahrzeuggeschwindigkeitswerts fest, ob eine Kollision vorliegt.
Der Speicher 240-8 ist ein Element, das Werte speichert, welche in verschiedenen arithmetischen Operationen verwendet werden, die das Fußgängerverarbeitungsmodul 240 durchführt. Beispielsweise kann der Speicher 240-8 den ersten und den zweiten Gewichtungswert W1 und W2 speichern, welche in einer von dem Fußgängerbereichsdetektor 240-6 durchgeführten arithmetischen Operation verwendet werden.
Der Controller 240-9 steuert und verwaltet den Gesamtbetrieb des Fußgängerverarbeitungsmoduls 240. Beispielsweise können die Logikelemente 240-1 bis 240-8 des Fußgängerverarbeitungsmoduls 240 gemäß einer Steuerung CN durch den Controller 240-9 gesteuert werden, und zur Erhöhung der Leistung der Fußgängererkennung kann das Erkennungsergebnis R2 des Unterkörperdetektors 240-5 optional an den Fußgängerbereichsdetektor 240-6 entsprechend einer von dem Controller 240-9 getroffenen Wahl SE ausgegeben werden.
Im Folgenden wird die Hauptoperation beschrieben, welche das Fußgängererkennungsmodul nach einem Ausführungsbeispiel der vorliegenden Beschreibung durchführt, im Einzelnen beschrieben. Zunächst wird eine von dem ROI-Detektor 240-2 durchgeführte Operation im Detail unter Bezugnahme auf 4 beschrieben.
4 ist ein Diagramm zur Beschreibung einer ROI-Erkennungsoperation nach einem Ausführungsbeispiel der vorliegenden Erfindung.
Wie in 4 dargestellt, wird bei der ROI-Erkennungsoperation nach einem Ausführungsbeispiel der vorliegenden Erfindung ein Fahrspurbegrenzungskoordinatenwert verwendet, und es wird angenommen, dass die Breiten von Fußgängerbereichen entlang X-Achsrichtungslinien LINE1 bis LINE3, welche durch Enden beider Fahrspurbegrenzungen in einem Eingangsbild verlaufen, gleich sind. Unter dieser Annahme wird ein Fußgänger-ROI nach einem Ausführungsbeispiel der vorliegenden Erfindung festgelegt.
Wenn, im Einzelnen, ein Fahrer auf einen die Frontseite zeigenden Bildschirm 70 blickt, kann eine erste Linie LINE1, die durch ein Ende 41A' einer linken Fahrspurbegrenzung 41A und ein Ende 42A' einer rechten Fahrspurbegrenzung 42A verläuft, in der linken und der rechten Fahrspurbegrenzung 41A und 42A definiert werden, die im untersten Bereich des Bildschirms 70 dargestellt sind. Eine durch ein unteres Ende 41B' der linken Fahrspurbegrenzung 41B und durch ein unteres Ende 42B' der rechten Fahrspurbegrenzung 42B verlaufende Linie LINE2 kann in der linken und der rechten Fahrspurbegrenzung 41B und 42B definiert werden, die jeweils über der linken und der rechten Fahrspurbegrenzung 41A und 41B angeordnet sind. In diesem Fall ist ein Bereich ROI1 zwischen der ersten Linie LINE1 und der zweiten Linie LINE2 als ein Fußgängerbereich ROI festgelegt, der in der vorliegenden Erfindung vorgesehen ist. In ähnlicher Weise ist, wenn eine dritte Linie LINE3, die durch das untere Ende 41C' einer linken Fahrspurbegrenzung 41C und das untere Ende 42C' einer rechten Fahrspurbegrenzung 42C verläuft, in der linken und der rechten Fahrspurbegrenzung 41C und 42C, die jeweils über der linken und der rechten Fahrspurbegrenzung 41B und 42B angeordnet sind, definiert ist, ein Bereich ROI2 zwischen der zweiten Linie LINE2 und der dritten Linie LINE3 als ein erfindungsgemäß vorgesehener Fußgänger-ROI festgelegt werden. Daher kann ein gemäß einem Ausführungsbeispiel der vorliegenden Erfindung festgelegter Fußgänger-ROI auf dem Bildschirm 70 als zwei oder mehr Bereiche angezeigt werden, und die zwei oder mehr Fußgänger-ROI können unterschiedliche Flächen aufweisen. Wenn mehrerer Fußgänger-ROI in einem Bildschirm festgelegt sind, wird die Operation des Festlegens eines Suchfensters durchgeführt.
Im Folgenden wird eine Operation zum Festlegen eines Suchfensters näher beschrieben.
Wie in 4 dargestellt, können Fahrspurbegrenzungskoordinatenwerte als zwei nicht parallele Fahrspurbegrenzungen in einem Eingangsbild gekennzeichnet werden. Wenn der Fahrer auf den Bildschirm 70 der Frontseite blickt, wird daher die Fahrspurbegrenzungsbreite zwischen den beiden linken und rechten Fahrspurbegrenzungen 41 und 42 vom unteren Bereich in Richtung des oberen Bereichs schmaler.
Wenn bei der ersten Linie LINE1 ein Abschnitt zwischen den Enden 41A' und 42A' der linken und der rechten Fahrspurbegrenzung 41A und 42A als der Fahrspurbegrenzungsabstand Lwidth1 zwischen der linken und der rechten Fahrspurbegrenzung 41A und 42A definiert ist, so ist der Fahrspurbegrenzungsabstand zwischen der linken und der rechten Fahrspurbegrenzung 41B und 42B Lwidth1, und der Fahrspurbegrenzungsabstand zwischen der linken und der rechten Fahrspurbegrenzung 41C und 42C ist Lwidth3. In dem Bildschirm 70 wird der Fahrspurbegrenzungsabstand nach oben hin schmaler und die Verringerungsrate ist konstant. Unter solchen Bedingungen, können die Breite und die Höhe eines Suchfensters eingestellt werden. Das heißt, wenn das Verhältnis der Weite des Fahrspurbegrenzungsabstands Lwidth1 und die Breite eines Fußgängers bekannt ist, kann ein Suchfenster festgelegt werden, das die geeignete Größe für das Durchsuchen des im unteren Bereich des Bildschirms 70 festgelegten Fußgängerbereichs-ROI ROI1 aufweist. In ähnlicher Weise kann ein Suchfenster mit einer geeigneten Größe für das Durchsuchen eines in dem oberen Bereich des Bildschirms 70 festgelegten Fußgänger-ROI ROI2 festgelegt werden. Die Größe eines Suchfensters kann durch die folgende Gleichung (1) berechnet werden:
wobei α und γ Verhältnisvariablen zur Berechnung der Breite eines tatsächlichen Menschen aus einem Fahrspurbegrenzungsabstand angeben, W(Y) die Breite des Suchfensters angibt, H(Y) die Höhe des Suchfensters angibt, und Lwidth(Y) den Fahrspurbegrenzungsabstand bezeichnet.
Das Verhältnis von Breite und Höhe eines Fußgängers ist statistisch mit 2 bis 2,5 berechnet. Daher kann bei der Berechnung der Höhe H(Y) ein Wert von 2 bis 2,5 verwendet werden. Die Gleichung (1) ist eine Gleichung zur Berechnung der Größe des Suchfensters, wenn das Verhältnis von Breite und Höhe des Fußgängers 2,5 ist.
Aus der Gleichung (1) ist ersichtlich, dass die Suchfenstergröße proportional zu einem Fahrspurbegrenzungsabstand ist. Daher ist in der 4 die für die Suche nach einem in Bezug auf die erste Linie LINE1 eingestellten Fußgänger-ROI berechnete Fenstergröße S1 größer als die Fenstergröße S2 eingestellt, die für die Suche nach einem in Bezug auf die zweite Linie LINE2 eingestellten Fußgänger-ROI berechnet ist.
Wie zuvor beschrieben, wird eine auf der Grundlage eines Fahrspurbegrenzungsabstands eingestellte Fenstergröße (d. h. die Größe eines Fußgängerbereichs) vorhergesagt, und somit kann ein Fußgänger schnell erkannt werden. Wenn beispielsweise, anders als bei der vorliegenden Erfindung, kein Fußgänger-ROI eingestellt ist, und es unmöglich ist, eine Fenstergröße entsprechend einer Fußgängergröße in jedem Fußgänger-ROI vorauszusagen, sollte der gesamte Bereich des Eingangsbildes durchsucht werden, indem die Fenstergröße inkrementell vergrößert wird, und aus diesem Grund würde die Anzahl der Operationen zur Fußgängererkennung exponentiell steigen.
Im Folgenden wird die Operation zur Erkennung eines Oberkörper-HOG-Merkmals und eines Unterkörper-HOG-Merkmals aus einem HOG-Merkmal, welches von dem Merkmalsdetektor 240-3 der 3 erkannt wurde, unter Bezugnahme auf die 5 und 6 näher beschrieben.
Die 5 und 6 sind Diagramme zur Beschreibung einer Operation zum Erkennen eines Oberkörper-HOG-Merkmals und eines Unterkörper-HOG-Merkmals aus einem HOG-Merkmal gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
Wie in den 5 und 6 dargestellt, wird, wenn ein Fußgänger-ROI und ein Suchfenster zur Suche nach dem Fußgänger-ROI wie in Zusammenhang mit 4 zuvor beschrieben eingestellt sind, ein HOG-Merkmal aus einem Bereich extrahiert, welcher von dem Suchfenster in dem Fußgänger-ROI durchsucht wird.
5 zeigt vier Fußgängerbilder mit unterschiedlichen Mustern. Das Muster (A) ist ein allgemeines Fußgängerbild. Bei dem Muster (B) jedoch kann das Unterkörpermuster in Abhängigkeit von einem getragenen Kleidungsstück eines Fußgängers, wie Shorts, Röcke oder Schuhe, variieren. Vergleicht man ein Unterkörpermuster eines Fußgängers (der läuft oder geht) und ein Unterkörpermuster eines stehenden Fußgängers, so ist die Bewegungsänderungsrate des Unterkörpers relativ gesehen größer als diejenige des Oberkörpers. Wie in den Mustern (C) und (D) gezeigt, tritt der Fall, dass der Unterkörper eines Fußgängers durch ein Hindernis verdeckt ist, häufiger auf als der Fall, dass der Oberkörper durch ein Hindernis verdeckt ist. Das heißt, dass der Veränderungsfaktor des Unterkörpers größer als der des Oberkörpers ist. Die vorliegende Erfindung schafft daher ein Verfahren, dass einen Fußgängerbereich in einen oberen Bereich und einen unteren Bereich unterteilt, um einen Fußgänger zu erkennen.
Im Einzelnen wird, wie in 6 dargestellt, ein Gradient aus einem Eingangsbild (einem Originalbild) 61 unter Verwendung der folgenden Gleichung (2) berechnet:
Ein Gradientenbild 62 mit Kantenformationen über jedes Pixel kann aus einem mittels der Gleichung (2) berechneten Gradienten extrahiert werden.
Größendaten G(x, y) können auf der Basis von Gradientendaten 64 jedes Pixels im Gradientenbild 62 akkumuliert werden, und anschließend können ein Oberkörper-HOG-Merkmal 65 und ein Unterkörper-HOG-Merkmal 66 berechnet werden, indem die akkumulierten Größendaten G(x, y) durch einen Gesamtpixelwert dividiert wird.
Eine Oberkörpererkennungsoperation halbiert einen Bereich, welcher in einem Fußgänger-ROI von einem Suchfenster durchsucht wird, und vergleicht das in einem durchsuchten oberen Bereich erkannte Oberkörper-HOG-Merkmal 65 und ein vorab erlerntes Oberkörper-HOG-Merkmal, um einen Oberkörper zu erkennen. Es ist beispielsweise ersichtlich, dass sich kein Fußgänger in dem durchsuchten Bereich befindet, ohne den Oberkörper zu erkennen oder ein aus dem unteren Bereich erkanntes HOG-Merkmal und ein vorab erlerntes Unterkörper-HOG-Merkmal zu vergleichen, und wenn kein Oberkörper erkannt wird, wird die Operation des Erkennens des Unterkörpers in dem unteren Bereich nicht durchgeführt. Daher kann die Anzahl der Erkennungsoperationen um die Hälfte verringert werden.
Wenn ein Oberkörper erkannt wird, besteht eine hohe Wahrscheinlichkeit, dass sich der Unterkörper des Fußgängers im unteren Bereich des durchsuchten Bereichs befindet, und daher extrahiert die Unterkörpererkennungsoperation ein Unterkörper-HOG-Merkmal aus einem entsprechenden Bereich und vergleicht das Unterkörper-HOG-Merkmal mit dem vorab erlernten Unterkörper-HOG-Merkmal, um den Unterkörper zu erkennen. Wenn der Unterkörper auf diese Art erkannt wurde, ist ein Fußgängerbereich schließlich erkannt.
Wie zuvor beschrieben führt die Fußgängererkennungsoperation eine arithmetische Operation an einem ersten Ergebniswert, welcher durch das Digitalisieren des Oberkörpererkennungsergebnisses erhalten wurde, und an einem zweiten Ergebniswert durch, welcher durch das Digitalisieren des Unterkörpererkennungsergebnisses erhalten wurde, und wenn der Ergebniswert der arithmetischen Operation gleich oder größer als ein Schwellenwert ist, bestimmt die Fußgängererkennungsoperation den durchsuchten Bereich als den Fußgängerbereich. In diesem Fall können Fehler bei der Fußgängererkennung minimiert werden, indem dem Oberkörperergebnis und dem Unterkörperergebnis ein Gewichtungswert zugewiesen wird. Beispielsweise kann durch das Zuweisen eines hohen Gewichtungswerts zu dem Oberkörpererkennungsergebnis der Fußgängerbereich zuverlässig erkannt werden, selbst wenn der Unterkörper Rauschen (ein Hindernis) aufweist. Dies kann als Gleichung (3) ausgedrückt werden: Fußgängerbereichserkennungsergebnis = (W₁ × R₁) + (W₂ × R₂), W₂ = 1 – W₁ (3)
Wenn das durch die Gleichung (3) erhaltene Fußgängerbereichserkennungsergebnis ausgegeben wird, werden der Fahrspurbegrenzungsabstand und die Breite des Suchfensters gemessen, und es wird eine TTC auf der Basis des Fahrzeuggeschwindigkeitswerts berechnet. Ist die TTC gleich oder höher als ein Schwellenwert, wird an den Fahrer eine Kollisionswarnung ausgegeben.
7 ist ein Flussdiagramm zur Darstellung eines Fußgängererkennungsverfahrens nach einem Ausführungsbeispiel der vorliegenden Erfindung.
Wie in 7 dargestellt, führt die Fußgängererkennungsvorrichtung im Schritt S710 zunächst eine Operation durch, welche einen Fahrspurbegrenzungskoordinatenwert extrahiert, welcher in einem Eingangsbild eine Fahrspurbegrenzung bildet. Der Fahrspurbegrenzungskoordinatenwert kann beispielsweise durch einen Fahrspurbegrenzungserkennungsalgorithmus aus dem Eingangsbild extrahiert werden.
Anschließend führt die Fußgängererkennungsvorrichtung im Schritt S720 eine Operation durch, welche unter Verwendung des extrahierten Fahrspurbegrenzungskoordinatenwerts einen Fußgänger-ROI und einen Fahrspurbegrenzungsabstand festlegt. Wie zuvor in Zusammenhang mit 4 beschrieben, ist beispielsweise, wenn ein Fahrer auf einen die Fronseite zeigenden Bildschirm blickt, ein Bereich zwischen einer ersten Linie (welche durch ein unteres Ende einer ersten linken Fahrspurbegrenzung und einem unteren Ende einer parallel zur ersten linken Fahrspurbegrenzung verlaufenden rechten Fahrspurbegrenzung verläuft) und einer zweiten Linie (welche durch die unteren Enden einer zweiten linken und rechten Fahrspurbegrenzung verläuft, welche jeweils über der ersten linken und rechten Fahrspurbegrenzung ausgebildet sind) als der Fußgänger-ROI eingestellt. Der Fahrspurbegrenzungsabstand kann als die Entfernung zwischen dem unteren Ende der ersten linken Fahrspurbegrenzung und dem unteren Ende der ersten rechten Fahrspurbegrenzung festgelegt werden.
Anschließend führt die Fußgängererkennungsvorrichtung im Schritt S730 eine Operation durch, die ein Suchfenster unter Verwendung des eingestellten Fahrspurbegrenzungsabstands festlegt. Beispielsweise kann das Suchfenster mittels der Gleichung (1) festgelegt werden.
Danach führt die Fußgängererkennungsvorrichtung im Schritt S740 eine Operation durch, welche den Fußgänger-ROI unter Verwendung des eingestellten Suchfensters durchsucht.
Anschließend führt die Fußgängererkennungsvorrichtung im Schritt S750 eine Operation durch, welche einen durchsuchten Kandidaten-Fußgängerbereich in einen Oberkörperbereich und einen Unterkörperbereich unterteilt. Beispielsweise kann der durchsuchte Kandidaten-Fußgängerbereich in Breitenrichtung halbiert werden, so dass er die Größe des Suchfensters hat, wobei der obere Bereich als Oberkörperbereich und der untere Bereich als Unterkörperbereich festgelegt werden kann.
Danach führt die Fußgängererkennungsvorrichtung im Schritt S760 eine Operation durch, die in Oberkörper-HOG-Merkmal in dem Oberkörperbereich erkennt. Wenn das Oberkörper-HOG-Merkmal in dem Oberkörperbereich erkannt wird, geht die Fußgängererkennungsvorrichtung zum Schritt S770 über. Wenn das Oberkörper-HOG-Merkmal nicht in dem Oberkörperbereich erkannt wird, führt die Fußgängererkennungsvorrichtung die Schritte S740 und S750 erneut aus.
Wenn im Schritt S770 das Oberkörper-HOG-Merkmal in dem Oberkörperbereich erkannt wird, führt die Fußgängererkennungsvorrichtung eine Operation zur Erkennung eines Unterkörper-HOG-Merkmals in dem Unterkörperbereich durch. Wenn das Unterkörper-HOG-Merkmal in dem Unterkörperbereich erkannt wird, geht die Fußgängererkennungsvorrichtung zum Schritt S780 über. Wenn das Unterkörper-HOG-Merkmal nicht in dem Unterkörperbereich erkannt wird, führt die Fußgängererkennungsvorrichtung die Schritte S740, S750 und S760 erneut aus.
Wenn im Schritt S780 das Unterkörper-HOG-Merkmal in dem Unterkörperbereich erkannt wird, führt die Fußgängererkennungsvorrichtung eine Operation durch, welche den Kandidaten-Fußgängerbereich als einen Fußgängerbereich erkennt.
Darüber hinaus kann der Schritt S770 optional durchgeführt werden. Wenn beispielsweise gewünscht ist, die Erkennungszeit und die Anzahl der Operationen zu verringern, kann der Kandidaten-Fußgängerbereich als der Fußgängerbereich erkannt werden, indem, unter Auslassung des Schritts S770, nur der Schritt S760 durchgeführt wird. Um die Erkennungsgenauigkeit zu erhöhen, kann sowohl das Oberkörper-HOG-Merkmal als auch das Unterkörper-HOG-Merkmal durch das Durchführen der Schritte S760 und S770 erkannt werden, und der Kandidaten-Fußgängerbereich kann als der Fußgängerbereich erkannt werden.
In 7 ist angegeben, dass, wenn sämtliche Schritte S760 und S770 durchgeführt wurden, dass der Schritt S770 nach dem Schritt S760 durchgeführt wird, jedoch besteht keine Beschränkung darauf. Nach einem anderen Beispiel kann der Schritt S760 nach dem Schritt S770 durchgeführt werden. Unter Berücksichtigung der Tatsache, dass die Erkennungswahrscheinlichkeit eines Unterkörper-HOG-Merkmals relativ geringer als diejenige eines Oberkörper-HOG-Merkmals ist, können in diesem Fall die Operation zur Erkennung des Unterkörper-HOG-Merkmals und die Operation zur Erkennung des Oberkörper-HOG-Merkmals beide durchgeführt werden.
Wie zuvor beschrieben, legt die vorliegende Erfindung einen Fußgänger-ROI und die Größe des Suchfensters unter Verwendung von Fahrspurbegrenzungsinformationen fest, teilt einen Bereich (der mit der Größe des Suchfensters in dem Fußgänger-ROI durchsucht wird) in einen Oberkörperbereich und einen Unterkörperbereich auf und erkennt ein Fußgängermerkmal in jedem der Teilbereiche, wodurch ein in dem gesamten Bereich eines Bildes mittels des Suchfensters zu durchsuchender Bereich effizient eingeschränkt wird. Daher ist die Verarbeitungszeit verkürzt. Ferner stellt die vorliegende Erfindung sowohl in dem Oberkörperbereich als auch in dem Unterkörperbereich ein Fußgängermerkmal fest, wodurch die Fußgängererkennungsrate verbessert ist.
Eine Anzahl von exemplarischen Ausführungsbeispielen wurde vorstehend beschrieben. Dennoch ist ersichtlich, dass zahlreiche Modifizierungen vorgenommen werden können. Beispielsweise können geeignete Ergebnisse erzielt werden, wenn die beschriebenen Techniken in einer anderen Abfolge durchgeführt und/oder Komponenten in einem beschriebenen System, einer Architektur, einer Vorrichtung oder einer Schaltung in einer anderen Weise kombiniert werden und/oder durch andere Komponenten oder deren Äquivalente ausgetauscht oder ersetzt werden. Dementsprechend fallen andere Implementierungen in den Rahmen der nachfolgenden Ansprüche.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 10-2013-0146162 [0001]

Claims

Bildverarbeitungsvorrichtung für die Erkennung von Fußgängern, wobei die Bildverarbeitungsvorrichtung aufweist: ein Fahrspurbegrenzungserkennungsmodul, das zum Extrahieren eines Fahrspurbegrenzungskoordinatenwerts aus einem Eingangsbild konfiguriert ist; und ein Fußgängererkennungsmodul, das dazu konfiguriert ist, als einen interessierenden Fußgängerbereich (ROI) einen Bereich einzustellen, der zwischen einer ersten Linie, die durch Enden einer ersten linken und rechten Fahrspurbegrenzung verläuft, und einer zweiten Linie liegt, die durch Enden einer zweiten linken und rechten Fahrspurbegrenzung verläuft, die jeweils über der linken und der rechten Fahrspurbegrenzung angeordnet ist, und den Fußgänger-ROI unter Verwendung eines vorbestimmten Fensters zu suchen, um so einen ein Fußgängermerkmal aufweisenden Fußgängerbereich zu erkennen.
Bildverarbeitungsvorrichtung nach Anspruch 1, bei welcher das Fußgängererkennungsmodul einen Fahrspurbegrenzungsabstand berechnet, welcher als die Länge einer Linie definiert ist, welche die Enden der ersten linken und rechten Fahrspurbegrenzungen verbindet, und das Fenster unter Verwendung des berechneten Fahrspurbegrenzungsabstands einstellt.
Bildverarbeitungsvorrichtung nach Anspruch 2, bei welcher die Größe des Fensters proportional zu dem Fahrspurbegrenzungsabstand ist.
Bildverarbeitungsvorrichtung nach Anspruch 2, bei welcher das Fenster eine Breite aufweist, welche unter Verwendung des Fahrspurbegrenzungsabstands und einer zur Berechnung der Breite eines Fußgängers aus dem Fahrspurbegrenzungsabstand verwendeten Verhältnisvariablen berechnet wird, und eine Höhe aufweist, welche unter Verwendung der Breite und einer das Verhältnis zwischen der Breite und der Höhe eines Fußgängers angebenden Variablen berechnet wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, bei welcher das Fußgängererkennungsmodul den Fußgängerbereich in einen Oberkörperbereich und einen Unterkörperbereich unterteilt, und wobei, wenn ein Fußgängermerkmal in dem Oberkörperbereich und/oder dem Unterkörperbereich erkannt wird, das Fußgängererkennungsmodul den Fußgängerbereich als finalen Fußgängerbereich erkennt.
Bildverarbeitungsvorrichtung nach Anspruch 5, bei welcher, wenn das einem Oberkörper eines Fußgängers entsprechende Fußgängermerkmal in dem Oberkörperbereich erkannt wird, und ein einem Unterkörper eines Fußgängers entsprechendes Fußgängermerkmal in dem Unterkörperbereich erkannt wird, das Fußgängererkennungsmodul den Fußgängerbereich als finalen Fußgängerbereich erkennt.
Bildverarbeitungsvorrichtung nach Anspruch 6, bei welcher das Fußgängererkennungsmodul einen ersten Ergebniswert, welcher durch Digitalisieren des unter Verwendung eines Oberkörperfensters erkannten Oberkörperbereichs erhalten wurde, und einen zweiten Ergebniswert addiert, welcher durch Digitalisieren des unter Verwendung eines Unterkörperfensters erkannten Unterkörpermerkmals erhalten wurde, und wenn der Summenbildungsergebniswert gleich oder größer als ein Schwellenwert ist, erkennt das Fußgängererkennungsmodul den Fußgängerbereich als finalen Fußgängerbereich.
Bildverarbeitungsvorrichtung nach Anspruch 7, bei welcher das Fußgängererkennungsmodul den ersten Ergebniswert, dem ein erster Gewichtungswert zugeordnet ist, und den zweiten Ergebniswert addiert, dem ein zweiter Gewichtungswert zugeordnet ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, bei welcher das Fußgängermerkmal ein Gradienten-Histogramm-Merkmal (HOG) ist.
Fußgängererkennungsverfahren in einer Bildverarbeitungsvorrichtung, wobei das Fußgängererkennungsverfahren aufweist: das Extrahieren eine Fahrspurbegrenzungskoordinatenwerts aus einem Eingangsbild; das Einstellen eines interessierenden Fußgängerbereichs (ROI) und eines Fahrspurbegrenzungsabstands in dem Eingangsbild unter Verwendung des extrahierten Fahrspurbegrenzungskoordinatenwerts; das Einstellen eines Suchfensters unter Verwendung des eingestellten Fahrspurbegrenzungsabstands; und das Erkennen eines Fußgängerbereichs in dem eingestellten Fußgänger-ROI unter Verwendung eines Fußgängererkennungsalgorithmus.
Fußgängererkennungsverfahren nach Anspruch 10, bei welchem das Einstellen eines Suchfensters aufweist: das Einstellen einer Breite des Suchfensters unter Verwendung des Fahrspurbegrenzungsabstands und einer Verhältnisvariablen, die der Berechnung der Breite eines Fußgängers aus dem Fahrspurbegrenzungsabstand dient; und das Einstellen einer Höhe des Suchfensters unter Verwendung der eingestellten Breite und einer das Verhältnis zwischen der Breite und der Höhe eines Fußgängers angebenden Variablen.
Fußgängererkennungsverfahren nach Anspruch 10, bei welchem das Erkennen eines Fußgängerbereichs aufweist: das Unterteilen des Fußgänger-ROI in einen Oberkörperbereich und einen Unterkörperbereich; und wenn das Fußgängermerkmal in dem Oberkörperbereich und/oder dem Unterkörperbereich unter Verwendung des Fußgängererkennungsalgorithmus erkannt wird, das Erkennen eines entsprechenden Kandidaten-Fußgängerbereichs, in welchem das Fußgängermerkmal erkannt wird, als den Fußgängerbereich.
Fußgängererkennungsverfahren nach Anspruch 10, bei welchem das Fußgängermerkmal ein Oberkörpermerkmal und ein Unterkörpermerkmal eines Fußgängers aufweist, und das Erkennen eines Fußgängerbereichs aufweist: das Unterteilen des Fußgänger-ROI in einen Oberkörperbereich und einen Unterkörperbereich; das Extrahieren eines dem Oberkörpermerkmal entsprechenden Gradienten-Histogramm-Merkmals (HOG) aus dem Oberkörperbereich; das Extrahieren eines dem Unterkörpermerkmal entsprechenden HOG-Merkmals aus dem Unterkörperbereich; und wenn die HOG-Merkmale jeweils aus dem Oberkörperbereich und dem Unterkörperbereich extrahiert wurden, das Erkennen eines Kandidaten-Fußgängerbereichs, der den Oberkörperbereich und den Unterkörperbereich aufweist, als den Fußgängerbereich.
Fußgängererkennungsverfahren nach Anspruch 13, bei welchem das Erkennen eines Fußgängerbereichs aufweist: das Addieren eines ersten Ergebniswerts, welcher durch Digitalisieren eines Erkennungsergebnisses des in dem Oberkörperbereich erkannten Oberkörpermerkmals erhalten wird, und eines zweiten Ergebniswerts, der durch Digitalisieren eines Erkennungsergebnisses des in dem Unterkörperbereich erkannten Unterkörpermerkmals erhalten wird; das Vergleichen des Summenergebniswerts mit einem Schwellenwert; und wenn der Summenergebniswert gleich oder größer als der Schwellenwert ist, das Erkennen des Kandidaten-Fußgängerbereichs als den Fußgängerbereich.
Fußgängererkennungsverfahren nach Anspruch 14, bei welchem das Addieren aufweist: das Zuordnen eines ersten Gewichtswerts zu dem ersten Ergebniswert; das Zuordnen eines zweiten Gewichtswerts, der niedriger als der erste Gewichtswert ist, zu dem zweiten Ergebniswert; und das Addieren des mit dem ersten Gewichtswert versehenen ersten Ergebniswerts und des mit dem zweiten Gewichtswert versehenen zweiten Ergebniswerts.