DE112011105330T5

DE112011105330T5 - Fußgängerbewegungsvorhersagegerät

Info

Publication number: DE112011105330T5
Application number: DE112011105330.4T
Authority: DE
Inventors: Tadaaki Sakamoto; Ryuji Funayama; Toshiki Kindo; Masahiro Ogawa
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-06-13
Filing date: 2011-06-13
Publication date: 2014-03-06
Also published as: US9507998B2; WO2012172629A1; JP5737397B2; JPWO2012172629A1; US20140112538A1

Abstract

Eine Aufgabe ist es, ein Fußgängerbewegungsvorhersagegerät bereitzustellen, das in der Lage ist, eine Möglichkeit eines Losstürmens genau vorherzusagen, bevor ein Fußgänger tatsächlich beginnt loszustürmen. Gemäß den Ausführungsbeispielen wird der Fußgänger aus eingegebenen Bilddaten erfasst, ein Abschnitt, in dem der erfasste Fußgänger abgebildet ist, aus den Bilddaten ausgeschnitten, eine Form des in den ausgeschnittenen Teilbilddaten abgebildeten Fußgängers durch Vergleichen der Form mit einer Gruppe fertiggelernter Kennzeichner oder einer Fußgängererkennungsmustervorlagengruppe klassifiziert, und das Losstürmen des Fußgängers basierend auf einem Ergebnis der beschafften Klassifizierung vorhergesagt.

Description

Gebiet
Die vorliegende Erfindung bezieht sich auf ein Fußgängerbewegungsvorhersagegerat.
Hintergrund
Patentliteratur 1 offenbart ein Fußgängererkennungsgerät, das ein Kantenbild aus von einem Außensensor eingegebenen Bilddaten erzeugt, den Öffnungsgrad W der Beinseitenabschnitte eines Fußgängerkandidaten erfasst, und den Kopfanschnitt des Fußgängerkandidaten schätzt, die Höhe H des Fußgängerkandidaten gemäß der Position des Kopfabschnitts schätzt, und bestimmt, ob das Verhältnis (W/H) des Beinabschnitts W zu der Höhe H gleich oder größer als ein vorbestimmter Wert a ist oder nicht basierend auf der Höhe H und dem Öffnungsgrad W der Beinabschnitte des Fußgängerkandidaten, und dadurch bestimmt, ob es eine Möglichkeit gibt oder nicht, dass der Fußgängerkandidat über die Strasse eines Fahrzeugs eines Fahrers laufen wird.
Es ist zu bemerken, dass als andere konventionelle Technologien beschreibende Dokumente Patentliteraturen 2 bis 4 veranschaulicht werden. Patentliteratur 2 offenbart ein Fußgängerlosstürmvorhersagegerät, das Zeitreihenveränderungen der Positionen und Bewegungsgeschwindigkeiten eines vor einem Fahrzeug eines Fahrers befindlichen Fußgängers und Umgebungsinformation beschafft, die beschafften Zeitreihenveränderungen der Position und der Bewegungsgeschwindigkeit mit den Mustern der Zeitreihenveränderungen der Position und der Bewegungsgeschwindigkeit zu der Zeit, wenn der Fußgänger auf eine Straße losstürmt, vergleicht, und die beschaffte Umgebungsinformation mit der Umgebungsinformation zu der Zeit, wenn der Fußgänger auf die Straße losstürmt, vergleicht, und dadurch vorhersagt, ob der Fußgänger auf die Strasse losstürmen wird oder nicht, auf der sich das Fahrzeug des Fahrers fortbewegt. Patentliteratur 3 offenbart ein Fußgängererfassungsgerät für ein Fahrzeug, wobei das Gerät eine Datenbank aufweist, die zweidimensionale Formdaten zur Erfassung eines Fußgängers speichert, ein erstes dreidimensionales Modell basierend auf den erworbenen Daten des erfassten Fußgängers schätzt, und eine zukünftige Bewegung des Fußgängers basierend auf dem ersten dreidimensionalen Modell schätzt. Patentliteratur 4 offenbart ein Fußgängererkennungsunterstützungsgerät, das repräsentative Punkte (einen Kopfabschnitt, einen Nackenabschnitt, ein Hüftgelenk, ein Kniegelenk, ein Fußgelenk, usw.) eines Fußgängers aus Bilddaten bestimmt, die Winkelinformation jeweiliger Abschnitte des Fußgängers basierend auf den die bestimmten repräsentativen Punkte untereinander verbindenden geraden Linien, einer geraden Linie parallel zu einer Bodenoberfläche, usw., berechnet, und dadurch den Bewegungszustand des Fußgängers basierend auf der berechneten Winkelinformation bestimmt.
Zitatliste:
Patentliteratur:

Patentliteratur 1: Japanische Patentanmeldungsoffenlegungsschrift Nummer 2007-264778
Patentliteratur 2: Japanische Patentanmeldungsoffenlegungsschrift Nummer 2010-102437
Patentliteratur 3: Japanische Patentanmeldungsoffenlegungsschrift Nummer 2010-079639
Patentliteratur 1: Japanische Patentanmeldungsoffenlegungsschrift Nummer 2010-165003

Zusammenfassung
Technisches Problem
Nachdem ein Fußgängerverhalten mittels des Verhältnisses des Öffnungsgrades W des Beinabschnitts zu der Höhe H vorhergesagt wird, entsteht ein Problem dadurch, dass eine Wahrscheinlichkeit eines Überquerens einer Straße nicht bestimmt werden kann, bis der Fußgänger beginnt, die Straße zu überqueren (insbesondere, bis der Fußgänger den ersten Schritt eines Losstürmens unternimmt). Ferner gibt es auch ein Problem, dass, nachdem das Fußgängerverhalten mittels des Verhältnisses des Öffnungsgrades W des Beinabschnitts zu der Höhe H vorhergesagt wird, eine Bestimmungsgenauigkeit verschlechtert wird bei einem Fußgänger, der mit einem kleinen Schritt losstürmt.
Es ist eine Aufgabe der vorliegenden Erfindung, die in Hinblick auf die Umstände vorgenommen wurde, ein Fußgängerbewegungsvorhersagegerät bereitzustellen, das in der Lage ist, eine Möglichkeit eines Losstürmens genau vorherzusagen, bevor ein Fußgänger tatsächlich beginnt, loszustürmen.
Lösung des Problems
Die vorliegende Erfindung ist dadurch gekennzeichnet, dass bei einem Fußgängerbewegungsvorhersagegerät ein Losstürmen eines Fußgängers vorhergesagt wird basierend auf einem Ergebnis eines Vergleichs einer erfassten Form des Fußgängers mit einer zuvor vorbereiteten Form eines Fußgängers mit einer Möglichkeit eines Losstürmens.
Zudem kann eingerichtet sein, dass das Losstürmen des Fußgängers vorhergesagt wird basierend auf einer Kombination der zu einer bestimmten Zeit erfassten Form des Fußgängers und der nach der bestimmten Zeit erfassten Form des Fußgängers.
Ferner kann eingerichtet sein, dass die erfasste Form des Fußgängers in Zeitreihen aufgezeichnet ist, eine Periodizität der aufgezeichneten Form des Fußgängers in Zeitreihen analysiert ist, und das Losstürmen des Fußgängers vorhergesagt wird basierend auf einer Änderung der analysierten Periodizität.
Ferner kann eingerichtet sein, dass die erfasste Form des Fußgängers in Zeitreihen aufgezeichnet ist, dass basierend auf der aufgezeichneten Form des Fußgängers in Zeitreihen bestimmt ist, ob eine Geschwindigkeit des Fußgängers beständig ist oder nicht, und dass das Losstürmen des Fußgängers vorhergesagt wird basierend auf einem Ergebnis der Bestimmung.
Weiterhin kann eingerichtet sein, dass zumindest eines aus einer Vorwärtsneigungskörperhaltung, einer Oberkörperrichtung, einer Öffnung von Beinen in einer Vorn-Hinten-Richtung, und einer Öffnung der Beine in einer seitlichen Richtung des Fußgängers als die Form des Fußgängers beschafft ist.
Vorteilhafte Effekte der Erfindung
Nachdem die vorliegende Erfindung das Losstürmen eines Fußgängers basierend auf dem Ergebnis des Vergleichs der erfassten Form des Fußgängers mit einer zuvor vorbereiteten Form eines Fußgängers mit einer Möglichkeit eines Losstürmens vorhersagt, kann die vorliegende Erfindung einen Effekt erzielen, dass eine Möglichkeit eines Losstürmens genau vorhergesagt werden kann, bevor ein Fußgänger beginnt, tatsächlich loszustürmen.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration eines Fußgängerbewegungsvorhersagegeräts gemäß einem ersten Ausführungsbeispiel veranschaulicht.
2 ist ein Flussdiagramm, das ein Beispiel eines Betriebs veranschaulicht, der durch das Fußgängerbewegungsvorhersagegerät gemäß dem ersten Ausführungsbeispiel durchgeführt wird.
3 ist eine Ansicht, die ein Beispiel einer Fußgängerlosstürmkörperhaltung veranschaulicht, die wahrscheinlich auftritt.
4 ist eine Ansicht, die ein Beispiel der Fußgängerlosstürmkörperhaltung veranschaulicht, die wahrscheinlich auftritt.
5 ist eine Ansicht, die ein Beispiel der Fußgängerlosstürmkörperhaltung veranschaulicht, die wahrscheinlich auftritt.
6 ist eine Ansicht, die ein Beispiel der Fußgängerlosstürmkörperhaltung veranschaulicht, die wahrscheinlich auftritt.
7 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration eines Fußgängerbewegungsvorhersagegeräts gemäß einem zweiten Ausführungsbeispiel veranschaulicht.
8 ist ein Flussdiagramm, das ein Beispiel eines Betriebs veranschaulicht, der durch das Fußgängerbewegungsvorhersagegerät gemäß dem zweiten Ausführungsbeispiel durchgeführt wird.
9 ist ein Blockdiagramm, das ein Beispiel einer Konfiguration eines Fußgängerbewegungsvorhersagegeräts gemäß einem dritten Ausführungsbeispiel veranschaulicht.
10 ist ein Flussdiagramm, das ein Beispiel eines Betriebs veranschaulicht, der durch das Fußgängerbewegungsvorhersagegerät gemäß dem dritten Ausführungsbeispiel durchgeführt wird.
11 ist eine Ansicht, die ein Beispiel einer periodischen Änderung einer Form eines Fußgängers veranschaulicht.
Beschreibung von Ausführungsbeispielen
Ausführungsbeispiele eines Fußgängerbewegungsvorhersagegerätes gemäß der vorliegenden Erfindung werden untenstehend detailliert beschrieben unter Bezugnahme auf die Zeichnungen. Es ist zu bemerken, dass die vorliegende Erfindung in keiner Weise beschränkt ist durch die Ausführungsbeispiele.
[Erstes Ausführungsbeispiel]
Eine Konfiguration eines Fußgängerbewegungsvorhersagegerätes gemäß einem ersten Ausführungsbeispiel und ein durch das Fußgängerbewegungsvorhersagegerät durchgeführter Betrieb werden detailliert beschrieben unter Bezugnahme auf 1 bis 6.
1 ist ein Blockdiagramm, das ein Beispiel der Konfiguration des Fußgängerbewegungsvorhersagegerätes gemäß dem ersten Ausführungsbeispiel veranschaulicht. Ein Fußgängerbewegungsvorhersagegerät 1 ist eingerichtet, beispielsweise einen Universalpersonalcomputer und dergleichen zu verwenden, und ist verbunden mit einer an einem Fahrzeug montierten Kamera 2, um in der Lage zu sein, damit zu kommunizieren. Die Kamera 2 ist ein Instrument, das eine Umgebung eines Fahrzeugs eines Fahrers aufnimmt, und Bilddaten erzeugt, in denen die Umgebung des Fahrzeugs des Fahrers abgebildet ist.
Das Fußgängerbewegungsvorhersagegerät 1 umfasst eine Steuereinrichtung 12 und eine Speichereinheit 14. Die Steuereinrichtung 12 steuert das Fußgängerbewegungsvorhersagegerät 1 vollständig und ist beispielsweise eine CPU (Zentralverarbeitungseinheit, central processing unit) und dergleichen. Die Speichereinheit 14 speichert Daten und ist beispielsweise ein RAM (Schreib-Lese-Speicher, random access memory), ein ROM (Nurlesespeicher, read only memory), oder eine Festplatte und dergleichen.
Die Speichereinheit 14 umfasst eine Vergleichsdatenspeichereinheit 14a. Die Vergleichsdatenspeichereinheit 14a ist mit einer Gruppe fertiggelernter Kennzeichner oder einer Fußgängererkennungsmustervorlagengruppe (Bild) gespeichert, die leicht eine Form eines Fußgängers (beispielsweise eine Vorwärtsneigung, eine Oberkörperrichtung, eine Öffnung von Beinen in einer Vorn-Hinten-Richtung, einer Öffnung der Beine in einer seitlichen Richtung, und dergleichen) erfassen kann, die in verschiedenen wechselnden Verkehrsumgebungen wahrscheinlich auftritt.
Die Steuereinrichtung 12 umfasst eine Erfassungseinrichtung 12a, eine Beschaffungseinheit 12b, und eine Vorhersageeinheit 12c. Die Erfassungseinheit 12a erfasst einen Fußgänger aus den von der Kamera 2 eingegebenen Bilddaten. Die Beschaffungseinheit 12b beschafft eine Form des durch die Erfassungseinrichtung 12a erfassten Fußgängers. Die Vorhersageeinheit 12c sagt die Bewegung des Fußgängers (beispielsweise ein Losstürmen des Fußgängers und dergleichen) voraus basierend auf der durch die Beschaffungseinheit 12b beschafften Form des Fußgängers.
2 ist ein Flussdiagramm, das ein Beispiel eines durch das Fußgängerbewegungsvorhersagegerät 1 durchgeführten Betriebs veranschaulicht. Zuerst erfasst die Erfassungseinrichtung 12a den Fußgänger aus den durch die Kamera 2 eingegebenen Bilddaten und schneidet einen Abschnitt, in dem der erfasste Fußgänger abgebildet ist, von den Bilddaten aus (Schritt SA1).
Als nächstes vergleicht die Beschaffungseinheit 12b eine Form des in den in Schritt SA1 ausgeschnittenen Teilbilddaten abgebildeten Fußgängers mit der in der Vergleichsdatenspeichereinheit 14a gespeicherten Gruppe fertiggelernter Kennzeichner oder Fußgängererkennungsmustervorlagengruppe, um dadurch die Form zu klassifizieren (Schritt SA2). Beispielsweise extrahiert die Beschaffungseinheit 12b einen Merkmalsvektor (Merkmalsbetrag) aus den Teilbilddaten und erkennt den extrahierten Merkmalsvektor mittels einer durch den fertiggelernten Kennzeichner gebildete Identifizierungsoberfläche, um dadurch die Klasse der Form des in den Teilbilddaten abgebildeten Fußgängers (beispielsweise die Klasse der Vorwärtsneigungskörperhaltung wie in 3 veranschaulicht, die Klasse der Oberkörperrichtung wie in 4 veranschaulicht, die Klasse der Öffnung der Beine in einer Vorn-Hinten-Richtung wie in 5 veranschaulicht, die Klasse der Öffnung der Beine in einer seitlichen Richtung wie in 6 dargestellt, und dergleichen) zu bestimmen. Als der Merkmalsbetrag kann eine Größe (ein Betrag) basierend auf einer Kante wie SIFT, HOG, und dergleichen, eine Größe basierend auf Farbe, eine durch codieren der Position eines Merkmalsabschnitts wie ein Kopf, eine Hand und dergleichen, beschafften Größe gemeint sein. Ferner bestimmt die Beschaffungseinheit 12b beispielsweise die Klasse der Form des in den Teilbilddaten abgebildeten Fußgängers durch Vergleichen der Form des in den Teilbilddaten abgebildeten Fußgängers mit einer Form eines Fußgängers einer Fußgängererkennungsmustervorlage. Die Klasse der Form des Fußgängers kann auch klassifiziert werden zu der Klasse „einer gewöhnlichen Gehbewegung” und der Klasse „der Bewegung anders als die gewöhnliche Gehbewegung” zusätzlich zu den in 3, 4, 5 und 6 veranschaulichten Klassen.
Als nächstes sagt die Vorhersageeinheit 12c die Bewegung des Fußgängers (beispielsweise die Richtung, in die der Fußgänger losstürmen wird, und dergleichen) basierend auf dem Ergebnis einer in Schritt SA2 beschafften Klassifizierung vorher (Schritt SA3). Wenn beispielsweise das Ergebnis einer Klassifizierung der Klasse der Vorwärtsneigungskörperhaltung zugeordnet ist, sagt die Vorhersageeinheit 12c vorher, dass der Fußgänger in die Vorwärtsneigungsrichtung (Pfeilrichtung in 3) losstürmen wird. Wenn beispielsweise das Ergebnis einer Klassifizierung der Klasse der Oberkörperrichtung zugeordnet ist, sagt die Vorhersageeinheit 12c vorher, dass der Fußgänger in die Richtung losstürmen wird, in die ein Oberkörper zeigt (Pfeilrichtung in 4). Wenn beispielsweise das Ergebnis einer Klassifizierung der Klasse der Öffung von Beinen in der Vorn-Hinten-Richtung zugeordnet ist, sagt die Vorhersageeinheit 12c vorher, dass der Fußgänger in eine Vorwärtsrichtung (Pfeilrichtung in 5) losstürmen wird. Ferner, wenn beispielsweise das Ergebnis einer Klassifizierung der Klasse der Öffnung der Beine in der seitlichen Richtung zugeordnet ist, sagt die Vorhersageeinheit 12c vorher, dass der Fußgänger in dessen Linksrichtung (Pfeilrichtung in 6) losstürmen wird. Wenn die Klasse der Form des Fußgängers zu der Klasse „der gewöhnlichen Gehbewegung” und der Klasse „der Bewegung anders als die gewöhnliche Gehbewegung” klassifiziert ist, sagt die Vorhersageeinheit 12 nur einen Fall, dass der Fußgänger losstürmen wird, und einen Fall, dass der Fußgänger nicht losstürmen wird, vorher.
[Zweites Ausführungsbeispiel]
Eine Konfiguration eines Fußgängerbewegungsvorhersagegerätes gemäß einem zweiten Ausführungsbeispiel und ein durch das Fußgängerbewegungsvorhersagegerät durchgeführter Betrieb werden detailliert mit Bezug auf 7 und 8 erklärt. Es wird bemerkt, dass einige der mit den in dem ersten Ausführungsbeispiel erklärten überlappenden Inhalte weggelassen sein können.
7 ist ein Blockdiagramm, das ein Beispiel der Konfiguration des Fußgängerbewegungsvorhersagegerätes gemäß dem zweiten Ausführungsbeispiel veranschaulicht. Eine Steuereinrichtung 12 umfasst ferner zusätzlich zu der Erfassungseinrichtung 12a, der Beschaffungseinheit 12b und der Vorhersageeinheit 12c, wie in dem ersten Ausführungsbeispiel erklärt, eine Ansammlungseinheit 12d. Eine Speichereinheit 14 umfasst ferner zusätzlich zu der Vergleichsdatenspeichereinheit 14a, wie in dem ersten Ausführungsbeispiel erklärt, eine Formdatenspeichereinheit 14b.
Die Ansammlungseinheit 12d sammelt mittels der Beschaffungseinheit 12b beschaffte Formen eines Fußgängers in der Formdatenspeichereinheit 14b. Die Vorhersageeinheit 12c sagt die Bewegung des Fußgängers (beispielsweise Losstürmen und dergleichen des Fußgängers) basierend auf einer Kombination der in der Formdatenspeichereinheit 14b gesammelten Formen des Fußgängers vorher. Die Formdatenspeichereinheit 14b speichert Daten bezüglich den Formen des Fußgängers.
8 ist ein Flussdiagramm, das ein Beispiel des durch das Fußgängerbewegungsvorhersagegerät gemäß dem zweiten Ausführungsbeispiel durchgeführten Betriebs veranschaulicht. Zuerst erfasst die Erfassungseinrichtung 12a den Fußgänger aus den von der Kamera 2 eingegebenen Bilddaten, und schneidet einen Abschnitt, in dem der erfasste Fußgänger abgebildet ist, aus den Bilddaten aus (Schritt SB1).
Als nächstes vergleicht die Beschaffungseinheit 12b die Form des in den in Schritt SB1 ausgeschnittenen Teilbilddaten abgebildeten Fußgängers mit einer in der Vergleichsdatenspeichereinheit 14a gespeicherten Gruppe fertiggelernter Kennzeichner oder Fußgängererkennungsmustervorlagengruppe, um dadurch die Form zu klassifizieren (Schritt SB2).
Als nächstes sammelt die Ansammlungseinheit 12d das Ergebnis einer in Schritt SB2 beschafften Klassifizierung in der Formdatenspeichereinheit 14b (Schritt SB3).
Als nächstes sagt die Vorhersageeinheit 12c die Bewegung des Fußgängers (beispielsweise die Richtung, in die der Fußgänger losstürmen wird, oder die Geschwindigkeit, mit der der Fußgänger losstürmen wird, und dergleichen) basierend auf einer Kombination des in der Formdatenspeichereinheit 14b gespeicherten Ergebnisses einer Klassifizierung vorher (Schritt SB4). Wenn beispielsweise zu einer bestimmten Zeit das Ergebnis einer Klassifizierung bezüglich der Form des in den Teilbilddaten abgebildeten Fußgängers die Klasse bezüglich der Oberkörperrichtung ist, und zu einer Zeit nach der bestimmten Zeit, wenn das Ergebnis einer Klassifizierung bezüglich der Form des in den Teilbilddaten abgebildeten Fußgängers die Klasse bezüglich der Vorwärtsneigungskörperhaltung ist, betrachtet die Vorhersageeinheit 12c dies als dass die sich Körperhaltung des Fußgängers ändert von einem Zustand, dass er sich gerade bewegen will hin zu einem Zustand, dass er beginnt sich zu bewegen, um dadurch vorherzusagen, dass der Fußgänger in einer Vorwärtsneigungsrichtung losstürmen wird.
[Drittes Ausführungsbeispiel]
Eine Konfiguration eines Fußgängerbewegungsvorhersagegerätes gemäß einem dritten Ausführungsbeispiels und ein durch das Fußgängerbewegungsvorhersagegerät durchgeführter Betrieb werden detailliert beschrieben mit Bezug auf 9 bis 11. Es wird bemerkt, dass die mit den in dem ersten Ausführungsbeispiel oder dem zweiten Ausführungsbeispiel erklärten überlappende Inhalte weggelassen sein können.
9 ist ein Blockdiagramm, das ein Beispiel der Konfiguration des Fußgängerbewegungsvorhersagegerätes gemäß dem dritten Ausführungsbeispiel veranschaulicht. Eine Steuereinrichtung 12 umfasst ferner zusätzlich zu der Erfassungseinrichtung 12a, der Beschaffungseinheit 12b und der Vorhersageeinrichtung 12c, wie in dem ersten Ausführungsbeispiel erklärt, eine Aufzeichnungseinheit 12e und eine Analyseeinrichtung 12f. Eine Speichereinheit 14 umfasst ferner zusätzlich zu der Vergleichsdatenspeichereinheit 14a, wie in dem ersten Ausführungsbeispiel erklärt, eine Formdatenspeichereinheit 14b.
Die Aufzeichnungseinheit 12e zeichnet durch die Beschaffungseinheit 12b beschaffte Formen eines Fußgängers in der Formdatenspeichereinheit 14b in Zeitreihen auf. Basierend auf den in der Formdatenspeichereinheit 14b aufgezeichneten Formen des Fußgängers in Zeitreihen analysiert die Analyseeinrichtung 12f die Periodizität der Formen (beispielsweise die periodischen Änderungen und dergleichen der Formen des Fußgängers). Basierend auf den Ergebnissen einer Analyse in der Analyseeinrichtung 12f sagt die Vorhersageeinrichtung 12c die Bewegung des Fußgängers (beispielsweise Losstürmen und dergleichen des Fußgängers) vorher. Die Formdatenspeichereinheit 14b speichert die Daten bezüglich der Formen des Fußgängers in Zeitreihen.
10 ist ein Flussdiagramm, das ein Beispiel eines durch das Fußgängerbewegungsvorhersagegerät gemäß dem dritten Ausführungsbeispiel durchgeführten Betriebes veranschaulicht. Als erstes erfasst die Erfassungseinrichtung 12a den Fußgänger aus den von der Kamera 2 eingegebenen Bilddaten und schneidet einen Abschnitt, in dem der erfasste Fußgänger durch die Bilddaten abgebildet ist, aus (Schritt SC1).
Als nächstes vergleicht die Beschaffungseinheit 12b die Formen des in den in Schritt SC1 ausgeschnittenen Teilbilddaten abgebildeten Fußgängers mit einer in der Vergleichsdatenspeichereinheit 14a gespeicherten Gruppe fertiggelernter Kennzeichner oder Fußgängererkennungsmustervorlagengruppe, um dadurch die Formen zu klassifizieren (Schritt SC2). Anderenfalls enthält die Beschaffungseinheit 12b Merkmalsbeträge selbst als die Formen des Fußgängers.
Als nächstes zeichnet die Aufzeichnungseinheit 12e die Ergebnisse einer in Schritt SC2 beschafften Klassifizierung oder die Merkmalsbeträge selbst in der Formdatenspeichereinheit 14b in Zeitreihen auf (Schritt SC3).
Als nächstes analysiert die Analyseeinrichtung 12f basierend auf den in der Formdatenspeichereinheit 14b gespeicherten Ergebnissen einer Klassifizierung in Zeitreihen oder den Merkmalsbeträgen selbst die Periodizität der Form des Fußgängers (Schritt SC4). Beispielsweise erfasst die Analyseeinrichtung 12f eine Unterbrechung der Periodizität aus der periodischen Änderung bezüglich der Beinweite des Fußgängers wie in 11 veranschaulicht, die aus den Ergebnissen einer Klassifizierung in Zeitreihen beschafft sein kann. Anderenfalls erfasst die Analyseeinrichtung 12f die Unterbrechung der Periodizität durch Setzen eines bestimmten Abstands oder dessen äquivalenten Abstands wie eine Kullback-Leibler-Informationsmenge und dergleichen in einen Merkmalsbetragsraum und Berechnen des Grades einer Ähnlichkeit zu einem n-ten vorhergehenden Rahmen (frame).
Als nächstes sagt die Vorhersageeinheit 12c basierend auf dem in Schritt SC4 beschafften Ergebnis einer Analyse der Periodizität (Änderung einer Periodizität) die Bewegung des Fußgängers (beispielsweise die Losstürmrichtung des Fußgängers oder die Losstürmgeschwindigkeit des Fußgängers, und dergleichen) vorher (Schritt SC5). Wenn beispielsweise die Unterbrechung der Periodizität in Schritt SC4 erfasst ist, sagt die Vorhersageeinheit 12c vorher, dass der Fußgänger losstürmen wird zu der Zeit, zu der die Unterbrechung der Periodizität auftritt (siehe 11). Ferner sagt, wie beispielsweise in 11 veranschaulicht, basierend auf dem Beinweitenänderungsausmaß des Fußgängers vor oder nach der Zeit, zu der die Unterbrechung der Periodizität auftritt, die Vorhersageeinheit 12c vorher, dass der Fußgänger losstürmen wird mit einer Geschwindigkeit gemäß dem Änderungsausmaß. Es wird bemerkt, dass die Vorhersageeinheit 12c basierend auf den in der Formdatenspeichereinheit 14b aufgezeichneten Formen des Fußgängers in Zeitreihen (die Ergebnisse einer Klassifizierung in Zeitreihen) bestimmen kann, ob die Bewegungsgeschwindigkeit des Fußgängers (Bewegungsrichtung und -geschwindigkeit) beständig ist oder nicht, und die Losstürmrichtung und die Losstürmgeschwindigkeit des Fußgängers basierend auf dem Bestimmungsergebnis vorhersagen kann.
[Zusammenfassung der Ausführungsbeispiele]
Die oben beschriebenen Ausführungsbeispiele sagen das Losstürmen eines Fußgängers vorher durch Aufnehmen der Änderung einer Körperhaltung oder einer Bewegung, die als ein Zeichen des Losstürmens des Fußgängers auf die Straße fungiert. Insbesondere wird die durch einen Sensor erfasste Form des Fußgängers mit Informationen bezüglich einer Form eines Fußgängers hinsichtlich der als ein verräterisches Zeichen fungierenden Bewegung eines Fußgängers mit einer Möglichkeit loszustürmen, verglichen, und das Losstürmen des Fußgängers wird vorhergesagt basierend auf dem Ergebnis des Vergleichs. Auf diese Weise kann eine Möglichkeit eines Losstürmens genau vorhergesagt werden, bevor der Fußgänger tatsächlich beginnt loszustürmen.
Gemäß den Ausführungsbeispielen kann die Vorhersagegenauigkeit einer Möglichkeit eines Losstürmens verbessert werden, da das Losstürmen des Fußgängers vorhergesagt wird durch eine Kombination der zu einem bestimmten Moment erfassten Form des Fußgängers und der danach erfassten Form des Fußgängers. Gemäß den Ausführungsbeispielen kann die Vorhersagegenauigkeit der Möglichkeit eines Losstürmens verbessert werden, da die Zeitreiheninformation der erfassten Form des Fußgängers aufgezeichnet wird, die Periodizität der Form des Fußgängers basierend auf der Zeitreiheninformation analysiert wird, und das Losstürmen des Fußgängers basierend auf der Änderung einer durch die Analyse beschafften Periodizität der Form des Fußgängers vorhergesagt wird. Gemäß den Ausführungsbeispielen kann die Vorhersagegenauigkeit der Möglichkeit eines Losstürmens verbessert werden, da die Zeitreiheninformation der erfassten Form des Fußgängers aufgezeichnet wird, die Beständigkeit einer Fußgängergeschwindigkeit basierend auf der Zeitreiheninformation analysiert wird, und das Losstürmen des Fußgängers basierend auf der Änderung einer durch die Analyse beschafften Beständigkeit der Fußgängergeschwindigkeit vorhergesagt wird. Ferner kann gemäß den Ausführungsbeispielen die Vorhersagegenauigkeit der Möglichkeit eines Losstürmens verbessert werden, da als die Form des Fußgängers zumindest eine aus der Vorwärtsneigungskörperhaltung, der Oberkörperrichtung, der Öffnung der Beine in der Vorn-Hinten-Richtung, und der Öffnung der Beine in der seitlichen Richtung des Fußgängers beschafft wird.
Industrielle Anwendbarkeit
Wie oben beschrieben ist das Fußgängerbewegungsvorhersagegerät gemäß der vorliegenden Erfindung nützlich in Fahrzeugherstellungsindustrien, und insbesondere geeignet, um das Losstürmen eines Fußgängers in einer Umgebung eines Fahrzeugs vorherzusagen.
Bezugszeichenliste

1: Fußgängerbewegungsvorhersagegerät
12: Steuereinrichtung
12a: Erfassungseinrichtung
12b: Beschaffungseinheit
12c: Vorhersageeinheit
12d: Ansammlungseinheit
12e: Aufzeichnungseinheit
12f: Analyseeinrichtung
14: Speichereinheit
14a: Vergleichsdatenspeichereinheit
14b: Formdatenspeichereinheit
2: Kamera

Claims

Fußgängerbewegungsvorhersagegerät, wobei ein Losstürmen eines Fußgängers vorhergesagt ist basierend auf einem Ergebnis eines Vergleichs einer erfassten Form des Fußgängers mit einer zuvor vorbereiteten Form eines Fußgängers mit einer Möglichkeit eines Losstürmens.
Fußgängerbewegungsvorhersagegerät nach Anspruch 1, wobei das Losstürmen des Fußgängers vorhergesagt ist basierend auf einer Kombination der zu einer bestimmten Zeit erfassten Form des Fußgängers und der nach der bestimmten Zeit erfassten Form des Fußgängers.
Fußgängerbewegungsvorhersagegerät nach Anspruch 1, wobei die erfasste Form des Fußgängers in Zeitreihen aufgezeichnet ist, eine Periodizität der aufgezeichneten Form des Fußgängers in Zeitreihen analysiert ist, und das Losstürmen des Fußgängers vorhergesagt ist basierend auf einer Änderung der analysierten Periodizität.
Fußgängerbewegungsvorhersagegerät nach Anspruch 1, wobei die erfasste Form des Fußgängers in Zeitreihen aufgezeichnet ist, basierend auf der aufgezeichneten Form des Fußgängers in Zeitreihen bestimmt ist, ob eine Geschwindigkeit des Fußgängers beständig ist oder nicht, und das Losstürmen des Fußgängers vorhergesagt ist basierend auf einem Ergebnis der Bestimmung.
Fußgängerbewegungsvorhersagegerät nach Anspruch 1, wobei zumindest eine aus einer Vorwärtsneigungskörperhaltung, einer Oberkörperrichtung, einer Öffnung von Beinen in einer Vorn-Hinten-Richtung, und einer Öffnung der Beine in einer seitlichen Richtung des Fußgängers als die Form des Fußgängers beschafft ist.