DE102007032544A1 - Bewegungszustandsermittlungsvorrichtung - Google Patents

Bewegungszustandsermittlungsvorrichtung Download PDF

Info

Publication number
DE102007032544A1
DE102007032544A1 DE102007032544A DE102007032544A DE102007032544A1 DE 102007032544 A1 DE102007032544 A1 DE 102007032544A1 DE 102007032544 A DE102007032544 A DE 102007032544A DE 102007032544 A DE102007032544 A DE 102007032544A DE 102007032544 A1 DE102007032544 A1 DE 102007032544A1
Authority
DE
Germany
Prior art keywords
image
vehicle
overhead
moving body
overhead image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102007032544A
Other languages
English (en)
Inventor
Toru Kawasaki Ihara
Keiichi Kawasaki Yamamoto
Tomoaki Yokohama Teshima
Hideo Yokohama Saito
Shinji Yokohama Ozawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Fuso Truck and Bus Corp
Keio University
Original Assignee
Mitsubishi Fuso Truck and Bus Corp
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Fuso Truck and Bus Corp, Keio University filed Critical Mitsubishi Fuso Truck and Bus Corp
Publication of DE102007032544A1 publication Critical patent/DE102007032544A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/109Lateral acceleration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/247Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Eine Bewegungszustandsermittlungsvorrichtung erhält ein erstes Überkopfbild (P) anhand eines vogelperspektivischen Bildes, das an einem ersten Bildaufnahmezeitpunkt aufgenommen wurde, und erhält ein zweites Überkopfbild (N), das als derselbe Fahrbahnoberflächenbereich wie der des ersten Überkopfbildes (P) angesehen werden kann, für jede Bewegungsrichtung, die für den sich bewegenden Körper (1) angenommen wird, anhand eines vogelperspektivischen Bildes, das an einem zweiten Bildaufnahmezeitpunkt aufgenommen wurde, der sich von dem ersten Bildaufnahmezeitpunkt um einen zuvor festgelegten Zeitraum unterscheidet. Die Vorrichtung vergleicht einen Ähnlichkeitsgrad zwischen dem ersten Überkopfbild (P) und jedem von mehreren zweiten Überkopfbildern (N), um das zweite Überkopfbild (N) mit dem höchsten Ähnlichkeitsgrad als denselben Fahrbahnoberflächenbereich wie der des ersten Überkopfbildes (P) zu erhalten. Die Vorrichtung erhält die Bewegungsrichtung und einen Lateralverschiebungsbetrag während der Bewegung anhand einer Koordinatenumwandlungsbedingung, auf deren Grundlage das zweite Überkopfbild (N) erhalten wurde.

Description

  • HINTERGRUND DER ERFINDUNG
  • GEBIET DER ERFINDUNG
  • Die vorliegende Erfindung betrifft eine Bewegungszustandsermittlungsvorrichtung, die sich zum Detektieren eines Schlingerkurses eines Fahrzeugs anhand eines Bildes einer Fahrbahn vor dem Fahrzeug in der Fahrtrichtung des Fahrzeugs, das zum Beispiel von einer an dem Fahrzeug angebrachten Kamera aufgenommen wird, eignet.
  • BESCHREIBUNG DES STANDES DER TECHNIK
  • Als eine Technik zum Detektieren eines Schlingerkurses eines Fahrzeugs anhand eines Bildes einer Fahrbahn vor dem Fahrzeug in der Fahrtrichtung des Fahrzeugs, das von einer an dem Fahrzeug angebrachten Kamera aufgenommen wird, wird eine Technik vorgeschlagen, bei der eine auf der Fahrbahn gezogene weiße Linie als Spurmarkierung detektiert wird und die Position des Fahrzeugs anhand von Informationen der weißen Linie erfasst wird. Diese Technik ist zum Beispiel in der japanischen ungeprüften Patentveröffentlichung Nr. 2005-267384 (Patentdokument 1), der japanischen ungeprüften Patentveröffentlichung Nr. 2005-258936 (Patentdokument 2) und der japanischen ungeprüften Patentveröffentlichung Nr. 2005-284339 (Patentdokument 3) offenbart. Des Weiteren wird eine Technik zum Detektieren eines Schläfrigkeitszustandes eines Fahrers anhand des Schlingerkurses des Fahrzeugs und zum Ausgeben eines Alarms zum Verhindern eines Fahrens während eines Schläfrigkeitszustandes vorgeschlagen.
  • Jedoch ist es im Fall des Fahrens auf einer verschneiten Fahrbahn oder auf einer Fahrbahn ohne festen Belag schwierig, eine weiße Linie anhand des Fahrbahnbildes zu detektieren. Weil in diesem Fall die Position einer weißen Linie als ein Index zum Detektieren der Position des Fahrzeugs nicht identifiziert werden kann, kann somit auch ein Schlingerkurs nicht identifiziert werden, was ein Problem darstellt. Insbesondere kann das Bild der Fahrbahn vor dem Fahrzeug in der Fahrtrichtung des Fahrzeugs, das von einer an einem Fahrzeug angebrachten Kamera aufgenommen wird, leicht verändert werden, indem es durch eine Schräglage des Fahrzeugs gestört wird, wie zum Beispiel durch ein Neigen in der Fahrtrichtung des Fahrzeugs (Gierwinkel θ) oder in der Längsrichtung (Längsneigungswinkel φ). Wenn also die weiße Linie als der oben angesprochene Index nicht detektiert werden kann, so wird auch ihre Bildverarbeitung selbst unmöglich.
  • KURZDARSTELLUNG DER ERFINDUNG
  • Die vorliegende Erfindung basiert auf diesem Hintergrund und hat die Aufgabe der Bereitstellung einer Bewegungszustandsermittlungsvorrichtung, die mit Gewissheit den Betrag einer seitlichen Verschiebung (Lateralverschiebung) während der Bewegung eines Fahrzeugs und einen Schlingerkurs des Fahrzeugs detektieren kann, selbst wenn eine Spurmarkierung, wie zum Beispiel eine weiße Linie, nicht anhand eines vogelperspektivischen Bildes detektiert werden kann, das durch Aufnehmen eines Bildes einer Fahrbahnoberfläche vor dem Fahrzeug in der Fahrtrichtung des Fahrzeugs zum Beispiel mit Hilfe einer an einem Fahrzeug montierten Kamera erhalten wird.
  • Um die oben genannte Aufgabe zu erfüllen, beachteten die Autoren der vorliegenden Erfindung den Umstand, dass die Fahrbahnoberfläche, auf der sich ein sich bewegender Körper bewegt, als eine Ebene betrachtet werden kann, und da der Rechenaufwand einer Vergleichsberechnung von Ebenen auf einem Computer gering ist, eignet sie sich für eine Echtzeitverarbeitung.
  • Um die oben genannte Aufgabe zu erfüllen, umfasst eine Bewegungszustandsermittlungsvorrichtung gemäß der vorliegenden Erfindung im Wesentlichen eine Kamera, die an einem sich bewegenden Körper, wie zum Beispiel einem Fahrzeug, montiert ist, um ein Bild einer Fahrbahnoberfläche, auf der sich der sich bewegende Körper bewegt, vorzugsweise einer Fahrbahnoberfläche vor dem Fahrzeug in der Fahrtrichtung des Fahrzeugs, diagonal von oben aufzunehmen, so dass ein vogelperspektivisches Bild erhalten wird, und ein Koordinatenumwandlungsmittel, das die Fahrbahnoberfläche als eine Ebene ansieht und eine Koordinatenumwandlung des vogelperspektivischen Bildes vornimmt, um ein Überkopfbild zu erhalten, das die Fahrbahnoberfläche direkt von oben betrachtet.
  • Insbesondere ist die Bewegungszustandsermittlungsvorrichtung gemäß der vorliegenden Erfindung dadurch gekennzeichnet, dass:
    ein erstes Überkopfbild aus einem ersten vogelperspektivischen Bild, das an einem ersten Bildaufnahmezeitpunkt aufgenommen wurde, erhalten wird; ein zweites vogelperspektivisches Bild an einem zweiten Bildaufnahmezeitpunkt aufgenommen wird, der sich von dem ersten Bildaufnahmezeitpunkt um einen zuvor festgelegten Zeitraum unterscheidet; mehrere Veränderungen des Bewegungszustandes des sich bewegenden Körpers auf der Fahrbahnoberfläche für den zuvor festgelegten Zeitraum angenommen werden; und mehrere zweite Überkopfbilder, die als derselbe Fahrbahnoberflächenbereich wie der des ersten Überkopfbildes angesehen werden können, auf der Grundlage der mehreren angenommenen Änderungen des Bewegungszustandes des sich bewegenden Körpers bzw. des zweiten vogelperspektivischen Bildes erhalten werden [erster Schritt];
    ein Ähnlichkeitsgrad zwischen dem ersten Überkopfbild und jedem der mehreren zweiten Überkopfbilder berechnet wird [zweiter Schritt];
    die Ähnlichkeitsgrade miteinander verglichen werden, so dass das zweite Überkopfbild mit dem höchsten Ähnlichkeitsgrad erhalten wird [dritter Schritt]; und
    die wahrscheinlichste Änderung des Bewegungszustandes des sich bewegenden Körpers aus der angenommenen Änderung des Bewegungszustandes erhalten wird, auf deren Grundlage das zweite Überkopfbild mit dem höchsten Ähnlichkeitsgrad erhalten wird [vierter Schritt].
  • Vorzugsweise wird der Ähnlichkeitsgrad zwischen dem ersten Überkopfbild und dem zweiten Überkopfbild erhalten, indem eine Summe der absoluten Differenz (SAD) zwischen den Überkopfbildern, oder anders ausgedrückt: eine Gesamtsumme der absoluten Werte der Differenzen zwischen entsprechenden Pixeln berechnet wird. Und das zweite Überkopfbild mit dem höchsten Ähnlichkeitsgrad, das heißt dem kleinsten SAD-Wert, der wie oben berechnet wurde, wird erhalten und bezeichnet denselben Fahrbahnoberflächenbereich wie der des ersten Überkopfbildes.
  • Vorzugsweise betrachtet das Koordinatenumwandlungsmittel die Fahrbahnoberfläche, auf der sich der sich bewegende Körper bewegt, als eine Ebene und wandelt das vogelperspektivische Bild mittels einer Homografie H, die eine geometrische Positionsbeziehung zwischen einem Ebenenbild, das durch Aufnehmen eines Bildes der Fahrbahnoberfläche aus einer bestimmten Höhe h bei einer bestimmten Neigung ϕ erhalten wird, und der Fahrbahnoberfläche angibt, in das Überkopfbild um. Die Homografie HP, die zum Erhalten des ersten Überkopfbildes verwendet wird, wird folgendermaßen erhalten, wobei ihre interne Parametermatrix A bekannt ist:
    Figure 00040001
  • Die Homografie HN, die zum Erhalten des zweiten Überkopfbildes verwendet wird, wird folgendermaßen erhalten, wobei eine Bewegungsdistanz des sich bewegenden Körpers während des zuvor festgelegten Zeitraums L ist und seine Bewegungsrichtung ein Gierwinkel θ ist:
    Figure 00040002
  • Das zweite Überkopfbild, das als derselbe Fahrbahnoberflächenbereich wie der des ersten Überkopfbildes in jeder angenommenen Bewegungsrichtung des sich bewegenden Körpers, wie oben angesprochen, angesehen werden kann, wird durch Verändern des Gierwinkels θ erhalten. Die Bewegungsdistanz L des sich bewegenden Körpers während des zuvor festgelegten Zeitraums kann aus der Bewegungsgeschwindigkeit des sich bewegenden Körpers, die durch einen Geschwindigkeitssensor gemessen wird, erhalten werden.
  • Vorzugsweise ist die Bewegungszustandsermittlungsvorrichtung gemäß der vorliegenden Erfindung dadurch gekennzeichnet, dass:
    unter Berücksichtigung einer Neigung (eines Längsneigungswinkels) in der Bewegungsrichtung eines sich bewegenden Körpers (Längsrichtung des Fahrzeugs) anhand des zweiten vogelperspektivischen Bildes, das an dem zweiten Bildaufnahmezeitpunkt aufgenommen wurde, das zweite Überkopfbild, das als derselbe Fahrbahnoberflächenbereich des ersten Überkopfbildes angesehen werden kann, für jede Längsneigung des sich bewegenden Körpers in jeder Bewegungsrichtung des sich bewegenden Körpers, die im Voraus angenommen wurde, erhalten wird [erster Schritt];
    die Ähnlichkeitsgrade zwischen dem ersten Überkopfbild und jedem der mehreren zweiten Überkopfbilder miteinander verglichen werden, um das zweite Überkopfbild mit dem höchsten Ähnlichkeitsgrad zu identifizieren, und die Bewegungsrichtung und die Neigung des sich bewegenden Körpers, auf deren Grundlage das identifizierte zweite Überkopfbild erhalten wird, als die wahrscheinlichste Änderung des Bewegungszustandes des sich bewegenden Körpers bestimmt werden [zweiter bis vierter Schritt].
  • Vorzugsweise wird die Homografie HN zum Erhalten des zweiten Überkopfbildes folgendermaßen erhalten, da unter der Annahme, dass die Längsneigung des sich bewegenden Körpers ein Längsneigungswinkel φ ist, ein Winkel, der zwischen der optischen Bildaufnahmeachse der Kamera und der Fahrbahnoberfläche gebildet wird, als die oben angesprochene Neigung ϕ angegeben wird, die durch den Montagewinkel der Kamera mit Bezug auf den sich bewegenden Körper unter Hinzurechnung des oben angesprochenen Längsneigungswinkels φ bestimmt wird:
    Figure 00060001
  • Entsprechend der Längsneigung des sich bewegenden Körpers in jeder Bewegungsrichtung des sich bewegenden Körpers, die wie oben beschrieben angenommen wird, werden die mehreren zweiten Überkopfbilder, die als derselbe Fahrbahnoberflächenbereich wie der des ersten Überkopfbildes angesehen werden können, durch Verändern des Gierwinkels θ bzw. des Längsneigungswinkels φ erhalten.
  • Gemäß der wie oben beschrieben konfigurierten Bewegungszustandsermittlungsvorrichtung wird die Fahrbahnoberfläche, auf der sich der sich bewegende Körper bewegt, als eine Ebene betrachtet, und ein vogelperspektivisches Bild der Fahrbahnoberfläche, das diagonal von oben aufgenommen wurde, wird einer Koordinatenumwandlung unterzogen, um ein Überkopfbild zu erhalten, das die Fahrbahnoberfläche direkt von oben betrachtet. Infolge dessen können alle Informationen auf dem Überkopfbild gleichmäßig als die Positionsbeziehung auf der Fahrbahnoberfläche erfasst werden, und zwar unabhängig von der Positionsdifferenz auf dem Bild. Das heißt, die Bildinformationen können im gleichen Maßstab ohne Perspektive erfasst werden.
  • Außerdem nimmt die Bewegungszustandsermittlungsvorrichtung das zweite vogelperspektivische Bild an dem zweiten Bildaufnahmezeitpunkt auf, der sich von dem ersten Bildaufnahmezeitpunkt um einen ersten Zeitraum unterscheidet, wobei das erste Überkopfbild durch Koordinatenumwandlung des vogelperspektivischen Bildes, das an dem ersten Bildaufnahmezeitpunkt erhalten wurde, als Referenz erhalten wird. Des Weiteren nimmt die Bewegungszustandsermittlungsvorrichtung mehrere Änderungen des Bewegungszustandes des sich bewegenden Körpers auf der Fahrbahnoberfläche für den zuvor festgelegten Zeitraum an und erhält die mehreren zweiten Überkopfbilder, die als dieselbe Fahrbahnoberfläche wie die des ersten Überkopfbildes angesehen werden können, auf der Grundlage der mehreren angenommenen Änderungen und des zweiten vogelperspektivischen Bildes. Die Bewegungszustandsermittlungsvorrichtung detektiert das zweite Überkopfbild mit dem höchsten Ähnlichkeitsgrad als denselben Fahrbahnoberflächenbereich wie der des ersten Überkopfbildes auf der Grundlage der Ähnlich keitsgrade zwischen jedem der mehreren zweiten Überkopfbilder und dem ersten Überkopfbild. Und die Bewegungszustandsermittlungsvorrichtung extrahiert die angenommene Änderung, auf deren Grundlage das zweite Überkopfbild erhalten wird, unter den mehreren angenommenen Änderungen als die wahrscheinlichste Änderung des Bewegungszustandes des sich bewegenden Körpers mit der höchsten Wahrscheinlichkeit während des zuvor festgelegten Zeitraums.
  • Selbst wenn also ein Index, wie zum Beispiel eine weiße Linie, nicht anhand eines vogelperspektivischen Bildes, das durch Aufnahme eines Bildes der Fahrbahnoberfläche erhalten wird, detektiert werden kann, kann die wahrscheinlichste Änderung des Bewegungszustandes des sich bewegenden Körpers auf einfache und präzise Weise anhand der Informationen der mehreren Fahrbahnoberflächenbilder, die zu unterschiedlichen Bildaufnahmezeitpunkten aufgenommen wurden, detektiert werden. Insbesondere weil das Überkopfbild, das durch Koordinatenumwandlung des vogelperspektivischen Bildes erhalten wird, verwendet wird, wird eine Vergleichsverarbeitung zwischen Bildern, die zu unterschiedlichen Bildaufnahmezeitpunkten aufgenommen wurden, einfacher im Vergleich zu dem Fall, wo das vogelperspektivische Bild verwendet wird. Infolge dessen kann der Aufwand (die Berechnungsmenge) der Vergleichsverarbeitung drastisch verringert werden.
  • Die Fahrbahnoberflächeninformationen werden mit einer Perspektive in dem vogelperspektivischen Bild angezeigt, und ihr Entfernungsmaßstab wird entsprechend der Position in der Längsrichtung des Bildes verändert. Um also einen Bildabgleich zwischen vogelperspektivischen Bildern vorzunehmen, die zu unterschiedlichen Bildaufnahmezeitpunkten aufgenommen wurden, ist eine Verkleinerungs-/Vergrößerungs-Umwandlungsverarbeitung der Bildinformationen entsprechend der Differenz der Bildaufnahmezeitpunkte (der Bewegungsrichtung des sich bewegenden Körpers) erforderlich. Weil darüber hinaus eine Bildkorrektur entsprechend der Verschiebung in der Bewegungsrichtung des sich bewegenden Körpers erforderlich ist, ist eine Zunahme der Berechnungsverarbeitungsmenge unvermeidlich. In dieser Hinsicht kann gemäß der hier besprochenen Vorrichtung die Berechnungsmenge drastisch verringert werden, da das Überkopfbild, das die Fahrbahnoberfläche direkt von oben betrachtet, verwendet wird. Des Weiteren kann die Berechnung beim Erhalten eines Überkopfbildes durch Koordinatenumwandlung eines vogelperspektivischen Bildes auf einfache Weise unter der Annahme ausgeführt werden, dass die optische Achse einer Kamera jederzeit mit der Bewegungsrichtung des sich bewegenden Körpers übereinstimmt, und die Berechnungsmenge kann auch in dieser Hinsicht verringert werden. Infolge dessen kann ein überaus vorteilhafter Effekt bei der Ermittlung eines Lateralverschiebungsbetrages und somit des Vorhandenseins eines Schlingerkurses während der Bewegung eines Fahrzeugs im Wesentlichen in Echtzeit realisiert werden.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist eine schematische Ansicht, die eine Beziehung zwischen einer an einem Fahrzeug montierten Kamera und einer Fahrbahnoberfläche vor dem Fahrzeug in der Fahrtrichtung des Fahrzeugs, die von der Kamera aufgenommen wird, veranschaulicht.
  • 2 ist ein Blockschaubild, das eine Grundkonfiguration einer Bewegungszustandsermittlungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
  • 3 ist ein Blockschaubild, das ein schematisches Verarbeitungsverfahren zur Detektion eines Lateralverschiebungsbetrages durch die in 2 gezeigte Bewegungszustandsermittlungsvorrichtung veranschaulicht.
  • 4 ist eine Ansicht, die ein Konzept der Koordinatenumwandlung zum Erhalten eines Überkopfbildes aus einem vogelperspektivischen Bild veranschaulicht.
  • 5 ist ein Schaubild, das eine Beziehung zwischen einer Ausrichtung der Kamera und der Fahrtrichtung eines Fahrzeugs an einem ersten und einem zweiten Aufnahmezeigpunkt veranschaulicht.
  • 6 ist ein Konzeptschaubild, das einen Prozess zum Ermitteln der Fahrtrichtung des Fahrzeugs mittels einer Ähnlichkeitsgrad-Berechnung zwischen einem ersten Überkopfbild und jedem von mehreren zweiten Überkopfbildern veranschaulicht.
  • 7 ist ein Diagramm, das ein Simulationsergebnis unter Verwendung eines zusam mengesetzten Bildes veranschaulicht.
  • 8A ist ein Diagramm, das ein Versuchsergebnis unter Verwendung eines echten Bildes, das von einem fahrenden Fahrzeug auf einer Autobahn aus aufgenommen wurde, veranschaulicht.
  • 8B ist ein Diagramm, das ein Versuchsergebnis unter Verwendung eines echten Bildes, das von einem fahrenden Fahrzeug auf einer verschneiten Fahrbahn aus aufgenommen wurde, veranschaulicht.
  • 9 ist ein Diagramm, das eine Beziehung eines Lateralverschiebungsbetrages, eines Kurvenbetrages und eines Schlingerkursbetrages veranschaulicht.
  • DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Im Folgenden wird eine Bewegungszustandsermittlungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung unter Bezug auf die angehängten Zeichnungen beschrieben. Genauer gesagt, wird ein Beispiel beschrieben, wobei ein Bild einer Fahrbahn vor dem Fahrzeug in der Fahrtrichtung des Fahrzeugs mittels einer an dem Fahrzeug montierten Kamera aufgenommen wird und ein Betrag einer seitlichen Verschiebung in der Breitenrichtung (der Richtung senkrecht zu der Fahrtrichtung des Fahrzeugs) des Fahrzeugs anhand eines aufgenommenen Fahrbahnbildes detektiert wird.
  • 1 veranschaulicht eine Beziehung zwischen einer an einem Fahrzeug (Lkw) 1 montierten Kamera 2 und einem Bildaufnahmebereich einer Fahrbahn 3 vor dem Fahrzeug in der Fahrtrichtung des Fahrzeugs, der von dieser Kamera 2 aufgenommen wird. Die Kamera 2 ist zum Beispiel an einer Position über einem Fahrersitz in dem Fahrzeug 1 befestigt. Die optische Achse dieser Kamera 2 ist so eingestellt, dass die Fahrbahn 3 in der Fahrtrichtung des Fahrzeugs 1 in einem zuvor festgelegten Winkel diagonal von oben betrachtet wird. Das von der Kamera 2 aufgenommene Bild der Fahrbahn vor dem Fahrzeug in der Fahrtrichtung des Fahrzeugs (Kamerabild) ist ein sogenanntes vogelperspektivisches Bild in Perspektive mit einem Winkel, der durch die optische Achse der Kamera 2 von der Position in einer Höhe h aus und der Oberfläche der Fahrbahn 3 gebildet wird, d. h. mit einer konstanten Neigung 4.
  • 2 zeigt eine Grundkonfiguration der Bewegungszustandsermittlungsvorrichtung. Wie in 2 gezeigt, ist die Bewegungszustandsermittlungsvorrichtung mit einer Koordinatenumwandlungseinheit 4 und einer Lateralverschiebungsbetragsdetektionseinheit 5 ausgerüstet. Die Koordinatenumwandlungseinheit 4 vollführt eine Koordinatenumwandlung, wie später noch beschrieben wird, eines vogelperspektivischen Bildes G, das von der Kamera 2 aufgenommen wird, so dass Überkopfbilder P, N erhalten werden, die direkt von oben auf die Fahrbahn 3 blicken. Die Lateralverschiebungsbetragsdetektionseinheit 5 errechnet einen Ähnlichkeitsgrad zwischen den Überkopfbildern P, N, die aus mehreren vogelperspektivischen Bildern erhalten werden, die an verschiedenen Bildaufnahmezeitpunkten aufgenommen wurden, wie später noch beschrieben wird, um die Fahrtrichtung θ des Fahrzeugs 1 und einen Lateralverschiebungsbetrag W zu detektieren. Genauer gesagt, berechnet die Lateralverschiebungsbetragsdetektionseinheit 5 den Ähnlichkeitsgrad zwischen dem ersten Überkopfbild P an einem Referenzzeitpunkt und jedem von mehreren zweiten Überkopfbildern N, die entsprechend der Fahrtrichtung des Fahrzeugs 1 erhalten wurden. Die Lateralverschiebungsbetragsdetektionseinheit 5 vergleicht die Ähnlichkeitsgrade miteinander, um ein zweites Überkopfbild N zu erhalten, das denselben Fahrbahnoberflächenbereich wie der des ersten Überkopfbildes P zeigt, und detektiert die Fahrtrichtung θ des Fahrzeugs 1 und den Lateralverschiebungsbetrag W anhand von Informationen der Koordinatenumwandlung, mit der das zweite Überkopfbild N erhalten wurde.
  • Wenn ein (nicht gezeigter) Neigungssensor zum Detektieren einer Neigung des Fahrzeugs 1 an dem Fahrzeug 1 montiert ist, so kann eine Neigungswinkelkorrektur für eine Koordinatenumwandlungsgleichung, die in der oben angesprochenen Koordinatenumwandlungseinheit 4 verwendet wird, gemäß einer durch den Sensor detektierten Neigungshaltung ausgeführt werden. Durch Erhalten der Überkopfbilder P, N aus dem oben angesprochenen vogelperspektivischen Bild G mit einer solchen Neigungswinkelkorrektur des Fahrzeugs 1 kann die Umwandlungsgenauigkeit verbessert werden. Darum kann eine genauere Detektion des Lateralverschiebungsbetrages des Fahrzeugs 1 und somit eine genauere Detektion eines Kurvenbetrages und eines Schlingerkursbetrages realisiert werden. Der Lateralverschiebungsbetrag, der Kurvenbetrag und der Schlingerkursbetrag werden später beschrieben.
  • Der durch die Lateralverschiebungsbetragsdetektionseinheit 5 detektierte Lateralverschiebungsbetrag des Fahrzeugs 1 wird in eine Schläfrigkeitsdetektionsvorrichtung 6 eingespeist und zum Beispiel zum Ermitteln eines Schläfrigkeitsgrades eines Fahrers des Fahrzeugs 1 verwendet. Auf eine detaillierte Beschreibung der Schläfrigkeitsdetektionsvorrichtung 6 wird verzichtet, aber die Schläfrigkeitsdetektionsvorrichtung 6 ermittelt (schätzt) einen Konzentrationsverlust des Fahrers beim Fahren anhand des Schlingerkurszustandes des Fahrzeugs 1, und wenn sich der Fahrer schläfrig fühlt, das heißt, wenn detektiert wird, dass die Konzentration des Fahrers nachlässt, so wird ein Alarm ausgegeben. Auch wenn eine Neigung in der Längsrichtung (Längsneigungswinkel) des Fahrzeugs 1 durch die Lateralverschiebungsbetragsdetektionseinheit 5 detektiert wird, wie später noch beschrieben wird, so werden die Neigungsinformationen in eine Scheinwerferhöhensteuervorrichtung 7 eingespeist und für eine Winkelsteuerung der Beleuchtungsrichtung eines (nicht gezeigten) Scheinwerfers verwendet, das heißt, für eine automatische Verstellung eines Aufwärtswinkels des Scheinwerfers.
  • 3 zeigt ein schematisches Verarbeitungsverfahren zur Detektion eines Lateralverschiebungsbetrages durch die Bewegungszustandsermittlungsvorrichtung, die im Wesentlichen die Koordinatenumwandlungseinheit 4 und die Lateralverschiebungsbetragsdetektionseinheit 5, wie oben angesprochen, umfasst. In dieser Bewegungszustandsermittlungsvorrichtung werden aus einem Vollbild (vogelperspektivischen Bild) der Kamera 2, die kontinuierlich Fahrbahnbilder zum Beispiel mit einer Vollbildfrequenz von 1/30 Sekunde aufnimmt, Vollbilder (vogelperspektivische Bilder) an einem ersten Bildaufnahmezeitpunkt, die als Referenz für die Lateralverschiebungsbetragsdetektion dienen, bzw. an einem zweiten Bildaufnahmezeitpunkt, der um einen vorgegebenen Zeitraum auf den ersten Bildaufnahmezeitpunkt folgt, gewonnen. Genauer gesagt, werden ein momentanes Vollbild und ein darauffolgendes Vollbild als ein Vollbild an einem ersten bzw. an einem zweiten Bildaufnahmezeitpunkt aufgenommen. Die Bewegungszustandsermittlungsvorrichtung erhält ein erstes Überkopfbild P und ein zweites Überkopfbild N aus dem momentanen Vollbild und dem darauffolgenden Vollbild.
  • Das Erzeugen des ersten Überkopfbildes P aus dem momentanen Vollbild erfolgt durch Koordinatenumwandlung des momentanen Vollbildes (vogelperspektivischen Bildes) gemäß einer Homografie HP, die eine Beziehung zwischen dem vogelperspektivischen Bild und dem Überkopfbild zeigt [Schritt S1]. Die Homografie H wird durch die oben angesprochene Montagehöhe h der Kamera 2 und eine Neigung ϕ mit der auf die Fahrbahn geblickt wird (ein Winkel, der durch die optische Achse der Kamera 2 und die Fahrbahnoberfläche gebildet wird), bestimmt und durch die folgende Gleichung (1) dargestellt:
    Figure 00120001
  • Die Homografie HP ist eine Matrix, die eine Eins-zu-eins-Entsprechung von Koordinaten, die zwischen zwei Ebenen erhalten werden, oder ihre Beziehung darstellt. Wenn also die Fahrbahn 3 als eine Ebene betrachtet wird, wie in 4 gezeigt, so kann die Fahrbahnoberfläche durch Homografie HP als ein Bild aufgenommen werden, das auf eine Bildebene projiziert wird, die einem Kamerabild entspricht. Wenn also eine geometrische Positionsbeziehung zwischen diesen beiden Ebenen im Voraus als Homografie HP erhalten wird, so kann ohne Weiteres ein Überkopfbild, das ein Ebenenbild der Fahrbahn 3 zeigt, aus einem Vollbild (vogelperspektivischem Bild) mittels der Homografie HP gewonnen werden.
  • Des Weiteren wird eine Erzeugung des zweiten Überkopfbildes N aus dem nachfolgenden Vollbild durch Koordinatenumwandlung des nachfolgenden Vollbildes entsprechend einer Homografie HN ausgeführt [Schritt S2). Neben der oben angesprochenen Kameramontagehöhe h und der Neigung ϕ mit der auf die Fahrbahn geblickt wird (ein Winkel, der durch die optische Achse der Kamera 2 und die Fahrbahnoberfläche gebildet wird), wird die Homografie HN durch eine Distanz L, um die sich das Fahrzeug 1 in einer Zeitdifferenz (einem zuvor festgelegten Zeitraum) zwischen dem momentanen Vollbild und dem nachfolgenden Vollbild bewegt, und die im Voraus angenomme ne Fahrtrichtung des Fahrzeugs 1, genauer gesagt, ein Gierwinkel θ, der die Fahrtrichtung des Fahrzeugs 1 anzeigt, bestimmt und durch die folgende Gleichung (2) dargestellt:
    Figure 00130001
  • Die Distanz L, um die sich das Fahrzeug 1 bewegt, wird aus einer Fahrzeuggeschwindigkeit V, die durch einen (nicht gezeigten) Geschwindigkeitssensor detektiert wird, und eine Zeitdifferenz (einen zuvor festgelegten Zeitraum) zwischen den oben angesprochenen Vollbildern gewonnen. Hier wird angenommen, dass das Fahrzeug 1 auf einer Ebene fährt und die Höhe h der Kamera 2 unverändert bleibt. Des Weiteren wird angenommen, dass eine Rotation der Kamera 2 integral mit einer Änderung der Richtung des Fahrzeugs 2 erzeugt wird und dass ihre optische Achse mit der Bewegungsrichtung, die durch die Richtung des Fahrzeugs 1 angezeigt wird, jederzeit übereinstimmt. Des Weiteren wird die Fahrtrichtung (der Gierwinkel θ) des Fahrzeugs 1 angenommen, indem mehrere Gierwinkel θ, die zum Beispiel jeweils auf einen zuvor festgelegten Winkel eingestellt sind, als die Richtung des Fahrzeugs (Ausrichtung der Kamera 2) verwendet werden, die sich in der Zeitdifferenz (dem zuvor festgelegten Zeitraum) ändern kann. Darum wird das zweite Überkopfbild N in mehrfacher Ausführung entsprechend den angenommenen Richtungen des Fahrzeugs (Gierwinkel θ) als sein in 6 gezeigtes Konzept erhalten.
  • Der Ähnlichkeitsgrad zwischen jedem dieser mehreren zweiten Überkopfbilder N–n, ..., N0, ..., N+n und dem ersten Überkopfbild P wird zum Beispiel als eine Summe eines absoluten Differenzwertes (SAD) zwischen den Bildern berechnet [Schritt S3]. Des Weiteren wird durch Vergleichen dieser Ähnlichkeitsgrade (SAD-Wert) miteinander das zweite Überkopfbild NK mit dem höchsten Ähnlichkeitsgrad, das heißt, das zweite Überkopfbild NK mit dem kleinsten SAD-Wert, erhalten, das denselben Fahrbahnoberflächenbereich wie der des oben erwähnten ersten Überkopfbildes P anzeigt [Schritt 4].
  • Das heißt, wenn die Richtung des Fahrzeugs 1, das sich um die Distanz L bewegt hat, mit der wie oben angenommenen Richtung des Fahrzeugs 1 übereinstimmt, so werden der Fahrbahnoberflächenbereich des zweiten Überkopfbildes N, das durch Koordinatenumwandlung auf der Grundlage des Gierwinkels θ (Richtung des Fahrzeugs 1) erhalten wurde, und der Fahrbahnoberflächenbereich des ersten Überkopfbildes P einander gleich. Wenn jedoch die angenommene Richtung des Fahrzeugs 1 von der tatsächlichen Richtung des Fahrzeugs 1 abweicht, so wird der Fahrbahnoberflächenbereich des zweiten Überkopfbildes N, das für die angenommene Richtung erhalten wurde, im Vergleich zu dem Fahrbahnoberflächenbereich des ersten Überkopfbildes P in der Breitenrichtung verschoben. In dem Maße, wie sich der Winkel zwischen der angenommenen Richtung des Fahrzeugs 1 und der tatsächlichen Richtung des Fahrzeugs 1 vergrößert, wird die Differenz zwischen den Fahrbahnoberflächenbereichen größer, und Unterschied zwischen den Überkopfbildern ist erheblich.
  • Darum kann durch Erhalten des zweiten Überkopfbildes NK mit dem höchsten Ähnlichkeitsgrad in Bezug auf das erste Überkopfbild P die Richtung des Fahrzeugs 1 präzise aus der Koordinatenumwandlungsbedingung erhalten werden, die für die Erzeugung des zweiten Überkopfbildes NK verwendet wird, das heißt, dem Gierwinkel θ, der in die oben erwähnte Homografie HN eingebunden wird. Wenn die Richtung des Fahrzeugs 1 (Gierwinkel θ) auf diese Weise erhalten wurde, so kann ein Verschiebungsbetrag W in der Breitenrichtung des Fahrzeugs 1, nachdem sich das Fahrzeug 1 in dieser Richtung um die Distanz L bewegt hat, zum Beispiel als W = L·sinθ berechnet werden [Schritt S5].
  • Auf diese Weise erhält die Bewegungszustandsermittlungsvorrichtung die Richtung des Fahrzeugs 1 (Gierwinkel θ), wie oben beschrieben, anhand des Ähnlichkeitsgrades zwischen den ersten und zweiten Überkopfbildern P, N, nachdem sich das Fahrzeug 1 um die Distanz L bewegt hat, und erhält des Weiteren seinen Lateralverschiebungsbetrag W. Gemäß der Bewegungszustandsermittlungsvorrichtung kann selbst dann, wenn ein Index, wie zum Beispiel eine weiße Linie, nicht aus einem Kamerabild (vogelperspektivische Ansicht), das durch eine Aufnahme der Fahrbahn 3 erhalten wurde, detektiert werden kann, das heißt, selbst im Fall zum Beispiel des Fahrens auf einer verschneiten Fahrbahn oder einer Fahrbahn ohne festen Belag, der Lateralverschiebungsbetrag des Fahrzeugs 1 präzise anhand von Vollbildinformationen detektiert werden, die durch das Fahrbahnbild auf der Grundlage des Gierwinkels θ des Fahrzeugs 1 bereitgestellt werden. Weil es also nicht erforderlich ist, den Index, wie zum Beispiel eine weiße Linie, aus dem Kamerabild zu detektieren, kann eine Steuerung unter Nutzung des Lateralverschiebungsbetrages des Fahrzeugs 1 jederzeit auf eine stabile Weise ausgeführt werden, ohne durch die Fahrbahnverhältnisse beeinträchtigt zu werden.
  • Durch Extrahieren einer zuvor festgelegten Niederfrequenzkomponente aus dem Lateralverschiebungsbetrag W, der zum Beispiel so detektiert wird, wie in der oberen Spalte in 9 gezeigt, kann ein Kurvenbetrag der Fahrbahn, auf der sich das Fahrzeug 1 bewegt, erhalten werden, wie in der mittleren Spalte in 9 gezeigt. Auf der Grundlage des Kurvenbetrages kann die optische Achse des Scheinwerfers des Fahrzeugs 1 in der Rechts-/Links-Richtung entsprechend dem Kurvenbetrag gesteuert werden. Des Weiteren kann durch Extrahieren einer zuvor festgelegten Hochfrequenzkomponente aus dem Lateralverschiebungsbetrag W ein Schlingerkursbetrag des Fahrzeugs 1 erhalten werden, wie in der unteren Spalte in 9 gezeigt. Auf der Grundlage des Schlingerkursbetrages kann ein Konzentrationsverlust des Fahrers des Fahrzeugs 1 (Schläfrigkeit) detektiert werden, und es kann ein Alarm ausgegeben werden, wenn der Konzentrationsverlust eintritt.
  • 7 zeigt ein Simulationsergebnis einer Lateralverschiebungsdetektion durch die Vorrichtung, wobei die Montagehöhe h der Kamera 2 2,0 m beträgt und ihre Neigung 8,21° beträgt und wobei ein mittels Computergrafik erzeugtes zusammengesetztes Bild verwendet wird. In 7 zeigt eine Kurve A ein im Voraus eingestelltes Schlingerkursmuster; B1 zeigt ein Schlingerkursdetektionsergebnis, das aus dem zusammengesetzten Bild gewonnen wurde, das eine Fahrbahnoberfläche bildet, auf das eine Textur eines unebenen Musters angewendet wird; B2 zeigt ein Schlingerkursdetektionsergebnis, das aus einem zusammengesetzten Bild gewonnen wurde, das durch Hinzufügen einer Leitplanke zur Fahrbahnoberfläche erhalten wurde; und B3 zeigt ein Schlingerkursdetektionsergebnis, das aus einem zusammengesetzten Bild gewonnen wurde, das durch Hinzufügen einer weißen Linie und einer Leitplanke zur Fahrbahnoberfläche erhalten wurde.
  • Gemäß diesen Versuchsergebnissen wird in dem Maße, wie seit dem Erhalten eines Referenzvollbildes mehr Zeit verstreicht, die Differenz zwischen einem Schlingerkursdetektionsergebnis und einem im Voraus eingestellten Schlingerkursmuster A größer; aber es ist festgestellt worden, dass der Lateralverschiebungsbetrag (Kurvenbetrag, Schlingerkursbetrag) unabhängig von dem Vorhandensein einer weißen Linie oder einer Leitplanke in dem zusammengesetzten Bild präzise detektiert werden kann. Als Grund für die Zunahme der Differenz zwischen dem Schlingerkursdetektionsergebnis und dem Schlingerkursmuster A wird angenommen, dass sich in dem Maße, wie mehr Zeit seit dem Erhalt eines Referenzvollbildes verstreicht, beim Fahren des Fahrzeugs 1 ein Positionsunterschied (ein Fehler infolge von niederfrequentem Rauschen) zwischen dem ersten Überkopfbild und dem zweiten Überkopfbild akkumuliert.
  • Darum kann im Fall des Vollbildes mit der Vollbildfrequenz von 1/30 Sekunde der Lateralverschiebungsbetrag zum Beispiel mit einer Genauigkeit von 1,2 mm oder weniger je Vollbild (0,7 nun im Standard) detektiert werden. Darum kann durch Einstellen eines Zeitunterschiedes zwischen einer Aufnahmezeit eines Vollbildes zum Erhalten des ersten Überkopfbildes und einer Aufnahmezeit eines Vollbildes zum Erhalten des zweiten Überkopfbildes auf ungefähr 300 Vollbilder (10 Sekunden) der Lateralverschiebungsbetrag des Fahrzeugs 1 mit einer Genauigkeit in einem Bereich detektiert werden, die in der Praxis keinerlei Probleme verursacht. Des Weiteren verursacht bei der Schlingerkursdetektion ein oben angesprochener Detektionsfehler beim Verschiebungsbetrag in der Realität kaum Probleme, da hauptsächlich die Amplitude einer seitlichen Verschiebung beurteilt wird. Wenn jedoch ein niederfrequentes Rauschen, das für die Zunahme der Differenz zwischen dem Schlingerkursdetektionsergebnis und dem Schlingerkursmuster A verantwortlich ist, ausgeschaltet werden soll, so können Maßnahmen ergriffen werden, wie zum Beispiel die Verwendung eines Frequenzbandfilters oder eine Verkleinerung der Beurteilungssektion.
  • Die 8A und 8B zeigen Versuchsergebnisse, die ein echtes Bild verwenden, das durch die an dem Fahrzeug 1 montierte Kamera 2 aufgenommen wurde. 8A zeigt ein herkömmliches Schlingerkursbetragsdetektionsergebnis (Strichlinie Y) unter Verwendung einer weißen Linie, das anhand eines Kamerabildes während einer Autobahnfahrt erhalten wurde, und zum Vergleich Schlingerkursdetektionsergebnis (durchgezogene Linie X) durch diese Vorrichtung. 8B zeigt ein Schlingerkursde tektionsergebnis, das durch diese Vorrichtung anhand eines Kamerabildes während einer Geradeausfahrt auf einer verschneiten Fahrbahn erhalten wurde. Anhand des Versuchsergebnisses auf der Autobahn weist der durch die Vorrichtung detektierte Lateralverschiebungsbetrag einen durchschnittlichen Fehler von 207 mm und eine Standardabweichung von 158 mm im Vergleich zu der Lateralverschiebungsdetektion unter Verwendung einer weißen Linie auf, aber der detektierte Wert ist ungefähr nahe einem wahren Wert im Hinblick auf die Nachführung einer horizontalen Position. Des Weiteren wird anhand des Versuchsergebnisses auf einer verschneiten Fahrbahn eine Position des Fahrzeugs 1, die als Geradeausfahrt betrachtet werden kann, im Wesentlichen als günstig eingeschätzt, und sein durchschnittlicher Fehler beträgt 335 mm, und seine Standardabweichung beträgt 231 mm. Darum kann anhand dieses Versuchsergebnisses die Brauchbarkeit dieser Vorrichtung in hinreichendem Umfang bestätigt werden.
  • In der oben angesprochenen Verarbeitung wird praktisch der Ähnlichkeitsgrad zwischen dem zweiten Überkopfbild N, das für einen angenommenen Gierwinkel θ erhalten wurde, und dem ersten Überkopfbild P beurteilt, und diese Beurteilung der Ähnlichkeit wird mit geändertem angenommenem Gierwinkel θ wiederholt. Somit kann durch Ändern einer variablen Breite des Gierwinkels θ und eines variablen Betrages Δθ der Berechnungsaufwand (die Berechnungsverarbeitungszeit je Vollbild) verringert werden.
  • Insbesondere weil ein Lenkwinkel eines Lenkrades bei einer Autobahnfahrt klein ist, kann die variable Breite des Gierwinkels θ (Suchbreite von θ) schmaler gehalten werden. Die folgende Tabelle zeigt ein Beispiel der Berechnungsverarbeitungszeit je Vollbild, wenn die variable Breite des Gierwinkels θ und der variable Betrag Δθ geändert werden:
    Δθ 0,1° 0,05° 0,025°
    –0,5° ≤ θ ≤ 0,5° 0,18 s 0,25 s 0,29 s
    –1,0° ≤ θ ≤ 1,0° 0,32 s 0,52 s -
    –2,0° ≤ θ ≤ 2,0° 0,61 s 1,85 s -
    –5,0° ≤ θ ≤ 5,0° - 2,41 s -
  • Wenn darum zum Beispiel bei einer Autobahnfahrt die Fahrtrichtung (Gierwinkel θ) des Fahrzeugs 1 mit [Δθ = 0,05°] in einem Bereich von [–0,5° ≤ θ ≤ 0,5°] gesucht wird und man bedenkt, dass der Lenkwinkel des Lenkrades klein ist, so beträgt die Berechnungsverarbeitungszeit [0,25 Sekunden] je Vollbild. Infolge dessen wird es möglich, einen Lateralverschiebungsbetrag und damit einen Schlingerkurs des Fahrzeugs 1 im Wesentlichen verzögerungsfrei zu detektieren. Insbesondere in dem Fall, wo der Ähnlichkeitsgrad zwischen den Vollbildern (vogelperspektivisches Bild) direkt berechnet wird, wird eine lange Verarbeitungszeit zur Bildkorrektur benötigt, wenn man die Bewegungsdistanz L des Fahrzeugs 1 zwischen Vollbildern bedenkt. Darum ist die Lateralverschiebungsbetragsdetektion durch diese Vorrichtung im Hinblick auf den Verarbeitungsaufwand (Rechenzeit) absolut hervorragend.
  • In der obigen Erläuterung wird die Richtung des Fahrzeugs 1 (Gierwinkel θ) gesucht, indem die Richtung des Fahrzeugs 1 (Gierwinkel θ) nach einem zuvor festgelegten Zeitraum angenommen wird und das zweite Überkopfbild N erhalten wird, aber ein Längsneigungswinkel φ, der die Längsneigung des Fahrzeugs 1 darstellt, kann zur selben Zeit gesucht werden. In diesem Fall wird die Richtung des Fahrzeugs 1 (Gierwinkel θ) nach dem zuvor festgelegten Zeitraum angenommen, und gleichzeitig wird sein Längsneigungswinkel φ angenommen, und die zweiten Überkopfbilder gemäß der Kombination des angenommenen Gierwinkels θ und des Längsneigungswinkels φ können jeweils erhalten werden. In diesem Fall ist ein Winkel, der durch die optischen Bildaufnahmeachse der Kamera 2 und die Fahrbahnoberfläche gebildet wird, durch die oben angesprochene Neigung ϕ gegeben, die durch den Montagewinkel der Kamera 2 mit dem hinzugerechneten Längsneigungswinkel φ bestimmt wird. Darum kann die Homografie HN, die das zweite Überkopfbild erzeugt, wie in der folgenden Gleichung (3) erhalten werden:
    Figure 00180001
  • Durch Berechnen des Ähnlichkeitsgrades (SAD-Wertes) zwischen jedem der mehreren zweiten Überkopfbilder N, die durch die Homografie HN in der obigen Gleichung (3) erhalten werden, und dem ersten Überkopfbild P und durch Erhalten des zweiten Überkopfbildes N mit dem höchsten Ähnlichkeitsgrad und Anzeigen desselben Fahrbahnoberflächenbereichs wie der des ersten Überkopfbildes P können der Gierwinkel θ, der die Richtung des Fahrzeugs 1 anzeigt, bzw. der Längsneigungswinkel φ, der die Neigung des Fahrzeugs 1 anzeigt, aus der oben angesprochenen Homografie HN erhalten werden, die die Koordinatenumwandlungsbedingung zum Erhalten des zweiten Überkopfbildes N mit dem höchsten Ähnlichkeitsgrad darstellt. Darum kann durch Erhalten einer durchschnittlichen Neigung des Fahrzeugs 1 anhand des wie oben erhaltenen Längsneigungswinkels φ der wahre Neigungswinkel (Längsneigungswinkel φ) in der Längsrichtung des Fahrzeugs 1 geschätzt werden, ohne einen exklusiven Längsneigungswinkelsensor einzubauen. Dadurch werden Informationen zum Neigungswinkel (Längsneigungswinkel φ) in der Längsrichtung des Fahrzeugs 1 zum Beispiel in die Scheinwerferhöhensteuervorrichtung 7, die in das Fahrzeug 1 integriert ist, eingespeist, so dass die Beleuchtungsrichtung des (nicht gezeigten) Scheinwerfers, das heißt ein Aufwärtswinkel, automatisch justiert werden kann. Insbesondere wenn das Fahrzeug 1 ein Lkw ist, können, da die Fahrzeugneigung (Neigung in der Längsrichtung) durch das Frachtgewicht verändert wird, die Informationen zum Neigungswinkel (Längsneigungswinkel φ) effektiv zur Steuerung durch die Scheinwerferhöhensteuervorrichtung 7 genutzt werden.
  • Die vorliegende Erfindung ist nicht auf die oben beschriebene Ausführungsform beschränkt. Zum Beispiel können die variable Breite des Gierwinkels θ und ihres variablen Betrages Δθ entsprechend den Fahrbedingungen oder dergleichen des Fahrzeugs 1 geändert werden oder entsprechend einer Bildauflösung der Kamera 1 bestimmt werden. Des Weiteren ist die Schlingerkursdetektion des Fahrzeugs (Lkw) 1 hier als ein Beispiel erläutert, doch sie kann auch in einen allgemeinen Personenkraftwagen integriert werden oder kann zur Schlingerkursdetektion eines automatisch arbeitenden Roboters verwendet werden. Darüber hinaus versteht es sich von selbst, dass der Lateralverschiebungsbetrag gleichermaßen nicht anhand des Bildes der Fahrbahn vor dem Fahrzeug in der Fahrtrichtung des Fahrzeugs detektiert zu werden braucht, sondern auch anhand des Bildes der Fahrbahn hinter dem Fahrzeug in der Fahrtrichtung des Fahrzeugs detektiert werden kann. Die vorliegende Erfindung kann mit verschiedenen Veränderungen innerhalb eines Bereiches, der nicht von ihrem Wesensgehalt abweicht, realisiert werden.
  • Nachdem die Erfindung nun in dieser Weise beschrieben wurde, ist offenkundig, dass sie auf vielfältige Weise variiert werden kann. Derartige Variationen sind nicht als ein Abweichen vom Geist und Geltungsbereich der Erfindung zu betrachten, und alle derartigen Modifikationen, die für den Fachmann offenkundig sind, sollen innerhalb des Geltungsbereichs der folgenden Ansprüche erfasst sein.

Claims (9)

  1. Bewegungszustandsermittlungsvorrichtung, die dadurch gekennzeichnet ist, dass sie Folgendes umfasst: eine Kamera (2), die an einem sich bewegenden Körper (1) montiert ist, zum Erhalten eines vogelperspektivisches Bildes durch Aufnehmen einer Fahrbahnoberfläche, auf der sich der sich bewegende Körper (1) bewegt, diagonal von oben ein Koordinatenumwandlungsmittel (4), das dafür konfiguriert ist, eine Koordinatenumwandlung des vogelperspektivischen Bildes vorzunehmen, um ein Überkopfbild zu erhalten, das die Fahrbahnoberfläche direkt von oben betrachtet; ein Vogelperspektivbilderzeugungsmittel, das dafür konfiguriert ist, ein erstes vogelperspektivisches Bild zu erzeugen, das durch die Kamera (2) an einem ersten Bildaufnahmezeitpunkt aufgenommen wurde, und ein zweites vogelperspektivisches Bild zu erzeugen, das durch die Kamera (2) an einem zweiten Bildaufnahmezeitpunkt aufgenommen wurde, der sich von dem ersten Bildaufnahmezeitpunkt um einen zuvor festgelegten Zeitraum unterscheidet; ein Überkopfbilderzeugungsmittel, das ein erstes Überkopfbild anhand des ersten vogelperspektivischen Bildes unter Verwendung des Koordinatenumwandlungsmittels (4) erzeugt, mehrere Veränderungen des Bewegungszustandes des sich bewegenden Körpers (1) auf der Fahrbahnoberfläche während des zuvor festgelegten Zeitraums annimmt und mehrere zweite Überkopfbilder, die als derselbe Fahrbahnoberflächenbereich wie der des ersten Überkopfbildes angesehen werden können, auf der Grundlage der mehreren angenommenen Änderungen des Bewegungszustandes des sich bewegenden Körpers (1) und des zweiten vogelperspektivischen Bildes erzeugt; und ein Bewegungszustandsänderungsberechnungsmittel (5), das einen Ähnlichkeitsgrad zwischen dem ersten Überkopfbild und jedem der mehreren zweiten Überkopfbilder berechnet und die Ähnlichkeitsgrade miteinander vergleicht, um eine wahrscheinlichste Änderung des Bewegungszustandes des sich bewegenden Körpers (1) aus der angenommenen Änderung zu erhalten, auf deren Grundlage das zweite Überkopfbild mit dem höchsten Ähnlichkeitsgrad erhalten wird.
  2. Bewegungszustandsermittlungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass: der Ähnlichkeitsgrad zwischen dem ersten Überkopfbild und dem zweiten Überkopfbild erhalten wird, indem eine Summe absoluter Werte einer Differenz zwischen den Überkopfbildern berechnet wird, und das zweite Überkopfbild mit dem höchsten Ähnlichkeitsgrad in Bezug auf das erste Überkopfbild das zweite Überkopfbild mit dem kleinsten Wert der Summe des absoluten Wertes der Differenzen ist.
  3. Bewegungszustandsermittlungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass: das Koordinatenumwandlungsmittel (4) die Fahrbahnoberfläche, auf der sich der sich bewegende Körper (1) bewegt, als eine Ebene betrachtet und das vogelperspektivische Bild unter Verwendung einer Homografie H, die eine geometrische Positionsbeziehung zwischen einem Kamerabild, das durch Aufnehmen eines Bildes der Fahrbahnoberfläche bei einer bestimmten Neigung ϕ aus einer bestimmten Höhe h erhalten wird, und der Fahrbahnoberfläche angibt, in das Überkopfbild umwandelt, wobei die Homografie HP, die zum Erhalten des ersten Überkopfbildes verwendet wird, und die Homografie HN, die zum Erhalten des zweiten Überkopfbildes verwendet wird, durch die folgende Gleichung erhalten werden, wobei eine Bewegungsdistanz des sich bewegenden Körpers (1) während des zuvor festgeleg ten Zeitraums L ist und eine Bewegungsrichtung des sich bewegenden Körpers (1) ein Gierwinkel θ ist, wenn ihre interne Parametermatrix A bekannt ist:
    Figure 00230001
  4. Bewegungszustandsermittlungsvorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass: die Bewegungsdistanz L des sich bewegenden Körpers (1) während des zuvor festgelegten Zeitraums aus einer Bewegungsgeschwindigkeit des sich bewegenden Körpers (1), die durch einen Geschwindigkeitssensor gemessen wird, erhalten wird.
  5. Bewegungszustandsermittlungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass: das Überkopfbilderzeugungsmittel anhand des zweiten vogelperspektivischen Bildes das zweite Überkopfbild erhält, das als derselbe Fahrbahnoberflächenbereich wie der des ersten Überkopfbildes für jede Neigung in der Längsrichtung des sich bewegenden Körpers (1) in jeder im Voraus angenommenen Bewegungsrichtung des sich bewegenden Körpers (1) angesehen werden kann, und das Bewegungszustandsberechnungsmittel (5) die Ähnlichkeitsgrade zwischen dem ersten Überkopfbild und jedem der mehreren zweiten Überkopfbilder miteinander vergleicht, um das zweite Überkopfbild mit dem höchsten Ähnlichkeitsgrad zu identifizieren, und die Bewegungsrichtung und die Neigung des sich bewegenden Körpers (1), auf deren Grundlage das identifizierte zweite Überkopfbild erhalten wird, als die wahrscheinlichste Änderung des Bewegungszustandes des sich bewegenden Körpers (1) bestimmt.
  6. Bewegungszustandsermittlungsvorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass: die Homografie HN, die zum Erhalten des zweiten Überkopfbildes verwendet wird, durch die folgende Formel erhalten wird, wobei die Neigung des sich bewegenden Körpers (1) in der Längsrichtung ein Längsneigungswinkel φ ist:
    Figure 00240001
  7. Bewegungszustandsermittlungsvorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass: der sich bewegende Körper ein Fahrzeug (1) ist, die Kamera (2) ein Bild einer Fahrbahn vor dem Fahrzeug in der Fahrtrichtung des Fahrzeugs (1) aufnimmt, und dass die Bewegungszustandsermittlungsvorrichtung des Weiteren ein Lateralverschiebungsbetragsberechnungsmittel (5) umfasst, das dafür konfiguriert ist, einen Lateralverschiebungsbetrag in Bezug auf die Fahrtrichtung des Fahrzeugs (1) auf der Grundlage der wahrscheinlichsten Änderung des Bewegungszustandes des Fahrzeugs (1), die durch das Bewegungszustandsberechnungsmittel erhalten wurde, zu berechnen, wobei die Bewegungszustandsermittlungsvorrichtung den Lateralverschiebungsbetrag, der einem Konzentrationsverlust eines Fahrers des Fahrzeugs (1) entspricht, aus dem Lateralverschiebungsbetrag extrahiert, der durch das Lateralverschiebungsbetragsberechnungsmittel (5) berechnet wurde, und den extra hierten Lateralverschiebungsbetrag zum Detektieren des Schlingerkurses eines Fahrzeugs (1) verwendet.
  8. Bewegungszustandsermittlungsvorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass: der sich bewegende Körper ein Fahrzeug (1) ist, und dass die Bewegungszustandsermittlungsvorrichtung des Weiteren ein Beleuchtungsrichtungsjustiermittel (7) umfasst, das dafür konfiguriert ist, eine Beleuchtungsrichtung eines Scheinwerfers des Fahrzeugs (1) auf der Grundlage des Längsneigungswinkels φ zu justieren.
  9. Bewegungszustandsermittlungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass: der sich bewegende Körper ein Fahrzeug (1) ist, und die Bewegungszustandsermittlungsvorrichtung des Weiteren Folgendes umfasst: ein Lateralverschiebungsbetragsberechnungsmittel (5), das dafür konfiguriert ist, einen Lateralverschiebungsbetrag in Bezug auf die Fahrtrichtung des Fahrzeugs (1) auf der Grundlage der wahrscheinlichsten Änderung des Bewegungszustandes des Fahrzeugs (1), die durch das Bewegungszustandsberechnungsmittel erhalten wurde, zu berechnen, wobei das Lateralverschiebungsbetragsberechnungsmittel (5) den Lateralverschiebungsbetrag, der einer Kurve einer Fahrbahn entspricht, auf der sich das Fahrzeug (1) bewegt, anhand der zeitlichen Änderung des Lateralverschiebungsbetrages extrahiert und die Richtung der Kurve anhand des extrahierten Lateralverschiebungsbetrages schätzt; und ein Beleuchtungsrichtungsjustiermittel (7), das dafür konfiguriert ist, eine Beleuchtungsrichtung eines Scheinwerfers des Fahrzeugs (1) auf der Grundlage der Kurve, die durch das Lateralverschiebungsbetragsberechnungsmittel (5) geschätzt wurde, zu justieren.
DE102007032544A 2006-07-13 2007-07-12 Bewegungszustandsermittlungsvorrichtung Withdrawn DE102007032544A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-192812 2006-07-13
JP2006192812A JP4868964B2 (ja) 2006-07-13 2006-07-13 走行状態判定装置

Publications (1)

Publication Number Publication Date
DE102007032544A1 true DE102007032544A1 (de) 2008-03-27

Family

ID=38949299

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102007032544A Withdrawn DE102007032544A1 (de) 2006-07-13 2007-07-12 Bewegungszustandsermittlungsvorrichtung

Country Status (3)

Country Link
US (1) US7965871B2 (de)
JP (1) JP4868964B2 (de)
DE (1) DE102007032544A1 (de)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7869621B1 (en) * 2007-06-07 2011-01-11 Aydin Arpa Method and apparatus for interpreting images in temporal or spatial domains
JP4902575B2 (ja) * 2008-02-27 2012-03-21 日立オートモティブシステムズ株式会社 道路標示認識装置、および道路標示認識方法
JP4874280B2 (ja) * 2008-03-19 2012-02-15 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
US8155802B1 (en) * 2008-07-11 2012-04-10 Lockheed Martin Corporation Optical flow navigation system
JP4831374B2 (ja) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
US9321591B2 (en) 2009-04-10 2016-04-26 Symbotic, LLC Autonomous transports for storage and retrieval systems
TWI615337B (zh) 2009-04-10 2018-02-21 辛波提克有限責任公司 自動化貨箱儲存系統及處理被建構成托板化負荷以在儲存設施往返運送的貨箱之方法
TW201043507A (en) * 2009-06-05 2010-12-16 Automotive Res & Testing Ct Method for detection of tilting of automobile and headlamp automatic horizontal system using such a method
EP2290633B1 (de) 2009-08-31 2015-11-04 Accenture Global Services Limited Computerimplementiertes Verfahren zur Gewährleistung der Privatsphäre eines Benutzers, Computerprogramm und Vorrichtung
JP5600954B2 (ja) * 2010-02-10 2014-10-08 セイコーエプソン株式会社 検査システム、その方法及びプログラム
KR101219730B1 (ko) * 2010-10-29 2013-01-08 재단법인대구경북과학기술원 카메라를 이용한 운전 부주의 경보 방법 및 장치
US8965619B2 (en) 2010-12-15 2015-02-24 Symbotic, LLC Bot having high speed stability
US8696010B2 (en) 2010-12-15 2014-04-15 Symbotic, LLC Suspension system for autonomous transports
US9499338B2 (en) 2010-12-15 2016-11-22 Symbotic, LLC Automated bot transfer arm drive system
US11078017B2 (en) 2010-12-15 2021-08-03 Symbotic Llc Automated bot with transfer arm
US9561905B2 (en) 2010-12-15 2017-02-07 Symbotic, LLC Autonomous transport vehicle
US9187244B2 (en) 2010-12-15 2015-11-17 Symbotic, LLC BOT payload alignment and sensing
US8983717B2 (en) * 2010-12-21 2015-03-17 Ford Global Technologies, Llc Vehicle camera system operable in off-road mode and method
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
CN104246850B (zh) * 2012-04-25 2016-11-09 丰田自动车株式会社 蛇行判定装置
WO2014152470A2 (en) * 2013-03-15 2014-09-25 Tk Holdings, Inc. Path sensing using structured lighting
KR102314503B1 (ko) 2013-09-13 2021-10-19 심보틱 엘엘씨 자율 저장 및 인출 시스템
US20160001695A1 (en) * 2014-07-03 2016-01-07 Memsic, Inc. Method and apparatus for determining the inclination of a moving vehicle with respect to the road and for performing dynamic headlight leveling
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
JP6975945B2 (ja) * 2016-02-24 2021-12-01 パナソニックIpマネジメント株式会社 判定装置、判定方法、プログラムおよびプログラムを記録した記録媒体
US10688913B2 (en) * 2017-03-15 2020-06-23 Mitsubishi Electric Corporation Light intensity adjustment apparatus, light intensity adjustment method, and computer readable medium
US10670725B2 (en) * 2017-07-25 2020-06-02 Waymo Llc Determining yaw error from map data, lasers, and cameras
JP6947066B2 (ja) * 2018-02-06 2021-10-13 株式会社デンソー 姿勢推定装置
US11958485B2 (en) * 2018-03-01 2024-04-16 Jaguar Land Rover Limited Vehicle control method and apparatus
US11669789B1 (en) * 2020-03-31 2023-06-06 GM Cruise Holdings LLC. Vehicle mass determination

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JPH0995194A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
JP3589293B2 (ja) * 2000-12-06 2004-11-17 住友電気工業株式会社 道路の白線検出方法
JP4071463B2 (ja) * 2001-07-16 2008-04-02 株式会社デンソー 車両周辺画像処理装置
JP3786618B2 (ja) * 2002-03-25 2006-06-14 株式会社東芝 画像処理装置及びその方法
US20050031169A1 (en) 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP4259357B2 (ja) * 2004-03-12 2009-04-30 三菱ふそうトラック・バス株式会社 車両走行状態判定装置
JP4296973B2 (ja) * 2004-03-19 2009-07-15 三菱ふそうトラック・バス株式会社 車両走行状態判定装置
JP4258413B2 (ja) 2004-03-26 2009-04-30 三菱ふそうトラック・バス株式会社 車両走行状態判定装置
JP4744823B2 (ja) 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP2006146760A (ja) * 2004-11-24 2006-06-08 Aisin Seiki Co Ltd 画像変換方法及び画像変換装置
JP4622599B2 (ja) 2005-03-15 2011-02-02 富士ゼロックス株式会社 画像形成装置
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置

Also Published As

Publication number Publication date
US7965871B2 (en) 2011-06-21
US20080013790A1 (en) 2008-01-17
JP4868964B2 (ja) 2012-02-01
JP2008021161A (ja) 2008-01-31

Similar Documents

Publication Publication Date Title
DE102007032544A1 (de) Bewegungszustandsermittlungsvorrichtung
DE60215718T2 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE69932021T2 (de) Dreidimensionales Darstellungssystem mit einer einzelnen Kamera für Fahrzeuge
DE102008006375B4 (de) Überwachungssystem
DE60009000T2 (de) System zur Einparkhilfe
DE102009005860B4 (de) Umgebungs-Erkennungssystem
DE102016206117B4 (de) Strassenoberflächenerfassungsvorrichtung und strassenoberflächenerfassungssystem
DE10164346B4 (de) Straßenüberwachungsverfahren für ein Fahrzeug und System dafür
DE102008053460B4 (de) Objekterfassungssystem
DE60102195T2 (de) Fahrspur-Erkennungsvorrichtung für Fahrzeuge
DE102005016288B4 (de) Vorrichtung zur Erfassung eines Objekts vor einem Fahrzeug
DE60308782T2 (de) Vorrichtung und Methode zur Hinderniserkennung
DE60009976T2 (de) Rück- und Seitenblickmonitor mit Kamera für Fahrzeug
DE102005056645B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
EP2788245B1 (de) Verfahren und vorrichtung zur lokalisation einer vordefinierten parkposition
DE102012221777A1 (de) Spurverfolgungssystem
DE102005056647B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
DE102006015396A1 (de) Bildprozessor für ein Kraftfahrzeug
DE102008064411B4 (de) Belichtungssteuerungsvorrichtung und Belichtungssteuerungsprogramm für eine in einem Fahrzeug installierte elektronische Kamera
EP2189349A2 (de) Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
EP1825276A1 (de) Verfahren und vorrichtung zur ermittlung einer fahrzeuggeschwindigkeit
DE112017005447T5 (de) Objekterfassungsvorrichtung
DE102008031784A1 (de) Verfahren und Vorrichtung zur Verzerrungskorrektur und Bildverbesserung eines Fahrzeugrückblicksystems
DE102016104732A1 (de) Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102005011688A1 (de) Vorrichtung zur Erfassung des Bewegungszustandes eines Kraftfahrzeugs

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee