DE10301468B4 - Device for monitoring the environment of a vehicle - Google Patents
Device for monitoring the environment of a vehicle Download PDFInfo
- Publication number
- DE10301468B4 DE10301468B4 DE10301468A DE10301468A DE10301468B4 DE 10301468 B4 DE10301468 B4 DE 10301468B4 DE 10301468 A DE10301468 A DE 10301468A DE 10301468 A DE10301468 A DE 10301468A DE 10301468 B4 DE10301468 B4 DE 10301468B4
- Authority
- DE
- Germany
- Prior art keywords
- pedestrian
- vehicle
- image
- objects
- binary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Abstract
Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs, die in der Lage ist, in der Umgebung des Fahrzeugs anwesende Objekte auf der Basis eines Bildes, das durch zumindest ein an dem Fahrzeug vorgesehenes Infrarotkameraelement aufgenommen wird, zu erfassen, wobei die Vorrichtung umfasst:
– eine Binärobjekt-Extraktionseinheit, die ein Grauwertbild des durch das Infrarotkameraelement aufgenommenen Bildes einem binären Schwellenvergleichsverfahren unterzieht und ein binäres Objekt aus dem Grauwertbild extrahiert;
– eine Grauwertobjekt-Extraktionseinheit, die ein Grauwertobjekt, wovon ein Bereich das binäre Objekt enthält, auf der Basis einer Leuchtdichteänderung des Grauwertbildes aus dem Grauwertbild extrahiert; und
– eine Fußgänger-Bestimmungseinheit, die in einem das Grauwertobjekt enthaltenden Bereich einen rechteckigen Suchbereich einstellt und auf der Basis einer Leuchtdichteverteilung in dem Suchbereich einen Fußgänger auf dem Grauwertbild erkennt;
wobei die Fußgänger-Bestimmungseinheit den Suchbereich in der Weise einstellt, dass eine Größe in einer transversalen Richtung des Suchbereichs mit einer Breite des binären Objekts übereinstimmt und dass...A device for observing the surroundings of a vehicle capable of detecting objects present in the vicinity of the vehicle on the basis of an image captured by at least one infrared camera element provided on the vehicle, the device comprising:
A binary object extraction unit that subjects a gray value image of the image taken by the infrared camera element to a binary threshold comparison process and extracts a binary object from the gray value image;
A gray scale object extraction unit that extracts a gray level object, of which one area contains the binary object, from the gray scale image based on a luminance change of the gray level image; and
A pedestrian determination unit that sets a rectangular search area in a region containing the gray scale object and recognizes a pedestrian on the gray scale image on the basis of a luminance distribution in the search area;
wherein the pedestrian determination unit sets the search area such that a size in a transverse direction of the search area coincides with a width of the binary object, and that ...
Description
HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION
Gebiet der ErfindungField of the invention
Die vorliegende Erfindung betrifft Vorrichtungen zur Beobachtung der Umgebung eines Fahrzeugs. Insbesondere betrifft die vorliegende Erfindung eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs, bei welcher eine Ziel-Extraktion durchgeführt wird, indem ein von einer Infrarotkameravorrichtung aufgenommenes Bild einem binären Schwellenvergleichsverfahren unterzogen wird.The The present invention relates to devices for observing the Environment of a vehicle. In particular, the present invention relates Invention an apparatus for monitoring the environment of a vehicle, in which a target extraction is performed by one of a Infrared camera device recorded image a binary threshold comparison method is subjected.
Beschreibung des Standes der TechnikDescription of the state of technology
Es wurden Vorrichtungen zur Beobachtung der Umgebung von Fahrzeugen vorgeschlagen, bei denen Objekte, die mit dem Fahrzeug kollidieren können, wie zum Beispiel Fußgänger, aus einem mit einer Infrarotkamera aufgenommenes Umgebungsbild des Fahrzeugs extrahiert werden und eine solche Information an einen Fahrer des Fahrzeugs übermittelt wird. Bei diesen Vorrichtungen wird die Wahrscheinlichkeit, dass das Fahrzeug ein Objekt trifft, zum Beispiel einen Fußgänger, auf der Basis der relativen Distanz zwischen dem Fahrzeug und dem Objekt und der relativen Geschwindigkeit des Fahrzeugs berechnet.It have been devices for monitoring the environment of vehicles proposed in which objects that collide with the vehicle can, such as pedestrians, out a captured with an infrared camera environmental image of the vehicle be extracted and such information to a driver of the Vehicle is transmitted. In these devices, the likelihood that the vehicle an object hits, for example a pedestrian, based on the relative distance between the vehicle and the object and the relative speed of the vehicle.
Ein
Beispiel solcher Vorrichtungen zur Beobachtung der Umgebung eines
Fahrzeugs, die ein Objekt, das mit dem Fahrzeug kollidieren kann,
aus einem mit einer Infrarotkamera aufgenommenen Umgebungsbild eines
Fahrzeugs extrahieren, ist wie folgt. Das heißt, in der Vorrichtung wird
das aufgenommene Infrarotbild einem binären (2-Ebenen)-Schwellenvergleichsverfahren
(engl. thresholding) unterzogen, und es wird nach einem Bereich gesucht,
in dem helle (weiße)
Anteile konzentriert sind. Dann wird unter Verwendung des Seitenverhältnisses
(Verhältnis
von Länge
zu Breite) und der Vollständigkeitsrate
des Bereichs und weiterhin durch eine Berechnung der Distanz zwischen
dem Fahrzeug und dem Bereich unter Verwendung des tatsächlichen
Oberflächenbereichs
und der Schwerpunktposition auf dem Bild bestimmt, ob der Bereich ein
Kopfteil eines Fußgängers ist.
Wenn der Kopfteilbereich eines Fußgängers bestimmt wurde, wird
ein den Körper
des Fußgängers bildender
Bereich durch Berechnen der Höhe/Größe des Fußgängers auf dem
Bild auf der Basis der Distanz zwischen dem als Kopfteil bestimmten
Bereich und der Kamera und der durchschnittlichen Größe eines
Erwachsenen bestimmt. Diese Bereiche werden so angezeigt, dass sie
von anderen Bildregionen unterschieden werden. Auf diese Weise wird
die Position des gesamten Körpers
des Fußgängers auf
dem Infrarotbild bestimmt, und diese Information wird für den Fahrer
angezeigt, um die Sicht des Fahrers wirksam zu unterstützen (siehe
z. B. die ungeprüfte
japanische Patentanmeldung, Erstveröffentlichung
Bei Anwendung des Schwellenvergleichsverfahrens können jedoch nur der Kopfteil, ein Teil des Kopfteils oder der gesamte Körper oder nur eine obere oder untere Körperhälfte eines Fußgängers aus einem Infrarotbild extrahiert werden, abhängig von den Wirkungen eines Huts oder der Kleidung, die der Fußgänger trägt, oder von der Umgebung des Fußgängers, weshalb die Gestalt des Fußgängers, die man durch das binäre Schwellenvergleichsverfahren erhält, uneindeutig wird. Auch wird, wenn ein Fahrzeug fährt, die Größe eines Fußgängers, vom Kind bis zum Erwachsenen, unter dem Einfluss des Verlaufs einer vorausliegenden Straße oder durch das Überfahren von Schlaglöchern allgemein von dessen tatsächlicher Größe abweichend erfasst.at However, using the threshold comparison technique, only the header, a part of the head part or the whole body or just an upper or lower body of a Pedestrian out an infrared image, depending on the effects of a Huts or the clothes that the pedestrian wears, or from the surroundings of the pedestrian, which is why the figure of the pedestrian, the you through the binary Receives threshold comparison procedure, becomes ambiguous. Also, when a vehicle is traveling, the size of a pedestrian, from child to adult, under the influence of the course of a road ahead or by driving over of potholes in general of its actual Size different detected.
Da die baryzentrischen Koordinaten (Schwerpunktskoordinaten) von Zielobjekten wie beispielsweise Fußgängern hinsichtlich der Distanz auf dem Bild nicht fixiert werden können, besteht eine Möglichkeit, dass die Fußgänger nicht stabil extrahiert werden können, wenn die Extraktion nur auf der Basis der Gestalt der Fußgänger vorgenommen wird, wie bei der vorstehend genannten konventionellen Vorrichtung.There the barycentric coordinates (center of gravity coordinates) of target objects such as pedestrians in terms the distance in the picture can not be fixed, there is a possibility that the pedestrians do not can be extracted stably, if the extraction is made only on the basis of the shape of the pedestrian becomes as in the above-mentioned conventional device.
Es
gibt auch andere Arten konventioneller Vorrichtungen, bei denen
Bereiche hoher Temperatur auf einem Umgebungsbild des Fahrzeugs,
das von einer linken und einer rechten Kamera eines Stereokamerapaares
aufgenommen wird, als Objekte erkannt werden, und bei denen die
Distanz zwischen dem Fahrzeug und den Objekten durch Ermitteln der Parallaxe
der Objekte berechnet wird, so dass Zielobjekte, die den Kurs des
Fahrzeugs kreuzen könnten,
auf der Basis einer Bewegungsrichtung und einer Position der Objekte
erfasst werden können
und ein Alarm ausgelöst
werden kann (siehe z. B. die ungeprüfte japanische Patentanmeldung,
Erstveröffentlichung
Wenn, wie oben erwähnt, die Extraktion unter Anwendung des Schwellenvergleichsverfahrens nur auf der Basis der Form/Gestalt des Objekts durchgeführt wird, wie bei der vorgenannten konventionellen Vorrichtung, so wird die Form/Gestalt des Zielobjekts wegen des Einflusses eines Huts oder der Kleidung, die das Zielobjekt (d. h. ein Fußgänger etc.) trägt, und der Umgebung des Fußgängers unbestimmt. Auch wird, wenn ein Fahrzeug fährt, die Größe eines Fußgängers wegen des Einflusses des Verlaufs der vorausliegenden Straße oder wegen des Überfahrens von Schlaglöchern allgemein von dessen tatsächlicher Größe abweichend erfasst. Demzufolge ist es schwierig, die Extraktion nur von Fußgängern stabil durchzuführen.If, as mentioned above, the extraction using the threshold comparison method only is performed on the basis of the shape / shape of the object, As in the aforementioned conventional device, the Form / shape of the target object due to the influence of a hat or the clothing that carries the target object (i.e., a pedestrian, etc.), and the environment of the pedestrian indefinitely. Also, when a vehicle is driving, the size of a Pedestrian because of the influence of the course of the road ahead or because of the driving over of potholes in general of its actual Size different detected. As a result, extraction is difficult only for pedestrians perform.
Aus den oben genannten Gründen wurden Verfahren vorgeschlagen, bei denen nur Objekte, die wahrscheinlich Fußgänger sind, extrahiert werden, indem die Größe der Objekte im wirklichen Raum basierend auf einem Grauwertbild berechnet und das Positionsverhältnis der Objekte, deren Abbildungen einem Schwellenvergleichsverfahren unterzogen wurden, bestimmt wird, oder bei denen Strukturen/Gebilde auf der Strasse und Fahrzeuge aus dem Schwellenver gleichsverfahren unterzogenen Objekten extrahiert werden und als andere Objekte als Fußgänger erkannt werden, um so aus den Objekten, die einen Alarm erfordern, ausgesondert zu werden. Bei Anwendung der vorgenannten Verfahren besteht aber das Problem, dass die Extraktion von Fußgängern nicht stabil durchgeführt werden kann, wenn ein Fahrzeug zum Beispiel im Regen fährt, da Objekte durch den Regen beeinträchtig werden und die Menge an Infrarotstrahlen geändert wird.Out the reasons above Procedures have been proposed that include only objects that are likely Are pedestrians, be extracted by the size of the objects calculated in real space based on a gray value image and the positional relationship of the objects whose mappings are based on a threshold comparison procedure have been subjected to, determined or structures / structures on the road and vehicles using the threshold comparison method extracted objects and recognized as other objects than pedestrians to be eliminated from the objects that require an alarm to become. When using the aforementioned method but there the problem that the extraction of pedestrians are not carried out stably can, for example, when a vehicle is driving in the rain, there are objects due to the rain impairs and the amount of infrared rays is changed.
Das heißt, in einer typischen Umgebung wird es schwierig, wärmehaltende Objekte mittels einer Infrarotkamera zu erfassen (d. h. sie neigen dazu, auf einem Infrarotbild nicht zu erscheinen), da die Temperatur von wärmehaltenden Objekten, die nicht selbst Wärme erzeugen, sondern von außen aufgebrachte Wärme halten, wie z. B. Hinweisschilder, Wände und Telegraphenmasten, wegen des Regens abnimmt. Obwohl wärmeerzeugende Objekte, die selbst Wärme erzeugen, wie zum Beispiel Verkaufsautomaten, unter Verwendung einer Infrarotkamera erfassbar sind, nehmen die Bereiche, die Infrarotstrahlen aussenden und erfasst werden können, im Regen ab, und es besteht eine Tendenz zu einer erschwerten genauen Bestimmung ihrer Form/Gestalt.The is called, In a typical environment, it becomes difficult to use heat-retaining objects an infrared camera (that is, they tend to be on one Infrared image does not appear), as the temperature of heat-retaining Objects that do not heat themselves generate, but from the outside applied heat hold, such. Signs, walls and telegraph poles, because of the rain decreases. Although heat-producing objects that themselves Generate heat, such as vending machines, detectable using an infrared camera are the areas that emit and capture infrared rays can be in the rain, and there is a tendency for a difficult exact Determining their shape / shape.
Wenngleich exponierte Teile (z. B. der Kopf) eines Fußgängers erfasst werden können, so können Teile von ihm, die mit Kleidung bedeckt sind, unter Verwendung einer Infrarotkamera möglicherweise nicht erfasst werden, je nachdem, wie feucht die Kleidung ist. Das heißt, dass je nach Wetter die Situation an derselben Stelle der Umgebung eines Fahrzeugs differieren kann und dass die Form/Gestalt aller Objekte auf einem von einer Infrarotkamera erfassten Grauwertbild variiert. Demzufolge besteht bei den herkömmlichen Verfahren eine Gefahr, dass die Extraktion nur von Fußgängern aus dem Bild nicht stabil durchgeführt werden kann.Although exposed parts (eg the head) of a pedestrian can be detected, so can parts of him covered with clothes, using an infrared camera might not depending on how wet the clothes are. It means that depending on the weather, the situation in the same place of the environment Vehicle can differ and that the shape / shape of all objects varies on a gray scale image captured by an infrared camera. Consequently, in the conventional Procedures a danger that extraction only from pedestrians the image is not stable can be.
Darüber hinaus besteht bei Regen eine Tendenz, dass die Form/Gestalt von Objekten auf dem Bild unbestimmt wird, da Regentropfen an der Linsenfläche einer Kamera haften, was die Bestimmung der Form/Gestalt der Objekte noch mehr erschwert.Furthermore In the rain, there is a tendency that the shape / shape of objects in the picture becomes indeterminate, because raindrops on the lens surface of a Camera adhere to what determines the shape / shape of the objects yet more difficult.
Die
Weiterhin
offenbart die
Ferner
offenbart die
ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION
Unter Berücksichtigung der vorstehend genannten Umstände ist es eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs zur Verfügung zu stellen, bei der undeutliche Bilder/Abbildungen von Objekten, die man erhält, indem diese einem binären Schwellenvergleichsverfahren unterzogen werden, und die aus einem von einer Kamera aufgenommenen Bild extrahiert werden, genau bestimmt werden, um eine stabile Extraktion von Zielobjekten wie zum Beispiel Fußgängern durchzuführen. Weitere Aufgaben und Merkmale der Erfindung ergeben sich aus deren nachfolgender Beschreibung unter Bezugnahme auf die anliegenden Zeichnungen.Under consideration the circumstances mentioned above It is an object of the present invention to provide a device to watch the surroundings of a vehicle available too in the case of indistinct images / images of objects that you get, by using a binary thresholding method be subjected to and taken from a camera Image extracted, can be determined exactly to a stable extraction of target objects such as pedestrians. Further Objects and features of the invention will become apparent from the following Description with reference to the accompanying drawings.
Zur Lösung der oben genannten Aufgaben stellt die vorliegende Erfindung eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs mit den Merkmalen des Anspruchs 1 bereit.to solution The above-mentioned objects constitute the present invention Device for monitoring the environment of a vehicle with the Features of claim 1 ready.
Diese Vorrichtung kann in der Umgebung des Fahrzeugs anwesende Objekte auf der Basis eines Bildes erfassen, das von zumindest einem an dem Fahrzeug vorgesehenen Infrarotkameraelement eingefangen wird, wobei die Vorrichtung eine Binärobjekt-Extraktionseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S1–S13) aufweist, die ein Grauwertbild des von dem Infrarotkameraelement aufgenommenen Bildes einem binären Schwellenvergleichsverfahren unterzieht und ein Binärobjekt aus dem Grauwertbild extrahiert; eine Grauwertobjekt-Extraktionseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der Erfindung erläuterten Schritte S41–S42), die ein Grauwertobjekt, dessen Spanne/Bereich das Binärobjekt enthält, auf der Basis einer Änderung der Luminanz/Leuchtdichte des Grauwertbilds aus dem Grauwertbild extrahiert; und eine Fußgänger-Bestimmungseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der Erfindung erläuterten Schritte S43–S80), die einen Suchbereich (z. B. in den nachstehend beschriebenen Ausführungsformen der Erfindung erläuterte Maskenbereiche AREA1, AREA2 und AREA3) in einem das Grauwertobjekt enthaltenden Bereich (z. B. AREA0, wie in den nachstehend beschriebenen Ausführungsformen der Erfindung erläutert) einstellt und auf der Basis einer Leuchtdichteverteilung in dem Suchbereich einen Fußgänger auf dem Grauwertbild erkennt.This device may detect objects present in the vicinity of the vehicle based on an image captured by at least one infrared camera element provided on the vehicle, the device comprising a binary object extraction unit (eg, the embodiments of the present invention described hereinafter) explained steps S1-S13), which subjects a gray value image of the image taken by the infrared camera element to a binary threshold comparison process and extracts a binary object from the gray value image; a gray level object extracting unit (eg, steps S41-S42 explained in the below-described embodiments of the invention) that obtains a gray level object whose span / area contains the binary object based on a change in luminance / luminance of the gray scale image from the gray level image extracted; and a pedestrian's bestim The unit of measure (eg, steps S43-S80 explained in the below-described embodiments of the invention) includes a search area (eg, mask areas AREA1, AREA2, and AREA3 explained in the below-described embodiments of the present invention) in a region including the gray scale object (eg, AREA0 as explained in the embodiments of the invention described below) and recognizes a pedestrian on the gray-scale image on the basis of a luminance distribution in the search area.
Gemäß der vorstehend beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs wird die Position des Binärobjekts auf dem Grauwertbild durch die Binärobjekt-Extraktionseinheit erkannt. Es wird möglich, durch Einstellen eines Grauwertobjekts, dessen Bereich das Binärobjekt enthält, mittels der Grauwertobjekt-Extraktionseinheit und durch das Berechnen der Leuchtdichteverteilung in jedem in dem Grauwertobjekt festgelegten Suchbereich mittels der Fußgänger-Bestimmungseinheit auf der Basis der Charakteristiken der Leuchtdichteverteilung in dem Suchbereich zu bestimmen, ob das Binärobjekt ein Fußgänger ist oder nicht. Dem gemäß lässt sich die Genauigkeit bei der Erfassung eines Fußgängers verbessern, indem Bilder von Objekten, deren Leuchtdichteverteilung sich von jener eines Bildes eines Fußgängers unterscheidet, aus dem aufgenommenen Bild entfernt werden.According to the above described device for observing the environment of a vehicle becomes the position of the binary object on the gray value image by the binary object extraction unit recognized. It will be possible by setting a gray value object whose area contains the binary object by means of the gray value object extraction unit and by calculating the Luminance distribution in each specified in the gray value object Search range by means of the pedestrian determination unit the basis of the characteristics of the luminance distribution in the Search area to determine whether the binary object is a pedestrian or not. Accordingly, it is possible improve the accuracy of capturing a pedestrian by taking pictures of objects whose luminance distribution is different from that of a Picture of a pedestrian is different, be removed from the captured image.
Die Fußgänger-Bestimmungseinheit stellt dabei den Suchbereich in der Weise ein, dass eine Größe in einer transversalen Richtung des Suchbereichs mit einer Breite des binären Objekts übereinstimmt und dass eine Größe in einer Längsrichtung des Suchbereichs mit einer Höhe des binären Objekts übereinstimmt.The Pedestrian-determination unit sets the search area in such a way that one size in one transverse direction of the search area coincides with a width of the binary object and that one size in one Longitudinal direction of the Search area with a height of the binary Object matches.
Somit wird es möglich zu bestimmen, ob das binäre Objekt ein Fußgänger ist oder nicht, indem die Breite des Suchbereichs auf einem Grauwertbild, von dem die Leuchtdichteverteilung ermittelt wird, an die Breite des binären Objekts angepasst wird, so dass die Breite des Suchbereichs zu einer für die Erkennung eines Fußgängers geeigneten Größe wird. Dem gemäß kann die Genauigkeit bei der Erfassung eines Fußgängers dadurch verbessert werden, dass Objekte, die Leuchtdichteverteilungscharakteristiken haben, die jenen von Fußgängern auf dem Bild ähnlich sind, wie zum Beispiel eine Wand, aus dem die Objekte enthaltenden Bild entfernt werden.Consequently it becomes possible to determine if the binary Object is a pedestrian or not, by specifying the width of the search area on a halftone image, of which the luminance distribution is determined to the width of the binary object is adjusted so that the width of the search area becomes one for recognition a pedestrian suitable Size is. the according to the Accuracy in capturing a pedestrian can be improved by that objects that have luminance distribution characteristics those of pedestrians similar to the picture are, such as a wall containing the objects Image to be removed.
In Übereinstimmung mit einem weiteren Aspekt der Erfindung stellt die Fußgänger-Bestimmungseinheit bei der oben genannten Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs auf der Basis eines oberen Endes des Grauwertobjekts als Suchbereich einen Kopfteilbereich ein, dessen Größe einer Größe eines Kopfteils eines Fußgängers entspricht.In accordance with a further aspect of the invention provides the pedestrian determination unit in the above-mentioned device for observing the environment of a vehicle based on an upper end of the gray scale object as a search area a header area, the size of a Size of one Head part of a pedestrian corresponds.
Gemäß der vorstehend beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs wird es möglich zu bestimmen, ob das binäre Objekt ein Fußgänger ist oder nicht, indem die Größe des Suchbereichs auf dem Grauwertbild, von dem die Leuchtdichteverteilung ermittelt wird, an eine für die Erkennung eines Kopfteils eines Fußgängers geeignete Größe angepasst wird. Dementsprechend kann die Genauigkeit bei der Erfassung eines Fußgängers verbessert werden, indem Objekte aus dem Bild entfernt werden, die eine Größe haben, die sich von der Größe eines Kopfteils eines Menschen unterscheidet, die für die Leuchtdichteverteilung auf der Abbildung eines Fußgängers charakteristisch ist.According to the above described device for observing the environment of a vehicle it becomes possible to determine if the binary object a pedestrian is or not, by resizing the search area on the gray scale image from which the luminance distribution is determined will, to one for the Detecting a headboard of a pedestrian adapted to appropriate size becomes. Accordingly, the accuracy in detecting a Pedestrian improved by removing objects from the image that are of a size which are the size of a Headboard of a human being different for the luminance distribution Characteristic on the picture of a pedestrian is.
In Übereinstimmung mit einem noch weiteren Aspekt der Erfindung stellt die Fußgänger-Bestimmungseinheit bei der oben beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs einen Kopfteilbereich, dessen Größe einer Größe eines Kopfteils eines Fußgängers entspricht, auf der Basis eines oberen Endes des Grauwertobjekts und einen Körperteilbereich, dessen Größe einem Körperteil eines Fußgängers entspricht und größer ist als der Kopfteilbereich, unterhalb des Kopfteilbereichs als Suchbereich ein.In accordance With yet another aspect of the invention, the pedestrian determination unit provides in the above-described device for monitoring the environment a vehicle, a headboard portion whose size corresponds to a size of a head portion of a pedestrian on the base of an upper end of the gray scale object and a body part area, its size one body part a pedestrian corresponds and bigger as the header section, below the header section as a search area one.
Gemäß der vorstehend beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs wird es möglich zu bestimmen, ob das Binärobjekt ein Fußgänger ist oder nicht, indem die Suchbereiche auf dem Grauwertbild, von denen die Leuchtdichteverteilung ermittelt wird, d. h. der Suchbereich, dessen Größe für die Erkennung eines Kopfteils eines Fußgängers geeignet ist, und der Suchbereich, dessen Größe für die Erkennung eines Körperteils eines Fußgängers geeignet ist, eingestellt werden. Dementsprechend kann die Genauigkeit bei der Erfassung eines Fußgängers dadurch verbessert werden, dass Objekte mit Leuchtdichteverteilungscharakteristiken, die denen von Fußgängern auf dem Bild ähnlich sind, wie zum Beispiel ein gewölbter Spiegel, aus dem die Objekte enthaltenden Bild entfernt werden.According to the above described device for observing the environment of a vehicle it becomes possible to determine if the binary object a pedestrian is or not by the search areas on the gray scale image, of which the luminance distribution is determined, d. H. the search area, its size for detection a headboard of a pedestrian suitable is, and the search range, its size for recognizing a body part a pedestrian suitable is to be set. Accordingly, the accuracy at the detection of a pedestrian by it to improve that objects with luminance distribution characteristics, those of pedestrians similar to the picture are, such as a vaulted mirror, are removed from the image containing the objects.
In Übereinstimmung mit einem noch weiteren Aspekt der Erfindung ist die Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs eine Vorrichtung, die als eine Nachtsichtvorrichtung verwendet wird.In accordance with a still further aspect of the invention is the device to observe the environment of a vehicle, a device that is used as a night vision device.
Es kann allgemein auch daran gedacht werden, eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs zur Verfügung zu stellen, die in der Lage ist, um das Fahrzeug herum anwesende Objekte auf der Basis eines Bildes, das von zumindest einem an dem Fahrzeug vorgesehenen Infrarotkameraelement aufgenommen wird, zu erkennen, wobei die Vorrichtung umfasst: eine Objekt-Extraktionseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S1–S13), die Infrarotstrahlen abgebende Objekte aus dem Infrarotbild extrahiert; eine Extraktionseinheit für wärmehaltende Objekte (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S45, S46, S47, S52, S53, S53-1, S60, S61 und S62), die wärmehaltende Objekte, welche selbst keine Wärme erzeugen, jedoch von außen aufgebrachte Wärme halten, aus den mittels der Objekt-Extraktionseinheit extrahierten Objekten extrahiert; und eine Fußgänger-Erkennungseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S48–S50, S54–S59 und S63–S80), die einen Fußgänger aus Objekten, die durch die Objekt-Extraktionseinheit extrahiert wurden, erkennt und wärmehaltende Objekte, die durch die Extraktionseinheit für wärmehaltende Objekte extrahiert wurden, ausschließt.In general, it may also be considered to provide an environment monitoring apparatus for a vehicle capable of displaying objects around the vehicle based on an image taken by at least one infrared camera element provided on the vehicle to recognize the apparatus comprising: an object extracting unit (e.g., steps S1-S13 explained in the below-described embodiments of the present invention) extracting infrared ray emitting objects from the infrared image; a heat-retaining object extracting unit (e.g., the steps S45, S46, S47, S52, S53, S53-1, S60, S61, and S62 explained in the below-described embodiments of the present invention), the heat-retaining objects which themselves do not generate heat generate, but hold externally applied heat extracted from the objects extracted by means of the object extraction unit; and a pedestrian recognition unit (eg, steps S48-S50, S54-S59, and S63-S80 explained in the below-described embodiments of the present invention) that recognizes a pedestrian from objects extracted by the object extraction unit and heat-retaining objects extracted by the heat-retaining object extracting unit.
Gemäß der oben beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs wird es möglich, lediglich anhand erfasster Objekte mit ähnlichen Charakteristiken wie die eines Fußgängers, aus denen wärmehaltende Objekte mit Charakteristiken, die sich von jenen eines Fußgängers zwar unterscheiden, wegen des Einflusses der äußeren Umgebung etc. aber dennoch als ein Fußgänger erkannt werden könnten, unter Verwendung der Extraktionseinheit für wärmehaltende Objekte ausgeschlossen werden, zu bestimmen, ob ein Objekt ein Fußgänger ist oder nicht. Dementsprechend kann die Genauigkeit bei der Erfassung eines Fußgängers verbessert werden, indem Objekte, die Wärme (Infrarotstrahlen) abgeben, die jener eines Fußgängers ähnlich ist, wie zum Beispiel eine von der Sonne bestrahlte Wand, auf der Basis der Charakteristiken der Leuchtdichteverteilung entfernt werden.According to the above described device for observing the environment of a vehicle it is possible only on the basis of detected objects with similar characteristics as that of a pedestrian, out those heat retaining Objects with characteristics that differ from those of a pedestrian, because of the influence of the external environment etc. but still recognized as a pedestrian could become, excluded using the heat-retaining object extraction unit to determine if an object is a pedestrian or not. Accordingly For example, the accuracy of detecting a pedestrian can be improved by: Objects that heat (Infrared rays) similar to those of a pedestrian, such as a wall illuminated by the sun, based on the characteristics the luminance distribution are removed.
Die vorliegende Erfindung stellt auch eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs zur Verfügung, die in der Lage ist, auf der Basis eines Infrarotbildes, das von zumindest einem an dem Fahrzeug vorgesehenen Infrarotkameraelement aufgenommen wird, um das Fahrzeug herum anwesende Objekte zu erfassen, wobei die Vorrichtung umfasst: eine Wetter-Erfassungseinheit (z. B. Schritt S41, der in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläutert ist), die das Wetter um das Fahrzeug herum erfasst; eine Objekt-Extraktionseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S1–S13), die Infrarotstrahlen abgebende Objekte aus einem In frarotbild extrahiert; eine Einheit zur Extraktion wärmehaltender Objekte (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S45, S46, S47, S52, S53, S53-1, S60, S61 und S62), die wärmehaltende Objekte, welche nicht selbst Wärme erzeugen, jedoch von außen aufgebrachte Wärme halten, aus den Objekten extrahiert, die durch die Objekt-Extraktionseinheit extrahiert wurden; und eine Fußgänger-Erkennungseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung erläuterten Schritte S48–S50, S54–S59 und S63–S80), die aus den durch die Objekt-Extraktionseinheit extrahierten Objekten einen Fußgänger erkennt, wenn durch die Wetter-Erfassungseinheit bestimmt wird, dass es um das Fahrzeug herum regnet (wobei der Begriff Regen im Rahmen der Erfindung auch Wetter beinhalten kann, das den gleichen Effekt wie Regen hat), wobei die Fußgänger-Erkennungseinheit, wenn durch die Wetter-Erfassungseinheit bestimmt wird, dass es um das Fahrzeug herum nicht regnet, unter den durch die Objekt-Extraktionseinheit extrahierten Objekten einen Fußgänger erkennt, indem sie die durch die Einheit zur Extraktion wärmehaltender Objekte extrahierten wärmehaftenden Objekte ausschließt.The The present invention also provides a device for observation the environment of a vehicle that is capable of on the basis of an infrared image of at least one of the Vehicle provided infrared camera element is added to to detect the vehicle around present objects, the device comprising: a weather detection unit (e.g., step S41 included in the embodiments of the present invention described below Invention explained is), which detects the weather around the vehicle; an object extraction unit (For example, the embodiments of the present invention described below Invention explained Steps S1-S13), the infrared rays emitting objects extracted from an infrared image; a unit for extracting heat retaining Objects (eg, those in the embodiments described below of the present invention Steps S45, S46, S47, S52, S53, S53-1, S60, S61 and S62), the heat-retaining Objects that do not generate heat themselves, however, from the outside hold applied heat, extracted from the objects passing through the object extraction unit were extracted; and a pedestrian detection unit (For example, the embodiments of the present invention described below Invention explained Steps S48-S50, S54-S59 and S63-S80) those extracted from the objects extracted by the object extraction unit recognizes a pedestrian, if determined by the weather detection unit that it is around the vehicle is raining around (whereby the term rain in the context of the Invention may also include weather, which has the same effect as Rain has), with the pedestrian detection unit, if determined by the weather detection unit that it is around the vehicle is not raining, among those through the object extraction unit extracted objects detects a pedestrian, by extracting the objects heated by the unit for extracting heat-retaining objects heat adhesive Excludes objects.
Gemäß der oben beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs erkennt die Fußgänger-Erkennungseinheit, wenn durch die Wetter-Erfassungseinheit bestimmt wird, dass es um das Fahrzeug herum regnet, Fußgänger direkt aus den extrahierten Objekten, da der Betrag der Infrarotstrahlen, die von den mittels der Objekt-Extraktionseinheit extrahierten Objekten abgegeben werden, abnimmt. Wenn andererseits durch die Wetter-Erfassungseinheit bestimmt wird, dass es um das Fahrzeug herum nicht regnet, wird es möglich, ein geeignetes Fußgängererkennungsverfahren in Übereinstimmung mit den Gegebenheiten in der Umgebung des Fahrzeugs durch Extrahieren der wärmehaltenden Objekte unter Verwendung der Einheit zur Extraktion von wärmehaltenden Objekten durchzuführen, so dass die Fußgänger-Erkennungseinheit unter den Objekten einen Fußgänger erkennen kann, indem sie die wärmehaltenden Objekte ausschließt, da der Unterschied zwischen den wärmehaltenden Objekten, die nicht selbst Wärme erzeugen, sondern von außen aufgebrachte Wärme halten, und Fußgängern, die selbst Wärme erzeugen, wegen der Infrarotstrahlen, die von den durch die Objekt-Extraktionseinheit extrahierten Objekten abgegeben werden, an der Leuchtdichteverteilung auf der Abbildung des Objekts sichtbar wird.According to the above described device for observing the environment of a vehicle recognizes the pedestrian recognition unit, if determined by the weather detection unit that it is around the vehicle is raining around, pedestrians directly from the extracted objects, since the amount of infrared rays, that of the objects extracted by means of the object extraction unit be discharged, decreases. On the other hand, if through the weather detection unit it is determined that it will not rain around the vehicle it is possible a suitable pedestrian detection method in accordance with the circumstances surrounding the vehicle by extracting the heat-retaining Objects using the unit for extraction of heat retaining Perform objects, so that the pedestrian detection unit recognize a pedestrian under the objects can by keeping the heat-retaining Excludes objects, because the difference between the heat-retaining objects, the not even heat generate, but from the outside hold applied heat, and pedestrians who even heat because of the infrared rays generated by the object extraction unit delivered to extracted objects, on the luminance distribution on the image of the object becomes visible.
Daher kann, wenn bestimmt wird, dass das Wetter um das Fahrzeug herum nicht Regen ist, die Genauigkeit bei der Erfassung eines Fußgängers verbessert werden, indem auf der Basis der Charakteristiken der Leuchtdichteverteilung Objekte entfernt werden, die Wärme (Infrarotstrahlen) abgeben, die jener von einem Fußgänger ähnlich ist, wie zum Beispiel eine von der Sonne bestrahlte Wand. Auch wird, wenn bestimmt wird, dass es um das Fahrzeug herum regnet, die Bestimmung auf der Basis der Leuchtdichteverteilung nicht durchgeführt, so dass Fehler bei der Erfassung eines Fußgängers auf der Basis der Bestimmung unter Anwendung der Leuchtdichteverteilung vermieden werden können und die Genauigkeit bei der Erfassung eines Fußgängers beibehalten werden kann.Therefore, when it is determined that the weather around the vehicle is not rain, the accuracy in detection of a pedestrian can be improved by removing objects emitting heat (infrared rays) corresponding to those of the luminance distribution on the basis of the luminance distribution characteristics similar to a pedestrian, such as a wall illuminated by the sun. Also, when it is determined that it is raining around the vehicle, the determination based on the luminance distribution is not performed, so that errors in the detection of a pedestrian on the basis of the determination using the luminance distribution can be avoided, and the accuracy in detecting a pedestrian can be maintained.
In Übereinstimmung mit einem noch weiteren Aspekt der Erfindung umfasst die Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs ferner eine Form/Gestalt-Bestimmungseinheit (z. B. die in den nachstehend beschriebenen Ausführungsformen der vorliegenden Erfindung beschriebenen Schritte S59 und S73), die die Form/Gestalt von Objekten bestimmt, wobei die Form/Gestalt-Bestimmungseinrichtung deaktiviert wird, wenn durch die Wetter-Erfassungseinheit festgestellt wird, dass es um das Fahrzeug herum regnet.In accordance with a still further aspect of the invention, the device comprises for observing the surroundings of a vehicle, further, a shape / shape determining unit (For example, the embodiments of the present invention described below Steps S59 and S73 described in the present invention, which the shape / shape determined by objects, wherein the shape / shape determining means is deactivated, if it is determined by the weather detection unit that it rains around the vehicle.
Gemäß der oben beschriebenen Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs wird das Form/Gestalt-Bestimmungsverfahren gestoppt, wenn durch die Wetter-Erfassungseinheit bestimmt wird, dass das Wetter in der Umgebung des Fahrzeugs Regen ist, so dass bei dem die Fußgänger-Erkennungseinheit verwendenden Bestimmungsverfahren Fehler aufgrund der un deutlichen Gestalt von Objekten, die durch an der Linsenfläche einer Kamera haftende Regentropfen verursacht wird, vermieden werden können. Dementsprechend kann, wenn bestimmt wird, dass es um das Fahrzeug herum regnet, die Genauigkeit der Erfassung eines Fußgängers verbessert werden, indem auf der Form/Gestalt der Objekte basierende Fehler bei der Erfassung eines Fußgängers vermieden werden.According to the above described device for observing the environment of a vehicle the shape / shape determination process is stopped when by the weather detection unit it is determined that the weather is raining around the vehicle is so that when the pedestrian detection unit Determining method errors due to the un significant shape objects caused by raindrops adhering to the lens surface of a camera caused can be avoided. Accordingly, if it is determined that it is raining around the vehicle, the accuracy the detection of a pedestrian improved be based on errors based on the shape / shape of the objects avoided during the detection of a pedestrian become.
FIGURENKURZBESCHREIBUNGBRIEF DESCRIPTION
Einige der Merkmale und Vorteile der Erfindung wurden beschrieben und andere/weitere ergeben sich aus der nachfolgenden Detailbeschreibung und aus den anliegenden Zeichnungen. Darin zeigt:Some The features and advantages of the invention have been described and others / others arise from the following detailed description and from the adjacent drawings. It shows:
DETAILBESCHREIBUNG DER ERFINDUNGDETAILED DESCRIPTION OF THE INVENTION
Die vorstehend zusammengefasste und durch die anliegenden Ansprüche definierte Erfindung wird anhand der folgenden Detailbeschreibung, die im Zusammenhang mit den anliegenden Zeichnungen gelesen werden sollte, besser verständlich. Die detaillierte Beschreibung besonders bevorzugter Ausführungsformen, die nachstehend angegeben sind, damit die Erfindung gebaut werden kann und damit besondere Implementierungen der Erfindung angewendet werden können, soll die anliegenden Ansprüche nicht einschränken, sondern lediglich als besonderes Beispiel dafür dienen.The summarized above and defined by the appended claims Invention will be apparent from the following detailed description, which is related should be read with the accompanying drawings, better understandable. The detailed description of particularly preferred embodiments, which are given below in order to build the invention can and thus applied special implementations of the invention can be should the appended claims do not limit but merely serve as a special example.
In
Mit
der Bildverarbeitungseinheit
Darüber hinaus
kann die Bildverarbeitungseinheit
Auch
sind, wie in
Des
weiteren ist das Anzeigefeld des HUD
Als nächstes wird der Betrieb der Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs gemäß der Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die anliegenden Zeichnungen beschrieben.When next The operation of the device for observing the environment of Vehicle according to the embodiment of the present invention with reference to the appended Drawings described.
Zuerst
erhält
die Bildverarbeitungseinheit
Nachdem
in Schritt S3 das Grauwertbild erhalten wurde, wird das von der
Infrarotkamera
Nachdem dem Schwellenvergleichsverfahren unterzogene Bilddaten von dem Infrarotbild erhalten wurden, wird ein Verfahren durchgeführt, in dem die erhaltenen Bilddaten in Lauflängendaten umgewandelt werden (Schritt S5). Zeilen, die durch Lauflängendaten ausgedrückt werden, werden von Bereichen gebildet, die aufgrund des Schwellenvergleichsverfahrens auf Pixelebene weiß geworden sind. Jede der Zeilen hat eine Breite von einem Pixel in der y-Richtung und hat eine der Länge des Pixel, das die Lauflängendaten in der x-Richtung bildet, entsprechende Länge.After this the threshold comparison method subjected image data from the infrared image are obtained, a process is carried out in which the obtained Image data converted into runlength data become (step S5). Lines expressed by runlength data are formed by areas that are due to the threshold comparison process become white at the pixel level. Each of the lines has a width of one pixel in the y-direction and has one of the length of the pixel that the runlength data in the x-direction, corresponding length.
Als
nächstes
werden Objekte in den in die Lauflängendaten umgewandelten Bilddaten
markiert (Schritt S6), so dass ein Extraktionsverfahren für die Objekte
durchgeführt
werden kann (Schritt S7). Das heißt, unter den als Lauflängendaten
angegebenen Zeilen kann jeder der z. B. in
Nachdem die Extraktion der Zielobjekte abgeschlossen ist, werden der Schwerpunkt G, der Oberflächenbereich S und das Seitenverhältnis (Verhältnis von Länge zu Breite) eines umschriebenen Vierecks berechnet (Schritt S8).After this The extraction of the target objects is completed, become the focus G, the surface area S and the aspect ratio (Relationship of length to width) of a circumscribed quadrilateral (step S8).
In dieser Ausführungsform wird der Oberflächenbereich berechnet, indem die Lauflängendaten eines Objekts von Markierung A als (x[i], y[i], run[i], A) (i = 0, 1, 2, ... N – 1) angenommen werden und die Längen der Lauflängendaten (run[i] – 1) für dasselbe Objekt (N Lauflängendaten) summiert werden. Auch die Koordinaten (xc, yc) des Schwerpunkts G des Objekts A werden berechnet, indem die Länge eines jeden Datenelements der Lauflängendaten (run[i] – 1) mit der Koordinate x[i] oder y[i] eines jeden Datenelements der Lauflängendaten multipliziert wird und des weiteren für jedes Objekt die resultierenden Werte miteinander multipliziert werden und der erhaltene Wert durch den Oberflächenbereich S dividiert wird.In this embodiment becomes the surface area calculated by the runlength data of a Object of mark A as (x [i], y [i], run [i], A) (i = 0, 1, 2, ... N - 1) to be accepted and the lengths the run length data (run [i] - 1) for the same object (N run length data) be summed up. Also the coordinates (xc, yc) of the center of gravity G of the object A are calculated by the length of each data element the run length data (run [i] - 1) with the coordinate x [i] or y [i] of each data element of Run length data is multiplied and further for each object the resulting Values are multiplied together and the value obtained by the surface area S is divided.
Darüber hinaus wird das Seitenverhältnis als das Verhältnis von Dy/Dx berechnet, wobei Dy die Länge des umschriebenen Vierecks für das Objekt in der Längsrichtung und Dx die Länge des umschriebenen Vierecks für dasselbe Objekt in der Querrichtung ist.Furthermore will the aspect ratio as the ratio calculated by Dy / Dx, where Dy is the length of the circumscribed quadrilateral for the Object in the longitudinal direction and Dx the length of the circumscribed rectangle for is the same object in the transverse direction.
Es ist zu beachten, dass es notwendig ist, eins zu subtrahieren, um die tatsächliche Länge zu erhalten (= run[i] – 1), da die Lauflängendaten als eine Pixelzahl (eine Koordinatenzahl) (= run[i]) angegeben werden. Es ist auch möglich, die Position des Schwerpunkts des umschriebenen Vierecks durch die Position des Schwerpunkts G zu ersetzen.It Note that it is necessary to subtract one to the actual To get length (= run [i] - 1), because the run length data as a pixel number (a number of coordinates) (= run [i]). It is also possible, the position of the center of gravity of the circumscribed quadrilateral through the Position of the center of gravity G to replace.
Nach dem Schwerpunkt werden der Oberflächenbereich und das Seitenverhältnis des umschriebenen Vierecks berechnet und es wird ein Verfahren für die Verfolgung des Objekts in Relation zur Zeit durchgeführt, d. h. ein Verfahren, in dem dasselbe Objekt in jeder Abtastperiode erkannt wird (Schritt S9). In dem zeitbezogenen Verfolgungsverfahren werden Objekte A und B zu einer Zeit k extrahiert, die durch Diskretisieren der analogen Zeit t zum Beispiel unter Verwendung der Abtastperiode erhalten wird, und es wird bestimmt, ob Objekte C und D, die zur Zeit (k + 1) extrahiert werden, jeweils dieselben Objekte wie die die Objekte A und B sind. Dann, wenn bestimmt wurde, dass die Objekte A und B und die Objekte C und D dieselben Objekte sind, werden die Markierungen der Objekte C und D jeweils in die Markierungen A und B geändert, um das Verfolgungsverfahren bezogen auf die Zeit durchzuführen.To the focus will be on the surface area and aspect ratio of the circumscribed quadrilateral and it becomes a procedure for tracking of the object in relation to time, d. H. a procedure in the same object is detected every sampling period (step S9). In the time-based tracking method, objects A and B become extracted at a time k, by discretizing the analogue For example, time t is obtained using the sampling period and it is determined whether objects C and D that are currently (k + 1), the same objects as the objects A and B are. Then, when it has been determined that the objects A and B and the objects C and D are the same objects, the marks of the Objects C and D are changed to mark A and B, respectively to carry out the tracking procedure in relation to the time.
Auch werden die Positionskoordinaten eines jeden (Schwerpunkts) der dadurch erkannten Objekte als Zeitreihen-Positionsdaten in einem Speicher gespeichert und für die nachfolgenden Operationen des Verfahrens verwendet.Also become the position coordinates of each (center of gravity) of the detected objects stored as time series position data in a memory and for the subsequent operations of the method used.
Zu beachten ist, dass die in den vorstehenden Schritten S4–S9 erläuterten Verfahren für das binäre Referenzbild (das rechte Bild in dieser Ausführungsform) durchgeführt werden.Note that the methods for the binary reference image explained in the above steps S4-S9 (the right-hand image in this embodiment form).
Dann
werden die durch den Geschwindigkeitssensor
Zum
anderen wird ein Verfahren für
das Berechnen der Distanz z zwischen dem Zielobjekt und dem Fahrzeug
Zuerst wird eines der unter Verwendung der binären Abbildung des Referenzbildes (rechtes Bild) verfolgten Objekte ausgewählt, um ein Suchbild R1 (in dieser Ausführungsform wird der gesamte, von dem umschriebenen Vierecke umgebene Bereich als Suchbild betrachtet) aus dem rechten Bild zu extrahieren (Schritt S11).First becomes one of the using the binary image of the reference image (right image) tracked objects selected to produce a search image R1 (in this embodiment becomes the entire area surrounded by the circumscribed quadrilaterals as a search image) from the right image (step S11).
Dann wird ein Suchbereich, von dem ein dem Suchbild R1 entsprechendes Bild (im Folgenden auch als ein ”korrespondierendes Bild” bezeichnet) gesucht wird, auf dem linken Bild eingestellt und das korrespondierende Bild durch Ausführen einer Korrelationsoperation extrahiert (Schritt S12). Insbesondere wird ein Suchbereich R2 auf dem linken Bild in Übereinstimmung mit jeder Spitzenkoordinate des Suchbildes R1 eingestellt, und ein Leuchtdichtedifferenz-Summierungswert C(a, b), der den Grad der Korrelation mit dem Suchbild R1 innerhalb des Suchbereichs R2 zeigt, wird berechnet. Der Bereich, in dem der summierte Wert C(a, b) minimal ist, wird als korrespondierendes Bild extrahiert. Es ist zu beachten, dass die Korrelationsoperation unter Verwendung des Grauwertbildes, nicht des binären Bildes durchgeführt wird.Then becomes a search area from which a search image R1 corresponding Image (hereinafter also referred to as a "corresponding image") searched is set on the left image and the corresponding one Picture by running of a correlation operation is extracted (step S12). Especially becomes a search area R2 on the left image in accordance with each peak coordinate of the search image R1, and a luminance difference summation value C (a, b), which determines the degree of correlation with the search image R1 within of the search range R2 is calculated. The area where the summed value C (a, b) is minimal, is called corresponding Extracted image. It should be noted that the correlation operation is performed using the gray value image, not the binary image.
Wenn frühere Positionsdaten für dasselbe Objekt vorhanden sind, wird ein Bereich R2a, der schmaler als der Suchbereich R2 ist, auf der Basis der früheren Positionsdaten als ein Suchbereich eingestellt.If earlier Position data for When the same object exists, an area R2a becomes narrower as the search range R2 is on the basis of the earlier position data as a Search range set.
Da
das Suchbild R1 und das korrespondierende Bild R4, das dem Suchbild
R1 entspricht, in Schritt S12 jeweils auf dem Referenzbild (rechtes Bild)
und auf dem linken Bild extrahiert werden, erhält man die Position des Schwerpunkts
des Suchbildes R1 und die des korrespondierenden Bildes R4 und den
Parallaxengrad Δd
(Pixelzahl) und es kann die Distanz z zwischen dem Fahrzeug
Nachdem die Berechnung des Drehwinkels θr in Schritt S10 und die Berechnung der Distanz zwischen dem Objekt in Schritt S13 abgeschlossen sind, werden die Koordinate (x, y) auf dem Bild und die Distanz z umgewandelt, um die Koordinate (X, Y, Z) des wirklichen Raumes (in Schritt S14) zu erhalten.After this the calculation of the rotation angle θr in step S10 and the calculation of the distance between the object are completed in step S13, the coordinate (x, y) in the image and the distance z converted to the coordinate (X, Y, Z) of the real space (in step S14).
In
dieser Ausführungsform
wird die Koordinate (X, Y, Z) des wirklichen Raumes, wie in
Wenn
die Koordinate in dem wirklichen Raum ermittelt wird, wird ein Drehwinkel-Korrekturverfahren
zum Korrigieren der Positionsverschiebung auf dem Bild, die durch
das Wenden des Fahrzeugs
In der folgenden Erläuterung ist zu beachten, dass die Koordinate nach dem Drehwinkel-Korrekturverfahren als (X, Y, Z) angegeben wird.In the following explanation Note that the coordinate is based on the rotation angle correction method as (X, Y, Z) is given.
Nachdem
die Drehwinkelkorrektur für
die Koordinate des wirklichen Raums abgeschlossen ist, wird eine
einem Vektor der relativen Bewegung zwischen dem Objekt und dem
Fahrzeug
Dann werden die neueste Positionskoordinate P(0) = (X(0), Y(0), Z(0)) und die Positionskoordinate P(N – 1) = (X(N – 1), Y(N – 1), Z(N – 1)) vor der (N – 1)-Abfrage (d. h. vor der Zeit ΔT) korrigiert, so dass sie auf der Approximationsgeraden LMV liegen, und es werden die Positionskoordinaten nach der Korrektur, Pv(0) = (Xv(0), Yv(0), Zv(0)) und Pv(N – 1) = (Xv(N – 1), Yv(N – 1), Zv(N – 1)) erhalten.Then will be the latest position coordinate P (0) = (X (0), Y (0), Z (0)) and the position coordinate P (N-1) = (X (N-1), Y (N-1), Z (N-1)) the (N - 1) query (ie before the time ΔT) corrected so that they lie on the approximation line LMV, and the position coordinates after the correction, Pv (0) = (Xv (0), Yv (0), Zv (0)) and Pv (N-1) = (Xv (N-1), Yv (N-1), Zv (N-1)).
Auf diese Weise kann der Vektor der relativen Bewegung als ein auf Pv(0) gerichteter Vektor aus der Positionskoordinate Pv(N – 1) (in Schritt S16) ermittelt werden.On this way, the vector of relative motion can be considered as one on Pv (0) directed vector from the position coordinate Pv (N - 1) (in Step S16).
Wie
vorstehend erläutert,
wird es gemäß der Ausführungsform
der vorliegenden Erfindung möglich,
die Möglichkeit
einer Kollision des Fahrzeugs mit einem Objekt genauer und mit einem
geringeren Fehlergrad bei der Positionserfassung zu schätzen, indem
eine Approximationsgerade berechnet wird, die für die Approximation einer relativen
Bewegungsbahn des Objekts mit Bezug auf das Fahrzeug
Nachdem der Vektor der relativen Bewegung in Schritt S16 ermittelt wurde, wird ein Alarm-Bestimmungsverfahren, in dem die Möglichkeit einer Kollision mit dem erfassten Objekt bestimmt wird, durchgeführt (in Schritt S17). Das Alarm-Bestimmungsverfahren wird später im Detail beschrieben.After this the vector of the relative movement was determined in step S16, will be an alarm determination method in which the possibility a collision with the detected object is performed (in Step S17). The alarm determination method will be later described in detail.
Wenn
in Schritt S17 bestimmt wird, dass keine Möglichkeit einer Kollision des
Fahrzeugs
Wenn
bestimmt wird, dass eine Möglichkeit einer
Kollision des Fahrzeugs
In
Schritt S18 wird bestimmt, ob das Alarmausgabe-Bestimmungsverfahren
durchgeführt
werden, d. h. die Alarmausgabe erfolgen sollte, indem auf der Basis
der Ausgabe BR von dem Bremssensor
Wenn
der Fahrer des Fahrzeugs
Auf diese Weise wird kein Alarm erzeugt, wenn eine angemessene Bremsoperation durchgeführt wird, so dass es vermieden werden kann, den Fahrer zu stören.On this way, no alarm is generated when an appropriate braking operation carried out so that it can be avoided disturbing the driver.
Wenn
die Beschleunigung Gs gleich oder kleiner als der vorgegebene Schwellenwert
ist oder wenn der Fahrer des Fahrzeugs
Es
ist zu beachten, dass der vorgegebene Schwellenwert GTH ein Wert
ist, der die Bedingungen für
das Stoppen des Fahrzeugs
Es
wurde der Vorgang für
die Erfassung des Objekts und die Alarmierung des Fahrers in der
Bildverarbeitungseinheit
Das
Alarm-Bestimmungsverfahren ist ein Verfahren, in dem die Möglichkeit
einer Kollision des Fahrzeugs
In
dem in
Wenn
als nächstes
in Schritt S31 die Möglichkeit
einer Kollision zwischen dem Fahrzeug
Wenn
in Schritt S32 bestimmt wird, dass kein Objekt in dem Annäherungs-Bestimmungsbereich AR1
anwesend ist (d. h. ”NEIN” in Schritt
S32), führt die
Bildverarbeitungseinrichtung
Wenn
andererseits in Schritt S32 ein Objekt in dem Annäherungs-Bestimmungsbereich
anwesend ist (d. h. ”JA” in Schritt
S32), führt
die Bildverarbeitungseinrichtung
Wenn in Schritt S34 bestimmt wird, dass eine Möglichkeit, dass das Objekt ein Fußgänger ist, vorhanden ist (d. h. ”JA” in Schritt 34), wird das Kunstgebilde-Bestimmungsverfahren durchgeführt, in dem bestimmt wird, ob das Objekt ein Fußgänger ist oder nicht (in Schritt S35), um die Zuverlässigkeit bei der Bestimmung zu erhöhen. Das Kunstgebilde-Bestimmungsverfahren ist ein Verfahren, in dem bestimmt wird, dass das Objekt ein künstliches Gebilde ist, wenn die folgenden Merkmale, die bei einem Fußgänger nicht vorhanden sein können, auf dem Bild des Objekts erfasst werden, und das Objekt aus den Objekten, die das Ertönen eines Alarms erfordern, entfernt wird:If In step S34, it is determined that there is a possibility that the object is a pedestrian, is present (i.e., "YES" in step) 34), the artifact determination method is performed, in which determines whether the object is a pedestrian or not (in step S35) to the reliability to increase in the determination. The artifact determination method is a method in which it is determined that the object is an artificial entity when the following features that may not be present on a pedestrian the image of the object, and the object from the objects, the sounding of an alarm is removed:
- (1) wenn das Bild des Objekts einen Bereich enthält, der einen Rand mit einer geraden Linie zeigt;(1) if the image of the object is an area contains showing an edge with a straight line;
- (2) wenn eine Ecke des Bildes des Objekts rechtwinklig ist;(2) if a corner of the image of the object is rectangular;
- (3) wenn das Bild des Objekts mehrere Bereiche gleicher Gestalt/Form aufweist, und(3) if the image of the object has several areas of the same shape / shape has, and
- (4) wenn das Bild des Objekts mit der Form/Gestalt früher registrierter künstlicher Objekte übereinstimmt.(4) when the image of the object having the shape / shape is registered earlier artificial Objects matches.
Wenn
demzufolge in dem oben genannten Schritt S33 eine Möglichkeit
gegebenen ist, dass ein Objekt den Annäherungs-Bestimmungsbereich
betritt und mit dem Fahrzeug
Wenn
dagegen bestimmt wird, dass keine Möglichkeit einer Kollision zwischen
dem Fahrzeug
Als
nächstes
wird das Fußgänger-Bestimmungsverfahren
in Schritt S34 des in
Die
Wie
in dem in
Da
die Rate zwischen dem umschriebenen Viereck und dem Oberflächenbereich
S des Objekts angegeben werden kann als:
Nachdem
die Form/Gestaltmerkmalswerte für
das binäre
Objekt berechnet wurden, wird ein Wetter-Erfassungsverfahren durchgeführt, in
welchem das Wetter in der Umgebung des Fahrzeugs
Das
Wetter-Erfassungsverfahren ist ein Verfahren, in dem ein Leuchtdichte-Histogramm für ein Grauwertbild,
das z. B. durch die Verwendung der Infrarotkamera
Es
ist zu beachten, dass die Wetterbestimmung in der Umgebung des Fahrzeugs
Nachdem
das Wetter in der Umgebung des Fahrzeugs
Wenn
in Schritt S41-2 bestimmt wird, dass es in der Umgebung des Fahrzeugs
Auch
werden, wie in
Nachdem die Einstellungen in den Maskenbereichen AREA1, AREA2 und AREA3 abgeschlossen sind, werden das Bestimmungsverfahren für einen Fußgänger auf der Basis der Form/Gestalt des binären Objekts und das Bestimmungsverfahren für einen Fußgänger unter Verwendung der Leuchtdichteverteilung in jedem Maskenbereich auf dem Grauwertbild durchgeführt.After the settings in the mask areas AREA1, AREA2 and AREA3 are completed, the determination method for ei pedestrian based on the shape / shape of the binary object and the pedestrian determination method using the luminance distribution in each mask area on the gray scale image.
Die
Bildverarbeitungseinheit
Da die zu erfassenden Objekte Fußgänger sind, wird insbesondere bestimmt, ob der Schwellenwert TH der Breite ΔWb des binären Objekts im Bereich von (1 ≤ TH ≤ 2), d. h. in dem für die Breite eines Fußgängers passenden Bereich liegt (in Schritt S44).There the objects to be detected are pedestrians, Specifically, it is determined whether the threshold value TH is the width ΔWb of the binary object in the range of (1 ≤ TH ≤ 2), d. H. in the for the width of a pedestrian fitting Range is (in step S44).
Auch
wird in Schritt S41-2, wenn das Wetter in der Umgebung des Fahrzeugs
Wenn
in Schritt S44 bestimmt wird, dass der Schwellenwert TH der Breite ΔWb des binären Objekts
im Bereich von (1 ≤ TH ≤ 2) liegt
(d. h. ”JA” in Schritt
S44), wird bestimmt, ob es in der Umgebung des Fahrzeugs
Wird
in Schritt S44-1 bestimmt, dass das Wetter in der Umgebung des Fahrtzeugs
Wenn
andererseits in Schritt S44-1 bestimmt wird, dass das in der Umgebung
des Fahrzeugs
Wenn in Schritt S45 bestimmt wird, dass die Höhe ΔHb des Grauwertobjekts geringer ist als der Schwellenwert TH4 (d. h. ”JA” in Schritt S45) oder wenn in Schritt S45-1 bestimmt wird, dass die Höhe ΔHb des binären Objekts niedriger als der Schwellenwert TH3 ist (d. h. ”JA” in Schritt S45-1), wird in Schritt S46 bestimmt, ob die Höhenposition Yt des oberen Endes des Objekts ausgehend von der Oberfläche der Strasse niedriger ist als der Schwellenwert TH5, d. h. in dem für die Höhe/Größe eines Fußgängers passenden Bereich.If In step S45, it is determined that the height ΔHb of the gray scale object is smaller is the threshold value TH4 (i.e., "YES" in step S45) or if In step S45-1, it is determined that the height ΔHb of the binary object is lower than that Threshold TH3 is (i.e., "YES" in step) S45-1), it is determined in step S46 whether the height position Yt of the upper end of the object is lower starting from the surface of the road as the threshold TH5, d. H. in the area appropriate for the height / size of a pedestrian.
Wenn
in Schritt S46 die Höhenposition
Yt des oberen Endes des Objekts ausgehend von der Oberfläche der
Strasse niedriger ist als der Schwellenwert TH5 (d. h. ”JA” in Schritt
S46), wird bestimmt, ob es in der Umgebung des Fahrzeugs
Wird
in Schritt S46-1 bestimmt, dass das Wetter in der Umgebung des Fahrzeugs
Wenn,
wie in
Dem gemäß wird in Schritt S47 bestimmt, ob das Objekt ein Fußgänger ist, indem bestimmt wird, ob die Leuchtdichteverteilung Var_A3 des Maskenbereichs AREA3 größer als der Schwellenwert TH6 ist.the according to Step S47 determines whether the object is a pedestrian by determining whether the luminance distribution Var_A3 of the mask area AREA3 is greater than the threshold is TH6.
Wenn in Schritt S47 die Leuchtdichteverteilung Var_A3 des Maskenbereichs AREA3 größer als der Schwellenwert TH6 ist (d. h. ”JA” in Schritt S47), wird das Fußgänger-Bestimmungsverfahren auf der Basis der Änderung der Form/Gestalt des Objekts über die Zeit durchgeführt.If, in step S47, the luminance distribution Var_A3 of the mask area AREA3 is greater than is the threshold TH6 (ie, "YES" in step S47), the pedestrian determination process is performed on the basis of the change of the shape of the object over time.
Da das Objekt eine binäre Abbildung eines Fußgänger ist, gilt insbesondere, dass sich die Form/Gestalt der binären Abbildung über die Zeit nicht bedeutend ändert. Aus diesem Grund wird bestimmt, ob die Differenz zwischen dem Maximalwert Max_Rate und dem Minimalwert Min_Rate der Rate, die das Verhältnis des Oberflächenbereichs zwischen dem umschriebenen Viereck und der binären Abbildung innerhalb einer bestimmten Zeitperiode angibt, geringer ist als der Schwellenwert TH7 (in Schritt S48).There the object is a binary one Illustration of a pedestrian, In particular, the shape / shape of the binary image is over the Time does not change significantly. For this reason, it is determined whether the difference between the maximum value Max_Rate and the minimum value Min_Rate of the rate, which is the ratio of the surface area between the circumscribed quadrilateral and the binary image within one specified time period is less than the threshold TH7 (in step S48).
Wenn
in Schritt S46-1 bestimmt wird, dass das Wetter in der Umgebung
des Fahrzeugs
Wenn
andererseits in Schritt S44 die Breite ΔHb des binären Objekts kleiner ist als
der Schwellenwert TH1 oder größer als
der Schwellenwert TH2 (d. h. ”NEIN” in Schritt
S44) oder wenn in Schritt S45 die Höhe ΔHb des binären Objekts gleich oder größer als
der Schwellenwert TH3 ist oder wenn die Höhe ΔHg des Grauwertobjekts gleich
oder größer als
der Schwellenwert TH4 ist (d. h. ”NEIN” in Schritt S45) oder wenn
in Schritt S45-1 die Höhe ΔHb des binären Objekts
gleich oder größer als
der Schwellenwert TH3 ist (d. h. ”NEIN” in Schritt S45-1) oder wenn
in Schritt S46 bestimmt wird, dass die Höhenposition Yt des oberen Endes
des Objekts ausgehend von der Oberfläche der Strasse gleich oder
größer als
der Schwellenwert TH5 ist (d. h. ”NEIN” in Schritt S46), wird bestimmt,
dass das erfasste Objekt kein Fußgänger ist (in Schritt S49),
und das Fußgänger-Bestimmungsverfahren
wird beendet. Dann führt
der Ablauf weiter zu Schritt S37 in dem in
Ähnlich wird,
wenn in Schritt S47 die Leuchtdichteverteilung in dem Maskenbereich
AREA3 gleich oder größer als
der Schwellenwert TH6 ist (d. h. ”NEIN” in Schritt S47) oder wenn
in Schritt S48 die Differenz zwischen dem Maximalwert Max_Rate und dem
Minimalwert Min_Rate der Rate, die das Verhältnis des Oberflächenbereichs
zwischen dem umschriebenen Viereck und dem binären Objekt innerhalb einer
bestimmten Zeitperiode angibt, gleich oder größer als der Schwellenwert TH7
ist (d. h. ”NEIN” in Schritt
S48), bestimmt, dass das erfasste Objekt (oder das in dem Bereich
AREA0 eingefangene Objekt) kein Fußgänger ist (in Schritt S49),
und das Fußgänger-Bestimmungsverfahren
wird beendet. Dann führt
der Ablauf weiter zu Schritt S37 in dem in
Wenn
in Schritt S48 die Differenz zwischen dem Maximalwert Max_Rate und
dem Minimalwert Min_Rate der Rate, die das Verhältnis des Oberflächenbereichs
zwischen dem umschriebenen Viereck und dem binären Objekt innerhalb einer
bestimmten Zeitperiode angibt, niedriger als der Schwellenwert TH7
ist (d. h. ”JA” in Schritt
S48), dann führt
die Bildverarbeitungseinheit
Insbesondere wird bestimmt, ob die Höhenposition Yt des oberen Endes des Objekts ausgehend von der Oberfläche der Strasse den Schwellenwert TH8 übersteigt (der ein geeigneter Wert für die Höhenunterscheidung der oberen Hälfte von der unteren Hälfte des Körpers eines Fußgängers ist) (in Schritt S50).Especially determines if the height position Yt of the upper end of the object starting from the surface of Road exceeds threshold TH8 (which is a suitable value for the height difference the upper half from the lower half of the body a pedestrian is) (in step S50).
Wenn
in Schritt S50 die Höhenposition
Yt des oberen Endes des Objekts von der Oberfläche der Strasse gleich oder
kleiner ist als der Schwellenwert TH8 (d. h. ”NEIN” in Schritt S51), führt der
Ablauf weiter zu dem in dem Flussdiagramm von
Wenn
in Schritt S51-1 bestimmt wird, dass das Wetter in der Umgebung
des Fahrzeugs
Wenn
in Schritt S52 die Höhe ΔHg des Grauwertobjekts
gleich oder größer als
der Schwellenwert TH10 ist (d. h. ”NEIN” in Schritt S52), wird angenommen,
dass das Objekt dem Körper
oder der unteren Körperhälfte eines
Fußgängers entspricht.
Um dann zu bestimmen, ob bei dem obigen Objekt ein Kopfteil vorhanden
ist, wird bestimmt, ob der mittlere Leuchtdichtewert Ave_A1 des
in
Wenn in Schritt S53 bestimmt wird, dass der mittlere Leuchtdichtewert Ave_A1 des Maskenbereichs AREA1 größer als der Schwellenwert TH11 ist (d. h. ”JA” in Schritt S53), wird bestimmt, ob die Leuchtdichteverteilung Var_A2 des Maskenbereichs AREA2 größer als der Schwellenwert TH18 ist, wobei angenommen wird, dass AREA2 ein Leuchtdichtemuster auf dem Grauwertbild hat, da der Körperteil Bereiche enthält, die aufgrund der Wirkung von Kleidung, die getragen wird, nicht ohne weiteres Wärme abstrahlen (in Schritt S53-1).If In step S53, it is determined that the average luminance value Ave_A1 of the mask area AREA1 greater than the threshold TH11 is (i.e., "YES" in step) S53), it is determined whether the luminance distribution Var_A2 of the mask area AREA2 greater than is the threshold TH18, assuming that AREA2 is on Luminance pattern on the gray value image has as the body part areas contains which is not due to the effect of clothes being worn easily radiate heat (in step S53-1).
Wenn
in Schritt S53-1 die Leuchtdichteverteilung Var_A2 des Maskenbereichs
AREA2 größer als
der Schwellenwert TH18 ist (d. h. ”JA” in Schritt S53-1), wird bestimmt,
dass das erfasste Objekt
Wenn
in Schritt S51-1 bestimmt wird, dass das Wetter in der Umgebung
des Fahrzeugs
Wenn
andererseits bestimmt wird, dass die Breite ΔWb des binären Objekts größer als
der Schwellenwert TH9 ist (d. h. ”NEIN” in Schritt S51), oder wenn
in Schritt S53 der mittlere Leuchtdichtewert Ave_A1 des Maskenbereichs
AREA1 gleich oder größer als
der Schwellenwert
Wenn in Schritt S52 bestimmt wird, dass die Höhe ΔHg des Grauwertobjekts niedriger als der Schwellenwert TH10 ist (d. h. ”JA” in Schritt S52), wird angenommen, dass das Objekt ein sitzender Fußgänger ist, und es wird bestimmt, ob die Höhenposition Yt des oberen Endes des binären Objekts ausgehend von der Oberfläche der Strasse höher ist als der Schwellenwert TH12, d. h. ein geeigneter Wert für die Unterscheidung der Höhe eines sitzenden Fußgängers von einem stehenden Fußgänger (in Schritt S56).If In step S52, it is determined that the height ΔHg of the gray scale object is lower is the threshold value TH10 (i.e., "YES" in step S52), it is assumed that that the object is a seated pedestrian and it is determined whether the height position Yt of the upper end of the binary Object starting from the surface the street higher is the threshold TH12, d. H. a suitable value for the distinction the height a seated pedestrian of a standing pedestrian (in Step S56).
Wenn in Schritt S56 die Höhenposition Yt des oberen Endes des binären Objekts ausgehend von der Oberfläche der Strasse höher ist als der Schwellenwert TH12 (d. h. ”JA” in Schritt S56), wird bestimmt, ob Asp, wodurch das Seitenverhältnis (d. h. das Verhältnis von Länge zu Breite) des umschriebenen Vierecks für das binäre Objekt ausdrückt wird, gleich oder größer als der Schwellenwert TH13 und gleich oder kleiner als der Schwellenwert TH14 ist (d. h. ein für einen Fußgänger passender Wert) in Schritt S57.If in step S56, the height position Yt of the upper end of the binary Object starting from the surface the street higher is determined as the threshold TH12 (i.e., "YES" in step S56), it is determined whether Asp, reducing the aspect ratio (ie the ratio of length to width) of the circumscribed quadrilateral for the binary object is equal or greater than the threshold TH13 and equal to or less than the threshold TH14 is (i.e., a for a pedestrian more fitting Value) in step S57.
Wenn
in Schritt S57 der Wert von Asp, der das Seitenverhältnis eines
umschriebenen Vierecks für
das binäre
Objekt ausdrückt,
gleich oder größer als
der Schwellenwert TH13 und gleich oder kleiner als der Schwellenwert
TH14 ist (d. h. ”JA” in Schritt S57),
wird bestimmt, ob die Distanz Dis_c zwischen dem Schwerpunkt bei
dem umschriebenen Viereck
Wenn in Schritt S58 die Distanz Dis_c geringer als der Schwellenwert TH15 ist (d. h. ”JA” in Schritt S58), wird bestimmt, ob ein Teil, der eine hohe Korrelation mit den vorgegebenen Mustern eines Kopfteils zeigt, in dem Maskenbereich AREA1 des binären Objekts vorhanden ist, da andere Objekte als Fußgänger, wie zum Beispiel der Frontbereich eines Fahrzeugs, zum Beispiel in Objekten enthalten sein können, bei denen ΔWb 1,0 m oder weniger und ΔHg weniger als 1,0 m sind (in Schritt S59).If in step S58, the distance Dis_c is less than the threshold value TH15 is (i.e., "YES" in step) S58), it is determined whether a part having a high correlation with shows the predetermined patterns of a header, in the mask area AREA1 of the binary Object exists because objects other than pedestrians, such as the Front area of a vehicle, for example, contained in objects could be, where ΔWb 1.0 m or less and ΔHg less being 1.0 m (in step S59).
Wenn
in Schritt S59 ein Bereich mit einem hohen Korrelationsgrad mit
vorregistrierten Mustern eines Kopfteils in dem Maskenbereich AREA1
des binären
Objekts vorhanden ist (d. h. ”JA” in Schritt S59),
wird bestimmt, dass das erfasste Objekt (oder das in dem Bereich
AREA0 eingefangene Objekt) ein Fußgänger ist (in Schritt S54),
und das Fußgänger-Bestimmungsverfahren
wird beendet. Dann führt der
Ablauf weiter zu Schritt S35 in
Wenn
andererseits in Schritt S56 bestimmt wird, dass die Höhenposition
Yt des oberen Endes des binären
Objekts ausgehend von der Oberfläche der
Strasse gleich oder niedriger als der Schwellenwert TH12 ist (d.
h. ”NEIN” in Schritt
S56), oder wenn in Schritt S57 der Wert von Asp, der das Seitenverhältnis eines
umschriebenen Vierecks für
das binäre Objekt
ausdrückt,
kleiner als der Schwellenwert TH13 oder größer als der Schwellenwert TH14
ist (d. h. ”NEIN” in Schritt
S57) oder wenn in Schritt S58 die Distanz Dis_c gleich oder größer als
der Schwellenwert TH15 ist (d. h. ”NEIN” in Schritt S58) oder wenn in
Schritt S59 ein Bereich, deren einen hohen Grad einer Korrelation
mit vorregistrierten Mustern eines Kopfteils zeigt, in dem Maskenbereich
AREA1 des binären
Objekts nicht vorhanden ist (d. h. ”NEIN” in Schritt S59), wird bestimmt,
dass das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene
Objekt) kein Fußgänger ist
(in Schritt S55), und das Fußgänger-Bestimmungsverfahren
wird beendet. Dann führt
der Ablauf weiter zu Schritt S37 in
Wenn
in Schritt S50 in
Wenn
in Schritt S50-1 bestimmt wird, dass das Wetter in der Umgebung
des Fahrzeugs
Wenn
in Schritt S61 bestimmt wird, dass der mittlere Leuchtdichtewert
Ave_A1 des Maskenbereichs AREA1 größer als der Schwellenwert TH17
ist (d. h. ”JA” in Schritt
S61), wird bestimmt, ob die Leuchtdichteverteilung Var_A2 des Maskenbereichs
Wenn in Schritt S62 bestimmt wird, dass die Leuchtdichteverteilung Var_A2 des Maskenbereichs AREA2 größer als der Schwellenwert TH18 ist (d. h. ”JA” in Schritt S62), wird bestimmt, ob die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH19 ist, welcher ein geeigneter Wert für die Breitenunterscheidung eines Kopfteils oder einer oberen Körperhälfte eines Fußgängers ist, um zu bestimmen, ob es ein Fußgänger ist, dessen Kopfteil oder obere Körperhälfte unter Anwendung des binären Verfahrens extrahiert wurden (in Schritt S63).If In step S62, it is determined that the luminance distribution Var_A2 of the mask area AREA2 is greater than the threshold TH18 (i.e., "YES" in step S62) is determined whether the width ΔWb of binary Object is equal to or smaller than the threshold TH19, which a suitable value for the width discrimination of a head part or an upper half of a body Pedestrian is, to determine if it's a pedestrian, its headboard or upper half of the body below Application of the binary Method were extracted (in step S63).
Wenn
in Schritt S50-1 bestimmt wird, dass das Wetter in der Umgebung
des Fahrzeugs
Wenn in Schritt S63 bestimmt wird, dass die Breite ΔWb des binären Objekts größer als der Schwellenwert TH19 ist (d. h. ”NEIN” in Schritt S63), dann wird bestimmt, ob die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH9 ist, welcher ein für die Breite eines Körpers eines Fußgängers passender Wert ist, um zu bestimmen, ob es ein Fußgänger ist, dessen Körper oder zumindest obere Körperhälfte durch das binäre Verfahren extrahiert wurden (Schritt S64).If it is determined in step S63 that the width ΔWb of the binary object is greater than the threshold TH19 (ie, "NO" in step S63), then it is determined whether the width ΔWb of the binary object is equal to or smaller than the threshold TH9, which is a value suitable for the width of a body of a pedestrian to determine if it is a pedestrian, its body or at least the upper half of the body by the binary method were extracted (step S64).
Wenn in Schritt S64 die Breite ΔWb des binären Objekts größer als der Schwellenwert TH9 ist (d. h. ”NEIN” in Schritt S64), wird darüber hinaus bestimmt, ob die Breite ΔWb des binären Objekts gleich oder kleiner als der Schwellenwert TH2 ist, welcher ein für die Breite eines Körpers eines Fußgängers passender Wert ist, um zu bestimmen, ob sich eine Mehrzahl von Fußgängern parallel bewegt (in Schritt S65).If in step S64, the width ΔWb of the binary Object larger than the threshold TH9 (i.e., "NO" in step S64) becomes more determines whether the width ΔWb of the binary Object is equal to or smaller than the threshold TH2, which is a for the Width of a body a pedestrian more appropriate Value is to determine if a plurality of pedestrians are parallel is moved (in step S65).
Wenn
ferner in den oben genannten Bestimmungsverfahren in Schritt S60
die Höhe ΔHg des Grauwerts
gleich oder kleiner als der Schwellenwert TH16 ist (d. h. ”NEIN” in Schritt
S60) oder wenn in Schritt S61 bestimmt wird, dass der mittlere Leuchtdichtewert
Ave_A1 des Maskenbereichs AREA1 gleich oder kleiner als der Schwellenwert
TH17 ist (d. h. ”NEIN” in Schritt
S61), oder wenn in Schritt S62 bestimmt wird, dass die Leuchtdichteverteilung
Var_A2 des Maskenbereichs AREA2 gleich oder kleiner als der Schwellenwert
TH18 ist (d. h. ”NEIN” in Schritt S62),
oder wenn in Schritt S65 bestimmt wird, dass die Breite ΔWb des binären Objekts
größer als
der Schwellenwert TH2 ist (d. h. ”NEIN” in Schritt S65), wird bestimmt,
dass das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene
Objekt) kein Fußgänger ist
(in Schritt S66), und das Fußgänger-Bestimmungsverfahren
wird beendet. Dann führt
der Ablauf (über ”NEIN” in Schritt
S34) weiter zu Schritt S37, der in
Wenn
dagegen in Schritt S63 bestimmt wird, dass die Breite ΔWb des binären Objekts
gleich oder kleiner als ein Schwellenwert TH19 ist (d. h. ”JA” in Schritt
S63), wird bestimmt, dass das Objekt ein Fußgänger ist, dessen Kopfteil oder obere
Körperhälfte durch
das binäre
Verfahren extrahiert wurden, und der Ablauf führt in dem in
Wenn
in Schritt S68 bestimmt wird, dass die Distanz Dis_c kleiner als
der Schwellenwert TH15 ist (d. h. ”JA” in Schritt S68), wird das
erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt)
als Fußgänger betrachtet
(in Schritt S69), und das Fußgänger-Bestimmungsverfahren
wird beendet. Dann führt
der Ablauf (über ”JA” in Schritt
S34) weiter zu dem in
Wenn
dagegen der Wert von Asp, der das Seitenverhältnis des umschriebenen Vierecks
für das binäre Objekt
ausdrückt,
kleiner als der Schwellenwert TH20 oder größer als der Schwellenwert TH21 ist
(d. h. ”NEIN” in Schritt
S67) oder wenn in Schritt S68 bestimmt wird, dass die Distanz Dis_c
gleich oder größer als
der Schwellenwert TH15 ist (d. h. ”NEIN” in Schritt S68), wird das
erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt) nicht
als Fuß gänger betrachtet
(in Schritt S70), und das Fußgänger-Bestimmungsverfahren
wird beendet. Dann führt
der Ablauf (über ”NEIN” in Schritt S34)
weiter zu dem in
Wenn
in Schritt S64 in
Wenn
in Schritt S72 bestimmt wird, dass die Distanz Dis_c geringer ist
als der Schwellenwert TH15 (d. h. ”JA” in Schritt S72), wird bestimmt,
ob es in der Umgebung des Fahrzeugs
Wenn
in Schritt S72-1 bestimmt wird, dass das Wetter in der Umgebung
des Fahrzeugs
Wenn
in Schritt S73 ein Teil mit einem hohen Grad einer Korrelation mit
vorregistrierten Mustern in dem Maskenbereich AREA1 des binären Objekts vorhanden
ist (d. h. ”JA” in Schritt
S73), wird das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene
Objekt) als Fußgänger betrachtet
(in Schritt S74), und das Fußgänger-Bestimmungsverfahren
wird beendet. Dann führt
der Ablauf weiter zu Schritt S35 in
Wenn
in Schritt S72-1 bestimmt wird, dass das Wetter in der Umgebung
des Fahrzeugs
Wenn
andererseits bestimmt wird, dass der Wert von Asp, der das Seitenverhältnis des
umschriebenen Vierecks für
das binäre
Objekt angibt, kleiner als der Schwellenwert TH13 oder größer als der
Schwellenwert TH21 ist (d. h. ”NEIN” in Schritt S71),
oder wenn in Schritt S72 bestimmt wird, dass die Distanz Dis_c gleich
oder größer als
der Schwellenwert TH15 ist (d. h. ”NEIN” in Schritt S72) oder wenn
in Schritt S73 ein Teil mit einem hohen Grad einer Korrelation mit
vorregistrierten Mustern eines Kopfteils in dem Maskenbereich AREA1
des bi nären Objekts
nicht vorhanden ist (d. h. ”NEIN” in Schritt S73),
wird bestimmt, dass das erfasste Objekt (oder das in dem Bereich
AREA0 eingefangene Objekt) kein Fußgänger ist (in Schritt S74),
und das Fußgänger-Bestimmungsverfahren
wird beendet. Dann führt der
Ablauf weiter zu Schritt S37 in
Wenn
in Schritt S65 des in
Wenn
der Wert von Asp in Schritt S77, der das Seitenverhältnis des
umschriebenen Vierecks für das
binäre
Objekt angibt, gleich oder größer als
der Schwellenwert TH23 und gleich oder kleiner als der Schwellenwert
TH14 ist (d. h. ”JA” in Schritt
S77), wird bestimmt, ob die Distanz Dis_c zwischen dem Schwerpunkt
bei dem vorgenannten umschriebenen Viereck
Wenn
in Schritt S78 bestimmt wird, dass die Distanz Dis_c geringer ist
als der Schwellenwert TH15 (d. h. ”JA” in Schritt S78), wird bestimmt,
dass das erfasste Objekt (oder das in dem Bereich AREA0 eingefangene
Objekt) ein Fußgänger ist
(in Schritt S79), und das Fußgänger-Bestimmungsverfahren wird
beendet. Dann führt
der Ablauf weiter zu dem in
Wenn
dagegen in Schritt S76 bestimmt wird, dass der Wert von RATE, der
das Verhältnis
des Oberflächenbereichs
des umschriebenen Vierecks zu jenem der binären Abbildung innerhalb einer
bestimmten Zeitperiode ist, gleich oder größer als der Schwellenwert TH22
in Schritt S76 ist (d. h. ”NEIN” in Schritt
S76), oder wenn in Schritt S77 bestimmt wird, dass der Wert von
Asp, der das Seitenverhältnis
des umschriebenen Vierecks für
das binäre
Objekt angibt, kleiner ist als der Schwellenwert TH23 oder größer als
der Schwellenwert TH14 (d. h. ”NEIN” in Schritt
S77) oder wenn in Schritt S78 bestimmt wird, dass die Distanz Dis_c
gleich oder größer als
der Schwellenwert TH15 ist (d. h. ”NEIN” in Schritt S78), wird das
erfasste Objekt (oder das in dem Bereich AREA0 eingefangene Objekt)
nicht als ein Fußgänger betrachtet
(in Schritt S80), und das Fußgänger-Bestimmungsverfahren
wird beendet. Dann führt der
Ablauf weiter zu dem in
Es
ist zu beachten, dass in dieser Ausführungsform der vorliegenden
Erfindung die Bildverarbeitungseinheit
Insbesondere
entspricht der in
Die
Schritte S48 und S49 in
Wie vorstehend erläutert wurde, extrahiert die Vorrichtung zur Beobachtung der Umgebung des Fahrzeugs gemäß der Ausführungsform der vorliegenden Erfindung nach dem Extrahieren eines Objekts wie beispielsweise eines Fußgängers unter Anwendung des binären Schwellenvergleichsverfahrens aus einem Grauwertbild eines durch eine Infrarotkamera aufgenommenen Bildes ein Grauwertobjekt, welches das binäre Objekt aus dem Grauwertbild enthält, auf der Basis einer Leuchtdichteänderung des Grauwertbildes und stellt des weiteren eine Mehrzahl von Suchbereichen in den Bereichen des Grauwertobjekts ein, um auf der Basis der Form/Gestalt oder der Leuchtdichteverteilung in den Suchbereichen einen Fußgänger in den Suchbereichen zu erkennen.As explained above was extracted, the device for monitoring the environment of the vehicle according to the embodiment of the present invention after extracting an object such as for example, a pedestrian under Application of the binary Threshold comparison method from a gray value image of a an infrared camera recorded image a grayscale object, which the binary Contains object from the gray value image, based on a luminance change the gray value image and further provides a plurality of search areas in the areas of the gray scale object, based on the shape / shape or the luminance distribution in the search areas a pedestrian in to recognize the search areas.
Wenn
bestimmt wird, dass es in der Umgebung des Fahrzeugs
Wenn
bestimmt wird, dass es in der Umgebung des Fahrzeugs
Außerdem wird,
wenn bestimmt wird, dass es in der Umgebung des Fahrzeugs
Vorstehend wurden Ausführungsbeispiele der vorliegenden Erfindung beschrieben. Für den Fachmann ist es jedoch offensichtlich, dass verschiedene Änderungen, Modifikationen und Verbesserungen möglich sind, die, wenngleich sie vorstehend nicht ausdrücklich beschrieben sind, dennoch beabsichtigt und impliziert sind, ohne vom Kern der Erfindung abzuweichen oder den Rahmen der Erfindung zu verlassen. Demzufolge dient die vorstehende Beschreibung lediglich zum Zweck der Darstellung, und die Erfindung ist allein durch die folgenden Ansprüche und ihre Äquivalente begrenzt und definiert.above were embodiments of the present invention described. However, it is for the skilled person obviously that different changes, modifications and Improvements possible are, although they are not expressly described above yet intended and implied, without departing from the gist of the invention or to depart from the scope of the invention. Accordingly, the serves the description above for the purpose of illustration only, and the The invention is solely limited by the following claims and their equivalents limited and defined.
Eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs, die in der Lage ist, in der Umgebung des Fahrzeugs anwesende Objekte auf der Basis eines Bildes zu erfassen, das von zumindest einem an dem Fahrzeug vorgesehenen Infrarotkameraelement aufgenommen wird. Die Vorrichtung umfasst eine binäre Objekt-Extraktionseinheit, die ein Grauwertbild des von dem Infrarotkameraelement aufgenommenen Bildes einem binären Schwellenvergleichsverfahren unterzieht und ein binäres Objekt aus dem Grauwertbild extrahiert; eine Grauwertobjekt-Extraktionseinheit, die ein Grauwertobjekt, wovon ein Bereich das binäre Objekt enthält, auf der Basis einer Leuchtdichteänderung des Grauwertbildes aus dem Grauwertbild extrahiert; und eine Fußgänger-Bestimmungseinheit, die einen Suchbereich in einem Bereich einstellt, der das Grauwertobjekt enthält, und auf der Basis einer Leuchtdichteverteilung in dem Suchbereich einen Fußgänger auf dem Grauwertbild erkennt.An environment monitoring apparatus of a vehicle capable of detecting objects present in the vicinity of the vehicle on the basis of an image obtained from at least one infrared camera element provided on the vehicle is received. The apparatus comprises a binary object extraction unit which subjects a gray scale image of the image taken by the infrared camera element to a binary threshold comparison process and extracts a binary object from the gray scale image; a gray scale object extraction unit that extracts a gray level object, of which one area contains the binary object, from the gray scale image based on a luminance change of the gray level image; and a pedestrian determination unit that sets a search area in a region containing the gray scale object and recognizes a pedestrian on the gray scale image on the basis of a luminance distribution in the search area.
Claims (6)
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002010576 | 2002-01-18 | ||
| JP2002/010576 | 2002-01-18 | ||
| JP2002/297219 | 2002-10-10 | ||
| JP2002297219A JP4060159B2 (en) | 2002-01-18 | 2002-10-10 | Vehicle periphery monitoring device |
| JP2002297220A JP3939626B2 (en) | 2002-10-10 | 2002-10-10 | Vehicle periphery monitoring device |
| JP2002-297220 | 2002-10-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE10301468A1 DE10301468A1 (en) | 2003-10-23 |
| DE10301468B4 true DE10301468B4 (en) | 2010-08-05 |
Family
ID=27348094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE10301468A Expired - Fee Related DE10301468B4 (en) | 2002-01-18 | 2003-01-16 | Device for monitoring the environment of a vehicle |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7130448B2 (en) |
| DE (1) | DE10301468B4 (en) |
Families Citing this family (99)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1222911C (en) * | 1998-05-19 | 2005-10-12 | 索尼电脑娱乐公司 | Image processing apparatus and method, and providing medium |
| US7101391B2 (en) * | 2000-09-18 | 2006-09-05 | Inflow Dynamics Inc. | Primarily niobium stent |
| US7554535B2 (en) * | 2001-10-05 | 2009-06-30 | Nec Corporation | Display apparatus, image display system, and terminal using the same |
| JP3987048B2 (en) * | 2003-03-20 | 2007-10-03 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| JP2005004364A (en) * | 2003-06-10 | 2005-01-06 | Mitsubishi Electric Corp | Vehicle safety device |
| JP3987013B2 (en) * | 2003-09-01 | 2007-10-03 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| DE10353001A1 (en) * | 2003-11-13 | 2005-06-16 | Conti Temic Microelectronic Gmbh | Device and method for object recognition for a motor vehicle safety device |
| US20050123182A1 (en) * | 2003-12-03 | 2005-06-09 | Avision Inc. | Temperature sensor |
| JP4425642B2 (en) | 2004-01-08 | 2010-03-03 | 富士重工業株式会社 | Pedestrian extraction device |
| JP4628683B2 (en) * | 2004-02-13 | 2011-02-09 | 富士重工業株式会社 | Pedestrian detection device and vehicle driving support device including the pedestrian detection device |
| JP4376653B2 (en) * | 2004-02-17 | 2009-12-02 | 富士重工業株式会社 | Outside monitoring device |
| JP4242796B2 (en) * | 2004-03-12 | 2009-03-25 | パナソニック株式会社 | Image recognition method and image recognition apparatus |
| DE102004016808A1 (en) * | 2004-04-06 | 2005-10-27 | Robert Bosch Gmbh | Signaling device for displaying warnings and / or information in vehicles |
| JP3987057B2 (en) * | 2004-06-14 | 2007-10-03 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| JP2005350010A (en) * | 2004-06-14 | 2005-12-22 | Fuji Heavy Ind Ltd | Stereoscopic vehicle exterior monitoring device |
| WO2006014974A2 (en) | 2004-07-26 | 2006-02-09 | Automotive Systems Laboratory, Inc. | Vulnerable road user protection system |
| JP4328692B2 (en) * | 2004-08-11 | 2009-09-09 | 国立大学法人東京工業大学 | Object detection device |
| JP4297501B2 (en) * | 2004-08-11 | 2009-07-15 | 国立大学法人東京工業大学 | Moving object periphery monitoring device |
| JP3937414B2 (en) * | 2004-08-11 | 2007-06-27 | 本田技研工業株式会社 | Planar detection apparatus and detection method |
| JP4224449B2 (en) * | 2004-11-30 | 2009-02-12 | 本田技研工業株式会社 | Image extraction device |
| US7590263B2 (en) | 2004-11-30 | 2009-09-15 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| JP4032052B2 (en) | 2004-11-30 | 2008-01-16 | 本田技研工業株式会社 | Position detection apparatus and correction method thereof |
| JP4130435B2 (en) * | 2004-11-30 | 2008-08-06 | 本田技研工業株式会社 | Abnormality detection device for imaging device |
| DE102005056647B4 (en) * | 2004-11-30 | 2011-02-03 | Honda Motor Co., Ltd. | Vehicle environment monitoring device |
| US7599521B2 (en) | 2004-11-30 | 2009-10-06 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| US7545955B2 (en) | 2004-11-30 | 2009-06-09 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
| JP4461091B2 (en) | 2004-11-30 | 2010-05-12 | 本田技研工業株式会社 | Position detection apparatus and correction method thereof |
| JP3970876B2 (en) * | 2004-11-30 | 2007-09-05 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| US7515737B2 (en) | 2004-11-30 | 2009-04-07 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
| JP4094604B2 (en) * | 2004-11-30 | 2008-06-04 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| JP4128562B2 (en) | 2004-11-30 | 2008-07-30 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| US7403639B2 (en) * | 2004-11-30 | 2008-07-22 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
| DE102005056645B4 (en) * | 2004-11-30 | 2010-09-16 | Honda Motor Co., Ltd. | Vehicle environment monitoring device |
| JP2007091025A (en) * | 2005-09-28 | 2007-04-12 | Fuji Heavy Ind Ltd | Forward monitoring device for vehicle |
| JP4426535B2 (en) * | 2006-01-17 | 2010-03-03 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| DE102006047629A1 (en) * | 2006-03-14 | 2007-09-20 | Robert Bosch Gmbh | Method for determining object parameters of a pedestrian |
| US7671725B2 (en) * | 2006-03-24 | 2010-03-02 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program |
| JP4793638B2 (en) * | 2006-03-27 | 2011-10-12 | マツダ株式会社 | Pedestrian detection device for vehicles |
| JP4171501B2 (en) * | 2006-04-25 | 2008-10-22 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| US7786898B2 (en) | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
| JP4203512B2 (en) * | 2006-06-16 | 2009-01-07 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| US8179281B2 (en) * | 2006-10-13 | 2012-05-15 | Continental Teves Ag & Co. Ohg | Method and apparatus for identifying concealed objects in road traffic |
| WO2008065717A1 (en) * | 2006-11-29 | 2008-06-05 | Fujitsu Limited | Pedestrian detecting system, and pedestrian detecting method |
| US7809164B2 (en) * | 2007-01-10 | 2010-10-05 | Mavs Lab. Inc. | Methods and systems for identifying events for a vehicle |
| US8189938B2 (en) * | 2007-01-10 | 2012-05-29 | L-3 Insight Technology Incorporated | Enhanced infrared imaging system |
| JP4576445B2 (en) * | 2007-04-12 | 2010-11-10 | パナソニック株式会社 | Autonomous mobile device and program for autonomous mobile device |
| DE102007037610A1 (en) * | 2007-08-09 | 2009-02-19 | Siemens Restraint Systems Gmbh | A method of determining a probable range of motion of a living being |
| EP2227406B1 (en) * | 2007-11-12 | 2015-03-18 | Autoliv Development AB | A vehicle safety system |
| US8031062B2 (en) * | 2008-01-04 | 2011-10-04 | Smith Alexander E | Method and apparatus to improve vehicle situational awareness at intersections |
| US20090174572A1 (en) * | 2008-01-04 | 2009-07-09 | Smith Alexander E | Method and apparatus for an adaptive target vehicle notification system |
| DE102008046488B4 (en) * | 2008-09-09 | 2019-12-12 | Volkswagen Ag | Probabilistic triggering strategy |
| US9283910B2 (en) * | 2008-12-09 | 2016-03-15 | Toyota Jidosha Kabushiki Kaisha | Object detection apparatus and object detection method |
| JP5051468B2 (en) * | 2008-12-25 | 2012-10-17 | トヨタ自動車株式会社 | Sensor calibration apparatus and sensor calibration method |
| US20100225461A1 (en) * | 2009-03-05 | 2010-09-09 | Raja Singh Tuli | Apparatus and method for detection of a specified audio signal or gesture |
| DE102009025545A1 (en) * | 2009-06-15 | 2010-12-16 | Hella Kgaa Hueck & Co. | Method and device for detecting brake light systems |
| JP5039765B2 (en) * | 2009-09-17 | 2012-10-03 | 日立オートモティブシステムズ株式会社 | Vehicle control device |
| JP5422330B2 (en) * | 2009-10-09 | 2014-02-19 | クラリオン株式会社 | Pedestrian detection system |
| EP2506211B1 (en) * | 2009-11-25 | 2014-05-07 | Honda Motor Co., Ltd. | Target-object distance measuring device and vehicle mounted with the device |
| EP2352013B1 (en) * | 2010-02-01 | 2013-01-23 | Autoliv Development AB | A vision system and method for a motor vehicle |
| US9043129B2 (en) * | 2010-10-05 | 2015-05-26 | Deere & Company | Method for governing a speed of an autonomous vehicle |
| DE102011103302A1 (en) | 2011-06-03 | 2012-12-06 | Conti Temic Microelectronic Gmbh | Camera system for a vehicle |
| DE102011078615B4 (en) * | 2011-07-04 | 2022-07-14 | Toyota Jidosha Kabushiki Kaisha | OBJECT DETECTION DEVICE AND OBJECT DETECTION PROGRAM |
| US8994823B2 (en) | 2011-07-05 | 2015-03-31 | Toyota Jidosha Kabushiki Kaisha | Object detection apparatus and storage medium storing object detection program |
| WO2013058128A1 (en) * | 2011-10-18 | 2013-04-25 | 本田技研工業株式会社 | Vehicle vicinity monitoring device |
| DE102011056051A1 (en) | 2011-12-05 | 2013-06-06 | Conti Temic Microelectronic Gmbh | Method for evaluating image data of a vehicle camera taking into account information about rain |
| JP5480925B2 (en) | 2012-03-05 | 2014-04-23 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| US8768007B2 (en) | 2012-03-26 | 2014-07-01 | Tk Holdings Inc. | Method of filtering an image |
| US8824733B2 (en) | 2012-03-26 | 2014-09-02 | Tk Holdings Inc. | Range-cued object segmentation system and method |
| US9239965B2 (en) * | 2012-06-12 | 2016-01-19 | Electronics And Telecommunications Research Institute | Method and system of tracking object |
| CN104583841B (en) * | 2012-08-14 | 2017-12-05 | 诺基亚技术有限公司 | Low smooth vision auxiliary |
| DE102012215287A1 (en) * | 2012-08-29 | 2014-05-28 | Bayerische Motoren Werke Aktiengesellschaft | Method for operating a vehicle |
| JP5666538B2 (en) * | 2012-11-09 | 2015-02-12 | 富士重工業株式会社 | Outside environment recognition device |
| US10043067B2 (en) * | 2012-12-03 | 2018-08-07 | Harman International Industries, Incorporated | System and method for detecting pedestrians using a single normal camera |
| US9076034B2 (en) * | 2012-12-07 | 2015-07-07 | Analog Devices, Inc. | Object localization using vertical symmetry |
| KR102021152B1 (en) | 2013-05-07 | 2019-09-11 | 현대모비스 주식회사 | Method for detecting pedestrians based on far infrared ray camera at night |
| US10210399B2 (en) | 2013-12-20 | 2019-02-19 | Magna Electronics Inc. | Vehicle vision system with image processing |
| JP6402469B2 (en) * | 2014-04-04 | 2018-10-10 | 富士電機株式会社 | Safety control device and safety control system |
| US9819925B2 (en) | 2014-04-18 | 2017-11-14 | Cnh Industrial America Llc | Stereo vision for sensing vehicles operating environment |
| JP6483360B2 (en) | 2014-06-30 | 2019-03-13 | 本田技研工業株式会社 | Object recognition device |
| US10331140B2 (en) * | 2014-12-25 | 2019-06-25 | Equos Research Co., Ltd. | Moving body |
| US9604639B2 (en) * | 2015-08-28 | 2017-03-28 | Delphi Technologies, Inc. | Pedestrian-intent-detection for automated vehicles |
| JP6805716B2 (en) * | 2016-01-25 | 2020-12-23 | 株式会社Ｊｖｃケンウッド | Display device, display method, program |
| DE102016215058A1 (en) | 2016-08-12 | 2018-02-15 | Bayerische Motoren Werke Aktiengesellschaft | Improved control of the interior temperature |
| EP3327696B1 (en) * | 2016-11-22 | 2021-03-17 | Ricoh Company, Ltd. | Information processing apparatus, imaging device, device control system, mobile body, information processing method, and program |
| US10311314B2 (en) | 2016-11-23 | 2019-06-04 | Ford Global Technologies, Llc | Detection of lane-splitting motorcycles |
| WO2018151760A1 (en) | 2017-02-20 | 2018-08-23 | 3M Innovative Properties Company | Optical articles and systems interacting with the same |
| US10509974B2 (en) | 2017-04-21 | 2019-12-17 | Ford Global Technologies, Llc | Stain and trash detection systems and methods |
| EP3688662A1 (en) | 2017-09-27 | 2020-08-05 | 3M Innovative Properties Company | Personal protective equipment management system using optical patterns for equipment and safety monitoring |
| CN109448439B (en) * | 2018-12-25 | 2021-03-23 | 科大讯飞股份有限公司 | Vehicle safe driving method and device |
| KR20200090347A (en) * | 2019-01-21 | 2020-07-29 | 엘지전자 주식회사 | Camera device, and electronic apparatus including the same |
| DE102019205444A1 (en) * | 2019-04-16 | 2020-10-22 | Zf Friedrichshafen Ag | System and method for processing measurement signals |
| US11610078B2 (en) * | 2019-06-28 | 2023-03-21 | Zoox, Inc. | Low variance region detection for improved high variance region detection using machine learning |
| US11605236B2 (en) * | 2019-06-28 | 2023-03-14 | Zoox, Inc. | Training a machine-learned model to detect low variance regions |
| JP7287667B2 (en) * | 2019-07-16 | 2023-06-06 | ｉ－ＰＲＯ株式会社 | Surveillance cameras and information processing equipment |
| CN111359122A (en) * | 2020-02-17 | 2020-07-03 | 国网安徽电动汽车服务有限公司 | Anti-theft intelligent fire-fighting cabinet used in electric charging occasion and intelligent fire-fighting method thereof |
| CN111402534A (en) * | 2020-02-17 | 2020-07-10 | 国网安徽电动汽车服务有限公司 | Management control system with intelligent fire-fighting treatment function and control method thereof |
| US11873000B2 (en) | 2020-02-18 | 2024-01-16 | Toyota Motor North America, Inc. | Gesture detection for transport control |
| US11055998B1 (en) | 2020-02-27 | 2021-07-06 | Toyota Motor North America, Inc. | Minimizing traffic signal delays with transports |
| US11290856B2 (en) | 2020-03-31 | 2022-03-29 | Toyota Motor North America, Inc. | Establishing connections in transports |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69024537T2 (en) * | 1989-05-31 | 1996-09-05 | Fujitsu Ltd | Infrared surveillance system |
| JPH11328364A (en) * | 1998-05-13 | 1999-11-30 | Nissan Motor Co Ltd | Area estimating device and display processor |
| DE10030421A1 (en) * | 1999-06-23 | 2001-01-04 | Honda Motor Co Ltd | Motor vehicle environment monitoring system detects object near vehicle from image produced by imaging device on vehicle, derives relative position, vector, collision probability |
| US20010002936A1 (en) * | 1999-12-02 | 2001-06-07 | Takayuki Tsuji | Image recognition system |
| EP1160550A1 (en) * | 1999-01-14 | 2001-12-05 | Matsushita Electric Industrial Co., Ltd. | Infrared imaging device, vehicle with the same, and infrared image adjusting device |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4954962A (en) * | 1988-09-06 | 1990-09-04 | Transitions Research Corporation | Visual navigation and obstacle avoidance structured light system |
| JP3263699B2 (en) * | 1992-12-22 | 2002-03-04 | 三菱電機株式会社 | Driving environment monitoring device |
| JPH08263784A (en) * | 1995-03-23 | 1996-10-11 | Honda Motor Co Ltd | Road condition recognizing device |
| US6141433A (en) * | 1997-06-19 | 2000-10-31 | Ncr Corporation | System and method for segmenting image regions from a scene likely to represent particular objects in the scene |
| JP4103179B2 (en) | 1998-06-30 | 2008-06-18 | マツダ株式会社 | Environment recognition device |
| JP2001108758A (en) * | 1999-10-06 | 2001-04-20 | Matsushita Electric Ind Co Ltd | Human detector |
| JP4615139B2 (en) | 2001-03-30 | 2011-01-19 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| US6493620B2 (en) | 2001-04-18 | 2002-12-10 | Eaton Corporation | Motor vehicle occupant detection system employing ellipse shape models and bayesian classification |
| JP3756452B2 (en) | 2002-01-18 | 2006-03-15 | 本田技研工業株式会社 | Infrared image processing device |
| US6759949B2 (en) | 2002-05-23 | 2004-07-06 | Visteon Global Technologies, Inc. | Image enhancement in far infrared camera |
-
2003
- 2003-01-16 DE DE10301468A patent/DE10301468B4/en not_active Expired - Fee Related
- 2003-01-17 US US10/346,517 patent/US7130448B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69024537T2 (en) * | 1989-05-31 | 1996-09-05 | Fujitsu Ltd | Infrared surveillance system |
| JPH11328364A (en) * | 1998-05-13 | 1999-11-30 | Nissan Motor Co Ltd | Area estimating device and display processor |
| EP1160550A1 (en) * | 1999-01-14 | 2001-12-05 | Matsushita Electric Industrial Co., Ltd. | Infrared imaging device, vehicle with the same, and infrared image adjusting device |
| DE10030421A1 (en) * | 1999-06-23 | 2001-01-04 | Honda Motor Co Ltd | Motor vehicle environment monitoring system detects object near vehicle from image produced by imaging device on vehicle, derives relative position, vector, collision probability |
| JP2001006096A (en) * | 1999-06-23 | 2001-01-12 | Honda Motor Co Ltd | Peripheral part monitoring device for vehicle |
| US20010002936A1 (en) * | 1999-12-02 | 2001-06-07 | Takayuki Tsuji | Image recognition system |
Also Published As
| Publication number | Publication date |
|---|---|
| US7130448B2 (en) | 2006-10-31 |
| DE10301468A1 (en) | 2003-10-23 |
| US20030138133A1 (en) | 2003-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE10301468B4 (en) | Device for monitoring the environment of a vehicle | |
| DE102004012811B4 (en) | Device for monitoring the environment of a vehicle | |
| DE10247371B4 (en) | Vehicle information providing device | |
| DE102004041919B4 (en) | Vehicle environment monitoring device | |
| DE102005026875B4 (en) | Vehicle environment monitoring device | |
| DE10228638B4 (en) | Vehicle zone monitoring device | |
| DE102005026876B4 (en) | Vehicle environment monitoring device | |
| DE10301469B4 (en) | Infrared image processing device | |
| DE10030421B4 (en) | Vehicle environment monitoring system | |
| DE102005000646B4 (en) | Apparatus and method for detecting moving objects | |
| DE19934925B4 (en) | Vehicle area recognition device and vehicle area determination method | |
| DE102005056429B4 (en) | Vehicle environment monitoring device | |
| DE69937699T2 (en) | Device for monitoring the environment of a vehicle | |
| DE60313941T2 (en) | Person detection by face detection and motion detection | |
| DE602004012962T2 (en) | REAL-TIME OBSTACLE DETECTION WITH A CALIBRATED CAMERA AND KNOWN EGO MOTION | |
| DE112012002885B4 (en) | Method and device for image-based vehicle detection and distance measurement | |
| DE10026586B4 (en) | Object detection system | |
| DE602005001627T2 (en) | Device for extraction of pedestrians | |
| DE19680415C2 (en) | Image processing device for vehicles | |
| DE102005056645A1 (en) | Vehicle surroundings monitoring apparatus, has height calculation device calculating height dimension of object based on dimension of obstacle, and object type determination device determining type of object based on dimension | |
| DE102005056647B4 (en) | Vehicle environment monitoring device | |
| DE102007019491B4 (en) | Vehicle environment monitoring device, vehicle, vehicle environment monitoring method, and vehicle environment monitoring program | |
| DE102005056616B4 (en) | Vehicle environment monitoring device | |
| DE102015205225A1 (en) | Method and device for detecting a target object in the blind spot of a vehicle | |
| DE102010030044A1 (en) | Restoration device for weather-impaired images and driver assistance system hereby |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| OP8 | Request for examination as to paragraph 44 patent law | ||
| 8364 | No opposition during term of opposition | ||
| R084 | Declaration of willingness to licence | ||
| R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |