JP2007240387A - Image recognition device and method - Google Patents

Image recognition device and method Download PDF

Info

Publication number
JP2007240387A
JP2007240387A JP2006064748A JP2006064748A JP2007240387A JP 2007240387 A JP2007240387 A JP 2007240387A JP 2006064748 A JP2006064748 A JP 2006064748A JP 2006064748 A JP2006064748 A JP 2006064748A JP 2007240387 A JP2007240387 A JP 2007240387A
Authority
JP
Japan
Prior art keywords
image
vehicle
pedestrian
light
specific object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006064748A
Other languages
Japanese (ja)
Inventor
Katsumi Sakata
克己 阪田
Hiroaki Maruno
浩明 丸野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2006064748A priority Critical patent/JP2007240387A/en
Publication of JP2007240387A publication Critical patent/JP2007240387A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image recognition device capable of accurately measuring the relative distance between a vehicle and a pedestrian, even during traveling at night, and to provide an image recognition method therefor. <P>SOLUTION: The image recognition device comprises a headlight 12 for delivering light to the pedestrian in front during traveling of the vehicle; an image density acquisition section 70 for acquiring image intensity of the pedestrian (image density), based on the reflection light reflected by the pedestrian; and a calculation section 80 for distance to the pedestrian for calculating the relative distance between the vehicle and the pedestrian, based on the image density acquired by the image density acquisition section 70. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、車載カメラが撮影した入力画像から特定の物体の存在を画像認識する画像認識装置に関し、特に、夜間などの走行時であっても、画像認識した物体と自車両との相対距離を正確に計測することができる画像認識装置および画像認識方法に関する。   The present invention relates to an image recognition apparatus that recognizes the presence of a specific object from an input image captured by an in-vehicle camera, and in particular, the relative distance between the image-recognized object and the host vehicle even when traveling at night or the like. The present invention relates to an image recognition apparatus and an image recognition method capable of accurately measuring.

車両の走行中においては、特に歩行者との衝突回避が重要である。このため、従来から、車両に撮影用のカメラなどを搭載し、この車載カメラから取得した画像によって歩行者の動向を認識することで運転を支援し、衝突事故（人身事故）などを防止する技術の実現が重要な課題となっている。そこで、近年では、画像認識装置やレーダ検知装置を用いて自車両周辺の歩行者を画像認識する技術が考案されている。   It is particularly important to avoid collisions with pedestrians while the vehicle is running. For this reason, a conventional technology for mounting a camera for shooting in a vehicle and assisting driving by recognizing the trends of pedestrians based on images acquired from this in-vehicle camera, preventing collision accidents (personal accidents), etc. Realization is an important issue. Therefore, in recent years, a technique has been devised for recognizing images of pedestrians around the host vehicle using an image recognition device or a radar detection device.

この種の画像認識に関する従来例として、例えば、特許文献１は、特定の場所に固定した定点カメラが撮影した画像から、歩行者や車両を認識する技術について開示されてる。また、例えば、特許文献２には、赤外画像とレーダとを用いて歩行者の検知と歩行者までの距離の測定を行なう技術について開示されている。   As a conventional example related to this type of image recognition, for example, Patent Document 1 discloses a technique for recognizing a pedestrian or a vehicle from an image taken by a fixed point camera fixed at a specific place. Further, for example, Patent Document 2 discloses a technique for detecting a pedestrian and measuring a distance to the pedestrian using an infrared image and a radar.

また、例えば、特許文献３には、単眼カメラにより撮影された画像内の物体までの距離を推定する際に、この物体の近傍にある道路近傍の構造体に着目し、この構造体が自車両に接近する時の画像サイズの変化に基づいて、構造体までの距離を推定するとともに、その構造体の位置をもとにして、物体までの距離を推定する技術について開示されている。   Also, for example, in Patent Document 3, when estimating the distance to an object in an image taken by a monocular camera, attention is paid to a structure near the road in the vicinity of the object, and this structure is A technique for estimating a distance to a structure based on a change in image size when approaching the object and estimating a distance to an object based on the position of the structure is disclosed.

特開２００２−１９００１２号公報Japanese Patent Laid-Open No. 2002-190012 特開平１１−１６０９９号公報Japanese Patent Laid-Open No. 11-16099 特開２００３−２４７８２４号公報JP 2003-247824 A

ところが、上述した画像認識に関する従来例の場合には、以下に示すような問題がある。すなわち、車両に搭載する撮影カメラには主に単眼カメラが使用されるが、この単眼カメラによる距離測定は、複数カメラを用いた測定に比べて検出精度が低下するという問題がある。   However, the conventional example relating to the image recognition described above has the following problems. That is, a monocular camera is mainly used as a photographing camera mounted on a vehicle. However, distance measurement using this monocular camera has a problem that detection accuracy is lowered as compared with measurement using a plurality of cameras.

また、車両の走行時の振動や車両の周囲の街灯などによる環境光（外乱光）による影響を受け易いため、画像自体の検出精度が悪いという問題点があった。さらに、夜間などでは、昼間のように明瞭な画像を取得することができないため、歩行者に対する画像認識も低下するため、車両と歩行者との距離の計測も困難になるという問題がある。   In addition, there is a problem in that the detection accuracy of the image itself is poor because it is easily affected by environmental light (disturbance light) caused by vibrations during driving of the vehicle and street lights around the vehicle. Further, at night, a clear image cannot be acquired as in the daytime, and image recognition for pedestrians is also reduced, which makes it difficult to measure the distance between the vehicle and the pedestrian.

本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、歩行者の撮影画像の明暗を画像輝度の変化値として取得することで、夜間などの走行時であっても、車両と歩行者までの距離を正確に推測することができる画像認識装置および認識対象者認識方法を提供することを目的とする。   The present invention has been made to solve the above-described problems in the prior art and to solve the problems, and obtains the brightness of the pedestrian's captured image as a change value of the image brightness, thereby driving at night or the like. An object of the present invention is to provide an image recognition device and a recognition target person recognition method capable of accurately estimating the distance between a vehicle and a pedestrian even at times.

上述した課題を解決するため、請求項１の発明に係る画像認識装置は、車両に搭載された車載カメラが撮影した入力画像から特定の物体との相対距離を画像認識する画像認識装置であって、特定の物体に向けて光を照射する投光手段により、前記特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得手段と、前記画像輝度取得手段により最初に取得された前記特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出手段と、を備えたことを特徴とする。   In order to solve the above-described problem, an image recognition apparatus according to the invention of claim 1 is an image recognition apparatus that recognizes an image of a relative distance from a specific object from an input image taken by an in-vehicle camera mounted on a vehicle. An image luminance acquisition means for acquiring, based on the reflected light reflected by the specific object, a luminance of an image that is a reflection intensity by the specific object, by a light projecting means that irradiates light toward the specific object; , Based on the ratio between the first image brightness of the specific object first acquired by the image brightness acquisition means and the second image brightness of the specific object acquired when the vehicle travels after a predetermined time And distance calculation means for calculating a relative distance from the vehicle to the specific object.

この請求項１に記載の発明によれば、画像認識装置は、特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得手段と、画像輝度取得手段により最初に取得された特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出手段とを備える。   According to the first aspect of the present invention, the image recognition device includes an image luminance acquisition unit that acquires the luminance of the image, which is the reflection intensity of the specific object, based on the reflected light reflected by the specific object. , Based on the ratio between the first image brightness of the specific object first acquired by the image brightness acquisition means and the second image brightness of the specific object acquired when the vehicle travels after a predetermined time, Distance calculating means for calculating a relative distance from the vehicle to the specific object.

また、請求項２の発明に係る画像認識装置は、請求項１に記載の発明において、前記投光手段は、前記特定の物体に対して単体の光を照射する第一の投光手段と、複合する光を照射する第二の投光手段とを有するとともに、前記画像輝度取得手段は、前記単体光の照射に応じた反射光に基づいて、第一の画像輝度を取得し、前記複合光の照射に応じた反射光に基づいて、第二の画像輝度を取得し、当該第一の画像輝度と第二の画像輝度とによる画像輝度値の差分により、前記特定の物体の反射光に基づいた正規の画像輝度を取得する画像差分化取得手段とを備えることを特徴とする。   An image recognition apparatus according to a second aspect of the present invention is the image recognition apparatus according to the first aspect, wherein the light projecting unit is a first light projecting unit that irradiates a single light to the specific object; A second light projecting unit that irradiates light to be combined, and the image luminance acquisition unit acquires a first image luminance based on reflected light according to the irradiation of the single light, and the combined light Based on the reflected light of the specific object, the second image brightness is obtained based on the reflected light according to the irradiation, and the difference in the image brightness value between the first image brightness and the second image brightness The image difference acquisition means for acquiring the regular image brightness is provided.

この請求項２の発明によれば、画像認識装置の画像輝度取得手段は、第一の投光手段による単体光の照射に応じた反射光に基づいて、第一の画像輝度を取得し、第一の投光手段による複合光の照射に応じた反射光に基づいて、第二の画像輝度を取得し、画像差分化取得手段により、第一の画像輝度と第二の画像輝度とによる画像輝度値の差分処理を行ない、特定の物体の反射光に基づいた正規の画像輝度を取得する。   According to the second aspect of the present invention, the image luminance acquisition means of the image recognition device acquires the first image luminance based on the reflected light according to the irradiation of the single light by the first light projecting means, The second image luminance is acquired based on the reflected light corresponding to the irradiation of the composite light by the one light projecting unit, and the image luminance based on the first image luminance and the second image luminance is acquired by the image difference acquisition unit. A value difference process is performed to obtain normal image brightness based on the reflected light of a specific object.

また、請求項３の発明に係る画像認識装置は、請求項１または２に記載の発明において、移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに調整する画像正規化手段をさらに備えることを特徴とする。   The image recognition apparatus according to the invention of claim 3 adjusts the image size of the pedestrian before movement and the image size of the pedestrian after movement to an arbitrary image size in the invention of claim 1 or 2. And image normalizing means.

この請求項３の発明によれば、画像認識装置は、画像正規化手段により、移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに調整する。   According to the invention of claim 3, the image recognition apparatus adjusts the image size of the pedestrian before the movement and the image size of the pedestrian after the movement to an arbitrary image size by the image normalizing means.

また、請求項４の発明に係る画像認識装置は、請求項１または２に記載の発明において、移動前の歩行者の画像サイズに対応する画像輝度と移動後の歩行者の画像サイズに対応する画像輝度とにより平均画像輝度を算出する平均画像輝度算出手段をさらに備えることを特徴とする。   An image recognition apparatus according to a fourth aspect of the present invention is the image recognition apparatus according to the first or second aspect, wherein the image luminance corresponds to the image size of the pedestrian before movement and the image size of the pedestrian after movement. An average image luminance calculating means for calculating the average image luminance based on the image luminance is further provided.

この請求項４の発明によれば、画像認識装置は、移動前の歩行者の画像サイズに対応する画像輝度と移動後の歩行者の画像サイズに対応する画像輝度とにより平均画像輝度を算出する平均画像輝度算出手段をさらに備える。   According to the fourth aspect of the present invention, the image recognition device calculates the average image luminance based on the image luminance corresponding to the image size of the pedestrian before movement and the image luminance corresponding to the image size of the pedestrian after movement. Average image luminance calculating means is further provided.

また、請求項５の発明に係る画像認識装置は、請求項１〜４の何れか一つに記載の発明において、前記車両の走行速度を検出する車両速度検出手段をさらに備えるとともに、当該車両速度検出手段により検出された車両の走行速度と、前記特定の物体に対する画像の取得周期とに基づいて、所定の時刻毎での特定の物体に対する車両の接近距離を推定により算出する推定距離算出手段を備えることを特徴とする。   An image recognition apparatus according to a fifth aspect of the present invention is the image recognition apparatus according to any one of the first to fourth aspects, further comprising vehicle speed detecting means for detecting a traveling speed of the vehicle, and the vehicle speed. Estimated distance calculation means for calculating the approach distance of the vehicle to the specific object at every predetermined time based on the traveling speed of the vehicle detected by the detection means and the image acquisition period for the specific object. It is characterized by providing.

この請求項５の発明によれば、画像認識装置は、推定距離算出手段により、車両速度検出手段により検出された車両の走行速度と、前記特定の物体に対する画像の取得周期とに基づいて、所定の時刻毎での特定の物体に対する車両の接近距離を推定により算出する。   According to the fifth aspect of the present invention, the image recognition apparatus is configured to perform predetermined processing based on the traveling speed of the vehicle detected by the vehicle speed detection means and the image acquisition period for the specific object by the estimated distance calculation means. The approach distance of the vehicle to a specific object at every time is calculated by estimation.

また、請求項６の発明に係る画像認識装置は、請求項１〜５の何れか一つに記載の発明において、前記投光手段は、前記車両に設けられる一対のヘッドライトであることを特徴とする。   According to a sixth aspect of the present invention, in the image recognition device according to any one of the first to fifth aspects, the light projecting means is a pair of headlights provided in the vehicle. And

この請求項６の発明によれば、画像認識装置は、車両に設けられる一対のヘッドライトを投光手段として使用し、一対のヘッドライトの片側或いは両方の点灯により、特定の物体に対して照射する光量を２段階に調整する。   According to the invention of claim 6, the image recognition apparatus uses a pair of headlights provided in the vehicle as the light projecting means, and irradiates a specific object by lighting one or both of the pair of headlights. The amount of light to be adjusted is adjusted in two steps.

また、請求項７の発明に係る画像認識方法は、車両に搭載された車載カメラが撮影した入力画像から特定の物体との相対距離を画像認識する画像認識方法であって、前記車両が走行時に前方に存在する特定の物体に向けて光を照射する投光工程と、前記投光工程により、前記特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得工程と、画像輝度取得工程により最初に取得された前記特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出工程と、を含むことを特徴とする。   An image recognition method according to a seventh aspect of the present invention is an image recognition method for recognizing a relative distance from a specific object from an input image captured by an in-vehicle camera mounted on the vehicle, when the vehicle travels. A light projecting step of irradiating light toward a specific object existing in front, and an image having an intensity of reflection by the specific object based on the reflected light reflected by the specific object by the light projecting step; An image luminance acquisition step for acquiring luminance, a first image luminance by the specific object first acquired by the image luminance acquisition step, and a second of the specific object acquired when the vehicle travels after a predetermined time A distance calculating step of calculating a relative distance from the vehicle to the specific object based on a ratio to image luminance.

この請求項７の発明によれば、画像認識方法は、投光工程により車両の走行時に前方に存在する特定の物体に向けて光を照射し、画像輝度取得工程により最初に取得された特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度とを取得し、距離算出工程により第一の画像輝度と第二の画像輝度との比率に基づいて、車両から特定の物体までの相対距離を算出する。   According to the seventh aspect of the present invention, the image recognition method irradiates light toward a specific object existing ahead when the vehicle travels by the light projecting step, and the specific image acquired first by the image luminance acquiring step. The first image brightness by the object and the second image brightness of the specific object acquired when the vehicle travels after a predetermined time are acquired, and the first image brightness and the second image brightness are obtained by the distance calculation step. Based on the ratio, the relative distance from the vehicle to the specific object is calculated.

請求項１に記載の発明によれば画像認識装置は、投光手段により、特定の物体により反射された反射光に基づいて、当該特定の物体の画像輝度を取得する画像輝度取得手段と、画像輝度取得手段により取得された画像輝度の明暗に基づいて、車両から特定の物体までの相対距離を算出する距離算出手段とを備える構成としているので、自車両の周囲の歩行者を高精度かつ確実に認識できるとともに、衝突など危険度の高い歩行者との距離を早期に算出することで、警告や車両制御の実行タイミングを早期化し、安全性を向上できるという効果を奏する。   According to the first aspect of the present invention, the image recognition apparatus includes: an image luminance acquisition unit that acquires the image luminance of the specific object based on the reflected light reflected by the specific object by the light projecting unit; Since it is configured to include distance calculation means for calculating the relative distance from the vehicle to a specific object based on the brightness of the image brightness acquired by the brightness acquisition means, pedestrians around the host vehicle can be accurately and reliably In addition, the distance from a pedestrian with a high degree of danger such as a collision can be calculated at an early stage, so that the execution timing of warning and vehicle control can be accelerated and safety can be improved.

また、車両との接触や衝突事故による危険度の高い歩行者との距離を効率よく正確に算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を提供することができる。また、夜間などでは、不明瞭な画像に対してもある程度の精度を保持した距離測定を行なうことができるという効果を奏する。   In addition, it is possible to provide an image recognition device that speeds up the execution timing of warning and vehicle control by efficiently and accurately calculating the distance from a pedestrian having a high degree of risk due to contact with a vehicle or a collision accident. Further, at night, the distance measurement with a certain degree of accuracy can be performed even for an unclear image.

また、請求項２の発明によれば、画像認識装置の画像輝度取得手段は、第一の投光手段による単体光の照射に応じた反射光に基づいて、第一の画像輝度を取得し、第一の投光手段による複合光の照射に応じた反射光に基づいて、第二の画像輝度を取得し、画像差分化取得手段により、第一の画像輝度と第二の画像輝度とによる画像輝度値の差分処理を行ない、特定の物体の反射光に基づいた正規の画像輝度を取得する構成としているので、車両の投光器以外に周囲に複数の光源や環境光が存在する場合であっても、車両の投光手段による明るさ（光量）を変化させた画像の差分を取得することで、街灯などの環境光（外乱光）の影響を低減させた正規の画像輝度を取得できるという効果を奏する。   According to the invention of claim 2, the image luminance acquisition means of the image recognition device acquires the first image luminance based on the reflected light according to the irradiation of the single light by the first light projecting means, The second image luminance is acquired based on the reflected light according to the irradiation of the composite light by the first light projecting means, and the image based on the first image luminance and the second image luminance is acquired by the image difference acquisition means. Even if there are multiple light sources and ambient light in addition to the projector of the vehicle, the brightness value difference processing is performed to obtain the normal image brightness based on the reflected light of a specific object. By obtaining the difference between the images with the brightness (light quantity) changed by the light projecting means of the vehicle, it is possible to acquire the normal image brightness with reduced influence of ambient light (disturbance light) such as street light. Play.

また、請求項３の発明によれば画像認識装置は、画像正規化手段により、移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに調整する構成としているので、時々刻々と変化する対象物の位置をトラッキングにより補正することができ、誤差の少ない計測を行なえるとともに、画像のサイズ（大きさ）を正規化とすることで、距離による大きさの相違を抑制し、同じ部位による濃度比較を行なうことができるという効果を奏する。   According to the invention of claim 3, the image recognition apparatus is configured to adjust the image size of the pedestrian before the movement and the image size of the pedestrian after the movement to an arbitrary image size by the image normalizing means. Therefore, the position of the object that changes from moment to moment can be corrected by tracking, measurement with less error can be performed, and the size (size) of the image is normalized, so that the difference in size due to distance And the concentration comparison by the same part can be performed.

また、請求項４の発明によれば画像認識装置は、移動前の歩行者の画像サイズに対応する画像輝度と移動後の歩行者の画像サイズに対応する画像輝度とにより平均画像輝度を算出する平均画像輝度算出手段をさらに備える構成としているので、画像輝度の平均値に応じて距離による大きさの相違を抑制するとともに、同じ部位による濃度比較を行なうことができるという効果を奏する。   According to the invention of claim 4, the image recognition device calculates the average image luminance based on the image luminance corresponding to the image size of the pedestrian before movement and the image luminance corresponding to the image size of the pedestrian after movement. Since the average image luminance calculating means is further provided, it is possible to suppress the difference in size depending on the distance in accordance with the average value of the image luminance and to perform density comparison by the same part.

また、請求項５の発明によれば画像認識装置は、推定距離算出手段により、車両速度検出手段により検出された車両の走行速度と、前記特定の物体に対する画像の取得周期とに基づいて、所定の時刻毎での特定の物体に対する車両の接近距離を推定により算出する構成としているので、距離の計測処理が終了するまでの数フレーム間での車両と特定の物体までの距離を推定により算出することができるという効果を奏する。   According to the invention of claim 5, the image recognition device is configured to perform predetermined processing based on the traveling speed of the vehicle detected by the vehicle speed detection unit and the image acquisition period for the specific object by the estimated distance calculation unit. Since the approach distance of the vehicle with respect to the specific object at each time of is calculated by estimation, the distance between the vehicle and the specific object is calculated by estimation within several frames until the distance measurement process is completed. There is an effect that can be.

また、請求項６の発明によれば画像認識装置は、車両に設けられる一対のヘッドライトを投光手段として使用し、一対のヘッドライトの片側或いは両方の点灯により、特定の物体に対して照射する光量を２段階に調整する構成としているので、一対のヘッドライトの片側或いは両方の点灯により、光量を２段階に調整することができることから、別途、他の投光手段を備える必要がないという効果を奏する。   According to the invention of claim 6, the image recognition apparatus uses a pair of headlights provided in the vehicle as the light projecting means, and irradiates a specific object by lighting one or both of the pair of headlights. Since the amount of light to be adjusted is adjusted in two steps, the amount of light can be adjusted in two steps by lighting one or both of the pair of headlights, so that it is not necessary to separately provide other light projecting means. There is an effect.

また、請求項７の発明によれば画像認識方法は、投光工程により車両の走行時に前方に存在する特定の物体に向けて光を照射し、画像輝度取得工程により最初に取得された特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度とを取得し、距離算出工程により第一の画像輝度と第二の画像輝度との比率に基づいて、車両から特定の物体までの相対距離を算出するので、自車両の周囲の歩行者を高精度かつ確実に認識できるとともに、衝突など危険度の高い歩行者との距離を早期に算出することで、警告や車両制御の実行タイミングを早期化し、安全性を向上できるという効果を奏する。   According to the invention of claim 7, the image recognition method irradiates light toward a specific object existing ahead when the vehicle travels by the light projecting step, and the specific image acquired first by the image luminance acquiring step. The first image brightness by the object and the second image brightness of the specific object acquired when the vehicle travels after a predetermined time are acquired, and the first image brightness and the second image brightness are obtained by the distance calculation step. Based on this ratio, the relative distance from the vehicle to a specific object is calculated, so that pedestrians around the vehicle can be recognized with high accuracy and reliability, and the distance from pedestrians with high risk such as collisions can be determined early. As a result, the warning and vehicle control execution timing can be accelerated and the safety can be improved.

以下に添付図面を参照して、この発明に係る画像認識装置および画像認識方法の好適な実施例について詳細に説明する。本実施例では、車両に設けられる画像認識装置による画像の認識対象を歩行者として説明する。なお、以下に示す実施例によりこの発明が限定されるものではない。   Exemplary embodiments of an image recognition apparatus and an image recognition method according to the present invention will be explained below in detail with reference to the accompanying drawings. In this embodiment, an image recognition target by an image recognition device provided in a vehicle will be described as a pedestrian. In addition, this invention is not limited by the Example shown below.

（画像認識装置１０の概要および特徴）
先ず、図１および図２−１、２を参照して、本実施例による画像認識装置１０の概要および特徴について説明する。図１は、車両に搭載した投光器１１（ヘッドライト１２）による投光（光照射）および歩行者からの反射光に基づく画像濃度について、車両と歩行者との離間距離が遠い状態と、車両が歩行者に近づいた状態とをそれぞれ示す説明図である。また、図２−１は、車両と歩行者との位置関係および画像濃度の変化を時間の推移で示す説明図である。また、図２−２は、車両と歩行者との位置関係を時間の推移で示す説明図である。また、図３は、画像認識装置１０の概要を示す概要構成図である。 (Outline and Features of Image Recognition Device 10)
First, the outline and features of the image recognition apparatus 10 according to the present embodiment will be described with reference to FIGS. FIG. 1 shows a state in which the distance between the vehicle and the pedestrian is long with respect to the image density based on the light projection (light irradiation) by the projector 11 (headlight 12) mounted on the vehicle and the reflected light from the pedestrian. It is explanatory drawing which shows the state which approached the pedestrian, respectively. FIG. 2A is an explanatory diagram illustrating a positional relationship between a vehicle and a pedestrian and a change in image density as a function of time. Moreover, FIG. 2-2 is explanatory drawing which shows the positional relationship of a vehicle and a pedestrian by transition of time. FIG. 3 is a schematic configuration diagram showing an overview of the image recognition apparatus 10.

図１、図２−１、２および図３に示すように、画像認識装置１０は、車両の走行中に前方に向けて光を照射する投光器１１（ヘッドライト１２）と投光器１１により光が照射された歩行者を対象とする反射光による画像の明暗を取得する撮影カメラ１３とを備えて構成されている。   As shown in FIGS. 1, 2-1, and FIG. 3, the image recognition apparatus 10 emits light from a projector 11 (headlight 12) that irradiates light forward while the vehicle is traveling and a projector 11. And a photographing camera 13 that obtains the brightness and darkness of an image by reflected light for a pedestrian.

図１に示すように、車両に搭載した投光器１１（ヘッドライト１２）から照射された光が歩行者から反射された場合を考えると、車両から遠い位置に存在する歩行者による反射光の照度（光量）は少なくなるため、撮影カメラ１３により取得される画像は暗いものとなる。一方、車両から近い位置に存在する歩行者による反射光の照度（光量）は多くなるため、撮影カメラ１３により取得される画像は明るいものとなる。   As shown in FIG. 1, when the case where the light irradiated from the light projector 11 (headlight 12) mounted in the vehicle is reflected from the pedestrian, the illuminance of the reflected light by the pedestrian existing at a position far from the vehicle ( Since the amount of light is small, the image acquired by the photographing camera 13 is dark. On the other hand, since the illuminance (light quantity) of the reflected light by a pedestrian existing at a position close to the vehicle increases, the image acquired by the photographing camera 13 becomes bright.

すなわち、画像認識装置１０の特徴は、車両に設けた投光器１１（ヘッドライト１２）の投光に対する反射光に基づいて、歩行者を対象とする画像認識を行ない、この画像認識により取得された画像の明暗（画像濃度変化）を用いて、車両から歩行者までの距離を、時間の推移（時刻ｔ0〜時刻ｔ1時）により取得した画像濃度Ｉ0と画像濃度Ｉ1に基づいて推定（算出）することにある。 That is, the image recognition device 10 is characterized by performing image recognition for a pedestrian based on the reflected light with respect to the light projected from the projector 11 (headlight 12) provided in the vehicle, and an image acquired by this image recognition. Is used to estimate the distance from the vehicle to the pedestrian based on the image density I 0 and the image density I 1 acquired by the time transition (time t 0 to time t 1 ) ( Calculation).

ここで、画像（画像濃度）の明るさと歩行者との距離Ｄ0（遠い距離）と距離Ｄ1（近い距離）とは、相関関係があることがわかる。車両の走行時において、時刻ｔ0時に取得される歩行者の画像濃度をＩ0とし、時刻ｔ1時の歩行者の画像濃度をＩ1とすると、画像の明るさは距離の２乗に反比例する。すなわち、投光器１１（ヘッドライト１２）から照射された光を反射した歩行者の明るさ（画像濃度）が取得できれば、車両と歩行者との相対的な距離を算出することができる。 Here, it can be seen that there is a correlation between the brightness of the image (image density) and the distance D 0 (far distance) to the pedestrian and the distance D 1 (close distance). When the vehicle travels, if the pedestrian image density acquired at time t 0 is I 0 and the pedestrian image density at time t 1 is I 1 , the brightness of the image is inversely proportional to the square of the distance. To do. That is, if the brightness (image density) of the pedestrian reflecting the light emitted from the projector 11 (headlight 12) can be acquired, the relative distance between the vehicle and the pedestrian can be calculated.

具体的に説明すると、図２−１に示すように、車両の走行において、時刻ｔ0時にヘッドライト１２を点灯させて、歩行者から反射された反射光に基づいて、歩行者の初期の画像濃度Ｉ0を取得し、次いで、時刻ｔ1時（車両が歩行者に接近した際）に、同様に、ヘッドライト１２の点灯による反射光に基づいて、歩行者の画像濃度Ｉ1とを、撮影カメラ１３により取得し、これら取得した画像濃度Ｉ0と画像像濃度Ｉ1とにより、車両と歩行者との距離を算出する構成としている。 More specifically, as shown in FIG. 2A, when the vehicle is running, the headlight 12 is turned on at time t 0 , and the initial image of the pedestrian is based on the reflected light reflected from the pedestrian. The density I 0 is acquired, and then at time t 1 (when the vehicle approaches the pedestrian), similarly, the pedestrian image density I 1 is calculated based on the reflected light from the lighting of the headlight 12. The distance between the vehicle and the pedestrian is calculated based on the acquired image density I 0 and the acquired image density I 1 .

以下、図２−２を参照して、本実施例に係る画像認識装置および画像認識方法についての原理的な説明を述べる。図２−２は、車両と歩行者との相対的な位置関係を示す説明図である。すなわち、単純に光の反射強度（画像濃度）のレベルのみで歩行者までの距離を求めようとすると、歩行者などの対象物は、歩行者が身に付けている衣服の色などにより反射強度にばらつきがあるため、反射強度のレベルだけでは正確な距離を算出することはできない。   Hereinafter, with reference to FIG. 2-2, a principle description of the image recognition apparatus and the image recognition method according to the present embodiment will be described. 2-2 is explanatory drawing which shows the relative positional relationship of a vehicle and a pedestrian. That is, if the distance to the pedestrian is simply determined based on the level of the light reflection intensity (image density), the object such as the pedestrian is reflected by the color of the clothes worn by the pedestrian. Therefore, an accurate distance cannot be calculated only by the reflection intensity level.

したがって、図２−２に示すように、本実施例では時刻ｔ0から時刻ｔ1までの間に車速度Ｖ（ｍ/ｓ）の車両が進んだ距離（ＶΔｔ）と、距離Ｄ0及び距離Ｄ1の比率（すなわち、光の反射強度である画像濃度Ｉ0と画像濃度Ｉ1との比率）から距離Ｄ1を求めるようにしている。 Therefore, as shown in FIG. 2-2, in this embodiment, the distance traveled by the vehicle at the vehicle speed V (m / s) from time t 0 to time t 1 (VΔt), the distance D 0 and the distance The distance D 1 is obtained from the ratio of D 1 (that is, the ratio between the image density I 0 and the image density I 1 that is the reflection intensity of light).

ここで、車両が進んだ距離（ＶΔｔ）は車両の車速度から求めることができるので、距離Ｄ0及び距離Ｄ1の比率がわかれば、距離Ｄ1を求めることができる（距離Ｄ1＝距離Ｄ0−車両が進んだ距離ＶΔｔ）。また、距離Ｄ0及び距離Ｄ1の比率は、光の反射強度である画像の輝度（画像濃度）の変化率（画像濃度Ｉ0／画像濃度Ｉ1）で判るので、この画像濃度の変化率を予め求めておけばよい。 Here, since the distance traveled by the vehicle (VΔt) can be obtained from the vehicle speed of the vehicle, if the ratio between the distance D 0 and the distance D 1 is known, the distance D 1 can be obtained (distance D 1 = distance). D 0 -the distance traveled by the vehicle VΔt). Further, since the ratio between the distance D 0 and the distance D 1 can be determined by the change rate (image density I 0 / image density I 1 ) of the luminance (image density) of the image, which is the reflection intensity of light, the change rate of the image density. Can be obtained in advance.

これによれば、車両が実際に進んだ距離と、その距離が実際にどの程度歩行者に接近したかを反射強度の変化率（画像濃度の変化率）を見ることによって、現在の歩行者までの距離を算出するので、反射強度のばらつきに影響されることなく正確に、車両と歩行者との距離Ｄ1を算出ことができる。 According to this, by looking at the change rate of reflection intensity (change rate of image density) to see the distance that the vehicle actually traveled and how close that distance is to the pedestrian, since calculating the distance, exactly without being influenced by variations in the reflection intensity can calculate the distance D 1 of the vehicle and the pedestrian.

ここで、時刻ｔ0〜時刻ｔ1までの時間は、画像の１フレーム間処理であれば、数ミリ秒単位となるため、極めて短い時間であるため、この時間であれば歩行者自体の状態（衣服の状態など）は、ほとんど変化しないとみなすことができるためである。尚、車両の車速度が０で、且つ、投光していない場合は、画像濃度の変化率が判らないため、距離の算出にあたっては、上述したアルゴリズムは採用しないように除外しておく。尚、本実施例における距離の算出方法についての詳細については、後述する。 Here, the time from the time t 0 to the time t 1 is an extremely short time because it is a unit of several milliseconds if processing is performed for one frame of the image. This is because (such as the state of clothes) can be regarded as hardly changing. When the vehicle speed is 0 and no light is projected, the rate of change in image density is not known. Therefore, the distance calculation is excluded so that the above algorithm is not adopted. The details of the distance calculation method in this embodiment will be described later.

（画像認識装置１０の概要構成）
次に、図３を参照して、画像認識装置１０の概要構成を説明する。同図に示すように、車両Ｐは、以下のような構成を有する。車両Ｐは、画像認識装置１０を有し、この画像認識装置１０は、投光器１１と、撮影カメラ１３と、ナビゲーション装置１４と、プリクラッシュＥＣＵ２０とを接続している。プリクラッシュＥＣＵ２０は、ブレーキ２１と、エンジン制御装置（ＥＦＩ）２２と、ディスプレイ２３と、スピーカ２４とを接続している。 (Schematic configuration of the image recognition apparatus 10)
Next, a schematic configuration of the image recognition device 10 will be described with reference to FIG. As shown in the figure, the vehicle P has the following configuration. The vehicle P has an image recognition device 10, and the image recognition device 10 connects a projector 11, a photographing camera 13, a navigation device 14, and a pre-crash ECU 20. The pre-crash ECU 20 connects a brake 21, an engine control device (EFI) 22, a display 23, and a speaker 24.

投光器１１は、車両に搭載されている一対のヘッドライト１２であり、夜間などに車両の周囲（特に、車両の走行方向前方）に向けて光を照射する。この場合、図４−１に示すように、ヘッドライト１２を１個点灯させた場合に、照度の弱い光（光量小）を前方に向けて照射させることができる。   The projector 11 is a pair of headlights 12 mounted on the vehicle, and irradiates light toward the periphery of the vehicle (particularly in the forward direction of the vehicle) at night or the like. In this case, as shown in FIG. 4A, when one headlight 12 is turned on, light with low illuminance (small amount of light) can be irradiated forward.

また、図４−２に示すように、ヘッドライト１２を２個点灯させた場合に、照度の強い光（光量大）を前方に向けて照射させることができる。以上のように、一対のヘッドライト１２により、２段階で光量の小さい光と光量が多い光とを車両の走行方向の前方に向けて照射できるものとしている。   As shown in FIG. 4B, when two headlights 12 are turned on, light with a high illuminance (a large amount of light) can be emitted forward. As described above, the pair of headlights 12 can irradiate light with a small amount of light and light with a large amount of light toward the front in the traveling direction of the vehicle in two stages.

ここで、本実施例の構成では、光量の小さい光と光量の多い光とを交互に投光するために、車両のヘッドライト１２を利用しているが、投光器１１としてはヘッドライト１２ではなく、このヘッドライト１２とは別に、２段階の光量に設定できる投光器を設け、この投光器により通常の光量（図５−１）と、通常よりも光量が大である光（図５−２）とを適時、照射する構成としてもよい。   Here, in the configuration of the present embodiment, the headlight 12 of the vehicle is used to alternately project light with a small amount of light and light with a large amount of light. However, the projector 11 is not a headlight 12. In addition to the headlight 12, a projector that can be set to two levels of light intensity is provided. With this projector, a normal light quantity (FIG. 5-1) and a light having a larger light quantity than usual (FIG. 5-2) It is good also as a structure which irradiates timely.

また、この投光器１１としては、これ以外に歩行者を夜間でも認識できるように近赤外線を照射するものを採用してもよい（例えば、近赤外ランプ）。これによれば、もともと歩行者を認識するために用いられる近赤外ランプを距離検出に兼用することができ、特別にランプを設ける必要性をなくすことができる。   Moreover, as this light projector 11, you may employ | adopt the thing which irradiates a near infrared ray so that a pedestrian can be recognized at night (for example, a near infrared lamp). According to this, the near-infrared lamp originally used for recognizing a pedestrian can also be used for distance detection, and the necessity of providing a lamp can be eliminated.

撮影カメラ１３は、車両の走行中に車両周辺（特に、車両の走行方向前方）に存在する歩行者の撮影を行ない、撮影結果を画像認識装置１０に入力する。具体的には、ヘッドライト１２からの投光（光照射）により歩行者から反射された明るさを表す画像（画像濃度）を撮影によって取得する。   The photographing camera 13 photographs a pedestrian existing around the vehicle (particularly in front of the traveling direction of the vehicle) while the vehicle is traveling, and inputs the photographing result to the image recognition device 10. Specifically, an image (image density) representing brightness reflected from a pedestrian by light projection (light irradiation) from the headlight 12 is acquired by photographing.

ナビゲーション装置１４は、ＧＰＳ（Global Positioning System）人工衛星と通信して特定した自車両の位置と、記憶する地図データ１５とを利用して走行経路の設定および誘導を行なう車載装置である。また、このナビゲーション装置１４は、画像認識装置１０に対して自車両の位置情報や周辺の地図情報、道路に関する情報などを提供する。   The navigation device 14 is an in-vehicle device that sets and guides a travel route using the position of the host vehicle identified by communicating with a GPS (Global Positioning System) artificial satellite and the stored map data 15. In addition, the navigation device 14 provides the image recognition device 10 with position information of the host vehicle, surrounding map information, information on roads, and the like.

プリクラッシュＥＣＵ２０は、衝突判定部９０が自車両の衝突を予測した場合に、ディスプレイ２３やスピーカ２４による乗員への通知や、ブレーキ２１、エンジン制御装置（ＥＦＩ）２２による車両の動作制御を実行する電子制御装置である。   When the collision determination unit 90 predicts a collision of the host vehicle, the pre-crash ECU 20 performs notification to the occupant by the display 23 and the speaker 24 and vehicle operation control by the brake 21 and the engine control device (EFI) 22. It is an electronic control device.

（画像認識装置１０の内部構成）
また、画像認識装置１０は、内部に前処理部３０と、車両認識部４０と、白線認識部５０と、歩行者認識部６０と、画像濃度取得部７０と、歩行者距離算出部８０と、衝突判定部９０とを有する。歩行者距離算出部８０には車両の走行速度Ｖを検出する車速センサ８５が接続されている。車両認識部４０と、白線認識部５０と、歩行者認識部６０と、画像濃度取得部７０と、歩行者距離算出部８０と、衝突判定部９０とはＣＰＵ１０ａ（マイコン）により構成されている。 (Internal configuration of the image recognition apparatus 10)
The image recognition apparatus 10 includes a preprocessing unit 30, a vehicle recognition unit 40, a white line recognition unit 50, a pedestrian recognition unit 60, an image density acquisition unit 70, and a pedestrian distance calculation unit 80. And a collision determination unit 90. The pedestrian distance calculation unit 80 is connected to a vehicle speed sensor 85 that detects the traveling speed V of the vehicle. The vehicle recognition unit 40, the white line recognition unit 50, the pedestrian recognition unit 60, the image density acquisition unit 70, the pedestrian distance calculation unit 80, and the collision determination unit 90 are configured by a CPU 10a (microcomputer).

前処理部３０は、撮影カメラ１３が撮影した画像に対してフィルタリングやエッジ検出、輪郭抽出などの処理を施した後、画像の処理結果を車両認識部４０、白線認識部５０、歩行者認識部６０に出力する。   The preprocessing unit 30 performs processing such as filtering, edge detection, and contour extraction on the image captured by the imaging camera 13, and then processes the image processing results as a vehicle recognition unit 40, a white line recognition unit 50, and a pedestrian recognition unit. 60.

車両認識部４０は、前処理部３０が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を衝突判定部９０に出力する。また、白線認識部５０も同様に、前処理部３０が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を歩行者距離算出部８０および衝突判定部９０に出力する。   The vehicle recognition unit 40 recognizes the vehicle by performing pattern matching or the like on the image output from the preprocessing unit 30, and outputs the recognition result to the collision determination unit 90. Similarly, the white line recognition unit 50 recognizes a white line by performing pattern matching or the like on the image output from the preprocessing unit 30 and outputs the recognition result to the pedestrian distance calculation unit 80 and the collision determination unit 90.

歩行者認識部６０は、前処理部３０が出力した画像から歩行者が存在する可能性のある領域を歩行者候補領域として検出し、さらに歩行者候補領域に対してパターンマッチングなどを施して歩行者を認識し、白線認識部５０と同様に認識結果を、衝突判定部９０および歩行者距離算出部８０に出力する。   The pedestrian recognition unit 60 detects a pedestrian candidate region from the image output by the preprocessing unit 30 as a pedestrian candidate region, and further performs pattern matching on the pedestrian candidate region to walk. The person is recognized, and the recognition result is output to the collision determination unit 90 and the pedestrian distance calculation unit 80 in the same manner as the white line recognition unit 50.

画像濃度取得部７０は、歩行者からの反射光による明るさの明暗度（光の反射強度）を画像濃度として画像処理する機能を備えており、その内部に画像差分化処理部７１と、正規化処理部７２とを有する。このうち、画像差分化処理部７１は、環境光（外乱光）の影響のない歩行者の正規の画像濃度を取得する処理を行なう。   The image density acquisition unit 70 has a function of performing image processing using the brightness intensity (reflection intensity of light) by reflected light from a pedestrian as an image density, and includes an image difference processing unit 71 and a regularity. The processing unit 72 is included. Among these, the image differentiating processing unit 71 performs processing for acquiring a normal image density of a pedestrian that is not affected by ambient light (disturbance light).

以下、図６を参照して、この画像差分化処理部７１による画像濃度の差分化処理について説明する。図６は、画像差分化処理部７１による画像差分化の処理形態を示す説明図である。具体的には、環境光の影響により取得された画像濃度および画像差分化処理により算出された画像濃度を説明する説明図である。   Hereinafter, with reference to FIG. 6, the image density differentiating process by the image differentiating unit 71 will be described. FIG. 6 is an explanatory diagram showing a processing form of image differentiation performed by the image differentiation processing unit 71. Specifically, it is an explanatory diagram for explaining the image density acquired by the influence of ambient light and the image density calculated by the image differentiation process.

すなわち、本実施例による画像認識装置１０では、ヘッドライト１２による歩行者からの反射光に基づいて、歩行者を撮影した際の画像の明暗を画像濃度の変化値として取得し、画像濃度と距離との相関関係に基づいて、車両と歩行者との距離を算出するため、車両から照射した光の反射光だけを対象として画像濃度を取得する必要がある。ところが、この場合、必ずしも車両のヘッドライト１２から照射された光だけが歩行者に対して照射しているとは限らない。   That is, in the image recognition apparatus 10 according to the present embodiment, based on the reflected light from the pedestrian by the headlight 12, the brightness and darkness of the image when the pedestrian is photographed is acquired as the change value of the image density, and the image density and the distance are obtained. In order to calculate the distance between the vehicle and the pedestrian based on the correlation, the image density needs to be acquired only for the reflected light of the light emitted from the vehicle. However, in this case, only the light emitted from the headlight 12 of the vehicle is not necessarily emitted to the pedestrian.

すなわち、夜間の道路を走行する車両の周辺には、街灯の照明や店舗などの照明（環境光や外乱光）が存在するため、歩行者の周囲には、ヘッドライト１２による光だけではなく、複数の環境光が存在すると考えられる。   In other words, since there are streetlights and lighting (environmental light and disturbance light) around the vehicle traveling on the road at night, not only the light from the headlight 12 around the pedestrian, There may be multiple ambient lights.

このことから、ヘッドライト１２の反射光により取得される歩行者の画像濃度には、環境光などの影響により不必要な光による画像濃度（図６に示す環境光の影響による明るさ）も含まれるため、正確に車両からの光のみを対象とする画像濃度を取得することができないと考えられる。このため、画像差分化処理部７１により画像濃度の差分化を行なうことにより環境光の影響を低減させる構成としている。   Therefore, the image density of the pedestrian acquired by the reflected light of the headlight 12 includes the image density due to unnecessary light due to the influence of the environmental light (brightness due to the influence of the environmental light shown in FIG. 6). Therefore, it is considered that the image density only for the light from the vehicle cannot be obtained accurately. For this reason, the image difference processing unit 71 performs image density difference to reduce the influence of ambient light.

具体的に説明すると、図６に示すように、ヘッドライト１２による光の照射は２段階に分けて行ない、先ず、片側のヘッドライト１２の投光（図４−１）により、画像濃度を取得し、次いで、一対のヘッドライト１２の両側をともに点灯させる投光（図４−２）により、画像濃度を取得し、この２段階の投光により取得された画像濃度に基づいて、差分化された画像濃度を実際の車両からの投光を対象とする画像濃度としている（図６に示す実際の投光による画像の明るさを評価値として算出）。   Specifically, as shown in FIG. 6, light irradiation by the headlight 12 is performed in two stages, and first, image density is obtained by light projection of the headlight 12 on one side (FIG. 4A). Then, the image density is acquired by the projection (FIG. 4-2) that lights both sides of the pair of headlights 12, and is differentiated based on the image density acquired by the two-stage projection. The image density is the image density for light projection from an actual vehicle (the brightness of the image by actual light projection shown in FIG. 6 is calculated as an evaluation value).

このため、実際には、時刻ｔ0（図２参照）時に、ヘッドライト１２を片側（１個）および両方（２個）点灯させた際の画像濃度を取得（２回）し、時刻ｔ1時に、ヘッドライト１２を片側（１個）および両方（２個）点灯させた際の画像濃度の取得（２回）とを含めた合計４回、歩行者の正規の画像濃度を取得する画像濃度取得処理を行なうこととなる。 Therefore, in practice, at time t 0 (see FIG. 2), the image density when the headlight 12 is lit on one side (one) and both (two) is acquired (twice), and time t 1 Occasionally, the image density for acquiring the normal image density of the pedestrian four times in total, including the acquisition of the image density (two times) when the headlight 12 is lit on one side (one) and both (two). An acquisition process is performed.

なお、車両の周囲の明るさは、例えば昼と夜とで区別でき、さらに昼であれば日射量、夜であれば街灯などの照明の量であり、照度センサの出力や、タイマが出力する時刻情報に基づいて判定することができるため、このような照明の量を判定し、照明の量が極端に少ない場合などには、画像差分化処理を行なわないようにしてもよい。   The brightness around the vehicle can be distinguished, for example, between daytime and night, and is the amount of solar radiation at daytime, and the amount of lighting such as a streetlight at night, which is output by the illuminance sensor or timer. Since the determination can be made based on the time information, such an amount of illumination may be determined, and the image differentiation process may not be performed when the amount of illumination is extremely small.

図３に戻り、正規化処理部７２は、トラッキング（追跡）処理により歩行者の移動時のサイズ（大きさ）を正規化する処理を行なう。以下、図７を参照して、この正規化処理部７２による正規化処理について説明する。図７は、正規化処理部７２により行なわれる正規化処理の概要を説明する説明図である。   Returning to FIG. 3, the normalization processing unit 72 performs processing for normalizing the size (size) when the pedestrian moves by tracking (tracking) processing. Hereinafter, the normalization processing by the normalization processing unit 72 will be described with reference to FIG. FIG. 7 is an explanatory diagram for explaining the outline of the normalization process performed by the normalization processing unit 72.

すなわち、前述したように車両の移動速度と比較すると歩行者の移動速度は極めて小さいものとなるが、この歩行者も任意の位置（例えば、横方向）に移動することがあり、車両自体も横方向に動くことがある。このため移動前の最初に画像濃度を取得した歩行者と、移動後の歩行者とが同一の歩行者であるかをトラッキングする必要がある。   That is, as described above, the movement speed of the pedestrian is extremely small as compared with the movement speed of the vehicle. However, the pedestrian may move to an arbitrary position (for example, in the horizontal direction), and the vehicle itself also moves horizontally. May move in the direction. For this reason, it is necessary to track whether the pedestrian who first acquired the image density before the movement and the pedestrian after the movement are the same pedestrian.

つまり、移動前（ｔ0時）の歩行者と移動後（ｔ1時）の歩行者とが同一の歩行者であっても画像サイズが大きいと明るさが異なるため、画像濃度も異なるため画像濃度の比較ができなくなる。具体的に説明すると、図７に示すように、移動前の歩行者の画像サイズ（画像サイズ＝ｗ1×ｈ1）と移動後の歩行者の画像サイズ（画像サイズ＝ｗ2×ｈ2）とは異なるため、同じ部位での比較ができなくなる。 That is, because the pedestrian pedestrians and the image size be the same pedestrian greater the brightness after the movement (at t 1) before movement (time t 0) are different, image density varies for image The concentration cannot be compared. More specifically, as shown in FIG. 7, the image size of the pedestrian before moving (image size = w 1 × h 1 ) and the image size of the pedestrian after moving (image size = w 2 × h 2 ). Since it is different from, comparison at the same site is not possible.

すなわち、正規化処理部７２では、移動前のサイズと移動後のサイズとの大きさを任意のサイズに調整することで、移動後であっても画像濃度が変化することを防止することとしている。   In other words, the normalization processing unit 72 prevents the image density from changing even after the movement by adjusting the size before the movement and the size after the movement to an arbitrary size. .

具体的には、正規化処理部７２により、移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに調整するようにしている。なお、上述では、正規化処理部７２により画像サイズを調整することとしているが、この正規化処理部７２により、移動前の歩行者の画像サイズに対応する画像濃度と移動後の歩行者の画像サイズに対応する画像濃度とにより平均画像濃度を算出し、この平均画像濃度により正規な画像濃度としてもよい。   Specifically, the normalization processing unit 72 adjusts the image size of the pedestrian before movement and the image size of the pedestrian after movement to an arbitrary image size. In the above description, the normalization processing unit 72 adjusts the image size. However, the normalization processing unit 72 adjusts the image density corresponding to the image size of the pedestrian before the movement and the image of the pedestrian after the movement. The average image density may be calculated based on the image density corresponding to the size, and the normal image density may be obtained based on the average image density.

図３に戻り、歩行者距離算出部８０は、歩行者認識部６０が認識した歩行者と車両との相対距離を算出し、衝突判定部９０に出力する。   Returning to FIG. 3, the pedestrian distance calculation unit 80 calculates the relative distance between the pedestrian recognized by the pedestrian recognition unit 60 and the vehicle, and outputs the relative distance to the collision determination unit 90.

歩行者距離算出部８０は、その内部に推定距離算出部８１と、距離算出処理部８２とを有する。このうち、推定距離算出部８１は、歩行者に対する自車両の接近距離を適宜、算出する機能を備えている。以下、図８−１および図８−２を参照して、この推定距離算出部８１による歩行者に対する接近距離の算出について説明する。   The pedestrian distance calculation unit 80 includes an estimated distance calculation unit 81 and a distance calculation processing unit 82 therein. Among these, the estimated distance calculation part 81 is provided with the function which calculates the approach distance of the own vehicle with respect to a pedestrian suitably. Hereinafter, the calculation of the approach distance to the pedestrian by the estimated distance calculation unit 81 will be described with reference to FIGS. 8A and 8B.

図８−１は、時間の推移に応じて変化する車両と歩行者との接近距離（推定距離Ｄ11〜Ｄ13）との相関図を示している。また、図８−２は、車両の走行速度Ｖｎに応じて計測される車両と歩行者との接近距離（推定距離Ｄ11〜Ｄ13）を説明する説明図を示している。 FIG. 8A shows a correlation diagram between the approach distance (estimated distances D 11 to D 13 ) between the vehicle and the pedestrian that changes with time. FIG. 8-2 is an explanatory diagram for explaining the approach distances (estimated distances D 11 to D 13 ) between the vehicle and the pedestrian measured according to the traveling speed Vn of the vehicle.

すなわち、本実施例によると、時刻ｔ0時（図２参照）にヘッドライト１２を１個および２個、同時に点灯させた際の歩行者の画像濃度Ｉ0と、時刻ｔ1時に、同様に、ヘッドライト１２を２個同時に点灯させた際点灯させた際の歩行者の画像濃度Ｉ1とを、撮影カメラ１３により取得する必要がある。 That is, according to the present embodiment, the image density I 0 of the pedestrian when the headlights 12 are turned on simultaneously at time t 0 (see FIG. 2) and at time t 1 are the same. When the two headlights 12 are turned on at the same time, the image density I 1 of the pedestrian when the headlights 12 are turned on needs to be acquired by the photographing camera 13.

すなわち、図８−１に示すように、撮影カメラ１３による合計４回の画像濃度の取得（計測結果）により車両と歩行者との距離Ｄ1を算出することとなる。ここで、歩行者に対する画像認識装置１０による画像の取得間隔（周期Ｔ）は、一定であるため、車両が時間経過にともない走行速度Ｖnで移動した分だけ歩行者に接近していることとなる。 That is, as shown in FIG. 8A, the distance D 1 between the vehicle and the pedestrian is calculated by acquiring (measurement results) a total of four image densities by the photographing camera 13. Here, since the image acquisition interval (period T) by the image recognition device 10 for a pedestrian is constant, the vehicle is approaching the pedestrian as much as the travel speed V n with the passage of time. Become.

具体的には、時刻ｔ0＋Ｔに車両の移動距離は、Ｖ1Ｔとなり、時刻ｔ0＋２Ｔに車両の移動距離は、Ｖ2Ｔとなり、時刻ｔ0＋３Ｔに車両の移動距離は、Ｖ3Ｔとなる。なお、次回以降の推定距離（距離Ｄ2による推定距離Ｄ21〜）は同様の方法により推測する。 Specifically, the moving distance of the vehicle at time t 0 + T, V 1 T, and the moving distance of the vehicle at time t 0 + 2T, the moving distance of the vehicle V 2 T, and the time t 0 + 3T is, V 3 T. The estimated distance after the next time (estimated distance D 21 based on the distance D 2 ) is estimated by the same method.

以上のことから算出された距離Ｄ1をもとに、車両の走行速度Ｖと画像の取得周期Ｔにより、所定の時刻毎での歩行者に対する車両との接近距離（Ｄ11、Ｄ12、Ｄ13）をそれぞれ推定接近距離として算出することができる。すなわち、画像の取得周期Ｔは、予め所定の周期として既知であるため、計測結果が算出されるまでの所定の時間毎の接近距離を車両の走行速度Ｖnにより算出することができる。 Based on the distance D 1 calculated from the above, the approach distance (D 11 , D 12 , D with respect to the pedestrian to the pedestrian at every predetermined time, based on the traveling speed V of the vehicle and the image acquisition period T. 13 ) can be calculated as the estimated approach distance. That is, acquisition period T of the image in advance because it is known as a predetermined period, the approach distance of each predetermined time until the measurement results are calculated can be calculated by the running velocity V n of the vehicle.

具体的には、図８−２に示すように、推定接近距離Ｄ11は、Ｄ1−Ｖ1Ｔ（Ｄ11＝Ｄ1−Ｖ1Ｔ）となり、Ｄ12は、Ｄ1−Ｖ2Ｔ（Ｄ12＝Ｄ1−Ｖ2Ｔ） となりＤ13は、Ｄ1−Ｖ3Ｔ（Ｄ13＝Ｄ1−Ｖ3Ｔ） となる。以上のように、推定距離算出部８１により３回分の接近距離は周期Ｔと車両の走行速度Ｖnにより推定することができる。 Specifically, as shown in Figure 8-2, the estimated approach distance D 11 is, D 1 -V 1 T (D 11 = D 1 -V 1 T) becomes, D 12 is, D 1 -V 2 T (D 12 = D 1 -V 2 T) becomes D 13 becomes D 1 -V 3 T (D 13 = D 1 -V 3 T). As described above, the approach distance for three times can be estimated by the estimated distance calculation unit 81 based on the period T and the traveling speed V n of the vehicle.

図３に戻り、距離算出処理部８２は、画像濃度取得部７０により取得された歩行者の画像濃度に基づいて、車両と歩行者との相対距離を所定の算出手順により算出する。以下、この距離算出処理部８２による車両と歩行者との相対距離の算出手順を、前述した図２を参照して、説明する。   Returning to FIG. 3, the distance calculation processing unit 82 calculates the relative distance between the vehicle and the pedestrian based on the image density of the pedestrian acquired by the image density acquisition unit 70 according to a predetermined calculation procedure. Hereinafter, the procedure for calculating the relative distance between the vehicle and the pedestrian by the distance calculation processing unit 82 will be described with reference to FIG. 2 described above.

具体的に説明すると、投光器１１（ヘッドライト１２）による明るさは距離の２乗に反比例するので、時刻ｔ0と時刻ｔ1とにおける画像の明るさと距離との関係は、以下の（数１）の関係式により表すことができる。 More specifically, since the brightness by the projector 11 (headlight 12) is inversely proportional to the square of the distance, the relationship between the brightness of the image and the distance at time t 0 and time t 1 is ).

（数１）
Ｉ0：Ｉ1＝（１／Ｄ0 2）：（１／Ｄ1 2） (Equation 1)
I 0 : I 1 = (1 / D 0 2 ) :( 1 / D 1 2 )

ここで、Δｔ経過後の時刻ｔ1を基準とすると、時刻ｔ0における歩行者の画像濃度αと距離比βとの関係は、α＝Ｉ0／Ｉ1となりβ＝１／√αとなる。さらに、時刻Δｔ＝時刻ｔ1−時刻ｔ0における車両の移動距離ΔＤは、Ｖを車両の走行速度とすると、この移動距離ΔＤは、ΔＤ＝Ｖ・Δｔから算出することができる。 Here, based on time t 1 after the lapse of Δt, the relationship between the pedestrian image density α and the distance ratio β at time t 0 is α = I 0 / I 1 and β = 1 / √α. . Further, the travel distance ΔD of the vehicle at time Δt = time t 1 −time t 0 can be calculated from ΔD = V · Δt, where V is the travel speed of the vehicle.

ここで、認識対象者の移動速度ｖは、車両の走行速度Ｖに比べて極めて小さいため（ｖ≒０）、距離比βは、β＞１となる。以上、説明した関係式により、時刻ｔ1における車両と認識対象者（歩行者）との距離Ｄ1（相対距離）は、以下の数２の式により求めることができる。 Here, since the moving speed v of the person to be recognized is extremely small as compared with the traveling speed V of the vehicle (v≈0), the distance ratio β is β> 1. As described above, the distance D 1 (relative distance) between the vehicle and the person to be recognized (pedestrian) at time t 1 can be obtained by the following equation 2 using the relational expression described above.

（数２）
Ｄ1＝（ＶΔｔ）／（β−１） (Equation 2)
D 1 = (VΔt) / (β-1)

図３に戻り、衝突判定部９０は、車両認識部４０、白線認識部５０、歩行者認識部６０による認識結果および歩行者距離算出部８０が算出した歩行者との距離、ナビゲーション装置１４が出力する位置情報を用いて、自車両と歩行者との衝突危険度を判定する。   Returning to FIG. 3, the collision determination unit 90 outputs the vehicle recognition unit 40, the white line recognition unit 50, the recognition result by the pedestrian recognition unit 60 and the distance to the pedestrian calculated by the pedestrian distance calculation unit 80, the navigation device 14 outputs. The collision risk between the host vehicle and the pedestrian is determined using the positional information to be used.

（画像認識装置１０による歩行者認識処理手順）
次に、本発明の画像認識装置１０による歩行者に対する認識処理手順の詳細を、図９のフローチャートを参照して説明する。図９は、歩行者の認識処理手順を示すフローチャートである。なお、この図９に示す処理フローは、画像認識装置１０が画像認識を実行中である場合に、繰り返し実行される処理である。 (Pedestrian recognition processing procedure by the image recognition device 10)
Next, details of a recognition processing procedure for a pedestrian by the image recognition apparatus 10 of the present invention will be described with reference to a flowchart of FIG. FIG. 9 is a flowchart showing a pedestrian recognition processing procedure. The process flow shown in FIG. 9 is a process that is repeatedly executed when the image recognition apparatus 10 is executing image recognition.

［時刻ｔ0時の処理：ヘッドライト１２を１個点灯］
同図のフローチャートに示すように、先ず、車両に設けた２個のヘッドライト１２のうちの一方（１個）のみを使用して（図４−１）、車両の周囲（前方）に向けて、光を照射する第一の投光処理を行なう（ステップＳ１０１）。次いで、ヘッドライト１２が歩行者に照射された際に、この歩行者により反射された反射光に基づいて、撮影カメラ１３より歩行者の画像（画像濃度Ａ0）を取得する（ステップＳ１０２）。この画像濃度Ａ0は、画像濃度取得部７０（図３）により取得される。 [Processing at time t 0 : One headlight 12 is lit]
As shown in the flowchart of the figure, first, only one (one) of the two headlights 12 provided on the vehicle is used (FIG. 4-1) and directed toward the periphery (forward) of the vehicle. First light projection processing for irradiating light is performed (step S101). Next, when the headlight 12 is irradiated to the pedestrian, an image of the pedestrian (image density A 0 ) is acquired from the photographing camera 13 based on the reflected light reflected by the pedestrian (step S102). The image density A 0 is acquired by the image density acquisition unit 70 (FIG. 3).

具体的に説明すると、車両は片側のヘッドライト１２を点灯させた状態で走行（車両の走行速度Ｖ）しており、歩行者が車両のライト前方に現れた際に、この歩行者から反射される反射光による画像の明るさ（明暗）を、画像情報として撮影カメラ１３で撮影し、歩行者の画像濃度Ａ0を取得することとなる。 More specifically, the vehicle travels with the headlight 12 on one side turned on (vehicle traveling speed V), and is reflected from the pedestrian when the pedestrian appears in front of the light on the vehicle. The brightness (brightness and darkness) of the image by the reflected light is captured by the photographing camera 13 as image information, and the image density A 0 of the pedestrian is acquired.

次いで、歩行者認識部６０（図３）により歩行者に対する認識処理（ステップＳ１０３）と、ステップＳ１０２で取得した画像濃度Ａ0を対象とする画像の正規化処理を正規化処理部７２（図３）により行なう（ステップＳ１０４）。 Then, the recognition process for the pedestrian by the pedestrian recognition unit 60 (FIG. 3) (step S103), the obtained image density A 0 of the target normalization processing unit normalization processing of the image 72 in step S102 (FIG. 3 ) (Step S104).

以上のステップＳ１０１〜ステップＳ１０４の処理により、道路上を走行中（移動速度Ｖ）の車両が歩行者を最初に認識した際（時刻ｔ0時）に、片側のヘッドライト１２の投光による弱い光量を照射した時の画像濃度Ａ0を取得することができる。 By the above processing steps S101~ step S104, while traveling on the road when the vehicle (moving velocity V) was first recognized the pedestrian (at time t 0), weak due projecting on one side of the headlight 12 The image density A 0 when the amount of light is irradiated can be acquired.

［時刻ｔ0時の処理：ヘッドライト１２を２個点灯］
次に、車両に設けた２個のヘッドライト１２の両方を使用して（図４−２）、車両の周囲（前方）に向けて、２個のライトを照射する第二の投光処理を行なう（ステップＳ１０５）。次いで、両方のヘッドライト１２が歩行者に照射された際に、この歩行者から反射される反射光による画像の明るさ（明暗）を、画像情報として撮影カメラ１３で撮影し、歩行者の画像濃度Ｂ0を取得する（ステップＳ１０６）。 [Processing at time t 0 : Two headlights 12 are lit]
Next, by using both of the two headlights 12 provided on the vehicle (FIG. 4-2), a second light projecting process for irradiating the two lights toward the periphery (front) of the vehicle is performed. This is performed (step S105). Next, when both headlights 12 are irradiated to the pedestrian, the brightness (brightness) of the image by the reflected light reflected from the pedestrian is photographed as image information by the photographing camera 13, and the pedestrian image is obtained. The density B 0 is acquired (step S106).

具体的に説明すると、ヘッドライト１２を２個点灯させた時の歩行者から反射される反射光を、撮影カメラ１３で撮影し、画像濃度Ｂ0として取得することとなる。以下、同様に歩行者認識部６０（図３）により歩行者に対する認識処理（ステップＳ１０７）と、ステップＳ１０６により取得した歩行者の画像濃度Ｂ0に対する画像の正規化処理とを順次行なう（ステップＳ１０８）。 More specifically, the reflected light reflected from the pedestrian when two headlights 12 are turned on is photographed by the photographing camera 13 and acquired as the image density B 0 . Hereinafter, the recognition processing for the pedestrian by similarly pedestrian recognition unit 60 (FIG. 3) (step S107), sequentially performs the normalization process of the image with respect to image density B 0 of the acquired pedestrian in step S106 (step S108 ).

以上のステップＳ１０５〜ステップＳ１０８までの処理により、時刻ｔ0時に、車両から、この車両に設けた両方のヘッドライト１２の投光による強い光量を歩行者に対して照射した時の画像濃度Ｂ0を取得することができる。このように、光量の異なる投光により交互に画像濃度Ａ0および画像濃度Ｂ0を取得するのは、画像差分化処理により環境光の影響を排除した正確な歩行者の明るさ（明暗）である画像濃度を取得するためである。 Through the processing from step S105 to step S108 described above, the image density B 0 when the vehicle is irradiated with a strong light quantity from the headlights 12 provided on the vehicle at time t 0 is emitted from the vehicle. Can be obtained. As described above, the image density A 0 and the image density B 0 are alternately obtained by the projections having different light amounts based on accurate pedestrian brightness (brightness and darkness) excluding the influence of the environmental light by the image differentiation process. This is to obtain a certain image density.

すなわち、ステップＳ１０１〜ステップＳ１０４により取得した画像濃度Ａ0とステップＳ１０５〜ステップＳ１０８により取得した画像濃度Ｂ0とに基づいて、画像差分化処理を行なう（ステップＳ１０９）。前述したように、画像差分化処理により実際の評価の対象となる時刻ｔ0時の歩行者の画像濃度Ｉ0を取得することができる。 That is, the image differentiation process is performed based on the image density A 0 acquired in steps S101 to S104 and the image density B 0 acquired in steps S105 to S108 (step S109). As described above, the image density I 0 of the pedestrian at time t 0 to be actually evaluated can be acquired by the image differentiation process.

次いで、ステップＳ１０９の画像差分化処理により画像濃度Ｉ0が算出されたかの判定を行ない（ステップＳ１１０）、時刻ｔ0時の歩行者の画像濃度Ｉ0が算出されたと判定された場合には（ステップＳ１１０肯定）、次のステップＳ１１１による車両が走行により所定の時間Δｔが経過（図２に示すΔｔ、距離ＶΔｔ）したかの判定を行なう（ステップＳ１１１）。 Then, it performs one of determination image density I 0 is calculated by the image difference processing in step S109 (step S110), if the image density I 0 of the pedestrian o'clock time t 0 is determined to have been calculated (step It is determined whether a predetermined time Δt has elapsed (Δt, distance VΔt shown in FIG. 2) due to traveling of the vehicle in the next step S111 (step S111).

そして、時間Δｔが経過し、所定の距離分（ＶΔｔ）移動したと判定された場合には（ステップＳ１１１肯定）、次の時刻ｔ1を対象とする第三の投光処理に移行する（ステップＳ１１２）。 Then, when it is determined that the time Δt has elapsed and moved by a predetermined distance (VΔt) (Yes at Step S111), the process proceeds to the third light projection process for the next time t 1 (Step S111). S112).

［時刻ｔ1時の処理：ヘッドライト１２を１個点灯］
この時刻ｔ1を対象とする第三の投光処理では、第一の投光処理と同様に、車両に設けた２個のヘッドライト１２のうちの一方（１個）のみを使用して、車両の周囲（前方）に向けて、光を照射する投光処理を行なう（ステップＳ１１２）。次いで、ヘッドライト１２が歩行者に照射された際に、この歩行者により反射された反射光に基づいて、撮影カメラ１３より時刻ｔ1時の歩行者の画像（画像濃度Ａ1）を取得する（ステップＳ１１３）。 [Processing at time t 1 : one headlight 12 is lit]
In the third light projection process for the time t 1 , as in the first light projection process, only one (one) of the two headlights 12 provided on the vehicle is used. A light projecting process for irradiating light toward the periphery (front) of the vehicle is performed (step S112). Next, when the headlight 12 is irradiated to the pedestrian, an image of the pedestrian at the time t 1 (image density A 1 ) is acquired from the photographing camera 13 based on the reflected light reflected by the pedestrian. (Step S113).

以下、前述したと同様に歩行者認識部６０（図３）により歩行者に対する認識処理（ステップＳ１１４）と、ステップＳ１１３により取得した歩行者の画像濃度Ａ1に対する画像の正規化処理とを順次行なう（ステップＳ１１５）。 Hereinafter, the recognition processing for the pedestrian by similarly pedestrian recognition unit 60 and described above (FIG. 3) (step S114), sequentially performs the normalization process of the image with respect to image density A 1 of the pedestrian acquired in step S113 (Step S115).

以上のステップＳ１１２〜ステップＳ１１５までの処理により、走行中（移動速度Ｖ）の車両が歩行者を最初に認識した際（時刻ｔ0時）からΔｔ経過後（時刻ｔ1時）の歩行者の反射光に基づいて、光量が小である投光を行なった時の画像濃度Ａ1を取得することができる。 By the processing up to the above steps S112~ step S115, traveling pedestrian after Δt elapses from when the vehicle (moving velocity V) was first recognized the pedestrian (at time t 0) (at time t 1) Based on the reflected light, it is possible to obtain the image density A 1 when light projection is performed with a small amount of light.

［時刻ｔ1時の処理：ヘッドライト１２を２個点灯］
次に、時刻ｔ1を対象とする第四の投光処理を行なう（ステップＳ１１６）。この時刻ｔ1を対象とする第四の投光処理では、第二の投光処理と同様に、車両に設けた２個のヘッドライト１２の両者（２個）を使用して、車両の周囲（前方）に向けてライトを照射する投光処理が行なわれる。次いで、両方のヘッドライト１２が歩行者に照射された際に、この歩行者により反射された反射光に基づいて、撮影カメラ１３より歩行者の画像濃度Ｂ1を取得する（ステップＳ１１７）。 [Processing at time t 1 : Two headlights 12 are lit]
Next, a fourth light projection process for time t 1 is performed (step S116). In the fourth light projection process for the time t 1 , as in the second light projection process, both (two) of the two headlights 12 provided on the vehicle are used to A light projection process of irradiating light toward (front) is performed. Then, when both the headlight 12 is irradiated on the pedestrian, on the basis of the light reflected by the pedestrian, and acquires the image density B 1 of the pedestrian from the imaging camera 13 (step S117).

以下、前述したと同様に、歩行者認識部６０（図３）により歩行者に対する認識処理(ステップＳ１１８)と、ステップＳ１１７により取得した歩行者の画像濃度Ｂ1に対する画像の正規化処理とを順次行なう（ステップＳ１１９）。 Hereinafter, in the same manner as described above, the recognition process for the pedestrian by the pedestrian recognition unit 60 (FIG. 3) (step S118), and a normalization processing of an image for image density B 1 of the acquired pedestrian in step S117 successively This is performed (step S119).

以上のステップＳ１１６〜ステップＳ１１９までの処理により、走行中（移動速度Ｖ）の車両が歩行者を最初に認識した際（時刻ｔ0時）からΔｔ経過後（時刻ｔ1時）の歩行者の反射光に基づいて、光量が大である投光を行なった時の画像濃度Ｂ1を取得することができる。 By the processing up to the above steps S116~ step S119, traveling pedestrian after Δt elapses from when the vehicle (moving velocity V) was first recognized the pedestrian (at time t 0) (at time t 1) Based on the reflected light, it is possible to acquire the image density B 1 when the light is projected with a large amount of light.

次いで、ステップＳ１１５により算出された画像濃度Ａ1とステップＳ１１９により算出された画像濃度Ｂ1とに基づいて、画像差分化処理を行ない（ステップＳ１２０）、歩行者の正規の画像濃度Ｉ1を算出する（ステップＳ１２１）。 Next, based on the image density A 1 calculated in step S115 and the image density B 1 calculated in step S119, an image differentiation process is performed (step S120), and the normal image density I 1 of the pedestrian is calculated. (Step S121).

以下、ステップＳ１１０により算出された画像濃度Ｉ0とステップＳ１２１により算出された画像濃度Ｉ1とに基づいて、歩行者と車両との相対距離を算出する（ステップＳ１２２）。なお、このステップＳ１２１により行なう車両と歩行者との相対距離の算出は、前述した距離算出処理部８２（図３）による所定の算出手順で行なう。ここで、衝突判定部９０（図３）は、歩行者の新式結果と歩行者までの距離をプリクラッシュ２０へ出力する。プリクラッシュ２０は、その情報を基にして、車両Ｐの制御を行なう。 Thereafter, the relative distance between the pedestrian and the vehicle is calculated based on the image density I 0 calculated in step S110 and the image density I 1 calculated in step S121 (step S122). The calculation of the relative distance between the vehicle and the pedestrian performed in step S121 is performed according to a predetermined calculation procedure by the distance calculation processing unit 82 (FIG. 3) described above. Here, the collision determination unit 90 (FIG. 3) outputs the new result of the pedestrian and the distance to the pedestrian to the pre-crash 20. The pre-crash 20 controls the vehicle P based on the information.

上述してきたように、本実施例にかかる画像認識装置１０は、車両に設けたヘッドライト１２による歩行者からの反射光に基づいて、歩行者を撮影した際の画像の明暗を画像濃度の変化値として取得し、環境光の影響を排除する画像差分化処理を行ない、歩行者による正規の画像濃度と距離との相関関係に基づいて、車両と歩行者との距離を算出する構成としているので、環境光などによる計測誤差の影響を防止するとともに、正確に車両から歩行者までの距離を計測することができる。   As described above, the image recognition apparatus 10 according to the present embodiment uses the headlight 12 provided in the vehicle to reflect the light and darkness of the image when the pedestrian is photographed based on the reflected light from the pedestrian. Since it is configured to calculate the distance between the vehicle and the pedestrian based on the correlation between the normal image density by the pedestrian and the distance, the image is differentiated to obtain the value and eliminate the influence of ambient light In addition to preventing the influence of measurement errors due to ambient light or the like, it is possible to accurately measure the distance from the vehicle to the pedestrian.

なお、本発明の画像認識装置は、上述した実施例に示した構成に限定されること無く、任意の構成によって実施することができるものである。また、本実施例では車両と歩行者との距離を算出する場合を例に説明したが、本発明は、画像認識装置による認識対象を歩行者に限定することなく、例えば、道路上を走行する他の車両や道路上に存在する物体など他の物体との離間距離を算出する場合についても、好ましく適用することができる。   Note that the image recognition apparatus of the present invention is not limited to the configuration shown in the above-described embodiments, and can be implemented with any configuration. Moreover, although the present Example demonstrated as an example the case where the distance of a vehicle and a pedestrian was calculated, this invention does not limit the recognition object by an image recognition apparatus to a pedestrian, for example, drive | works on a road. The present invention can also be preferably applied to the case of calculating a separation distance from another object such as another vehicle or an object existing on a road.

以上のように、本発明にかかる画像認識装置および画像認識方法は、歩行者を対象とする画像認識に有用であり、特に、車両と歩行者との相対距離を正確に計測する場合に適している。   As described above, the image recognition apparatus and the image recognition method according to the present invention are useful for image recognition for pedestrians, and are particularly suitable for accurately measuring the relative distance between a vehicle and a pedestrian. Yes.

本発明の実施例にかかる車両と歩行者との離間距離が遠い状態と、車両が歩行者に近づいた状態とによる画像濃度の相違をそれぞれ示す説明図である。It is explanatory drawing which shows the difference in the image density by the state where the separation distance of the vehicle concerning the Example of this invention and a pedestrian is long, and the state where the vehicle approached the pedestrian, respectively. 車両と歩行者との位置関係および画像濃度の変化を時間の推移で示す説明図である。It is explanatory drawing which shows the positional relationship of a vehicle and a pedestrian, and the change of image density by transition of time. 車両と歩行者との位置関係を時間の推移で示す説明図である。It is explanatory drawing which shows the positional relationship of a vehicle and a pedestrian by transition of time. 本発明の実施例にかかる車両および画像認識装置の概要構成を示す概要構成図である。1 is a schematic configuration diagram showing a schematic configuration of a vehicle and an image recognition device according to an embodiment of the present invention. 片側のヘッドライトによる投光状態を示す説明図である。It is explanatory drawing which shows the light projection state by the headlight of one side. 両方のヘッドライトによる投光状態を示す説明図である。It is explanatory drawing which shows the light projection state by both headlights. 光量の弱い投光器による投光状態を示す説明図である。It is explanatory drawing which shows the light projection state by the light projector with a weak light quantity. 光量の強い投光器による投光状態を示す説明図である。It is explanatory drawing which shows the light projection state by the light projector with a strong light quantity. 環境光の影響により取得された画像濃度および画像差分化処理により取得された画像濃度を説明する説明図である。It is explanatory drawing explaining the image density acquired by the influence of environmental light, and the image density acquired by the image differentiation process. 正規化処理の処理形態を示す説明図である。It is explanatory drawing which shows the process form of a normalization process. 車両と歩行者との接近距離に対応する時間推移との相関関係を説明する説明図である。It is explanatory drawing explaining the correlation with the time transition corresponding to the approach distance of a vehicle and a pedestrian. 車両と歩行者との接近距離に対応する時間推移を示す相関図である。It is a correlation diagram which shows the time transition corresponding to the approach distance of a vehicle and a pedestrian. 画像認識装置による歩行者の認識処理手順を示すフローチャートである。It is a flowchart which shows the recognition process procedure of the pedestrian by an image recognition apparatus.

符号の説明Explanation of symbols

Ｐ 車両
１０ 画像認識装置
１０ａ ＣＰＵ（マイコン）
１１ 投光器
１２ ヘッドライト
１３ 撮影カメラ
１４ ナビゲーション装置
１５ 地図データ
２０ プリクラッシュＥＣＵ
２１ ブレーキ
２２ ＥＦＩ
２３ ディスプレイ
２４ スピーカ
３０ 前処理部
４０ 車両認識部
５０ 白線認識部
６０ 歩行者認識部
７０ 画像濃度取得部
７１ 画像差分化処理部
７２ 正規化処理部
８０ 歩行者距離算出部
８１ 推定距離算出部
８２ 距離算出処理部
８５ 車速センサ
９０ 衝突判定部 P vehicle 10 image recognition device 10a CPU (microcomputer)
DESCRIPTION OF SYMBOLS 11 Floodlight 12 Headlight 13 Shooting camera 14 Navigation apparatus 15 Map data 20 Pre-crash ECU
21 Brake 22 EFI
23 Display 24 Speaker 30 Pre-processing unit 40 Vehicle recognition unit 50 White line recognition unit 60 Pedestrian recognition unit 70 Image density acquisition unit 71 Image differentiation processing unit 72 Normalization processing unit 80 Pedestrian distance calculation unit 81 Estimated distance calculation unit 82 Distance Calculation processing unit 85 Vehicle speed sensor 90 Collision determination unit

Claims (7)

車両に搭載された車載カメラが撮影した入力画像から特定の物体との相対距離を画像認識する画像認識装置であって、
特定の物体に向けて光を照射する投光手段により、前記特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得手段と、
前記画像輝度取得手段により最初に取得された前記特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出手段と、
を備えたことを特徴とする画像認識装置。 An image recognition apparatus for recognizing a relative distance from a specific object from an input image taken by an in-vehicle camera mounted on a vehicle,
An image brightness acquisition means for acquiring brightness of an image that is a reflection intensity by the specific object, based on reflected light reflected by the specific object, by a light projecting means for irradiating light toward the specific object;
Based on the ratio between the first image brightness of the specific object first acquired by the image brightness acquisition means and the second image brightness of the specific object acquired when the vehicle travels after a predetermined time, Distance calculating means for calculating a relative distance from the vehicle to the specific object;
An image recognition apparatus comprising: 前記投光手段は、前記特定の物体に対して単体の光を照射する第一の投光手段と、複合する光を照射する第二の投光手段とを有するとともに、前記画像輝度取得手段は、前記単体光の照射に応じた反射光に基づいて、第一の画像輝度を取得し、前記複合光の照射に応じた反射光に基づいて、第二の画像輝度を取得し、当該第一の画像輝度と第二の画像輝度とによる画像輝度値の差分により、前記特定の物体の反射光に基づいた特定の物体の画像輝度を取得する画像差分化取得手段とを備えることを特徴とする請求項１に記載の画像認識装置。   The light projecting unit includes a first light projecting unit that irradiates a single light to the specific object, and a second light projecting unit that irradiates combined light. The first image luminance is acquired based on the reflected light corresponding to the irradiation of the single light, the second image luminance is acquired based on the reflected light corresponding to the irradiation of the composite light, and the first Image difference acquisition means for acquiring the image brightness of the specific object based on the reflected light of the specific object based on the difference between the image brightness values of the image brightness and the second image brightness The image recognition apparatus according to claim 1. 移動前の歩行者の画像サイズと移動後の歩行者の画像サイズとを任意の画像サイズに補正する画像正規化手段をさらに備えることを特徴とする請求項１または２に記載の画像認識装置。   The image recognition apparatus according to claim 1, further comprising an image normalization unit that corrects an image size of the pedestrian before the movement and an image size of the pedestrian after the movement to an arbitrary image size. 移動前の歩行者の画像サイズに対応する画像輝度と移動後の歩行者の画像サイズに対応する画像輝度とにより平均画像輝度を算出する平均画像輝度算出手段をさらに備えることを特徴とする請求項１または２に記載の画像認識装置。   The average image luminance calculating means for calculating the average image luminance based on the image luminance corresponding to the image size of the pedestrian before the movement and the image luminance corresponding to the image size of the pedestrian after the movement. The image recognition apparatus according to 1 or 2. 前記車両の走行速度を検出する車両速度検出手段をさらに備えるとともに、当該車両速度検出手段により検出された車両の走行速度と、前記特定の物体に対する画像の取得周期とに基づいて、所定の時刻毎での特定の物体に対する車両の接近距離を推定により算出する推定距離算出手段を備えることを特徴とする請求項１〜４の何れか一つに記載の画像認識装置。   Vehicle speed detecting means for detecting the running speed of the vehicle is further provided, and at predetermined time intervals based on the running speed of the vehicle detected by the vehicle speed detecting means and an image acquisition period for the specific object. The image recognition apparatus according to claim 1, further comprising an estimated distance calculation unit that calculates an approach distance of the vehicle with respect to a specific object. 前記投光手段は、前記車両に設けられる一対のヘッドライトであることを特徴とする請求項１〜５の何れか一つに記載の画像認識装置。   The image recognition apparatus according to claim 1, wherein the light projecting unit is a pair of headlights provided in the vehicle. 車両に搭載された車載カメラが撮影した入力画像から特定の物体との相対距離を画像認識する画像認識方法であって、
前記車両が走行時に前方に存在する特定の物体に向けて光を照射する投光工程と、
前記投光工程により、前記特定の物体により反射された反射光に基づいて、当該特定の物体による反射強度である画像の輝度を取得する画像輝度取得工程と、
前記画像輝度取得工程により最初に取得された前記特定の物体による第一の画像輝度と車両が所定時間後に進んだ際に取得された特定の物体の第二の画像輝度との比率に基づいて、前記車両から前記特定の物体までの相対距離を算出する距離算出工程と、
を含むことを特徴とする画像認識方法。 An image recognition method for recognizing a relative distance from a specific object from an input image taken by an in-vehicle camera mounted on a vehicle,
A light projecting step of irradiating light toward a specific object existing ahead when the vehicle travels;
Based on the reflected light reflected by the specific object by the light projecting step, an image luminance acquisition step of acquiring the luminance of the image that is the reflection intensity by the specific object;
Based on the ratio between the first image luminance by the specific object first acquired by the image luminance acquisition step and the second image luminance of the specific object acquired when the vehicle travels after a predetermined time, A distance calculating step of calculating a relative distance from the vehicle to the specific object;
An image recognition method comprising:
JP2006064748A 2006-03-09 2006-03-09 Image recognition device and method Pending JP2007240387A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006064748A JP2007240387A (en) 2006-03-09 2006-03-09 Image recognition device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006064748A JP2007240387A (en) 2006-03-09 2006-03-09 Image recognition device and method

Publications (1)

Publication Number Publication Date
JP2007240387A true JP2007240387A (en) 2007-09-20

Family

ID=38586068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006064748A Pending JP2007240387A (en) 2006-03-09 2006-03-09 Image recognition device and method

Country Status (1)

Country Link
JP (1) JP2007240387A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223639A (en) * 2008-03-17 2009-10-01 Honda Motor Co Ltd Traveling safety device for vehicle
JP2010114849A (en) * 2008-11-10 2010-05-20 Panasonic Electric Works Co Ltd Vehicle perimeter monitoring apparatus
CN103874931A (en) * 2011-10-19 2014-06-18 罗伯特·博世有限公司 Method and apparatus for ascertaining a position for an object in surroundings of a vehicle
JP2015194835A (en) * 2014-03-31 2015-11-05 国立大学法人 名古屋工業大学 Apparatus for measuring arrival time of moving body using reflection optical measurement
CN110235178A (en) * 2017-03-14 2019-09-13 欧姆龙株式会社 Driver status estimating device and driver status estimate method
WO2019225416A1 (en) * 2018-05-22 2019-11-28 株式会社神戸製鋼所 Distance measurement apparatus and distance measurement method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002131051A (en) * 2000-10-26 2002-05-09 Stanley Electric Co Ltd Distance detector
JP2003247824A (en) * 2002-02-22 2003-09-05 Nissan Motor Co Ltd On-vehicle range finder
JP2003270036A (en) * 2002-03-14 2003-09-25 Mitsubishi Electric Corp Infrared image pickup device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002131051A (en) * 2000-10-26 2002-05-09 Stanley Electric Co Ltd Distance detector
JP2003247824A (en) * 2002-02-22 2003-09-05 Nissan Motor Co Ltd On-vehicle range finder
JP2003270036A (en) * 2002-03-14 2003-09-25 Mitsubishi Electric Corp Infrared image pickup device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223639A (en) * 2008-03-17 2009-10-01 Honda Motor Co Ltd Traveling safety device for vehicle
JP2010114849A (en) * 2008-11-10 2010-05-20 Panasonic Electric Works Co Ltd Vehicle perimeter monitoring apparatus
CN103874931A (en) * 2011-10-19 2014-06-18 罗伯特·博世有限公司 Method and apparatus for ascertaining a position for an object in surroundings of a vehicle
JP2015501470A (en) * 2011-10-19 2015-01-15 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング Method and apparatus for determining the position of an object in a surrounding area of a vehicle
JP2015194835A (en) * 2014-03-31 2015-11-05 国立大学法人 名古屋工業大学 Apparatus for measuring arrival time of moving body using reflection optical measurement
CN110235178A (en) * 2017-03-14 2019-09-13 欧姆龙株式会社 Driver status estimating device and driver status estimate method
WO2019225416A1 (en) * 2018-05-22 2019-11-28 株式会社神戸製鋼所 Distance measurement apparatus and distance measurement method
JP2019203735A (en) * 2018-05-22 2019-11-28 株式会社神戸製鋼所 Distance measuring device and distance measuring method
GB2587099A (en) * 2018-05-22 2021-03-17 Kobe Steel Ltd Distance measurement apparatus and distance measurement method
JP7077138B2 (en) 2018-05-22 2022-05-30 株式会社神戸製鋼所 Distance measuring device and distance measuring method
GB2587099B (en) * 2018-05-22 2022-08-17 Kobe Steel Ltd Distance measurement apparatus and distance measurement method

Similar Documents

Publication Publication Date Title
US7278505B2 (en) Control device for starting motion of mobile body
JP5592441B2 (en) Light distribution control device
CN103874931B (en) For the method and apparatus of the position of the object in the environment for asking for vehicle
US7512252B2 (en) Image processing system and vehicle control system
US10339805B2 (en) Traffic light recognition device and traffic light recognition method
US8543254B1 (en) Vehicular imaging system and method for determining roadway width
EP2549457B1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
US10635896B2 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle
EP2537709B1 (en) Image processing apparatus and light distribution control method
WO2016125377A1 (en) Image-processing device and vehicle system
US9764681B2 (en) Method and device for grouping illumination units
KR20140104954A (en) Method and device for identifying a braking situation
JP2018114266A (en) Pulse wave measuring device, control method, and program
JP2007240387A (en) Image recognition device and method
US20210162916A1 (en) Vehicle light-projection controlling device, vehicle light-projection system, and vehicle light-projection controlling method
JP2007156832A (en) On-vehicle near-infrared light irradiation device and on-vehicle periphery monitoring device
JP2009029227A (en) Lighting control device, method and program
JP2008126905A (en) Control device of transmittance of vehicle window
JP2007251258A (en) Image recognizing device
US9376052B2 (en) Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle
JP2020093600A (en) Reflected light detection device, reflected light detection method and program
JP2010086266A (en) Image processing apparatus for vehicle
KR101098436B1 (en) Method and apparatus for controlling head lamp on curved road
JP5310235B2 (en) On-vehicle lighting control device and program
JP2008191784A (en) Eye closure detection apparatus, doze detection apparatus, eye closure detection method, and program for eye closure detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110920

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120515