JP2010146214A - Surrounding monitoring device for vehicle - Google Patents
Surrounding monitoring device for vehicle Download PDFInfo
- Publication number
- JP2010146214A JP2010146214A JP2008321605A JP2008321605A JP2010146214A JP 2010146214 A JP2010146214 A JP 2010146214A JP 2008321605 A JP2008321605 A JP 2008321605A JP 2008321605 A JP2008321605 A JP 2008321605A JP 2010146214 A JP2010146214 A JP 2010146214A
- Authority
- JP
- Japan
- Prior art keywords
- image
- temperature
- luminance value
- region
- grayscale image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、赤外線カメラによって得られる撮像画像を用いて車両の周辺を監視するための装置に関する。 The present invention relates to an apparatus for monitoring the periphery of a vehicle using a captured image obtained by an infrared camera.
従来、赤外線カメラを車両に搭載し、該カメラにより撮像された車両周辺の撮像画像を2値化して、歩行者や動物等の高温の対象物を抽出する装置が提案されている。下記の特許文献1では、赤外線カメラを用いて得られた撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムに基づいて、背景画像と対象物画像とに二分する閾値を決定する手法が提案されている。このような閾値を用いた2値化処理により、高温対象物を背景と区別して抽出する。
車両の周辺には、歩行者や動物等の生体の他に、自動車、電光の看板、電柱、および壁等の人工物が様々に存在しうる。歩行者や動物等の生体を、高温の対象物として背景から分離して抽出するためには、2値化処理において、このような人工物は背景に分類されるのが望ましい。しかしながら、人工物の種類やその配置、および周辺の温度等の車両の周辺環境に依存して、人工物は、それ以外の背景部分よりも高温なことがあり、結果として、上記のような従来の手法を採用しても、人工物を高温対象物として分類してしまうおそれがある。このように、従来の手法では、所望の対象物のみを抽出することは困難であった。 In addition to living bodies such as pedestrians and animals, various artificial objects such as automobiles, electric signboards, utility poles, and walls can exist around the vehicle. In order to separate a living body such as a pedestrian or an animal from a background as a high-temperature object and extract it, it is desirable that such an artifact is classified as a background in the binarization process. However, depending on the type of the artificial object, its arrangement, and the surrounding environment of the vehicle such as the ambient temperature, the artificial object may be hotter than other background parts. Even if this method is adopted, there is a possibility that the artifact is classified as a high-temperature object. As described above, it is difficult to extract only a desired object by the conventional method.
したがって、車両の周辺環境に依存することなく、所望の対象物を、より良好な精度で、背景だけでなく、該所望の対象物以外の対象物から分離して抽出することのできる手法が望まれている。 Therefore, there is a need for a method that can extract a desired object not only from the background but also from objects other than the desired object with better accuracy without depending on the surrounding environment of the vehicle. It is rare.
この発明の一つの側面によると、車両に搭載された赤外線カメラを用いて車両の周辺を監視する車両周辺監視装置は、赤外線カメラによる撮像を介して、対象物の温度に応じた輝度値を有する第1のグレースケール画像を取得する手段と、第1のグレースケール画像において、所望の対象物について予め推定された温度に対応する輝度値を持つ領域を、対象物領域として特定する特定手段と、第1のグレースケール画像に基づいて、背景に対する対象物の温度差に応じた輝度値を有する第2のグレースケール画像を生成する手段と、第2のグレースケール画像を所定の閾値によって2値化し、第2の画像を生成する手段と、第2の画像において、特定された対象物領域に対応する位置にある領域から、該所望の対象物を抽出する対象物抽出手段と、を備える。 According to one aspect of the present invention, a vehicle periphery monitoring device that monitors the periphery of a vehicle using an infrared camera mounted on the vehicle has a luminance value according to the temperature of the object through imaging by the infrared camera. Means for acquiring a first grayscale image; and specifying means for identifying, in the first grayscale image, an area having a luminance value corresponding to a temperature estimated in advance for a desired object as the object area; Based on the first grayscale image, means for generating a second grayscale image having a luminance value corresponding to the temperature difference of the object with respect to the background, and binarizing the second grayscale image by a predetermined threshold value , Means for generating a second image, and an object extractor for extracting the desired object from an area at a position corresponding to the specified object area in the second image. And, equipped with a.
この発明によると、第1のグレースケール画像は、対象物の温度に応じた輝度値を有するので、所望の対象物について予め推定された温度に対応する輝度値を持つ領域を対象物領域として特定することにより、該所望の対象物が存在する領域を、該推定された温度とは異なる温度を有する他の対象物から分離して抽出することができる。他方、第2のグレースケール画像は、背景に対する対象物の温度差に応じた輝度値を持つので、第2のグレースケール画像を2値化して第2の画像を生成することにより、該所望の対象物を、背景から分離して抽出することができる。したがって、第1のグレースケール画像からの対象物領域と、第2のグレースケール画像からの2値画像(第2の画像)との両方を用いることにより、該所望の対象物のみを、それ以外の対象物および背景から、より良好な精度で抽出することができる。 According to the present invention, since the first grayscale image has a luminance value corresponding to the temperature of the object, an area having a luminance value corresponding to the temperature estimated in advance for the desired object is specified as the object area. By doing so, the region where the desired object exists can be extracted separately from other objects having a temperature different from the estimated temperature. On the other hand, since the second grayscale image has a luminance value corresponding to the temperature difference of the object with respect to the background, the second grayscale image is binarized to generate the second image, thereby generating the desired image. The object can be extracted separately from the background. Therefore, by using both the object region from the first grayscale image and the binary image (second image) from the second grayscale image, only the desired object is obtained. Can be extracted with better accuracy from the object and the background.
また、第1および第2のグレースケール画像の両方を用いるけれども、第2のグレースケール画像は第1のグレースケール画像から生成されることができるので、元となるグレースケール画像は1種類(第1のグレースケール画像)のみでよく、よって、対象物を抽出する装置の構成を簡略にすることができる。 In addition, although both the first and second grayscale images are used, the second grayscale image can be generated from the first grayscale image. 1 gray scale image), and thus the configuration of the apparatus for extracting the object can be simplified.
この発明の一実施形態によると、上記特定手段は、所望の対象物について推定された温度に対応する輝度値を持つ領域を抽出するよう第1のグレースケール画像を2値化して、第1の画像を生成し、上記対象物抽出手段は、第1の画像と前記第2の画像との論理積を演算することにより、該所望の対象物を抽出する。 According to an embodiment of the present invention, the specifying means binarizes the first grayscale image so as to extract a region having a luminance value corresponding to the temperature estimated for the desired object, An image is generated, and the object extraction unit extracts the desired object by calculating a logical product of the first image and the second image.
この発明によれば、第1の画像は、所望の対象物が存在する領域が、他の対象物から分離して抽出された2値画像である。他方、第2の画像は、前述したように、所望の対象物が、背景から分離して抽出された2値画像である。したがって、第1の画像と第2の画像の論理積を演算することにより、所望の対象物のみが抽出された画像を得ることができる。 According to the present invention, the first image is a binary image in which a region where a desired object is present is extracted separately from other objects. On the other hand, as described above, the second image is a binary image in which a desired object is extracted separately from the background. Therefore, by calculating the logical product of the first image and the second image, an image in which only a desired object is extracted can be obtained.
この発明の一実施形態によると、さらに、上記対象物抽出手段は、第2の画像において、上記特定された対象物領域に対応する位置にある領域に対して形状判定を行うことにより、該所望の対象物を抽出する。一実施形態では、該形状判定は、テンプレートを用いたパターンマッチングにより行う。 According to an embodiment of the present invention, the object extraction unit further performs the shape determination on an area located at a position corresponding to the specified object area in the second image. The target object is extracted. In one embodiment, the shape determination is performed by pattern matching using a template.
この発明によれば、対象物が存在しうる領域が第2の画像において特定されるので、該領域に対してのみ、パターンマッチングなどの形状判定処理を実行することにより、該領域に撮像されている対象物が、所望の対象物かどうかを認識することができる。所望の対象物を抽出するのに、第2の画像において抽出されているすべての対象物に対して形状判定処理を行う必要はない。 According to the present invention, since an area where the object can exist is specified in the second image, only the area is imaged in the area by performing shape determination processing such as pattern matching. It is possible to recognize whether the target object is a desired target object. In order to extract a desired object, it is not necessary to perform shape determination processing on all objects extracted in the second image.
この発明の一実施形態によると、車両の外気温を検出する手段を備え、外気温に基づいて、前記所望の対象物の温度を推定する手段を備える。こうして、外気温から、所望の対象物の温度を推定することができるので、第1のグレースケール画像において、該所望の対象物が存在する位置を、より良好な精度で見極めることができる。 According to an embodiment of the present invention, the apparatus includes means for detecting the outside air temperature of the vehicle, and includes means for estimating the temperature of the desired object based on the outside air temperature. Thus, since the temperature of the desired object can be estimated from the outside air temperature, the position where the desired object exists in the first grayscale image can be determined with better accuracy.
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。 Other features and advantages of the present invention will be apparent from the detailed description that follows.
次に図面を参照してこの発明の実施の形態を説明する。 Next, an embodiment of the present invention will be described with reference to the drawings.
図1は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な2つの赤外線カメラ1Rおよび1Lと、車両周辺の外気の温度(外気温)を検出するセンサ5と、カメラ1Rおよび1Lによって得られる画像データに基づいて車両前方の対象物を検出するための画像処理ユニット2と、該検出結果に基づいて音声で警報を発生するスピーカ3と、カメラ1Rまたは1Lによって得られる画像を表示すると共に、運転者に車両前方の対象物を認識させるための表示を行うヘッドアップディスプレイ(以下、HUDと呼ぶ)4とを備えている。 FIG. 1 is a block diagram showing a configuration of a vehicle periphery monitoring device according to an embodiment of the present invention. The device is mounted on a vehicle and can detect two far-infrared cameras 1R and 1L, a sensor 5 for detecting the temperature of the outside air around the vehicle (outside air temperature), and image data obtained by the cameras 1R and 1L. The image processing unit 2 for detecting an object in front of the vehicle based on the vehicle, the speaker 3 for generating an alarm by voice based on the detection result, and the image obtained by the camera 1R or 1L are displayed, and the driver The head up display (henceforth HUD) 4 which performs the display for making it recognize the target object ahead of a vehicle is provided.
図2に示すように、カメラ1Rおよび1Lは、車両10の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。2つのカメラ1Rおよび1Lは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ1Rおよび1Lは、撮像される対象物の温度(これは、検出される遠赤外線の量に応じる)が高いほど、その出力信号のレベルが高くなる、すなわち撮像画像における輝度値が大きくなる特性を有している。 As shown in FIG. 2, the cameras 1 </ b> R and 1 </ b> L are disposed in a symmetric position with respect to the central axis passing through the center of the vehicle width at the front portion of the vehicle 10. The two cameras 1R and 1L are fixed to the vehicle so that their optical axes are parallel to each other and their height from the road surface is equal. In the infrared cameras 1R and 1L, the higher the temperature of the object to be imaged (which depends on the amount of far infrared rays detected), the higher the level of the output signal, that is, the greater the luminance value in the captured image. It has characteristics.
画像処理ユニット2は、入力アナログ信号をデジタル信号に変換するA/D変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置(CPU)、CPUが演算に際してデータを記憶するのに使用するRAM(ランダムアクセスメモリ)、CPUが実行するプログラムおよび用いるデータ(テーブル、マップを含む)を記憶するROM(リードオンリーメモリ)、スピーカ3に対する駆動信号およびHUD4に対する表示信号などを出力する出力回路を備えている。カメラ1Rおよび1Lの出力信号およびセンサ5の出力信号は、デジタル信号に変換されてCPUに入力されるよう構成されている。HUD4は、図2に示すように、車両10のフロントウィンドウの、運転者の前方位置に画面4aが表示されるように設けられている。こうして、運転者は、HUD4に表示される画面を視認することができる。 The image processing unit 2 includes an A / D conversion circuit that converts an input analog signal into a digital signal, an image memory that stores a digitized image signal, a central processing unit (CPU) that performs various arithmetic processing, and a data RAM (Random Access Memory) used to store data, ROM (Read Only Memory) that stores programs executed by the CPU and data used (including tables and maps), driving signals for the speaker 3, display signals for the HUD 4, etc. Is provided. The output signals of the cameras 1R and 1L and the output signal of the sensor 5 are converted into digital signals and input to the CPU. As shown in FIG. 2, the HUD 4 is provided so that a screen 4 a is displayed at a front position of the driver on the front window of the vehicle 10. Thus, the driver can visually recognize the screen displayed on the HUD 4.
ここで、図3を参照して、本願発明で用いる2種類のグレースケール画像について説明する。図3(a)の上段は、撮像された対象物の温度に応じた輝度値を有する第1のグレースケール画像を示す。中断は、符号L1で示される画素行に沿った輝度値の推移を示している。下段は、温度と輝度値の関係を示し、上段の第1のグレースケール画像は、この関係に基づいて生成されている。 Here, with reference to FIG. 3, two types of gray scale images used in the present invention will be described. The upper part of FIG. 3A shows a first grayscale image having a luminance value corresponding to the temperature of the captured object. The interruption indicates the transition of the luminance value along the pixel row indicated by the symbol L1. The lower row shows the relationship between the temperature and the luminance value, and the first grayscale image in the upper row is generated based on this relationship.
下段に示すように、輝度値は温度に対して比例関係を有しており、温度の値が決まれば、輝度値が一意に決定されるよう、両者の関係は予め設定されている。温度が高くなるほど、輝度値は高くなる。たとえば、この関係に従って、温度Aに対して輝度値aが割り当てられており、また、温度Bに対して輝度値bが割り当てられている場合、或る状況下において背景の温度がAであれば、背景には輝度値aが割り当てられ、他の状況下において背景の温度がBであれば、背景には輝度値bが割り当てられる。このことは、背景以外の対象物についても同様である。 As shown in the lower part, the luminance value has a proportional relationship with the temperature, and when the temperature value is determined, the relationship between the two is preset so that the luminance value is uniquely determined. The higher the temperature, the higher the luminance value. For example, according to this relationship, if the luminance value a is assigned to the temperature A and the luminance value b is assigned to the temperature B, if the background temperature is A under certain circumstances The brightness value a is assigned to the background, and if the background temperature is B under other circumstances, the background is assigned the brightness value b. The same applies to objects other than the background.
この実施例では、赤外線カメラ1R,1Lが、温度に応じた信号を出力するよう構成されており、この出力信号をAD変換することによって得られるグレースケール画像が、第1のグレースケール画像に対応する。なお、この実施例では、温度と輝度値の間は比例関係であるが、温度の値に対して輝度値が一意に決定されるのであれば、必ずしも比例関係でなくてもよい。 In this embodiment, the infrared cameras 1R and 1L are configured to output a signal corresponding to the temperature, and the grayscale image obtained by AD converting the output signal corresponds to the first grayscale image. To do. In this embodiment, there is a proportional relationship between the temperature and the luminance value, but the proportional relationship is not necessarily required as long as the luminance value is uniquely determined with respect to the temperature value.
図3(a)の中段にも示されるように、背景の温度と、人工物や生体のような対象物の温度との間の差が小さい場合、第1のグレースケール画像では、背景および対象物は、ほぼ同様の輝度値を持つ画像となる。このような場合、第1のグレースケール画像では、対象物を、背景と分離して抽出することは困難である。 As shown in the middle part of FIG. 3A, when the difference between the temperature of the background and the temperature of an object such as an artificial object or a living body is small, the background and the object are displayed in the first grayscale image. The object becomes an image having substantially the same luminance value. In such a case, it is difficult to extract the object separately from the background in the first grayscale image.
他方、図3(b)を参照すると、上段は、撮像された背景の温度に対して、対象物の温度の差に応じた輝度値を持つ第2のグレースケール画像を示す。中段は、符号L1で示される画素行に沿った輝度値の推移を示している。下段は、温度差と輝度値の関係を示しており、第2のグレースケール画像は、この関係に基づいて生成されている。ここで、原点Oは、(背景の温度,背景の輝度値)を表している。横軸の「温度差」は、該背景の温度に対する温度差を示す。背景の温度には、その温度の値に関係なく一定の輝度値である背景輝度値が割り当てられる。温度差が高くなるほど、輝度値は高くなる。 On the other hand, referring to FIG. 3B, the upper part shows a second grayscale image having a luminance value corresponding to the temperature difference of the object with respect to the imaged background temperature. The middle row shows the transition of the luminance value along the pixel row indicated by the symbol L1. The lower part shows the relationship between the temperature difference and the luminance value, and the second grayscale image is generated based on this relationship. Here, the origin O represents (background temperature, background luminance value). The “temperature difference” on the horizontal axis indicates the temperature difference with respect to the temperature of the background. A background luminance value, which is a constant luminance value, is assigned to the background temperature regardless of the temperature value. The higher the temperature difference, the higher the brightness value.
下段に示すように、輝度値は温度差に対して比例関係を有しており、温度差の値が決まれば、輝度値が一意に決定されるよう、両者の関係は予め設定されている。たとえば、或る状況下では背景の温度がAであり、他の状況下では背景の温度がBである場合、どちらの場合でも、背景の画像領域には一定の背景輝度値cが割り当てられる。また、該或る状況下での対象物の温度が(A+x)であり、該他の状況下での対象物の温度が(B+x)である場合、どちらの場合でも、対象物の画像領域には、温度差xに応じた同じ輝度値dが割り当てられる。 As shown in the lower part, the luminance value is proportional to the temperature difference, and the relationship between the two is preset so that the luminance value is uniquely determined when the value of the temperature difference is determined. For example, if the background temperature is A under certain circumstances and the background temperature is B under other circumstances, a constant background luminance value c is assigned to the background image region in either case. Further, when the temperature of the object under the certain situation is (A + x) and the temperature of the object under the other situation is (B + x), the image area of the object is displayed in either case. Are assigned the same luminance value d according to the temperature difference x.
この実施例では、背景温度に対する温度差に対し、輝度値は比例関係を有しているが、該温度差の値に対して輝度値が一意に決定されるのであれば、必ずしも比例関係でなくてもよい。 In this embodiment, the luminance value is proportional to the temperature difference with respect to the background temperature. However, if the luminance value is uniquely determined with respect to the temperature difference value, the luminance value is not necessarily proportional. May be.
第2のグレースケール画像は、第1のグレースケール画像に基づいて生成されることができる。ここで、背景に対する温度差を求めるためには、背景の温度が必要とされる。背景の温度は、任意の適切な方法で決定されることができる。たとえば、第1のグレースケール画像の輝度値ヒストグラムにおいて最も度数の高い輝度値に対応する温度を、背景の温度とすることができ、これに、所定の背景輝度値を割り当てる。第1のグレースケール画像の各画素について、背景の温度に対する温度差を求め、図3(b)の下段に示す関係にしたがって、該温度差に応じた輝度値を割り当てることにより、第2のグレースケール画像を生成することができる。 The second grayscale image can be generated based on the first grayscale image. Here, in order to obtain the temperature difference with respect to the background, the temperature of the background is required. The background temperature can be determined in any suitable manner. For example, the temperature corresponding to the highest luminance value in the luminance value histogram of the first grayscale image can be set as the background temperature, and a predetermined background luminance value is assigned to this. For each pixel of the first grayscale image, a temperature difference with respect to the background temperature is obtained, and a luminance value corresponding to the temperature difference is assigned according to the relationship shown in the lower part of FIG. A scale image can be generated.
代替的に、周知のフィルタ処理を用いて第2のグレースケール画像を生成してもよい。たとえば、画像をぼかすのに用いられるガウス(ぼかし)フィルタおよびエッジを強調するのに用いられるハイパスフィルタの組み合わせを用いて画像の鮮鋭化処理(sharpening)を第1のグレースケール画像に適用することにより、第2のグレースケール画像を生成することができる。 Alternatively, the second grayscale image may be generated using well-known filtering. For example, by applying image sharpening to the first grayscale image using a combination of a Gaussian filter used to blur the image and a high pass filter used to enhance the edges. A second grayscale image can be generated.
第2のグレースケール画像では、背景に対する対象物の温度差に応じて輝度値を割り当てるので、図3(b)の中段に示すように、背景の輝度値に対する対象物の輝度値の差を大きくすることができる。したがって、第2のグレースケール画像では、より容易に、背景と分離して、生体や人工物等の対象物を抽出することができる。 In the second grayscale image, since the luminance value is assigned according to the temperature difference of the object with respect to the background, the difference in the luminance value of the object with respect to the background luminance value is increased as shown in the middle part of FIG. can do. Therefore, in the second gray scale image, an object such as a living body or an artificial object can be extracted more easily by separating from the background.
従来は、第2のグレースケール画像を所定の閾値で2値化し、背景領域と対象物領域とを分離していた。上で述べたように、第2のグレースケール画像では、背景に対する温度差に応じて輝度値が割り当てられるので、背景以外の対象物部分を、該対象物の形状を維持しつつ、背景から良好に抽出することができる。しかしながら、このように抽出される対象物には、生体の他に、車両や電光看板などの対象物が含まれることがある。特に、熱源を有する人工物は、高温対象物として抽出されやすい。生体と人工物とを区別するために、2値化された画像にパターンマッチング等を適用して対象物の形状を判定することにより、抽出された対象物が歩行者なのか、動物なのか、人工物なのか、等の判定を行っていた。2値化された画像において、抽出された対象物の数が多いほど、すべての対象物に、候補となる対象物の形状のテンプレートを用いてパターンマッチングを行うので、計算上の負荷が増大するおそれがあった。このように、第2のグレースケール画像のみを用いて、計算上の負荷を抑制しつつ、所望の対象物のみを、それ以外の対象物から分離して抽出することは困難であった。 Conventionally, the second gray scale image is binarized with a predetermined threshold value, and the background area and the object area are separated. As described above, in the second grayscale image, a luminance value is assigned according to the temperature difference with respect to the background, so that the object portion other than the background is good from the background while maintaining the shape of the object. Can be extracted. However, the objects extracted in this way may include objects such as vehicles and electric signboards in addition to living bodies. In particular, an artificial object having a heat source is easily extracted as a high-temperature object. In order to distinguish between a living body and an artificial object, by applying pattern matching or the like to a binarized image and determining the shape of the object, whether the extracted object is a pedestrian or an animal, It was judged whether it was an artifact. In the binarized image, as the number of extracted objects increases, pattern matching is performed on all objects using a template of the shape of a candidate object, so that the computational load may increase. there were. As described above, it is difficult to extract only a desired object separately from other objects while suppressing the calculation load using only the second gray scale image.
他方、第1のグレースケール画像では、背景に対する温度差とは関係なく、撮像される対象物(背景を含む)の温度そのものに対して一意に決まる輝度値が割り当てられている。抽出すべき所望の対象物の温度を推定することができれば、第1のグレースケール画像において、該所望の対象物が存在している領域(対象物領域と呼ぶ)を、該推定された温度と異なる温度を有する他の対象物から分離して特定することができる。しかしながら、第1のグレースケール画像は、背景に対する温度差を良好に反映したものではないので、該推定された温度周辺の温度領域が背景に存在すれば、該対象物領域には、所望の対象物以外の背景部分が含まれることがあり、よって、第1のグレースケール画像のみを用いて、所望の対象物のみを、その本来の形状を維持しつつ背景から分離して抽出することは困難である。 On the other hand, in the first grayscale image, a luminance value uniquely determined with respect to the temperature of the object to be imaged (including the background) is assigned regardless of the temperature difference with respect to the background. If the temperature of the desired object to be extracted can be estimated, an area where the desired object exists (referred to as an object area) in the first grayscale image is referred to as the estimated temperature. It can be identified separately from other objects having different temperatures. However, since the first grayscale image does not reflect the temperature difference with respect to the background well, if the temperature region around the estimated temperature exists in the background, the target region includes the desired object. Background parts other than objects may be included, and therefore it is difficult to extract only a desired object from the background while maintaining its original shape using only the first grayscale image. It is.
このように、第1および第2のグレースケール画像のいずれか一方のみを用いても、所望の対象物のみを良好な精度で抽出することは難しい。そこで、本願発明では、第1のグレースケール画像と第2のグレースケール画像の両方を用いる。第1のグレースケール画像から特定される対象物領域では、上記第2のグレースケール画像において困難であった、所望の対象物が存在する領域とそれ以外の対象物との分離を、良好に実現することができる。また、第2のグレースケール画像から生成される2値画像では、上記第1のグレースケール画像において困難であった、所望の対象物と、該対象物の温度周辺の温度を持つ背景部分との分離を、良好に実現することができる。したがって、第1のグレースケール画像からの対象物領域と第2のグレースケール画像からの2値画像とを合わせることにより、所望の対象物のみを、より良好な精度で、背景および他の対象物から分離して抽出することができる。さらに、第2のグレースケール画像は、前述したように第1のグレースケール画像から生成されるので、元となるグレースケール画像は1種類である。したがって、2種類のグレースケール画像を用いてはいるものの、装置の構成を簡略化することができる。 Thus, even if only one of the first and second grayscale images is used, it is difficult to extract only a desired object with good accuracy. Therefore, in the present invention, both the first gray scale image and the second gray scale image are used. In the object area specified from the first grayscale image, the separation of the area where the desired object exists and the other objects, which was difficult in the second grayscale image, is realized. can do. Further, in the binary image generated from the second grayscale image, a desired object and a background portion having a temperature around the temperature of the object, which is difficult in the first grayscale image, are included. Separation can be achieved well. Therefore, by combining the object region from the first grayscale image and the binary image from the second grayscale image, only the desired object can be obtained with better accuracy in the background and other objects. And can be extracted separately. Furthermore, since the second gray scale image is generated from the first gray scale image as described above, there is one kind of original gray scale image. Therefore, although two types of gray scale images are used, the configuration of the apparatus can be simplified.
以下、本願発明のこの手法について、より詳細に説明する。図4は、この発明の第1の実施例に従う、画像処理ユニット2によって実行される、所望の対象物を抽出するためのプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行されることができる。この実施例では、所望の対象物として、歩行者(人間)を抽出する。また、一対のカメラ1Rおよび1Lのうち、この実施例では、カメラ1Rの撮像画像を用いるが、当然ながら、カメラ1Lの撮像画像を用いてもよい。 Hereinafter, this method of the present invention will be described in more detail. FIG. 4 is a flowchart showing a process for extracting a desired object executed by the image processing unit 2 according to the first embodiment of the present invention. The process can be performed at predetermined time intervals. In this embodiment, a pedestrian (human) is extracted as a desired object. Of the pair of cameras 1R and 1L, in this embodiment, the captured image of the camera 1R is used. However, as a matter of course, the captured image of the camera 1L may be used.
ステップS11およびS12において、カメラ1Rの出力信号(すなわち、撮像画像のデータ)を入力として受け取り、これをA/D変換して、画像メモリに格納する。格納される画像データは、図3(a)を参照して説明した第1のグレースケール画像である。ステップS13において、外気温センサ5によって検出された外気温i(℃)を取得する。 In steps S11 and S12, an output signal (that is, captured image data) of the camera 1R is received as input, A / D converted, and stored in the image memory. The stored image data is the first grayscale image described with reference to FIG. In step S13, the outside air temperature i (° C.) detected by the outside air temperature sensor 5 is acquired.
ステップS21〜S23は、第1のグレースケール画像を用いて、歩行者が存在する画像上の位置(領域)を見極めるための処理である。 Steps S21 to S23 are processes for determining the position (region) on the image where the pedestrian is present, using the first grayscale image.
まず、ステップS21において、ステップS13で検出された外気温iに基づいて、図5に示すようなマップを参照する。ここで、該マップを説明する。歩行者の頭部は、主にその顔面において皮膚が外気にさらされており、熱源を妨げるものが少ない部位である。したがって、外気にさらされている頭部表面は、外気温に対し、比較的安定した温度を呈する。そこで、外気にさらされている頭部表面の温度に着目し、これを、歩行者の温度とみなす。歩行者温度F(℃)と外気温i(℃)との間の関係を、実験やシミュレーション等で調べた結果、両者の間には、図5のマップに示すような関係があることが判明した。このマップにおいて、横軸は外気温i(℃)を示し、縦軸は、外気温(i)に対する歩行者温度F(i)(℃)を示す。このマップに示すように、外気温iから、歩行者温度F(i)を推定することができる。 First, in step S21, a map as shown in FIG. 5 is referred to based on the outside air temperature i detected in step S13. Here, the map will be described. The head of a pedestrian is a part where the skin is exposed to the outside air mainly on the face and there are few things that obstruct the heat source. Therefore, the head surface exposed to the outside air exhibits a relatively stable temperature with respect to the outside air temperature. Therefore, paying attention to the temperature of the head surface exposed to the outside air, this is regarded as the temperature of the pedestrian. As a result of investigating the relationship between the pedestrian temperature F (° C.) and the outside air temperature i (° C.) through experiments and simulations, it is found that there is a relationship as shown in the map of FIG. did. In this map, the horizontal axis indicates the outside air temperature i (° C.), and the vertical axis indicates the pedestrian temperature F (i) (° C.) with respect to the outside air temperature (i). As shown in this map, the pedestrian temperature F (i) can be estimated from the outside air temperature i.
歩行者温度Fは、外気温iに対して、曲線101に示すように推移し、外気温iが高くなるほど、歩行者温度Fも高くなる。歩行者の頭部以外の部分の温度(胴体や足等の温度)は、歩行者温度F(i)を中心とした所定範囲内にほぼ収まると考えることができる。したがって、歩行者の頭部以外の部分(胴体や足等)の温度が収まるよう、予めシミュレーションや実験等によって、F(i)を含む所定の余裕範囲(マージン)T(℃)を設定する。該余裕範囲の上限が点線101Uよって示されており、F(i)maxで表す。該余裕範囲の下限が点線101Lによって示されており、F(i)minで表す。 The pedestrian temperature F changes as indicated by the curve 101 with respect to the outside air temperature i, and the pedestrian temperature F increases as the outside air temperature i increases. It can be considered that the temperature of the part other than the pedestrian's head (temperature of the trunk, legs, etc.) is substantially within a predetermined range centered on the pedestrian temperature F (i). Therefore, a predetermined margin range (margin) T (° C.) including F (i) is set in advance by simulation or experiment so that the temperature of the portion other than the pedestrian's head (body, legs, etc.) is settled. The upper limit of the margin range is indicated by a dotted line 101U and is represented by F (i) max. The lower limit of the margin range is indicated by a dotted line 101L and is represented by F (i) min.
なお、図5のマップでは、余裕範囲Tは、F(i)を中心とするよう設定されているが、このような設定には制限されず、F(i)minおよびF(i)の差と、F(i)maxおよびF(i)の差とが異なってもよい。また、図5のマップでは、余裕範囲Tは、外気温iの変化に応じて一定となるよう設定されているが、このような設定には制限されず、外気温iの変化に対して余裕範囲Tの大きさが変化するよう、余裕範囲Tを設定してもよい。 In the map of FIG. 5, the margin range T is set to be centered on F (i), but is not limited to such setting, and the difference between F (i) min and F (i). And the difference between F (i) max and F (i) may be different. In the map of FIG. 5, the margin range T is set to be constant according to the change in the outside temperature i. However, the margin range T is not limited to such a setting and the margin for the change in the outside temperature i. The margin range T may be set so that the size of the range T changes.
図5に示されるようなマップは、画像処理ユニット2のメモリに予め記憶される。画像処理ユニット2は、検出された外気温i(℃)に基づいて該マップを参照することにより、外気温iに対応する歩行者温度F(i)の上限値F(i)maxおよび下限値F(i)minを求める。 A map as shown in FIG. 5 is stored in advance in the memory of the image processing unit 2. The image processing unit 2 refers to the map based on the detected outside air temperature i (° C.), so that the upper limit value F (i) max and the lower limit value of the pedestrian temperature F (i) corresponding to the outside air temperature i. F (i) min is obtained.
図4に戻り、ステップS22において、歩行者温度の上限値F(i)maxおよび下限値F(i)minに対応する輝度値を求める。図3(a)を参照して前述したように、第1のグレースケール画像の温度と輝度値の関係は、たとえば図3(a)の下段に示されるように、予め決められている。したがって、この関係(当該下段のようなマップをメモリに記憶しておいてもよいし、温度から、所定の式によって輝度値を求めてもよい)を用いて、歩行者温度の上限値F(i)maxに対応する輝度上限値Tbmax、および歩行者温度の下限値F(i)minに対応する輝度下限値Tbminを算出する。 Returning to FIG. 4, in step S22, luminance values corresponding to the upper limit value F (i) max and the lower limit value F (i) min of the pedestrian temperature are obtained. As described above with reference to FIG. 3A, the relationship between the temperature and the luminance value of the first grayscale image is determined in advance as shown in the lower part of FIG. 3A, for example. Therefore, using this relationship (a map such as the lower row may be stored in the memory, or the luminance value may be obtained from the temperature by a predetermined formula), the upper limit F of the pedestrian temperature ( i) Luminance upper limit value Tbmax corresponding to max and luminance lower limit value Tbmin corresponding to lower limit value F (i) min of pedestrian temperature are calculated.
ステップS23において、輝度上限値Tbmaxおよび輝度下限値Tbminを閾値として用い、第1のグレースケール画像を2値化する。 In step S23, the first grayscale image is binarized using the luminance upper limit value Tbmax and the luminance lower limit value Tbmin as threshold values.
ここで、図6を参照すると、第1のグレースケール画像の輝度値ヒストグラムの一例が示されている。輝度上限値Tbmaxおよび輝度下限値Tbminにより画定される領域201が、歩行者の輝度領域を示す。この実施例では、領域201内の輝度値を有する画素を、値1の白領域とし、領域201以外の輝度値を有する画素を、値ゼロの黒領域とすることにより、第1のグレースケール画像を2値化して、第1の画像を生成する。第1の画像において、白領域は、歩行者が存在する領域として特定された対象物領域を表している。 Here, referring to FIG. 6, an example of a luminance value histogram of the first grayscale image is shown. A region 201 defined by the luminance upper limit value Tbmax and the luminance lower limit value Tbmin represents a pedestrian luminance region. In this embodiment, a pixel having a luminance value in the region 201 is a white region having a value of 1, and a pixel having a luminance value other than the region 201 is a black region having a value of zero, whereby the first grayscale image is obtained. Is binarized to generate a first image. In the first image, the white area represents an object area specified as an area where a pedestrian is present.
図8を参照すると、対象物抽出処理の各段階の画像を模式的に表した図が示されており、図8(a)は、ステップS12で取得される第1のグレースケール画像を表している。図では、輝度値の違いをハッチングの種類の違いで表しており、歩行者211および自動車213が撮像されている。また、背景において、歩行者の周囲の道路構造物のある領域215およびその他の領域217とでは、輝度値が異なっている。 Referring to FIG. 8, there is shown a diagram schematically showing an image at each stage of the object extraction process. FIG. 8A shows the first grayscale image acquired in step S12. Yes. In the figure, the difference in luminance value is represented by the difference in the type of hatching, and the pedestrian 211 and the car 213 are imaged. Further, in the background, the brightness value is different between the area 215 where the road structure around the pedestrian is located and the other area 217.
図8(b)には、ステップS23において得られる、第1のグレースケール画像が2値化された第1の画像が示されている。白領域301は、(a)の第1のグレースケール画像において輝度領域201内の輝度値を有していたためにステップS23の2値化によって抽出された対象物領域であり、上記推定された歩行者温度F(i)に基づいて規定される歩行者の温度領域(前述したように、F(i)minからF(i)maxの間の余裕範囲Tを持つ)を表している。 FIG. 8B shows a first image obtained by binarizing the first grayscale image obtained in step S23. The white region 301 is the target region extracted by the binarization in step S23 because the white region 301 has the luminance value in the luminance region 201 in the first grayscale image of (a), and the estimated walking This represents a temperature range of a pedestrian defined based on the person's temperature F (i) (having a margin range T between F (i) min and F (i) max as described above).
このように、第1のグレースケール画像を用いて得た2値画像では、上記推定された歩行者温度に相当する温度領域を、対象物領域301として抽出するため、該歩行者温度とは異なる温度を有する他の対象物(たとえば、(a)の自動車213)から分離して、歩行者211の存在する領域を抽出することができる。しかしながら、(a)の領域215に示すように、歩行者の周囲に、歩行者温度の余裕範囲Tに含まれるような温度を有する背景が存在する場合、該歩行者211の実際の温度と該背景領域215の実際の温度とが異なっていても、(b)に示されるように、対象物領域301には、歩行者211のみならず、該歩行者周囲の背景領域215も含まれてしまう。そこで、歩行者211のみを抽出するため、以下に示すように、第2のグレースケール画像を併用する。 As described above, in the binary image obtained using the first grayscale image, the temperature region corresponding to the estimated pedestrian temperature is extracted as the object region 301, and thus is different from the pedestrian temperature. A region where the pedestrian 211 is present can be extracted by separating from another object having a temperature (for example, the automobile 213 in (a)). However, as shown in the area 215 of (a), when there is a background around the pedestrian that has a temperature that falls within the pedestrian temperature margin range T, the actual temperature of the pedestrian 211 and the pedestrian 211 Even if the actual temperature of the background area 215 is different, as shown in (b), the object area 301 includes not only the pedestrian 211 but also the background area 215 around the pedestrian. . Therefore, in order to extract only the pedestrian 211, the second grayscale image is used together as shown below.
なお、図ではわかりやすいように、白領域301は四角形として表されているが、当然ながら、第1のグレースケール画像を2値化することによって抽出される対象物領域301の形状は、四角形に限定されない。
図4に戻り、ステップS31において、第1のグレースケール画像に基づいて、第2のグレースケール画像を生成する。前述したように、第1のグレースケール画像から背景の温度を求め、該背景の温度に対する温度差に応じた輝度値を割り当てることにより、第2のグレースケール画像を生成することができる。
Note that the white area 301 is represented as a quadrilateral for easy understanding in the figure, but of course, the shape of the object area 301 extracted by binarizing the first grayscale image is limited to a quadrilateral. Not.
Returning to FIG. 4, in step S31, a second grayscale image is generated based on the first grayscale image. As described above, the second grayscale image can be generated by obtaining the background temperature from the first grayscale image and assigning a luminance value corresponding to the temperature difference with respect to the background temperature.
ステップS32およびS33では、第2のグレースケール画像を用いて、背景から、生体や人工物などの高温対象物を分離する処理を行う。この処理は、従来の任意の適切な処理を用いることができる。簡単に説明すると、ステップS32において、第2のグレースケール画像の輝度値ヒストグラムを用いて、背景と高温対象物を分離する2値化のための閾値Taを決定する。 In steps S32 and S33, a process of separating a high-temperature object such as a living body or an artificial object from the background is performed using the second grayscale image. For this process, any appropriate conventional process can be used. Briefly, in step S32, a threshold Ta for binarization that separates the background and the high-temperature object is determined using the luminance value histogram of the second grayscale image.
閾値の決定には、任意の適切な手法を用いることができる。たとえば、特開2003−216949号公報に記載の手法を用いることができる。この手法によると、前回の処理で決定された閾値を用い、今回得られたグレースケール画像の2値化処理を行う。次に、2値化画像の2値化面積率P(%)を、“2値化対象物の全体画素数/2値化対象画面全体の画素数×100”という式によって算出する。2値化面積率Pが規定値α(%)以下で、かつ閾値が最小輝度閾値Min_THでない場合、閾値から規定の割合Xを差し引いて、閾値を減少させる。同様に、2値化面率Pが規定値β(%)以上で、かつ閾値が最大輝度閾値Max_THでない場合、閾値に規定の割合Xを足し込み、閾値を増加する。このような閾値設定により、ノイズによる輝度値のばらつきの影響を受けることなく、高温対象物を、背景と分離して抽出することができる。しかしながら、閾値の決定手法は、このような手法に限定されるものではなく、たとえば、閾値を予め決められた値としてもよい。 Any appropriate method can be used to determine the threshold value. For example, the method described in JP2003-216949A can be used. According to this method, the threshold value determined in the previous process is used to binarize the gray scale image obtained this time. Next, the binarized area ratio P (%) of the binarized image is calculated by the equation: “total number of pixels of binarized object / number of pixels of entire binarized screen × 100”. When the binarized area rate P is equal to or less than the specified value α (%) and the threshold value is not the minimum luminance threshold value Min_TH, the threshold value is decreased by subtracting the specified ratio X from the threshold value. Similarly, when the binarized surface ratio P is equal to or greater than the specified value β (%) and the threshold value is not the maximum luminance threshold value Max_TH, the specified ratio X is added to the threshold value to increase the threshold value. By setting such a threshold value, a high-temperature object can be extracted separately from the background without being affected by variations in luminance values due to noise. However, the threshold value determination method is not limited to such a method, and for example, the threshold value may be a predetermined value.
ステップS33において、こうして設定された閾値Taを用いて、第2のグレースケール画像を2値化する。ここで図7を参照すると、第2のグレースケール画像の輝度値ヒストグラムの一例が示されている。閾値Ta以下の輝度値を有する領域203は、背景の輝度値を示す領域であり、閾値Taより高い輝度値を有する領域205が、対象物の輝度値を示す領域である。この実施例では、閾値Taより高い輝度値を有する画素を、値1の白領域とし、閾値Ta以下の輝度値を有する画素を、値ゼロの黒領域として、第2のグレースケール画像を2値化し、第2の画像を生成する。 In step S33, the second grayscale image is binarized using the threshold value Ta thus set. Referring now to FIG. 7, an example of the brightness value histogram of the second grayscale image is shown. A region 203 having a luminance value equal to or lower than the threshold Ta is a region indicating the luminance value of the background, and a region 205 having a luminance value higher than the threshold Ta is a region indicating the luminance value of the object. In this embodiment, a pixel having a luminance value higher than the threshold value Ta is set as a white region having a value of 1, a pixel having a luminance value equal to or lower than the threshold value Ta is set as a black region having a value of zero, and the second grayscale image is binary To generate a second image.
図8を再び参照すると、(c)は第2のグレースケール画像を表し、図では、輝度値の違いをハッチングの種類の違いで表している。(c)の第2のグレースケール画像は、(a)の第1のグレースケール画像に比べて輝度値の変化が鮮明になっている。(d)には、ステップS33で得られる、2値化された第2の画像が示されている。白領域303には歩行者211が抽出されているが、符号305で囲まれた白領域に示すように、歩行者以外の対象物(この実施例では、自動車213のヘッドライトやタイヤ等の部分)も抽出されている。これは、歩行者以外の対象物でも、背景に対して所定の温度差を有する高温対象物であれば、抽出されてしまうことに起因する。 Referring to FIG. 8 again, (c) represents the second gray scale image, and in the figure, the difference in the luminance value is represented by the difference in the type of hatching. In the second gray scale image of (c), the change in luminance value is clearer than that of the first gray scale image of (a). In (d), the binarized second image obtained in step S33 is shown. A pedestrian 211 is extracted in the white area 303, but as shown in the white area surrounded by reference numeral 305, an object other than a pedestrian (in this embodiment, a part such as a headlight or a tire of an automobile 213). ) Has also been extracted. This is because even a target object other than a pedestrian is extracted if it is a high-temperature target object having a predetermined temperature difference with respect to the background.
図8の(b)および(d)から明らかなように、第1の画像では、歩行者が存在する領域すなわち対象物領域301が、他の対象物から分離して抽出されており、第2の画像では、個々の高温対象物が、その本来の形状を呈した状態で、背景から分離して抽出されている。したがって、第1の画像と第2の画像の論理積を取ることにより、歩行者以外の高温対象物が除去されると共に、歩行者温度周辺の温度を有する背景部分が除去され、よって、歩行者のみが抽出された画像(e)を取得することができる。 As is clear from FIGS. 8B and 8D, in the first image, a region where a pedestrian is present, that is, a target object region 301 is extracted separately from other target objects. In this image, individual high-temperature objects are extracted separately from the background in the state of their original shape. Therefore, by taking the logical product of the first image and the second image, the high temperature object other than the pedestrian is removed, and the background portion having the temperature around the pedestrian temperature is removed. Only the image (e) from which only the image is extracted can be acquired.
図4のステップS41は、この論理積(AND)演算を行う処理である。第1の画像の各画素と、第2の画像の同じ位置にある各画素との間でAND演算を行う。或る画素について、前者が値1(白)で後者が値1(白)であれば、AND演算の結果は値1(白)となる。いずれかが値ゼロ(黒)であれば、AND演算の結果は値ゼロ(黒)となる。歩行者は、第1の画像においても第2の画像においても値1(白)として抽出されているので、AND演算の結果により、歩行者のみを、背景と分離するだけでなく、他の高温対象物から分離して抽出することができる。 Step S41 in FIG. 4 is a process for performing the logical product (AND) operation. An AND operation is performed between each pixel of the first image and each pixel at the same position of the second image. For a certain pixel, if the former is the value 1 (white) and the latter is the value 1 (white), the result of the AND operation is the value 1 (white). If either is zero (black), the result of the AND operation is zero (black). Since the pedestrian is extracted as the value 1 (white) in both the first image and the second image, the result of the AND operation not only separates the pedestrian from the background but also other high temperatures. It can be extracted separately from the object.
なお、ステップS41に続けて、抽出された対象物が、歩行者かどうかをより高い精度で判定するため、周知のパターンマッチングを用いて形状判定を行うようにしてもよい。また、歩行者が抽出されたならば、スピーカ3(図1)を介して運転者に知らせたり、また、抽出された歩行者の画像をヘッドアップディスプレイ4に表示して運転者に知らせることができる。 In addition, following step S41, in order to determine whether or not the extracted object is a pedestrian with higher accuracy, shape determination may be performed using known pattern matching. If a pedestrian is extracted, the driver is notified via the speaker 3 (FIG. 1), or the extracted image of the pedestrian is displayed on the head-up display 4 to notify the driver. it can.
こうして、第1のグレースケール画像と第2のグレースケール画像を用いることにより、所望の対象物(この実施例では歩行者)を、背景だけでなく、該所望の対象物以外の対象物から分離して抽出することができる。 Thus, by using the first grayscale image and the second grayscale image, a desired object (pedestrian in this embodiment) is separated not only from the background but also from objects other than the desired object. And can be extracted.
上記実施例は、所望の対象物が歩行者である場合を例に説明している。しかしながら、本願発明は、図5のマップに示されるように、外気温との関係を予め実験やシミュレーション等によって規定することができる温度を有する対象物について適用可能であり、よって、対象物は、人間に限定されるものではなく、動物のような他の生体や、人工物であってもよい。たとえば、車両の排気管やランプは、外気温に対する温度を予めシミュレーション等によって設定することができる。したがって、これらの対象物についても、上記手法を適用することができる。 In the above embodiment, the case where the desired object is a pedestrian is described as an example. However, as shown in the map of FIG. 5, the present invention can be applied to an object having a temperature that can preliminarily define the relationship with the outside air temperature through experiments, simulations, and the like. It is not limited to humans, and may be other living bodies such as animals or artificial objects. For example, the exhaust pipe and lamp of the vehicle can set the temperature with respect to the outside air temperature in advance by simulation or the like. Therefore, the above method can be applied to these objects.
次に、第2の実施例について説明する。この実施例では、上記のように論理積演算を行う代わりに、形状判定を行って、対象物を抽出する。ここでは、形状判定として、パターンマッチングを用いる。 Next, a second embodiment will be described. In this embodiment, instead of performing a logical product operation as described above, shape determination is performed to extract an object. Here, pattern matching is used as shape determination.
ここで、画像処理ユニット2のメモリまたは該画像処理ユニット2がアクセス可能な記憶装置には、図9に示されるように、抽出すべき対象物の種類のそれぞれについて、外気温に対する該対象物の温度を推定して規定したマップと、該対象物の形状の標準パターンを表すテンプレートと、が記憶されている。たとえば、対象物Aについては、外気温に対する該対象物Aの推定温度が、マップAmとして記憶され、該対象物Aの形状の標準パターンを表すテンプレートが、テンプレートAtとして記憶されている。対象物の種類としては、任意のものを設定することができ、人間や動物のようなものでもよいし、車両等の人工物でもよい。また、車両の排気管、ヘッドライトおよびテールライト等の部品でもよい。 Here, in the memory of the image processing unit 2 or the storage device accessible by the image processing unit 2, as shown in FIG. 9, for each type of target object to be extracted, A map defined by estimating the temperature and a template representing a standard pattern of the shape of the object are stored. For example, for the object A, an estimated temperature of the object A with respect to the outside air temperature is stored as a map Am, and a template representing a standard pattern of the shape of the object A is stored as a template At. Arbitrary things can be set as a kind of object, and it may be a person and an animal, and may be artificial objects, such as vehicles. Moreover, components, such as a vehicle exhaust pipe, a headlight, and a taillight, may be sufficient.
ここで、該マップは、図5に示されるようなマップであり、外気温に対する対象物の温度を、シミュレーションや実験等を介して調べ、マップとして規定することができる。たとえば、排気管やテールライトについては、外気温に応じて、それぞれ、約300〜400℃および50〜200℃の温度を呈することがシミュレーションや実験等を行った結果判明している。このようなシミュレーションや実験等を、それぞれの外気温に対して行うことにより、マップを生成することができる。 Here, the map is a map as shown in FIG. 5, and the temperature of the object with respect to the outside air temperature can be examined through simulation, experiment, etc., and defined as a map. For example, it has been found through simulations and experiments that exhaust pipes and taillights exhibit temperatures of about 300 to 400 ° C. and 50 to 200 ° C., respectively, depending on the outside air temperature. A map can be produced | generated by performing such a simulation, experiment, etc. with respect to each external temperature.
また、記憶されるテンプレートは、複数であってもよい。たとえば、対象物AについてのテンプレートAtとして、複数のテンプレートを用意してもよい。 A plurality of templates may be stored. For example, a plurality of templates may be prepared as the template At for the object A.
図10は、この発明の第2の実施例に従う、画像処理ユニット2によって実行される、所望の対象物を抽出するためのプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行されることができる。一対のカメラ1Rおよび1Lのうち、この実施例では、カメラ1Rの撮像画像を用いるが、当然ながら、カメラ1Lの撮像画像を用いてもよい。 FIG. 10 is a flowchart showing a process for extracting a desired object executed by the image processing unit 2 according to the second embodiment of the present invention. The process can be performed at predetermined time intervals. Of the pair of cameras 1R and 1L, in this embodiment, the captured image of the camera 1R is used, but of course, the captured image of the camera 1L may be used.
ステップS11〜S13およびS31〜S33の処理は、図4に示すものと同じであるので、説明を省略する。以下、図10のプロセスを、該対象物抽出処理の各段階の画像を模式的に表した図11を参照しながら説明する。 Since the process of step S11-S13 and S31-S33 is the same as what is shown in FIG. 4, description is abbreviate | omitted. Hereinafter, the process of FIG. 10 will be described with reference to FIG. 11 schematically showing images at each stage of the object extraction processing.
図11において、(a)、(c)および(d)は、図8と同様であり、それぞれ、ステップS12で取得される第1のグレースケール画像、ステップS31で生成される第2のグレースケール画像、および、ステップS33で得られる第2のグレースケール画像を2値化した第2の画像を示す。以下では、抽出する所望の対象物が、自動車213のヘッドライト221である場合を例に説明する。 11, (a), (c), and (d) are the same as those in FIG. 8, and the first grayscale image acquired in step S12 and the second grayscale generated in step S31, respectively. The image and the 2nd image which binarized the 2nd gray scale image obtained by step S33 are shown. Hereinafter, a case where the desired target to be extracted is the headlight 221 of the automobile 213 will be described as an example.
ステップS51において、抽出する所望の対象物について、図9に示すようなテーブルを参照し、該対象物について記憶されている、外気温に対する対象物温度を規定したマップを読み出す。図4のステップS21を参照して説明したのと同様の手法で、ステップS13で検出された外気温iに基づいて該マップを参照し、該対象物の温度の上限値F(i)maxおよび下限値F(i)minを求める。したがって、抽出する所望の対象物がヘッドライトである場合、検出された外気温iに基づいて、該ヘッドライトについて記憶されていたマップを参照し、該ヘッドライトの温度の上限値および下限値を求める。 In step S51, with reference to a table as shown in FIG. 9 for the desired object to be extracted, a map that defines the object temperature relative to the outside air temperature that is stored for the object is read out. In the same manner as described with reference to step S21 of FIG. 4, the map is referred to based on the outside air temperature i detected in step S13, and the upper limit value F (i) max of the temperature of the object is determined. A lower limit value F (i) min is obtained. Therefore, when the desired object to be extracted is a headlight, the map stored for the headlight is referred to based on the detected outside air temperature i, and the upper limit value and the lower limit value of the temperature of the headlight are determined. Ask.
ステップS52は、図4のステップS22と同様の処理であり、上記求めた対象物温度の上限値F(i)maxに対応する輝度上限値Tbmaxと、対象物温度の下限値F(i)minに対応する輝度下限値Tbminを求める。ステップS53において、輝度上限値Tbmaxと輝度下限値Tbminの範囲内の輝度値を有する領域が、第1のグレースケール画像において特定される。こうして特定された領域(対象物領域と呼ぶ)は、抽出する所望の対象物が存在しうる位置を表している。なお、図4に示す第1の実施例では、ステップS23において第1のグレースケール画像の2値化が行われたが、この第2の実施例では、2値化する必要は必ずしもない。しかしながら、2値化を行うようにしてもよい。 Step S52 is the same process as step S22 of FIG. 4, and the luminance upper limit value Tbmax corresponding to the obtained upper limit value F (i) max of the object temperature and the lower limit value F (i) min of the object temperature. The luminance lower limit value Tbmin corresponding to is obtained. In step S53, an area having a luminance value within the range between the luminance upper limit value Tbmax and the luminance lower limit value Tbmin is specified in the first grayscale image. The area thus identified (referred to as an object area) represents a position where the desired object to be extracted can exist. In the first example shown in FIG. 4, the first grayscale image is binarized in step S23. However, in the second example, it is not always necessary to binarize. However, binarization may be performed.
ここで、図11を参照すると、(b)は、ステップS53で特定された対象物領域401を示す。この実施例では、ヘッドライト221が存在する領域として、対象物領域401が特定されている。なお、この図では、わかりやすくするため、対象物領域401を四角形で描いているが、当然ながら、四角形という形状には限定されない。 Here, referring to FIG. 11, (b) shows the object region 401 specified in step S53. In this embodiment, an object area 401 is specified as an area where the headlight 221 exists. In this figure, for the sake of clarity, the object region 401 is drawn in a quadrilateral shape, but it is of course not limited to a quadrangular shape.
図10に戻り、ステップS54において、図9のようなテーブルを参照し、抽出する所望の対象物についてのテンプレートを読み出す。この実施例では、ヘッドライトについて記憶されているテンプレートを読み出す。 Returning to FIG. 10, in step S54, a table as shown in FIG. In this embodiment, the template stored for the headlight is read.
ステップS61において、第2の画像内において、ステップS53で特定された対象物領域401に対応する位置にある領域に対し、読み出したテンプレートでパターンマッチングを行う。図11を再び参照すると、(d)の第2の画像内に、第1のグレースケール画像において特定された対象物領域401に対応する領域403が示されている(すなわち、領域401の第1のグレースケール画像内の位置と、領域403の第2の画像内の位置とは同じである)。図11の(e)に示すように、この領域403に対し、読み出したテンプレートを重ねて2つの画像の相関を調べることにより、パターンマッチングを行う。 In step S61, pattern matching is performed by using the read template for the region at the position corresponding to the object region 401 specified in step S53 in the second image. Referring to FIG. 11 again, a region 403 corresponding to the object region 401 specified in the first grayscale image is shown in the second image of (d) (that is, the first of the region 401 is shown). And the position of the region 403 in the second image is the same). As shown in FIG. 11E, pattern matching is performed by examining the correlation between two images by superimposing the read template on this region 403.
パターンマッチングには、周知の任意の手法を用いることができる。たとえば、テンプレートの画素数をP×Qとし、各画素の輝度値をIr(p,q)で表す。該テンプレートを領域403上に重ねながら移動し、各位置において、以下の式に示すように、テンプレートの各画素の輝度値Ir(p,q)と、領域403の対応する画素の輝度値Io(p,q)との差の絶対値の和Eを算出する。和Eは、テンプレートと領域403の2つの画像の相関の程度を表している。和Eが低いほど、相関が高いことを示す。最も低い値の和Eが算出された位置が、テンプレートと領域403が最も一致した位置である。この位置における和Eの値が、所定の閾値以下であれば、領域403内の画像は、テンプレートの対象物を示すと判定することができる。
たとえば、この実施例において、ヘッドライトのテンプレートは、すべての画素が白の輝度値を有するよう作成されることができる。領域403に対して該テンプレートをマッチングさせることにより、図11(e)に示すような、領域403内の白の領域部分のみが対象物として抽出され、これにより、該抽出された対象物は、ヘッドライトとして認識される。 For example, in this embodiment, a headlight template can be created such that all pixels have a brightness value of white. By matching the template to the region 403, only the white region portion in the region 403 is extracted as an object as shown in FIG. 11E, and as a result, the extracted object is Recognized as a headlight.
上記第1の実施例を参照して述べた、第1のグレースケール画像および第2のグレースケール画像の両方を用いることの効果は、第2の実施例においても同様に得られる。すなわち、図11にも示されるように、第1のグレースケール画像から対象物領域401を特定することにより、ヘッドライト221が存在する領域を、他の対象物から分離して抽出することができるが、該対象物領域401には、ヘッドライト221の温度周辺の温度を有する背景部分が含まれるおそれがある。他方、第2のグレースケール画像の2値化により生成される第2の画像では、個々の高温対象物が、その本来の形状を呈した状態で、背景から分離して抽出されている。したがって、対象物領域410と第2の画像の両方を用いることにより、ヘッドライト221以外の高温対象物が除去されると共に、ヘッドライト221周辺の温度を有する背景部分が除去され、よって、ヘッドライト221のみを、より良好な精度で抽出することができる。 The effect of using both the first grayscale image and the second grayscale image described with reference to the first embodiment can be similarly obtained in the second embodiment. That is, as shown also in FIG. 11, by specifying the object region 401 from the first grayscale image, the region where the headlight 221 exists can be extracted separately from other objects. However, the object region 401 may include a background portion having a temperature around the temperature of the headlight 221. On the other hand, in the second image generated by binarizing the second grayscale image, each high-temperature object is extracted separately from the background in the state of its original shape. Therefore, by using both the object region 410 and the second image, the high-temperature object other than the headlight 221 is removed, and the background portion having the temperature around the headlight 221 is removed. Only 221 can be extracted with better accuracy.
この実施例では、所望の対象物がヘッドライトである場合を説明したが、複数の種類の所望の対象物について、上記処理をそれぞれ同時に実行することができる。たとえば、ステップS51およびS52において、対象物の種類のそれぞれについて、対象物温度の上限値および下限値を求め、これらに対応する輝度上限値および下限値を求める。ステップS53およびS54において、該対象物の種類のそれぞれについて、対象物領域を特定し、該対象物のテンプレートを読み出す。ステップS61において、対象物の種類毎に、特定された対象物領域とテンプレートのパターンマッチングを行う。ここで、対象物Aについて対象物領域Arが特定され、対象物Bについて対象物領域Brが特定されたならば、対象物AのテンプレートAtは、該対象物領域Arにのみ適用され、対象物BについてのテンプレートBtは、該対象物領域Brにのみ適用される点に注意されたい。すなわち、この実施例によれば、特定の種類の対象物のテンプレートを、特定の限られた領域にのみ適用すればよいので、処理の効率化を図ることができる。 In this embodiment, the case where the desired object is a headlight has been described. However, the above-described processing can be simultaneously performed on a plurality of types of desired objects. For example, in steps S51 and S52, an upper limit value and a lower limit value of the object temperature are obtained for each type of object, and an upper limit value and a lower limit value corresponding to these are obtained. In steps S53 and S54, an object area is specified for each of the object types, and a template of the object is read out. In step S61, pattern matching between the specified object region and the template is performed for each type of object. Here, if the object area Ar is specified for the object A and the object area Br is specified for the object B, the template At of the object A is applied only to the object area Ar, and the object Note that the template Bt for B is applied only to the object region Br. That is, according to this embodiment, it is only necessary to apply a template of a specific type of object to a specific limited area, so that the processing efficiency can be improved.
従来のパターンマッチングは、前述したように、第2の画像において抽出されているすべての対象物に対し、すべてのテンプレートを、総当たりでマッチングさせることにより、抽出されている対象物のそれぞれについて、人間か、動物か、自動車か、等の判定を行っていた。抽出されている対象物の数が多いほど、処理の負荷が増大していた。それに対し、本願のこの実施例によれば、抽出すべき所望の対象物の種類毎に、該対象物が撮像されている位置が第1のグレースケール画像において特定されているので、第2の画像において、該特定された部分のみに対してパターンマッチングを行えばよい。したがって、対象物の抽出および認識を、より良好な効率で実現することができる。 As described above, the conventional pattern matching is performed by matching all the templates against all the objects extracted in the second image for each of the extracted objects. It was judged whether it was a human being, an animal, or a car. The greater the number of objects that have been extracted, the greater the processing load. On the other hand, according to this embodiment of the present application, for each type of desired object to be extracted, the position where the object is imaged is specified in the first grayscale image. Pattern matching may be performed only on the specified portion in the image. Therefore, the extraction and recognition of the object can be realized with better efficiency.
上記第2の実施例では、第2の画像内の領域403(図11(d))に対し、テンプレートを用いたパターンマッチングを行うことにより、領域403内の対象物の形状判定を行っている。代替的に、パターンマッチングに代えて、またはパターンマッチングに加えて、他の手法による形状判定を領域403に対して行うようにしてもよい。形状判定に関する手法は、様々なものが提案されており、これらのうち任意のものを用いることができる。たとえば、抽出すべき所望の対象物の形状に関する特徴(円形なのか四角形なのか、幅および高さの大きさ、エッジの向き等)が、該領域403内に存在するかどうかを調べることにより、該領域403内に所望の対象物が存在するかどうかを判断することができる。一例として、特開2006−185434号公報には人工構造物に関する形状判定が開示され、特開2007−310705号公報には動物に関する形状判定が開示されている。 In the second embodiment, the shape of the object in the region 403 is determined by performing pattern matching using a template for the region 403 (FIG. 11D) in the second image. . Alternatively, instead of pattern matching or in addition to pattern matching, shape determination by another method may be performed on the region 403. Various methods for shape determination have been proposed, and any of these can be used. For example, by investigating whether characteristics relating to the shape of the desired object to be extracted (circular or square, width and height, edge orientation, etc.) are present in the region 403, It can be determined whether or not a desired object exists in the region 403. As an example, Japanese Patent Application Laid-Open No. 2006-185434 discloses shape determination regarding an artificial structure, and Japanese Patent Application Laid-Open No. 2007-310705 discloses shape determination regarding an animal.
なお、上記第1の実施例と第2の実施例とを組み合わせて用いてもよい。たとえば、或る所望の対象物については第1の実施例を用いて、他の所望の対象物については第2の実施例を用いるというように、対象物毎に、該対象物を抽出する手法を第1および第2の実施例の間で異ならせてもよい。 The first embodiment and the second embodiment may be used in combination. For example, a method of extracting a target object for each target object, such as using the first example for a certain desired object and using the second example for another desired object. May be different between the first and second embodiments.
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。 As described above, specific embodiments of the present invention have been described. However, the present invention is not limited to these embodiments.
1R,1L 赤外線カメラ(撮像手段)
2 画像処理ユニット
1R, 1L infrared camera (imaging means)
2 Image processing unit
Claims (5)
前記赤外線カメラによる撮像を介して、対象物の温度に応じた輝度値を有する第1のグレースケール画像を取得する手段と、
前記第1のグレースケール画像において、所望の対象物について予め推定された温度に対応する輝度値を持つ領域を、対象物領域として特定する特定手段と、
前記第1のグレースケール画像に基づいて、背景に対する対象物の温度差に応じた輝度値を有する第2のグレースケール画像を生成する手段と、
前記第2のグレースケール画像を所定の閾値によって2値化し、第2の画像を生成する手段と、
前記第2の画像において、前記特定された対象物領域に対応する位置にある領域から、前記所望の対象物を抽出する対象物抽出手段と、
を備える、車両周辺監視装置。 A vehicle periphery monitoring device that monitors the periphery of a vehicle using an infrared camera mounted on the vehicle,
Means for obtaining a first grayscale image having a luminance value according to the temperature of the object through imaging by the infrared camera;
In the first grayscale image, specifying means for specifying an area having a luminance value corresponding to a temperature estimated in advance for a desired object as the object area;
Means for generating, based on the first grayscale image, a second grayscale image having a luminance value corresponding to a temperature difference of the object relative to the background;
Means for binarizing the second grayscale image with a predetermined threshold value to generate a second image;
Object extraction means for extracting the desired object from an area at a position corresponding to the identified object area in the second image;
A vehicle periphery monitoring device comprising:
前記対象物抽出手段は、前記第1の画像と前記第2の画像との論理積を演算することにより、前記所望の対象物を抽出する、
請求項1に記載の車両周辺監視装置。 The specifying means binarizes the first grayscale image so as to extract a region having a luminance value corresponding to the temperature estimated for the desired object, and generates a first image,
The object extraction means extracts the desired object by calculating a logical product of the first image and the second image;
The vehicle periphery monitoring apparatus according to claim 1.
請求項1に記載の車両周辺監視装置。 The object extraction means extracts the desired object by performing shape determination on an area in a position corresponding to the specified object area in the second image.
The vehicle periphery monitoring apparatus according to claim 1.
請求項3に記載の車両周辺監視装置。 The object extraction means performs pattern matching on a region in a position corresponding to the specified object region in the second image using a predetermined template representing the shape of the desired object. The shape determination is performed by
The vehicle periphery monitoring apparatus according to claim 3.
前記外気温に基づいて、前記所望の対象物の温度を推定する手段と、
を備える、請求項1から4のいずれかに記載の車両周辺監視装置。 Means for detecting the outside temperature of the vehicle,
Means for estimating the temperature of the desired object based on the outside air temperature;
The vehicle periphery monitoring device according to claim 1, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008321605A JP4937243B2 (en) | 2008-12-17 | 2008-12-17 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008321605A JP4937243B2 (en) | 2008-12-17 | 2008-12-17 | Vehicle periphery monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010146214A true JP2010146214A (en) | 2010-07-01 |
JP4937243B2 JP4937243B2 (en) | 2012-05-23 |
Family
ID=42566607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008321605A Expired - Fee Related JP4937243B2 (en) | 2008-12-17 | 2008-12-17 | Vehicle periphery monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4937243B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103182985A (en) * | 2011-12-27 | 2013-07-03 | 大陆汽车电子(长春)有限公司 | Vehicle safety device utilizing image processing device and vehicle safety control method |
CN109584370A (en) * | 2018-11-22 | 2019-04-05 | 北京未尔锐创科技有限公司 | A kind of method of target and background Infrared scene simulation |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003016458A (en) * | 2001-06-28 | 2003-01-17 | Honda Motor Co Ltd | Object extracting device |
JP2005096752A (en) * | 1999-01-14 | 2005-04-14 | Matsushita Electric Ind Co Ltd | Infrared ray image pickup device, and vehicle with the device mounted thereon |
JP2006101384A (en) * | 2004-09-30 | 2006-04-13 | Nissan Motor Co Ltd | Human figure detecting apparatus and method |
-
2008
- 2008-12-17 JP JP2008321605A patent/JP4937243B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005096752A (en) * | 1999-01-14 | 2005-04-14 | Matsushita Electric Ind Co Ltd | Infrared ray image pickup device, and vehicle with the device mounted thereon |
JP2003016458A (en) * | 2001-06-28 | 2003-01-17 | Honda Motor Co Ltd | Object extracting device |
JP2006101384A (en) * | 2004-09-30 | 2006-04-13 | Nissan Motor Co Ltd | Human figure detecting apparatus and method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103182985A (en) * | 2011-12-27 | 2013-07-03 | 大陆汽车电子(长春)有限公司 | Vehicle safety device utilizing image processing device and vehicle safety control method |
CN109584370A (en) * | 2018-11-22 | 2019-04-05 | 北京未尔锐创科技有限公司 | A kind of method of target and background Infrared scene simulation |
CN109584370B (en) * | 2018-11-22 | 2023-03-21 | 北京未尔锐创科技有限公司 | Target and background infrared scene simulation method |
Also Published As
Publication number | Publication date |
---|---|
JP4937243B2 (en) | 2012-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4482599B2 (en) | Vehicle periphery monitoring device | |
JP6230751B1 (en) | Object detection apparatus and object detection method | |
JP5576937B2 (en) | Vehicle periphery monitoring device | |
JP2014215877A (en) | Object detection device | |
JP2008286725A (en) | Person detector and detection method | |
JP5760090B2 (en) | Biological recognition device | |
JP2007323578A (en) | Vehicle periphery monitoring device | |
JP2008004989A (en) | Vehicle perimeter display apparatus | |
JP4937243B2 (en) | Vehicle periphery monitoring device | |
JP4887540B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
JP5502149B2 (en) | Vehicle periphery monitoring device | |
JP4765113B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
JP2018106239A (en) | Image processing apparatus, image processing method and image processing program | |
JP4615536B2 (en) | Display device | |
JP5642785B2 (en) | Vehicle periphery monitoring device | |
JP5677120B2 (en) | Fog detector | |
Jeong et al. | Night time vehicle detection using rear-lamp intensity | |
JP2009069145A (en) | Method for detecting object | |
JP5484118B2 (en) | Vehicle periphery monitoring device | |
JP2008028478A (en) | Obstacle detection system, and obstacle detecting method | |
JP4627305B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle periphery monitoring program | |
JP2018072884A (en) | Information processing device, information processing method and program | |
JP2008108118A (en) | Image processor | |
WO2020001630A1 (en) | Ternary image obtaining method and apparatus, and vehicle | |
JP5149918B2 (en) | Vehicle periphery monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111011 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120221 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |