JP4040657B2

JP4040657B2 - Moving object detection device

Info

Publication number: JP4040657B2
Application number: JP2006068492A
Authority: JP
Inventors: 伸治長岡; 孝之辻; 弘服部; 正人渡辺
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2006-03-14
Filing date: 2006-03-14
Publication date: 2008-01-30
Anticipated expiration: 2020-05-30
Also published as: JP2006252566A

Description

本発明は、互いに離間して配置された２つカメラにより得られる対象物の画像情報に基づいて、対象物の移動方向を検出する移動対象物検出装置に関する。 The present invention relates to a moving object detection device that detects a moving direction of an object based on image information of the object obtained by two cameras arranged apart from each other.

車両に２つのＣＣＤカメラを搭載し、２つのカメラから得られる画像のずれ、すなわち視差に基づいて、対象物と当該車両との距離を検出し、車両の３０〜６０ｍ前方の歩行者を検出するようにした横断物の検出装置が従来より知られている（特許文献１）。
特開平９−２２６４９０号公報 Two CCD cameras are mounted on the vehicle, and the distance between the object and the vehicle is detected based on the image shift obtained from the two cameras, that is, the parallax, and a pedestrian 30 to 60 meters ahead of the vehicle is detected. Such a crossing object detection device is conventionally known (Patent Document 1).
JP 9-226490 A

しかしながら上記従来の装置は、カメラにより得られる画像に基づいて検出した対象物のオプティカルフローの方向をそのまま使用して、衝突の可能性を判定しているため、自車両と対象物との相対距離や車速によっては判定精度が低下するという問題があった。すなわち、例えば対象物の移動速度に比べて車速が大きい場合には、実際には道路の中心に向かって移動している対象物に対応する画像上のオプティカルフローが道路の外側に向かうベクトルとなってとらえられることがあり、誤判定が発生する。 However, since the conventional apparatus determines the possibility of collision using the optical flow direction of the object detected based on the image obtained by the camera as it is, the relative distance between the host vehicle and the object is determined. Depending on the vehicle speed, there is a problem that the determination accuracy is lowered. That is, for example, when the vehicle speed is higher than the moving speed of the object, the optical flow on the image corresponding to the object moving toward the center of the road is actually a vector that goes to the outside of the road. Misunderstandings may occur.

そこで、対象物の移動ベクトルを正確に検出するために、カメラにより得られる画像に含まれる対象物像の面積重心を、対象物像の位置を代表する判定点として使用し、判定点の実空間上の位置を示す時系列データを、２つのカメラにより得られる画像に基づいて求めるようにすると、対象物像がカメラにより得られる画像の端部に接する場合には、以下のような問題が発生する。なお、面積重心とは、３次元空間において対象物像が均一な厚さを持つ薄板であると仮定した場合の重心を意味する。 Therefore, in order to accurately detect the movement vector of the object, the area centroid of the object image included in the image obtained by the camera is used as a determination point representing the position of the object image, and the real space of the determination point If the time-series data indicating the upper position is obtained based on the images obtained by the two cameras, the following problem occurs when the object image touches the edge of the image obtained by the cameras. To do. The area centroid means the centroid when it is assumed that the object image is a thin plate having a uniform thickness in the three-dimensional space.

すなわち図２３（ａ）に示すように、対象物１０１が静止しているか若しくは走行中の車両１０２に向かって移動している場合に、車両１０２に搭載されたカメラ１０３により得られる、時刻ｔ＝ｋ−２，ｋ−１，ｋにおける時系列の対象物像１０１ａ，１０１ｂ，１０１ｃは、同図（ｂ）にハッチングを付して示すように推移し、面積重心Ｇは、画像上を左方向へ移動する。この画像（右側のカメラ１０３により得られる画像）に含まれる対象物像の判定点、すなわち面積重心の位置と、左側のカメラ１０４により得られる画像に含まれる対象物像（図示せず）の判定点の位置とから視差を算出し、その視差から対象物１０１と車両１０２との距離を求め、対象物１０１の相対移動ベクトルを求めると、対象物１０１が実際は図２４に実線で示すように静止または車両１０２の進行方向と平行に移動しているにもかかわらず、破線で示すような相対移動ベクトルが得られる。その結果、車両１０２と衝突する可能性がないのに、可能性ありと誤判定する可能性があった。 That is, as shown in FIG. 23A, when the object 101 is stationary or moving toward the traveling vehicle 102, time t = obtained by the camera 103 mounted on the vehicle 102. The time-series object images 101a, 101b, and 101c at k-2, k-1, and k change as shown by hatching in FIG. 5B, and the area centroid G is leftward on the image. Move to. Determination point of the object image included in this image (image obtained by the right camera 103), that is, determination of the position of the area centroid and the object image (not shown) included in the image obtained by the left camera 104 When the parallax is calculated from the position of the point, the distance between the object 101 and the vehicle 102 is obtained from the parallax, and the relative movement vector of the object 101 is obtained, the object 101 is actually stationary as shown by the solid line in FIG. Alternatively, a relative movement vector as indicated by a broken line can be obtained in spite of the movement in parallel with the traveling direction of the vehicle 102. As a result, although there is no possibility of colliding with the vehicle 102, there is a possibility of erroneous determination that there is a possibility.

本発明はこの点に着目してなされたものであり、カメラにより得られる対象物像が画像の端部に接しているような場合において、対象物の相対的な移動方向を誤って検出することを防止できる移動対象物検出装置を提供することを目的とする。 The present invention has been made paying attention to this point, and in the case where the object image obtained by the camera is in contact with the edge of the image, the relative movement direction of the object is erroneously detected. It is an object of the present invention to provide a moving object detection apparatus that can prevent the above-described problem.

上記目的を達成するため請求項１に記載の発明は、互いに離間して配置された２つのカメラにより得られる対象物の画像情報に基づいて、前記対象物の移動方向を検出する移動対象物検出装置において、前記２つのカメラのうち、少なくとも何れか一方のカメラにより得られる対象物像が、画像の端部に接することを判定する画像端部判定手段と、該画像端部判定手段により、画像の端部に接すると判定された対象物像については、該対象物像の位置を代表する判定点を、前記対象物像の面積重心から、前記画像の中心に近い所定点に移動させる判定点移動手段と、該移動後の判定点に基づいて前記対象物の移動方向を検出する移動方向検出手段とを備えることを特徴とする。 In order to achieve the above object, the invention according to claim 1 is a moving object detection method for detecting a moving direction of the object based on image information of the object obtained by two cameras arranged apart from each other. In the apparatus, an image edge determination means for determining that an object image obtained by at least one of the two cameras is in contact with an edge of the image, and the image edge determination means For an object image determined to be in contact with the edge of the object image, a determination point that moves the determination point representing the position of the object image from the center of gravity of the area of the object image to a predetermined point close to the center of the image It is provided with a moving means and a moving direction detecting means for detecting the moving direction of the object based on the determination point after the movement.

「前記画像の中心に近い所定点」は、前記画像の中心に近い、前記対象物像及び対応対象物像の端部、または前記画像の中心に近い、前記対象物像及び対応対象物像の外接四角形の端部とする。
前記判定点移動手段は、前記２つのカメラにより得られる画像のうちの一方を基準画像とし、基準画像中の対象物像について前記判定点の移動を行う。また前記判定点移動手段は、前記判定点を移動させた対象物については、過去に取得し、記憶している位置データを、移動後の判定点を用いた位置データに変更することが望ましい。 The “predetermined point close to the center of the image” is an end of the object image and the corresponding object image close to the center of the image, or the object image and the corresponding object image close to the center of the image. The end of the circumscribed rectangle.
The determination point moving means uses one of the images obtained by the two cameras as a reference image, and moves the determination point with respect to an object image in the reference image. In addition, it is preferable that the determination point moving means changes the position data acquired and stored in the past to the position data using the moved determination point for the object to which the determination point has been moved.

請求項２に記載の発明は、請求項１に記載の移動対象物検出装置において、前記２つのカメラにより得られる対象物の画像情報のうち、前記画像端部判定手段にて画像の端部に接すると判定された対象物の画像情報を基準画像とし、他方を探索画像として相関演算を行うことにより、該対象物の距離を算出する距離算出手段をさらに備え、前記移動方向検出手段は、前記判定点移動手段による移動後の判定点と、前記距離算出手段によって算出された距離とに基づいて、前記対象物の移動方向を検出することを特徴とする。 According to a second aspect of the present invention, in the moving target object detection device according to the first aspect, among the image information of the target object obtained by the two cameras, the image edge determining means applies an image edge to the edge of the image. The moving direction detecting means further comprises distance calculating means for calculating the distance of the object by performing correlation calculation using the image information of the object determined to be in contact as a reference image and the other as a search image. The moving direction of the object is detected based on the determination point after movement by the determination point moving unit and the distance calculated by the distance calculating unit.

請求項３に記載の発明は、請求項２に記載の移動対象物検出装置において、前記画像端部判定手段により、前記２つのカメラにより得られる対象物像がともに画像の端部に接する判定された場合は、前記距離算出手段は、前記対象物像の表示面積が小さい方の画像を基準画像として用いることを特徴とする。 According to a third aspect of the present invention, in the moving object detection device according to the second aspect, the image edge determination unit determines that both of the object images obtained by the two cameras are in contact with the edge of the image. In this case, the distance calculation unit uses an image having a smaller display area of the object image as a reference image.

また、互いに離間して配置された２つのカメラにより得られる対象物の画像情報に基づいて、前記対象物までの距離を検出する距離検出装置を構成する場合には、前記２つのカメラのうち、何れか一方のカメラにより得られる画像に含まれる対象物像（ＯＢＪＲ２）に基づいて、他方のカメラにより得られる画像に対して相関演算を実行し、その結果得られた第１の対応対象物像（ＣＯＢＪＬ２）が、画像の端部に接するときは、その第１の対応対象物像（ＣＯＢＪＬ２）に基づいて前記一方のカメラにより得られる画像に対して相関演算を実行し、その結果得られた第２の対応対象物像（ＣＯＢＪＲ２）と、前記第１の対応対象物像（ＣＯＢＪＬ２）とに基づいて視差を算出し、該算出した視差からその対象物までの距離を算出することが望ましい。 In the case of configuring a distance detection device that detects the distance to the object based on the image information of the object obtained by the two cameras arranged apart from each other, of the two cameras, Based on the object image (OBJR2) included in the image obtained by one of the cameras, a correlation operation is performed on the image obtained by the other camera, and the first corresponding object image obtained as a result is obtained. When (COBJL2) touches the edge of the image, a correlation operation is performed on the image obtained by the one camera based on the first corresponding object image (COBJL2), and the result is obtained. Parallax is calculated based on the second corresponding target object image (COBJR2) and the first corresponding target object image (COBJL2), and the distance from the calculated parallax to the target object is calculated. Masui.

請求項１に記載の発明によれば、画像の端部に接すると判定された対象物像については、その対象物像の位置を代表する判定点が、対象物像の面積重心から、画像の中心に近い所定点に移動され、該移動後の判定点に基づいて対象物の移動方向が検出されるので、対象物像の面積重心の時系列データから移動方向を検出する場合のような不具合がなく、正確な移動方向を検出することができる。 According to the first aspect of the present invention, for the object image determined to be in contact with the edge of the image, the determination point representing the position of the object image is determined from the area centroid of the object image. Since it is moved to a predetermined point close to the center and the moving direction of the object is detected based on the determination point after the movement, there is a problem such as when the moving direction is detected from the time series data of the area center of gravity of the object image Therefore, an accurate moving direction can be detected.

以下本発明の実施の形態を図面を参照して説明する。
（第１の実施形態）
図１は本発明の第１の実施形態にかかる、車両に搭載された移動対象物検出装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。 Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram showing a configuration of a moving object detection device mounted on a vehicle according to a first embodiment of the present invention. This device includes two infrared cameras 1R and 1L capable of detecting far infrared rays. The yaw rate sensor 5 for detecting the yaw rate of the vehicle, the vehicle speed sensor 6 for detecting the travel speed (vehicle speed) VCAR of the vehicle, the brake sensor 7 for detecting the operation amount of the brake, and these cameras 1R, 1L An image processing unit 2 that detects an object such as an animal in front of the vehicle based on the image data obtained by the above and issues a warning when there is a high possibility of a collision, a speaker 3 that issues a warning by sound, and a camera 1R Alternatively, a head-up display (hereinafter referred to as “HUD”) for displaying an image obtained by 1L and for allowing the driver to recognize an object having a high possibility of collision. ) And a 4.

カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。 As shown in FIG. 2, the cameras 1R and 1L are arranged in front of the vehicle 10 at almost target positions with respect to the central axis in the lateral direction of the vehicle 10. The optical axes of the two cameras 1R and 1L are They are parallel to each other and fixed so that their height from the road surface is equal. The infrared cameras 1R and 1L have a characteristic that the output signal level increases (the luminance increases) as the temperature of the object increases.

画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。 The image processing unit 2 includes an A / D conversion circuit that converts an input analog signal into a digital signal, an image memory that stores a digitized image signal, a CPU (Central Processing Unit) that performs various arithmetic processes, and data that is being calculated by the CPU Output circuit for outputting RAM (Random Access Memory) used for storing CPU, ROM (Read Only Memory) for storing programs and tables executed by CPU, map, etc., driving signal for speaker 3, display signal for HUD4, etc. The output signals of the cameras 1R and 1L and the sensors 5 to 7 are converted into digital signals and input to the CPU.
As shown in FIG. 2, the HUD 4 is provided so that the screen 4 a is displayed at the front position of the driver on the front window of the vehicle 10.

図３は画像処理ユニット２における処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像のデータは、輝度情報を含んだグレースケール画像のデータである。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。 FIG. 3 is a flowchart showing a processing procedure in the image processing unit 2. First, the output signals of the cameras 1R and 1L are A / D converted and stored in the image memory (steps S11, S12, and S13). The image data stored in the image memory is grayscale image data including luminance information. FIGS. 5A and 5B are diagrams for explaining gray scale images obtained by the cameras 1R and 1L (a right image is obtained by the camera 1R and a left image is obtained by the camera 1L), respectively. The hatched area is an intermediate gradation (gray) area, and the area surrounded by a thick solid line has a high luminance level (at a high temperature) and is an area of an object displayed as white on the screen (hereinafter, “ It is referred to as a “high luminance region”. In the right image and the left image, the horizontal positions of the same target object on the screen are shifted and displayed, and the distance to the target object can be calculated from this shift (parallax).

図３のステップＳ１４では、右画像を基準画像とし、そのディジタル画像データの２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。なお、本明細書では、基準画像（右画像）と対をなす画像（左画像）を、「探索画像」という。 In step S14 of FIG. 3, the right image is used as a reference image, and binarization of the digital image data, that is, an area brighter than an experimentally determined luminance threshold value ITH is set to “1” (white), and a dark area is set to “ A process of “0” (black) is performed. FIG. 6 shows an image obtained by binarizing the image of FIG. This figure shows that the hatched area is black and the high luminance area surrounded by the thick solid line is white. In this specification, an image (left image) paired with a reference image (right image) is referred to as a “search image”.

続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。 In the subsequent step S15, the binarized image data is converted into run-length data. FIG. 7A is a diagram for explaining this, and in this figure, whitened areas by binarization are shown as lines L1 to L8 at the pixel level. Each of the lines L1 to L8 has a width of one pixel in the y direction and is actually arranged with no gap in the y direction, but is shown separated for the sake of explanation. The lines L1 to L8 have lengths of 2 pixels, 2 pixels, 3 pixels, 8 pixels, 7 pixels, 8 pixels, 8 pixels, and 8 pixels, respectively, in the x direction. The run length data includes the coordinates of the start point of each line (the leftmost point of each line) and the length (number of pixels) from the start point to the end point (the rightmost point of each line). It is shown. For example, since the line L3 includes three pixels (x3, y5), (x4, y5), and (x5, y5), the run length data is (x3, y5, 3).

ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。 In steps S16 and S17, processing for extracting an object is performed by labeling the object as shown in FIG. 7B. That is, of the lines L1 to L8 converted to run length data, the lines L1 to L3 having portions overlapping in the y direction are regarded as one object 1, the lines L4 to L8 are regarded as one object 2, and the run length data The object labels 1 and 2 are added to. By this processing, for example, the high luminance regions shown in FIG. 6 are grasped as the objects 1 to 4, respectively.

ステップＳ１８では図７（ｃ）に示すように、抽出した対象物像の面積重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出し、縦横比ＡＰＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出し、面積重心Ｇの座標（ｘｇ，ｙｇ）は、下記式（１）により算出する。

ここで、Ｓは面積、ｘ（ｉ），ｙ（ｉ）は、対象物像を構成する画素の座標である。なお、面積重心Ｇの位置は、外接四角形の重心位置で代用してもよい。 In step S18, as shown in FIG. 7C, the area centroid G, the area S, and the aspect ratio ASPECT of the circumscribed rectangle indicated by the broken line are calculated. The area S is calculated by integrating the lengths of run length data for the same object, and the aspect ratio APECT is calculated as a ratio Dy / Dx between Dy and Dx shown in FIG. The coordinates (xg, yg) are calculated by the following equation (1).

Here, S is the area, and x (i) and y (i) are the coordinates of the pixels constituting the object image. The position of the area centroid G may be substituted by the centroid position of the circumscribed rectangle.

ステップＳ１９では、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物の認識を行う。アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図８（ａ）に示すように時刻ｋで対象物像１，２を抽出した場合において、時刻（ｋ＋１）で抽出した対象物像３，４と、対象物像１，２との同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物像１、２と対象物像３、４とは同一であると判定し、対象物像３、４をそれぞれ１，２というラベルに変更することにより、時刻間追跡が行われる。 In step S19, tracking of the object is performed between times, that is, the same object is recognized for each sampling period. The object extracted at time (k + 1) when the time t as an analog quantity is discretized at the sampling period is k and the object images 1 and 2 are extracted at time k as shown in FIG. The identity determination between the object images 3 and 4 and the object images 1 and 2 is performed. Specifically, when the following identity determination conditions 1) to 3) are satisfied, it is determined that the object images 1 and 2 and the object images 3 and 4 are the same, and the object images 3 and 4 are By changing the labels to 1 and 2 respectively, tracking between times is performed.

１）時刻ｋにおける対象物像ｉ（＝１，２）の面積重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物像ｊ（＝３，４）の面積重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、
｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘ
｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜Δｙ
であること。ただし、Δｘ、Δｙは、それぞれｘ方向及びｙ方向の画像上の移動量の許容値である。 1) The area centroid position coordinates of the object image i (= 1, 2) at time k are (xi (k), yi (k)), respectively, and the object image j (= 3,4) at time (k + 1). ) Where the area centroid position coordinates are (xj (k + 1), yj (k + 1)),
| Xj (k + 1) −xi (k) | <Δx
| Yj (k + 1) −yi (k) | <Δy
Be. However, Δx and Δy are allowable values of the movement amount on the image in the x direction and the y direction, respectively.

２）時刻ｋにおける対象物像ｉ（＝１，２）の面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物像ｊ（＝３，４）の面積をＳｊ（ｋ＋１）としたとき、
Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ
であること。ただし、ΔＳは面積変化の許容値である。 2) When the area of the object image i (= 1, 2) at time k is Si (k) and the area of the object image j (= 3,4) at time (k + 1) is Sj (k + 1),
Sj (k + 1) / Si (k) <1 ± ΔS
Be. However, ΔS is an allowable value of area change.

３）時刻ｋにおける対象物像ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物像ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、
ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴ
であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。 3) The aspect ratio of the circumscribed rectangle of the object image i (= 1, 2) at time k is ASPECTTi (k), and the aspect ratio of the circumscribed rectangle of the object image j (= 3,4) at time (k + 1) is When ASPECTj (k + 1),
ASPECTj (k + 1) / ASPECTTi (k) <1 ± ΔASPECT
Be. However, ΔASPECT is an allowable value of the aspect ratio change.

図８（ａ）と（ｂ）とを対比すると、各対象物像はその大きさが大きくなっているが、対象物像１と３とが上記同一性判定条件を満たし、対象物像２と４とが上記同一性判定条件を満たすので、対象物像３、４はそれぞれ対象物像１、２に対応すると認識される。このようにして認識された各対象物像の面積重心の位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお以上説明したステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。 8A and 8B, the size of each object image is large, but the object images 1 and 3 satisfy the above-described identity determination condition, and the object image 2 and 4 is recognized to correspond to the object images 1 and 2, respectively, because 4 and 4 satisfy the above-described identity determination condition. The position coordinates of the area centroid of each object image recognized in this way are stored in the memory as time-series position data and used for later calculation processing.
Note that the processing in steps S14 to S19 described above is executed for a binarized reference image (right image in the present embodiment).

図３のステップＳ２０では、車速センサ６により検出される車速ＶＣＡＲ及びヨーレートセンサ５より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒ（図１８参照）を算出する。 In step S20 of FIG. 3, the vehicle speed VCAR detected by the vehicle speed sensor 6 and the yaw rate YR detected by the yaw rate sensor 5 are read, and the yaw rate YR is integrated over time, whereby the turning angle θr of the host vehicle 10 (see FIG. 18). Is calculated.

一方、ステップＳ３１では、ステップＳ１９，Ｓ２０の処理と平行して、対象物と自車両１０と距離ｚを算出する処理（図４）を実行する。この演算はステップＳ１９，Ｓ２０より長い時間を要するため、ステップＳ１９，Ｓ２０より長い周期（例えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行される。 On the other hand, in step S31, in parallel with the processes in steps S19 and S20, a process (FIG. 4) for calculating the object, the vehicle 10, and the distance z is executed. Since this calculation requires a longer time than steps S19 and S20, it is executed in a longer cycle than steps S19 and S20 (for example, a cycle about three times the execution cycle of steps S11 to S20).

図４のステップＳ４１では、１）基準画像（右画像）の２値化画像によって追跡される対象物像の中の１つを選択することにより、図９（ａ）に示すように右画像から対象物像ＯＢＪＲ１（ここでは、外接四角形で囲まれる領域全体を対象物像とする）を抽出し、２）探索画像（左画像）中から対象物像ＯＢＪＲ１に対応する画像（以下「対応対象物像」という）を探索する探索領域を設定し、相関演算を実行する。 In step S41 of FIG. 4, 1) by selecting one of the object images tracked by the binarized image of the reference image (right image), the right image is displayed as shown in FIG. 9A. The object image OBJR1 (here, the entire region surrounded by the circumscribed rectangle is taken as the object image) is extracted. 2) An image corresponding to the object image OBJR1 from the search image (left image) (hereinafter, “corresponding object” A search area for searching for “image” is set, and correlation calculation is executed.

具体的には、対象物像ＯＢＪＲ１の各頂点座標に応じて探索画像中に図９（ｂ）に示すように、探索領域ＳＬ１を設定し、探索領域ＳＬ１内で対象物像ＯＢＪＲ１との相関度の高さを示す相関度パラメータＣ（ａ，ｂ）を下記式（２）により算出する。相関度パラメータＣはその値が小さくなるほど、相関が高いことを示す。なお、この相関演算は、２値画像ではなくグレースケール画像を用いて行う。また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域ＳＬ１より狭い領域ＳＬ１ａ（図９（ｂ）に破線で示す）を探索領域として設定する。

ここで、ＩＲ（ｍ，ｎ）は、図１０に示す対象物像ＯＢＪＲ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を基点とした、対象物像ＯＢＪＲ１と同一形状の局所領域ＬＲ内の座標（ｍ，ｎ）の位置の輝度値である。
基点の座標（ａ，ｂ）を変化させて相関度パラメータＣ（ａ，ｂ）が最小となる位置及びそのときの相関度パラメータの値（以下「最小値」という）ＣＭＩＮを求める。 Specifically, as shown in FIG. 9B, the search area SL1 is set in the search image in accordance with the vertex coordinates of the object image OBJR1, and the degree of correlation with the object image OBJR1 in the search area SL1. Correlation degree parameter C (a, b) indicating the height of is calculated by the following equation (2). The correlation parameter C indicates that the smaller the value, the higher the correlation. This correlation calculation is performed using a gray scale image instead of a binary image. When there is past position data for the same object, an area SL1a (indicated by a broken line in FIG. 9B) narrower than the search area SL1 is set as a search area based on the position data.

Here, IR (m, n) is a luminance value at the position of coordinates (m, n) in the object image OBJR1 shown in FIG. 10, and IL (a + m−M, b + n−N) is within the search region. The luminance value at the position of the coordinates (m, n) in the local region LR having the same shape as the object image OBJR1 with the coordinates (a, b) of
By changing the coordinates (a, b) of the base point, the position where the correlation parameter C (a, b) is minimized and the value of the correlation parameter at that time (hereinafter referred to as “minimum value”) CMIN are obtained.

続くステップＳ４２では、相関度が高いか否か、すなわちステップＳ４１で算出した最小値ＣＭＩＮが、所定閾値ＣＭＩＮＴＨ以下であるか否かをを判別する。ＣＭＩＮ＞ＣＭＩＮＴＨであって、相関度が低いときは、探索画像中に対応対象物像が存在しないと判定する。この場合、視差は算出できないので、距離が定まらない（不定）として（ステップＳ４９）、本処理を終了する。 In the subsequent step S42, it is determined whether or not the degree of correlation is high, that is, whether or not the minimum value CMIN calculated in step S41 is equal to or less than a predetermined threshold CMINTH. When CMIN> CMINTH and the degree of correlation is low, it is determined that no corresponding object image exists in the search image. In this case, since the parallax cannot be calculated, the distance is not determined (indefinite) (step S49), and this process ends.

一方ＣＭＩＮ≦ＣＭＩＮＴＨであって、相関度が高いときは、ステップＳ４３に進む。ステップＳ４３〜Ｓ４５では、基準画像中の対象物像及び／または探索画像中の対応対象物像が、それぞれの画像の端部に接している（かかっている）か否か応じてケースＣ０〜Ｃ４に場合分けし、距離の算出を行う。 On the other hand, if CMIN ≦ CMINTH and the degree of correlation is high, the process proceeds to step S43. In steps S43 to S45, cases C0 to C4 are determined depending on whether or not the object image in the reference image and / or the corresponding object image in the search image is in contact with (applies to) the edge of each image. The distance is calculated according to the case.

図１１は、基準画像中の対象物像ＯＢＪ１〜ＯＢＪ３が、基準画像の端部（以下「画像端」という）ＷＲに接しており、対象物像ＯＢＪ４が画像端ＷＲに接していない状態を示している。各対象物像は、前述したようにランレングスデータで把握されているので、同図中に黒丸で示す始点の座標が画像端ＷＲに存在する対象物像は、画像端ＷＲに接していると判定される。同様に、始点座標に長さ（ランレングス）を加算して得られる終点座標が画像端ＷＲに存在する対象物像は、画像端ＷＲに接していると判定される。 FIG. 11 shows a state in which the object images OBJ1 to OBJ3 in the reference image are in contact with the end portion (hereinafter referred to as “image end”) WR of the reference image, and the object image OBJ4 is not in contact with the image end WR. ing. Since each object image is grasped by the run-length data as described above, the object image in which the coordinates of the start point indicated by the black circle in the same figure are present at the image end WR is in contact with the image end WR. Determined. Similarly, an object image in which an end point coordinate obtained by adding a length (run length) to the start point coordinate is present at the image end WR is determined to be in contact with the image end WR.

図１２には、基準画像中の対象物像及び探索画像中の対応対象物像がいずれも画像端に接してない場合（ケースＣ０）と、基準画像中の対象物像が画像端に接していないが、探索画像中の対応対象物像が画像端に接している場合（ケースＣ２）とが示されている。同図に示すケースＣ０では、基準画像中の対象物像ＯＢＪＲ１と、相関演算により抽出される対応対象物像ＣＯＢＪＬ１は、いずれも画像端に接していないので、両者の面積重心Ｇを用いて視差を算出し、その対象物までの距離ｚを算出することができる。なお、相関演算は、実際には背景部分を少し含むように対象物像ＯＢＪＲ１より若干広い領域ついて行われるので、対応対象物像ＣＯＢＪＬ１は、対象物像ＯＢＪＲ１と同一形状の真の対応対象物像ＯＢＪＬ１より少し広い領域として抽出される。 FIG. 12 shows a case where the object image in the reference image and the corresponding object image in the search image are not in contact with the image end (case C0), and the object image in the reference image is in contact with the image end. Although there is no corresponding object image in the search image, the case (case C2) is shown. In the case C0 shown in the figure, the object image OBJR1 in the reference image and the corresponding object image COBJL1 extracted by the correlation calculation are not in contact with the image edge, so that the parallax is obtained using the area centroid G of both. And the distance z to the object can be calculated. Since the correlation calculation is actually performed on a region slightly wider than the object image OBJR1 so as to include a little background portion, the corresponding object image COBJL1 is a true corresponding object image having the same shape as the object image OBJR1. It is extracted as an area slightly wider than OBJL1.

一方ケースＣ２では、対象物像ＯＢＪＲ２は、画像端に接していないが、対象物像ＯＢＪＲ２と同一形状の真の対応対象物像が、実線及び破線によりＯＢＪＬ２として示すように位置している場合（破線部は、実際には画像として得られない部分を示している）には、相関演算により抽出される対応対象物像ＣＯＢＪＬ２は、探索画像の画像端に接した状態で抽出される。
なお、図１２に示す領域ＳＬ１，ＳＬ２は、探索領域である。 On the other hand, in the case C2, the object image OBJR2 is not in contact with the image end, but the true corresponding object image having the same shape as the object image OBJR2 is positioned as indicated by OBJL2 by a solid line and a broken line ( The broken line portion indicates a portion that is not actually obtained as an image), and the corresponding target object image COBJL2 extracted by the correlation calculation is extracted in a state of being in contact with the image end of the search image.
Note that areas SL1 and SL2 shown in FIG. 12 are search areas.

図１３（ａ）は、基準画像中の対象物像ＯＢＪＲ１が画像端に接しており、かつ探索画像中の真の対応対象物像ＯＢＪＬ１が画像端に接していない場合（ケースＣ１）を示し、同図（ｂ）は、前述したケースＣ２、すなわち基準画像中の対象物像ＯＢＪＲ２が画像端に接していないが、探索画像中の真の対応対象物像ＯＢＪＬ２が画像端に接している場合を示し、同図（ｃ）は、基準画像中の対象物像ＯＢＪＲ３が画像端に接しており、かつ探索画像中の真の対応対象物像ＯＢＪＬ３も画像端に接しており、かつ基準画像中の対象物像ＯＢＪＲ３の方が真の対応対象物像ＯＢＪＬ３より小さい場合（ケースＣ３）を示し、同図（ｄ）は、基準画像中の対象物像ＯＢＪＲ４が画像端に接しており、かつ探索画像中の対応対象物像ＣＯＢＪＬ４も画像端に接しており、かつ基準画像中の対象物像ＯＢＪＲ４の方が真の対応対象物像ＯＢＪＬ４より大きい場合（ケースＣ４）を示す。図１３において、領域ＳＬ１〜ＳＬ４及びＳＲ１，ＳＲ２は、探索領域である。 FIG. 13A shows a case where the object image OBJR1 in the reference image is in contact with the image end and the true corresponding object image OBJL1 in the search image is not in contact with the image end (case C1). FIG. 6B shows the case C2 described above, that is, the case where the object image OBJR2 in the reference image is not in contact with the image end, but the true corresponding object image OBJL2 in the search image is in contact with the image end. FIG. 8C shows that the object image OBJR3 in the reference image is in contact with the image end, and the true corresponding object image OBJL3 in the search image is also in contact with the image end, and in the reference image The case where the object image OBJR3 is smaller than the true corresponding object image OBJL3 (case C3) is shown, and FIG. 4D shows that the object image OBJR4 in the reference image is in contact with the image end and the search image. The corresponding target object image COBJL4 In contact with the image end and when toward the object image OBJR4 in the reference image is larger than the true corresponding object image OBJL4 shows the (Case C4). In FIG. 13, areas SL1 to SL4 and SR1 and SR2 are search areas.

ケースＣ１では、探索画像に含まれる真の対応対象物像ＯＢＪＬ１が、画像端に接していないため、正しいマッチングが行われて、対応対象物像ＣＯＢＪＬ１が抽出される。したがって、対象物像ＯＢＪＲ１及び対応対象物像ＣＯＢＪＬ１の面積重心を用いて視差を算出し、この対象物までの距離する。 In case C1, since the true corresponding object image OBJL1 included in the search image is not in contact with the image end, correct matching is performed and the corresponding object image COBJL1 is extracted. Accordingly, the parallax is calculated using the area centroid of the object image OBJR1 and the corresponding object image COBJL1, and the distance to the object is calculated.

ケースＣ２では、基準画像から探索画像への相関演算により抽出される対応対象物像ＣＯＢＪＬ２と、対象物像ＯＢＪＲ２とは、正しいマッチング関係にない。そこでこの場合には、探索画像から基準画像への相関演算、すなわち対応対象物像ＣＯＢＪＬ２に対応する対象物像を基準画像中から探索する相関演算を実行する。その結果得られた基準画像中の対応対象物像ＣＯＢＪＲ２と、探索画像中の対応対象物像ＣＯＢＪＬ２とは、正しいマッチング関係にあるので、これらの像の面積重心を用いて視差を算出し、この対象物までの距離を算出する。 In Case C2, the corresponding target object image COBJL2 extracted by the correlation calculation from the reference image to the search image and the target object image OBJR2 are not in a correct matching relationship. Therefore, in this case, a correlation calculation from the search image to the reference image, that is, a correlation calculation for searching the target image corresponding to the corresponding target image COBJL2 from the reference image is executed. Since the corresponding target object image COBJR2 in the reference image obtained as a result and the corresponding target object image COBJL2 in the search image are in a correct matching relationship, the parallax is calculated using the area centroids of these images. Calculate the distance to the object.

ケースＣ３では、ケースＣ１と同様に正しいマッチングが行われるので、対象物像ＯＢＪＲ３及び対応対象物像ＣＯＢＪＬ３の面積重心を用いて視差を算出し、この対象物までの距離を算出する。
ケースＣ４では、ケースＣ２と同様に、基準画像から探索画像への相関演算により抽出される対応対象物像ＣＯＢＪＬ４と、対象物像ＯＢＪＲ４とは、正しいマッチング関係にない。そこでこの場合も、探索画像から基準画像への相関演算、すなわち対応対象物像ＣＯＢＪＬ４に対応する対象物像を基準画像中から探索する相関演算を実行する。その結果得られた基準画像中の対応対象物像ＣＯＢＪＲ４と、探索画像中の対応対象物像ＣＯＢＪＬ４とは、正しいマッチング関係にあるので、これらの像の面積重心を用いて視差を算出し、この対象物までの距離を算出する。 In the case C3, correct matching is performed as in the case C1, and therefore, the parallax is calculated using the area centroids of the object image OBJR3 and the corresponding object image COBJL3, and the distance to the object is calculated.
In the case C4, as in the case C2, the corresponding target object image COBJL4 extracted by the correlation calculation from the reference image to the search image and the target object image OBJR4 do not have a correct matching relationship. Therefore, also in this case, the correlation calculation from the search image to the reference image, that is, the correlation calculation for searching the target image corresponding to the corresponding target image COBJL4 from the reference image is executed. Since the corresponding target object image COBJR4 in the reference image obtained as a result and the corresponding target object image COBJL4 in the search image are in a correct matching relationship, the parallax is calculated using the area centroids of these images. Calculate the distance to the object.

図４に戻り、ステップＳ４３では、基準画像中の対象物像が画像端に接しておらずかつ探索画像中の対応対象物像が画像端に接していないか否か、すなわちケースＣ０に該当するか否かを判別し、相関演算の結果がケースＣ０に該当するときは、直ちにステップＳ４８に進んで、視差から距離を算出し、本処理を終了する。 Returning to FIG. 4, in step S43, whether the object image in the reference image is not in contact with the image end and the corresponding object image in the search image is not in contact with the image end, that is, corresponds to case C0. If the result of the correlation calculation corresponds to case C0, the process immediately proceeds to step S48, the distance is calculated from the parallax, and this process is terminated.

相関演算の結果がケースＣ０に該当しないときは、基準画像中の対象物像が画像端に接しておりかつ探索画像中の対応対象物像が画像端に接しているか否か、すなわちケースＣ４に該当するか否かを判別し、相関演算の結果がケースＣ４に該当するときは、上述したように探索画像から基準画像への相関演算を実行する（ステップＳ４６）。次いで相関度が高いか否か、すなわち相関度パラメータの最小値ＣＭＩＮが所定閾値ＣＭＩＮＴＨ以下か否かを判別し（ステップＳ４７）、ＣＭＩＮ＞ＣＭＩＮＴＨであるときは、前記ステップＳ４９に進む。またＣＭＩＮ≦ＣＭＩＮＴＨであって相関度が高いときは、前記ステップＳ４８に進んで距離の算出を行う。 When the result of the correlation calculation does not correspond to the case C0, whether or not the object image in the reference image is in contact with the image edge and the corresponding object image in the search image is in contact with the image edge, that is, in case C4. It is discriminated whether or not it corresponds, and when the result of the correlation calculation corresponds to case C4, the correlation calculation from the search image to the reference image is executed as described above (step S46). Next, it is determined whether or not the degree of correlation is high, that is, whether or not the minimum value CMIN of the degree of correlation parameter is equal to or smaller than a predetermined threshold CMINTH (step S47). If CMIN> CMINTH, the process proceeds to step S49. If CMIN ≦ CMINTH and the degree of correlation is high, the process proceeds to step S48 to calculate the distance.

ステップＳ４４で相関演算の結果がケースＣ４に該当しないとき、すなわちケースＣ１〜Ｃ３に該当するときは、対応対象物像が画像端に接しているか、すなわちケースＣ２に該当するか否かを判別し（ステップＳ４５）、ケースＣ２に該当するときは、前記ステップＳ４６に進む。また、ケースＣ１またはＣ３に該当するときは、ステップＳ４５から直ちにステップＳ４８に進む。 When the correlation calculation result does not correspond to case C4 in step S44, that is, corresponds to cases C1 to C3, it is determined whether or not the corresponding object image is in contact with the image end, that is, corresponds to case C2. (Step S45) When the case corresponds to the case C2, the process proceeds to Step S46. If the case corresponds to case C1 or C3, the process immediately proceeds from step S45 to step S48.

ステップＳ４８における視差から距離を算出する処理は、以下のように行う。
図１４に示すように対象物像ＯＪＢＲ１の面積重心位置と、画像左端との距離ｄＲ（画素数）及び対応対象物像ＣＯＢＪＬ１の面積重心位置と画像左端との距離ｄＬ（画素数）を求め、下記式（３）に適用して、自車両１０と、対象物との距離ｚを算出する。

ここで、Ｂは基線長、すなわち図１５に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔であり、Δｄ（＝ｄＬ−ｄＲ）が視差である。
以上のようにして距離ｚの算出が行われる。 The process for calculating the distance from the parallax in step S48 is performed as follows.
As shown in FIG. 14, the distance dR (number of pixels) between the area centroid position of the object image OJBR1 and the left end of the image and the distance dL (number of pixels) between the area centroid position of the corresponding object image COBJL1 and the left end of the image are obtained. Applying the following equation (3), the distance z between the host vehicle 10 and the object is calculated.

Here, B is the base line length, that is, the distance in the horizontal direction (x direction) between the center position of the image sensor 11R of the camera 1R and the center position of the image sensor 11L of the camera 1L as shown in FIG. (Axis interval), F is the focal length of the

lenses

12R and 12L, p is the pixel interval in the

image sensors

11R and 11L, and Δd (= dL−dR) is parallax.
The distance z is calculated as described above.

図３に戻り、ステップＳ２１では、画像内の座標（ｘ，ｙ）及び式（３）により算出した距離ｚを下記式（４）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図１６（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。

Returning to FIG. 3, in step S21, the coordinates (x, y) in the image and the distance z calculated by the equation (3) are applied to the following equation (4) to convert them into real space coordinates (X, Y, Z). To do. Here, as shown in FIG. 16A, the real space coordinates (X, Y, Z) are obtained by using the position of the middle point (the position fixed to the host vehicle 10) of the

camera

1R, 1L as the origin O. The coordinates in the image are defined as x in the horizontal direction and y in the vertical direction with the center of the image as the origin, as shown in FIG.

ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。 Here, (xc, yc) is the coordinate (x, y) on the right image based on the relative position relationship between the mounting position of the camera 1R and the real space origin O and the center of the image. Are converted into coordinates in a virtual image. F is a ratio between the focal length F and the pixel interval p.

なお、この実空間座標の変換をする際には、前述したステップＳ３１の処理により、基準画像中の対象物像のうち画像端に接していると判定された対象物像（図１１に示す例では、対象物像ＯＢＪ１〜３）について、図１７（ａ）に示すように、対象物像の位置を代表する判定点を、面積重心Ｇからより基準画像の中心に近い、外接四角形の端部の点ＧＥに移動させ、該移動後の座標を実空間座標に変換する。すなわち、基準画像の左端に接している対象物像ＯＢＪ１については、面積重心Ｇ１のｙ座標と同一のｙ座標を有し、外接四角形の右端に位置する点ＧＥ１に判定点を移動し、基準画像の上端に接している対象物像ＯＢＪ２については、面積重心Ｇ２のｘ座標と同一のｘ座標を有し、外接四角形の下端に位置する点ＧＥ２に判定点を移動し、基準画像の右端に接している対象物像ＯＢＪ３については、面積重心Ｇ３のｙ座標と同一のｙ座標を有し、外接四角形の左端に位置する点ＧＥ３に判定点を移動する。 When the real space coordinates are converted, the object image (example shown in FIG. 11) determined to be in contact with the image edge among the object images in the reference image by the process of step S31 described above. Then, for the object images OBJ1 to 3), as shown in FIG. 17A, the determination point representing the position of the object image is the end of the circumscribed square that is closer to the center of the reference image from the area centroid G. To the point GE, and the coordinates after the movement are converted into real space coordinates. That is, for the object image OBJ1 that is in contact with the left end of the reference image, the determination point is moved to a point GE1 that has the same y coordinate as the y coordinate of the area centroid G1 and is located at the right end of the circumscribed rectangle. For the object image OBJ2 that is in contact with the upper end of the reference image, the determination point is moved to a point GE2 that has the same x coordinate as the x coordinate of the area centroid G2, and is located at the lower end of the circumscribed rectangle, and is in contact with the right end of the reference image. For the object image OBJ3, the determination point is moved to a point GE3 that has the same y coordinate as the y coordinate of the area centroid G3 and is located at the left end of the circumscribed rectangle.

そしてこのように判定点を移動させた対象物については、過去の位置データも、同様に面積重心Ｇに対応するデータからより基準画像の中心に近い、外接四角形の端部の点ＧＥに対応するデータに変更する処理を行う。このようにすることにより、後述する相対移動ベクトルの算出に用いる時系列データが、移動後の判定点で統一された時系列データとなり、正確な相対移動ベクトルを求めることができる。
なお、判定点は図１７（ｂ）に示すように、外接四角形の端部ではなく、対象物像の端部に位置する点ＧＥ１ａ，ＧＥ２ａ，ＧＥ３ａに移動させるようにしてもよい。 For the object whose determination point has been moved in this way, the past position data also corresponds to the point GE at the end of the circumscribed rectangle that is closer to the center of the reference image from the data corresponding to the area centroid G. Process to change to data. By doing in this way, the time series data used for calculating the relative movement vector, which will be described later, becomes time series data unified at the determination points after the movement, and an accurate relative movement vector can be obtained.
Note that, as shown in FIG. 17B, the determination points may be moved to points GE1a, GE2a, and GE3a located at the ends of the object image, instead of the ends of the circumscribed rectangle.

ステップＳ２２では、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。図１８に示すように、時刻ｋから（ｋ＋１）までの期間中に自車両が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、図１９に示すようにΔｘだけｘ方向にずれるので、これを補正する処理である。具体的には、下記式（５）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納する。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。

In step S22, the turning angle correction for correcting the positional deviation on the image due to the turning of the host vehicle 10 is performed. As shown in FIG. 18, when the host vehicle turns, for example, to the left by the turning angle θr during the period from time k to (k + 1), on the image obtained by the camera, as shown in FIG. This is a process for correcting this. Specifically, the corrected coordinates (Xr, Yr, Zr) are calculated by applying the real space coordinates (X, Y, Z) to the following equation (5). The calculated real space position data (Xr, Yr, Zr) is stored in the memory in association with each object. In the following description, the coordinates after the turning angle correction are displayed as (X, Y, Z).

ステップＳ２３では、図２０に示すように同一対象物について、ΔＴの期間内に得られた、回頭角補正後のＮ個の実空間位置データ（例えばＮ＝１０程度）、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、下記式（６）で表される直線を求める。

In step S23, for the same object, N pieces of real space position data (for example, about N = 10) after turning angle correction obtained during the period of ΔT, that is, time-series data are used. An approximate straight line LMV corresponding to the relative movement vector between the object and the vehicle 10 is obtained. Specifically, when a direction vector L = (lx, ly, lz) (| L | = 1) indicating the direction of the approximate straight line LMV, a straight line represented by the following formula (6) is obtained.

ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ，Ｙａｖ及びＺａｖは、それぞれ実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値及びＺ座標の平均値である。なお、式（６）は媒介変数ｕを消去すれば下記式（６ａ）のようになる。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ
…（６ａ） Here, u is a parameter that takes an arbitrary value, and Xav, Yav, and Zav are the average value of the X coordinate, the average value of the Y coordinate, and the average value of the Z coordinate of the real space position data string, respectively. Equation (6) becomes the following equation (6a) if the parameter u is deleted.
(X-Xav) / lx = (Y-Yav) / ly = (Z-Zav) / lz
... (6a)

図２０は、近似直線ＬＭＶを説明するための図であり、同図のＰ（０），Ｐ（１），Ｐ（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値はその値が増加するほど過去のデータであることを示す。例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＤ（ｊ）、Ｘ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。 FIG. 20 is a diagram for explaining the approximate straight line LMV, and P (0), P (1), P (2),..., P (N-2), P (N-1) in FIG. The time series data after the turning angle correction is shown, and the approximate straight line LMV passes through the average position coordinates Pav (= (Xav, Yav, Zav)) of this time series data, and the average value of the square of the distance from each data point Is obtained as a straight line that minimizes. Here, the numerical value in () attached to P indicating the coordinates of each data point indicates that the data increases as the value increases. For example, P (0) indicates the latest position coordinates, P (1) indicates the position coordinates one sample period before, and P (2) indicates the position coordinates two sample periods before. The same applies to D (j), X (j), Y (j), Z (j) and the like in the following description.

より具体的には、平均位置座標Ｐａｖから各データ点の座標Ｐ（０）〜Ｐ（Ｎ−１）に向かうベクトルＤ（ｊ）＝（ＤＸ（ｊ），ＤＹ（ｊ），ＤＺ（ｊ））＝（Ｘ（ｊ）−Ｘａｖ，Ｙ（ｊ）−Ｙａｖ，Ｚ（ｊ）−Ｚａｖ）と、方向ベクトルＬとの内積ｓを下記式（７）により算出し、この内積ｓの分散が最大となる方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）を求める。
ｓ＝ｌｘ・ＤＸ（ｊ）＋ｌｙ・ＤＹ（ｊ）＋ｌｚ・ＤＺ（ｊ）（７） More specifically, a vector D (j) = (DX (j), DY (j), DZ (j) from the average position coordinate Pav to the coordinates P (0) to P (N−1) of each data point. ) = (X (j) −Xav, Y (j) −Yav, Z (j) −Zav)) and the inner product s of the direction vector L are calculated by the following equation (7), and the variance of the inner product s is maximum. A direction vector L = (lx, ly, lz) is obtained.
s = lx · DX (j) + ly · DY (j) + lz · DZ (j) (7)

各データ点の座標の分散共分散行列Ｖは、下記式（８）で表され、この行列の固有値σが内積ｓの分散に相当するので、この行列から算出される３つの固有値のうち最大の固有値に対応する固有ベクトルが求める方向ベクトルＬとなる。なお、式（８）の行列から固有値と固有ベクトルを算出するには、ヤコビ法（例えば「数値計算ハンドブック」（オーム社）に示されている）として知られている手法を用いる。

The variance-covariance matrix V of the coordinates of each data point is expressed by the following equation (8). Since the eigenvalue σ of this matrix corresponds to the variance of the inner product s, the maximum of the three eigenvalues calculated from this matrix is The eigenvector corresponding to the eigenvalue is the direction vector L to be obtained. In order to calculate eigenvalues and eigenvectors from the matrix of equation (8), a method known as the Jacobian method (for example, shown in “Numerical Calculation Handbook” (Ohm)) is used.

次いで最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正する。具体的には、前記式（６ａ）にＺ座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、すなわち下記式（９）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。

Next, the latest position coordinate P (0) = (X (0), Y (0), Z (0)) and (N−1) position coordinate P (N−1) before the sample (before time ΔT) = (X (N-1), Y (N-1), Z (N-1)) is corrected to a position on the approximate straight line LMV. Specifically, by applying the Z coordinates Z (0) and Z (N−1) to the equation (6a), that is, according to the following equation (9), the corrected position coordinates Pv (0) = (Xv (0), Yv (0), Zv (0)) and Pv (N-1) = (Xv (N-1), Yv (N-1), Zv (N-1)) are obtained.

式（９）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。 A relative movement vector is obtained as a vector from the position coordinates Pv (N−1) calculated by Expression (9) toward Pv (0). In this way, by calculating an approximate straight line that approximates the relative movement locus of the object with respect to the host vehicle 10 from a plurality (N) of data within the monitoring period ΔT, the influence of the position detection error is reduced. Thus, the possibility of collision with the object can be predicted more accurately.

図３に戻り、ステップＳ２４では、ステップＳ２３で算出した相対移動ベクトルに基づいて、対象物が自車両１０に衝突する可能性が高いか否かを判定し、高い場合には、スピーカ３やＨＵＤ４を用いた音声や表示により、運転者への警報を発する処理を実行する。ステップＳ２４実行後は、ステップＳ１１に戻る。 Returning to FIG. 3, in step S <b> 24, it is determined based on the relative movement vector calculated in step S <b> 23 whether or not the object is highly likely to collide with the host vehicle 10, and if so, the speaker 3 and the HUD 4. A process of issuing a warning to the driver by voice and display using After step S24 is executed, the process returns to step S11.

以上のように本実施形態では、基準画像中の対象物像が画像端に接しているときは、その対象物像の位置を代表する判定点を、その対象物像の面積重心から寄り基準画像の画像端に近い、その対象物像の外接四角形の端部に位置する点（またはその対象物像の端部に位置する点）に移動させ、移動後の判定点を用いて相対移動ベクトルを算出するようにしたので、対象物の相対移動方向を正確に検出することができる。 As described above, in the present embodiment, when the object image in the reference image is in contact with the image edge, the determination point representing the position of the object image is shifted from the center of gravity of the area of the object image. Is moved to a point located at the end of the circumscribed rectangle of the object image (or a point located at the end of the object image) close to the image end of the object image, and the relative movement vector is calculated using the moved determination point. Since the calculation is made, the relative movement direction of the object can be accurately detected.

また例えば図１３（ｂ）に示すように、基準画像に含まれる対象物像ＯＢＪＲ２に基づいて、探索画像に対して相関演算を実行し、その結果得られた対応対象物像ＣＯＢＪＬ２が、画像の端部に接するときは、その対応対象物像ＣＯＢＪＬ２に基づいて、基準画像に対して相関演算を実行し、その結果得られた対応対象物像ＣＯＢＪＲ２と、対応対象物像ＣＯＢＪＬ２とに基づいて視差を算出し、該算出した視差からその対象物までの距離を算出するようにしたので、相関演算により抽出された探索画像中の対応対象物像が画像端に接する場合でも、正確な距離を算出することができる。 Also, for example, as shown in FIG. 13B, based on the object image OBJR2 included in the reference image, a correlation operation is performed on the search image, and the corresponding object image COBJL2 obtained as a result is When contacting the end, a correlation operation is performed on the reference image based on the corresponding target object image COBJL2, and the parallax is determined based on the corresponding target object image COBJR2 and the corresponding target object image COBJL2. Since the distance from the calculated parallax to the target is calculated, the correct distance can be calculated even when the corresponding target image in the search image extracted by the correlation calculation touches the image end. can do.

本実施形態では、画像処理ユニット２が、画像端部判定手段、判定点移動手段、及び移動方向検出手段を構成する。より具体的には、図４のステップＳ４３〜Ｓ４５が画像端部判定手段に相当し、図４のステップＳ４１，Ｓ４２，Ｓ４６，Ｓ４７及び図３のステップＳ２１が判定点移動手段に相当し、図３のステップＳ２３が移動方向検出手段に相当する。 In the present embodiment, the image processing unit 2 constitutes an image edge determining unit, a determination point moving unit, and a moving direction detecting unit. More specifically, steps S43 to S45 in FIG. 4 correspond to the image edge determination means, steps S41, S42, S46, S47 in FIG. 4 and step S21 in FIG. 3 correspond to the determination point moving means. Step S23 of No. 3 corresponds to the moving direction detecting means.

（第２の実施形態）
図２１は本発明の第２の実施形態にかかる障害物検出・警報処理のフローチャートである。この処理は、図３に示す処理に、ステップＳ１７ａを追加するとともに、図３のステップＳ３１をステップＳ３１ａに変更したものである。また図２２は、ステップＳ３１ａにおける距離算出処理を示すフローチャートであり、この処理は図４に示す処理から、ステップＳ４３，Ｓ４４及びＳ４７を削除するとともに、ステップＳ４６をステップＳ４６ａに変更したものである。以上の点以外は、第１の実施形態と同一である。 (Second Embodiment)
FIG. 21 is a flowchart of obstacle detection / alarm processing according to the second embodiment of the present invention. In this process, step S17a is added to the process shown in FIG. 3, and step S31 in FIG. 3 is changed to step S31a. FIG. 22 is a flowchart showing the distance calculation process in step S31a. In this process, steps S43, S44 and S47 are deleted from the process shown in FIG. 4, and step S46 is changed to step S46a. Except for the above points, the second embodiment is the same as the first embodiment.

ステップＳ１７ａでは、ステップＳ１７で抽出された対象物のうち、その基準画像中の対象物像が画像端に接するものは、監視対象から除く処理を行う。
ステップＳ３１ａでは、図２２に示す距離算出処理を実行する。ステップＳ４２で相関度が高いと判別されたときは、相関演算により得られた対応対象物像が探索画像の画像端に接しているか否かを判別し（ステップＳ４５）、接していなければ、視差から距離を算出する（ステップＳ４８）。一方対応対象物像が画像端に接しているときは、この対象物を監視対象から除く処理を行い（ステップＳ４６ａ）、直ちに本処理を終了する。 In step S17a, among the objects extracted in step S17, a process in which the object image in the reference image is in contact with the image end is excluded from the monitoring target.
In step S31a, the distance calculation process shown in FIG. 22 is executed. If it is determined in step S42 that the degree of correlation is high, it is determined whether or not the corresponding object image obtained by the correlation calculation is in contact with the image end of the search image (step S45). The distance is calculated from (Step S48). On the other hand, when the corresponding target object image is in contact with the image end, processing for removing the target object from the monitoring target is performed (step S46a), and this processing is immediately terminated.

以上のように本実施形態では、対象物像が基準画像の画像端に接する対象物、及び相関演算により抽出された対応対象物像が探索画像の画像端に接する対象物を監視対象から除くようにしたので、そのような対象物の移動方向及びその対象物までの距離を誤って認識することを防止することができる。 As described above, in the present embodiment, the object whose object image is in contact with the image end of the reference image and the object whose corresponding object image extracted by the correlation calculation is in contact with the image end of the search image are excluded from the monitoring target. Therefore, it is possible to prevent such a movement direction of the object and the distance to the object from being recognized erroneously.

本実施形態では、画像処理ユニット２が、画像端部判定手段を構成し、より具体的には、図２２のステップＳ４５が画像端部判定手段に相当する。
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、本実施形態では、対象物像を得るためのカメラとして赤外線カメラを使用したが、例えば特開平９−２２６４９０号公報に示されるように通常の可視光線のみ検出可能なテレビカメラを使用してもよい。ただし、赤外線カメラを用いることにより、動物あるいは走行中の車両などの抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現できる。 In the present embodiment, the image processing unit 2 constitutes an image edge determination unit, and more specifically, step S45 in FIG. 22 corresponds to the image edge determination unit.
The present invention is not limited to the embodiment described above, and various modifications can be made. For example, in this embodiment, an infrared camera is used as a camera for obtaining an object image. However, for example, as shown in Japanese Patent Laid-Open No. 9-226490, a television camera that can detect only normal visible light is used. Also good. However, by using an infrared camera, it is possible to simplify the extraction process of animals or traveling vehicles, and it can be realized even if the computing capability of the computing device is relatively low.

本発明の一実施形態にかかる移動対象物検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the moving target object detection apparatus concerning one Embodiment of this invention. 図１に示すカメラの取り付け位置を説明するための図である。It is a figure for demonstrating the attachment position of the camera shown in FIG. 図１の画像処理ユニットによる処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the process by the image processing unit of FIG. 図３の距離算出処理を詳細に示すフローチャートである。It is a flowchart which shows the distance calculation process of FIG. 3 in detail. 赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。In order to explain a gray scale image obtained by an infrared camera, it is a diagram showing hatching in an intermediate gradation part. グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。It is a figure which shows the black area | region which hatched, in order to demonstrate the image which binarized the gray scale image. ランレングスデータへの変換処理及びラベリングを説明するための図である。It is a figure for demonstrating the conversion process and labeling to run length data. 対象物の時刻間追跡を説明するための図である。It is a figure for demonstrating tracking between the time of a target object. 右画像中の探索対象物像と、左画像に設定する探索領域を説明するための図である。It is a figure for demonstrating the search target image in a right image, and the search area | region set to a left image. 探索領域を対象とした相関演算処理を説明するための図である。It is a figure for demonstrating the correlation calculation process which made the search area | region object. 対象物像が画像の端部に接する場合を説明するための図である。It is a figure for demonstrating the case where a target object touches the edge part of an image. 探索画像中の対象物像が画像の端部に接している場合を説明するための図である。It is a figure for demonstrating the case where the target object image in a search image touches the edge part of an image. 対象物像が画像の端部に接する４つの場合を説明するための図である。It is a figure for demonstrating the case where a target object image contacts the edge part of an image. 視差の算出方法を説明するための図である。It is a figure for demonstrating the calculation method of a parallax. 視差から距離を算出する手法を説明するための図である。It is a figure for demonstrating the method of calculating distance from parallax. 本実施形態における座標系を示す図である。It is a figure which shows the coordinate system in this embodiment. 判定点の移動を説明するための図である。It is a figure for demonstrating the movement of a judgment point. 回頭角補正を説明するための図である。It is a figure for demonstrating a turning angle correction | amendment. 車両の回頭により発生する画像上の対象物位置のずれを示す図である。It is a figure which shows the shift | offset | difference of the target object position on the image which generate | occur | produces by turning of a vehicle. 相対移動ベクトルの算出手法を説明するための図である。It is a figure for demonstrating the calculation method of a relative movement vector. 本発明の第２の実施形態における、画像処理ユニットによる処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the process by the image processing unit in the 2nd Embodiment of this invention. 図２１の距離算出処理を詳細に示すフローチャートである。It is a flowchart which shows the distance calculation process of FIG. 21 in detail. 従来の手法の問題点を説明するための図である。It is a figure for demonstrating the problem of the conventional method. 従来の手法の問題点を説明するための図である。It is a figure for demonstrating the problem of the conventional method.

符号の説明Explanation of symbols

１Ｒ、１Ｌ赤外線カメラ（カメラ）
２画像処理ユニット（画像端部判定手段、判定点移動手段、移動方向検出手段）
５ヨーレートセンサ
６車速センサ 1R, 1L infrared camera (camera)
2 Image processing unit (image edge judging means, judging point moving means, moving direction detecting means)
5 Yaw rate sensor 6 Vehicle speed sensor

Claims

互いに離間して配置された２つのカメラにより得られる対象物の画像情報に基づいて、前記対象物の移動方向を検出する移動対象物検出装置において、
前記２つのカメラのうち、少なくとも何れか一方のカメラにより得られる対象物像が、画像の端部に接することを判定する画像端部判定手段と、
該画像端部判定手段により、画像の端部に接すると判定された対象物像については、該対象物像の位置を代表する判定点を、前記対象物像の面積重心から、前記画像の中心に近い所定点に移動させる判定点移動手段と、
該移動後の判定点に基づいて前記対象物の移動方向を検出する移動方向検出手段とを備えることを特徴とする移動対象物検出装置。 In the moving object detection device for detecting the moving direction of the object based on the image information of the object obtained by the two cameras arranged apart from each other,
Image edge determination means for determining that an object image obtained by at least one of the two cameras is in contact with the edge of the image;
For the object image determined to be in contact with the edge of the image by the image edge determination means, a determination point representing the position of the object image is determined from the area centroid of the object image, and the center of the image Determination point moving means for moving to a predetermined point close to
A moving object detecting device comprising: a moving direction detecting means for detecting a moving direction of the object based on the determination point after the movement.

前記２つのカメラにより得られる対象物の画像情報のうち、前記画像端部判定手段にて画像の端部に接すると判定された対象物の画像情報を基準画像とし、他方を探索画像として相関演算を行うことにより、該対象物の距離を算出する距離算出手段をさらに備え、
前記移動方向検出手段は、前記判定点移動手段による移動後の判定点と、前記距離算出手段によって算出された距離とに基づいて、前記対象物の移動方向を検出することを特徴とする請求項１に記載の移動対象物検出装置。 Of the image information of the object obtained by the two cameras, correlation calculation is performed using the image information of the object determined to be in contact with the edge of the image by the image edge determination means as the reference image and the other as the search image. By further comprising a distance calculating means for calculating the distance of the object,
The moving direction detection unit detects a moving direction of the object based on a determination point after movement by the determination point moving unit and a distance calculated by the distance calculation unit. The moving object detection device according to 1.

前記画像端部判定手段により、前記２つのカメラにより得られる対象物像がともに画像の端部に接する判定された場合は、前記距離算出手段は、前記対象物像の表示面積が小さい方の画像を基準画像として用いることを特徴とする請求項２に記載の移動対象物検出装置。 When it is determined by the image edge determination means that both of the object images obtained by the two cameras are in contact with the edge of the image, the distance calculation means is an image having a smaller display area of the object image. The moving object detection device according to claim 2, wherein the moving object detection device is used as a reference image.