JP2001084497A - Position detector - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a position detector for a vehicle which implements correction of excluding an influence of pitching of the vehicle with a simple constitution to accurately detect a position. SOLUTION: Plural objects are extracted from a picture obtained by a camera, and an average value of extents of displacement of the positions in a (y) direction (perpendicular direction) of the plural objects is calculated as a pitching flow Δyp (S41). When the pitching flow Δyp is larger than a prescribed threshold ΔyTH, (y) coordinates of individual objects are corrected by the pitching flow Δyp (S42 and S43).

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、車両に搭載された
撮像装置により得られる画像に基づいて、対象物の位置
を検出する位置検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a position detecting device for detecting a position of an object based on an image obtained by an image pickup device mounted on a vehicle.

【０００２】[0002]

【従来の技術】車両に撮像装置を搭載し、その撮像装置
により得られる画像から対象物の位置を検出し、その対
象物と当該車両との衝突の可能性を判定する周辺監視装
置が従来より提案されている。このような装置では、撮
像装置を移動する車両に搭載しているため、車両のピッ
チングによって車両に固定された撮像装置によって得ら
れる画像にオプティカルフロー（以下「ピッチングフロ
ー」という）が発生する。このピッチングフローは対象
物の移動（あるいは当該車両の走行）によって発生する
ものではないため、撮像装置により得られる画像から対
象物の位置検出を行う場合には、ピッチングフローの影
響を除く処理を行わないと、検出位置のずれが大きくな
るという問題がある。2. Description of the Related Art Conventionally, a peripheral monitoring device which mounts an image pickup device on a vehicle, detects a position of an object from an image obtained by the image pickup device, and determines a possibility of collision between the object and the vehicle has been conventionally used. Proposed. In such a device, since the imaging device is mounted on a moving vehicle, an optical flow (hereinafter, referred to as “pitching flow”) occurs in an image obtained by the imaging device fixed to the vehicle by pitching the vehicle. Since this pitching flow does not occur due to the movement of the object (or the traveling of the vehicle), when the position of the object is detected from the image obtained by the imaging device, the processing excluding the effect of the pitching flow is performed. Otherwise, there is a problem that the displacement of the detection position becomes large.

【０００３】[0003]

【発明が解決しようとする課題】そのため車両の路面か
らの高さ（車高）を検出する車高センサを設け、このセ
ンサにより検出される車高に基づいて検出位置を補正す
ることが考えられるが、その場合には車高センサが必要
となって装置の構造が複雑化する。Therefore, it is conceivable to provide a vehicle height sensor for detecting the height (vehicle height) of the vehicle from the road surface and correct the detection position based on the vehicle height detected by this sensor. However, in that case, a vehicle height sensor is required, and the structure of the device is complicated.

【０００４】本発明はこの点に着目してなされたもので
あり、車両のピッチングの影響を除く補正を簡単な構成
で実現し、正確な位置検出を行うことができる車両用の
位置検出装置を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of this point, and a vehicle position detecting device capable of performing accurate position detection by realizing correction with a simple configuration excluding the effect of pitching of the vehicle. The purpose is to provide.

【０００５】[0005]

【課題を解決するための手段】上記目的を達成するため
請求項１に記載の発明は、車両に搭載された撮像手段に
より得られる画像に基づいて、対象物の実空間座標系に
おける位置を検出する位置検出装置において、前記撮像
手段により得られた画像から複数の対象物を抽出し、該
複数の対象物の高さ方向の位置変位量に応じてピッチン
グ補正量を算出する補正量算出手段と、前記複数の対象
物の画像上の位置を前記ピッチング補正量に応じて補正
する補正手段とを備えること特徴とする。According to a first aspect of the present invention, a position of an object in a real space coordinate system is detected based on an image obtained by an image pickup means mounted on a vehicle. And a correction amount calculating unit that extracts a plurality of objects from an image obtained by the imaging unit, and calculates a pitching correction amount according to a position displacement amount in the height direction of the plurality of objects. Correction means for correcting the positions of the plurality of objects on the image in accordance with the pitching correction amount.

【０００６】この構成によれば、撮像手段により得られ
た画像から複数の対象物が抽出され、該複数の対象物の
高さ方向の位置変位量に応じてピッチング補正量が算出
され、前記複数の対象物の画像上の位置が前記ピッチン
グ補正量に応じて補正されるので、当該車両のピッチン
グによって画像内の高さ方向の位置変位が発生した場合
でも、車高センサなどを使用することなく簡単な構成で
その影響を除き、正確な位置検出を行うことができる。According to this configuration, a plurality of objects are extracted from the image obtained by the imaging means, and a pitching correction amount is calculated in accordance with the amount of positional displacement of the plurality of objects in the height direction. Since the position of the target object on the image is corrected in accordance with the pitching correction amount, even when a position displacement in the height direction in the image occurs due to the pitching of the vehicle, without using a vehicle height sensor or the like. Exact influence can be detected with a simple configuration and accurate position detection can be performed.

【０００７】前記補正量算出手段は、前記複数の対象物
について前記位置変位量の平均値を算出し、該平均値を
前記ピッチング補正量とすることが望ましく、また前記
補正手段は、前記平均値が所定閾値より大きいときに前
記ピッチング補正量による補正を実行することが望まし
い。複数の対象物についての前記位置変位量の平均値が
大きいときは、ピッチング以外の要因（当該車両の走行
または対象物の実空間上の移動）による画像上の位置変
位量は、ピッチングによる画像上の位置変位量と比べて
微少であると考えられるので、この構成により簡単な構
成で有効なピッチング補正量を得ることができる。It is preferable that the correction amount calculating means calculates an average value of the positional displacement amounts for the plurality of objects and sets the average value as the pitching correction amount. Is larger than a predetermined threshold, it is desirable to execute the correction based on the pitching correction amount. When the average value of the positional displacement amounts for a plurality of objects is large, the positional displacement amount on the image due to factors other than pitching (running of the vehicle or movement of the object in real space) is determined on the image by pitching. Since it is considered that the amount is small compared to the position displacement amount, an effective pitching correction amount can be obtained with a simple configuration by this configuration.

【０００８】[0008]

【発明の実施の形態】以下本明の実施の形態を図面を参
照して説明する。図１は本発明の一実施形態にかかる位
置検出装置を含む、車両の周辺監視装置の構成を示す図
であり、この装置は、遠赤外線を検出可能な２つの赤外
線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出す
るヨーレートセンサ５と、当該車両の走行速度（車速）
ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量
を検出するためのブレーキセンサ７と、これらのカメラ
１Ｒ，１Ｌによって得られる画像データに基づいて車両
前方の動物等の対象物を検出し、衝突の可能性が高い場
合に警報を発する画像処理ユニット２と、音声で警報を
発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによ
って得られる画像を表示するとともに、衝突の可能性が
高い対象物を運転者に認識させるためのヘッドアップデ
ィスプレイ（以下「ＨＵＤ」という）４とを備えてい
る。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram showing a configuration of a vehicle periphery monitoring device including a position detection device according to an embodiment of the present invention. This device includes two infrared cameras 1R and 1L capable of detecting far infrared rays, and A yaw rate sensor 5 for detecting a yaw rate of the vehicle, and a traveling speed (vehicle speed) of the vehicle
A vehicle speed sensor 6 for detecting a VCAR, a brake sensor 7 for detecting an operation amount of a brake, and an object such as an animal in front of the vehicle are detected based on image data obtained by these cameras 1R and 1L, and a collision is detected. The image processing unit 2 that issues an alarm when the possibility of collision is high, the speaker 3 that issues an alarm by voice, the image obtained by the camera 1R or 1L, and the driving of an object with a high possibility of collision And a head-up display (hereinafter, referred to as “HUD”) 4 for allowing a person to recognize.

【０００９】カメラ１Ｒ、１Ｌは、図２に示すように車
両１０の前部に、車両１０の横方向の中心軸に対してほ
ぼ対象な位置に配置されており、２つのカメラ１Ｒ、１
Ｌの光軸が互いに平行となり、両者の路面からの高さが
等しくなるように固定されている。赤外線カメラ１Ｒ、
１Ｌは、対象物の温度が高いほど、その出力信号レベル
が高くなる（輝度が増加する）特性を有している。As shown in FIG. 2, the cameras 1R and 1L are arranged in front of the vehicle 10 at positions substantially symmetrical with respect to the central axis of the vehicle 10 in the lateral direction.
The optical axes of L are fixed so that they are parallel to each other and their heights from the road surface are equal. Infrared camera 1R,
1L has the characteristic that the higher the temperature of the object, the higher the output signal level (the higher the luminance).

【００１０】画像処理ユニット２は、入力アナログ信号
をディジタル信号に変換するＡ／Ｄ変換回路、ディジタ
ル化した画像信号を記憶する画像メモリ、各種演算処理
を行うＣＰＵ（Central Processing Unit）、ＣＰＵが
演算途中のデータを記憶するために使用するＲＡＭ（Ra
ndom Access Memory）、ＣＰＵが実行するプログラムや
テーブル、マップなどを記憶するＲＯＭ（Read Only Me
mory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号な
どを出力する出力回路などを備えており、カメラ１Ｒ，
１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に
変換されて、ＣＰＵに入力されるように構成されてい
る。ＨＵＤ４は、図２に示すように、車両１０のフロン
トウインドウの、運転者の前方位置に画面４ａが表示さ
れるように設けられている。The image processing unit 2 includes an A / D conversion circuit for converting an input analog signal into a digital signal, an image memory for storing digitized image signals, a CPU (Central Processing Unit) for performing various types of arithmetic processing, and a CPU for performing arithmetic operations. RAM used to store intermediate data (Ra
ROM (Read Only Memory) for storing programs, tables, maps, etc., executed by the CPU.
mory), an output circuit for outputting a drive signal for the speaker 3, a display signal for the HUD 4, and the like.
1L and the output signals of the sensors 5 to 7 are converted into digital signals and input to the CPU. As shown in FIG. 2, the HUD 4 is provided such that a screen 4a is displayed at a position in front of the driver in a front window of the vehicle 10.

【００１１】図３は画像処理ユニット２における対象物
の位置検出処理の手順を示すフローチャートであり、先
ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メ
モリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。
画像メモリに格納される画像データは、輝度情報を含ん
だグレースケール画像のデータである。図５（ａ）
（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られ
るグレースケール画像（カメラ１Ｒにより右画像が得ら
れ、カメラ１Ｌにより左画像が得られる）を説明するた
めの図であり、ハッチングを付した領域は、中間階調
（グレー）の領域であり、太い実線で囲んだ領域が、輝
度レベルが高く（高温で）、画面上に白色として表示さ
れる対象物の領域（以下「高輝度領域」という）であ
る。右画像と左画像では、同一の対象物の画面上の水平
位置がずれて表示されるので、このずれ（視差）により
その対象物までの距離を算出することができる。FIG. 3 is a flowchart showing the procedure of the object position detection process in the image processing unit 2. First, the output signals of the cameras 1R and 1L are A / D converted and stored in the image memory (steps S11 and S12). , S13).
The image data stored in the image memory is grayscale image data including luminance information. FIG. 5 (a)
(B) is a diagram for explaining a grayscale image (a right image is obtained by the camera 1R and a left image is obtained by the camera 1L) obtained by the cameras 1R and 1L, respectively, and is a hatched area. Is a region of an intermediate gradation (gray), and a region surrounded by a thick solid line has a high luminance level (at a high temperature) and is a region of an object displayed as white on a screen (hereinafter, referred to as a “high luminance region”). ). In the right image and the left image, the horizontal position of the same object on the screen is shifted, so that the distance to the object can be calculated from the shift (parallax).

【００１２】図３のステップＳ１４では、右画像を基準
画像とし、その画像信号の２値化、すなわち、実験的に
決定される輝度閾値ＩＴＨより明るい領域を「１」
（白）とし、暗い領域を「０」（黒）とする処理を行
う。図６に図５（ａ）の画像を２値化した画像を示す。
この図は、ハッチングを付した領域が黒であり、太い実
線で囲まれた高輝度領域が白であることを示している。In step S14 of FIG. 3, the right image is used as a reference image, and the image signal is binarized, that is, an area brighter than an experimentally determined luminance threshold ITH is set to "1".
(White) and the dark area is set to “0” (black). FIG. 6 shows an image obtained by binarizing the image shown in FIG.
This figure shows that the hatched area is black, and the high-luminance area surrounded by the thick solid line is white.

【００１３】続くステップＳ１５では、２値化した画像
データをランレングスデータに変換する処理を行う。図
７（ａ）はこれを説明するための図であり、この図では
２値化により白となった領域を画素レベルでラインＬ１
〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれ
もｙ方向には１画素の幅を有しており、実際にはｙ方向
には隙間なく並んでいるが、説明のために離間して示し
ている。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ
２画素、２画素、３画素、８画素、７画素、８画素、８
画素、８画素の長さを有している。ランレングスデータ
は、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの
左端の点）の座標と、開始点から終了点（各ラインの右
端の点）までの長さ（画素数）とで示したものである。
例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）
及び（ｘ５，ｙ５）の３画素からなるので、ランレング
スデータとしては、（ｘ３，ｙ５，３）となる。In the following step S15, a process for converting the binarized image data into run-length data is performed. FIG. 7A is a diagram for explaining this. In FIG. 7A, an area whitened due to binarization is represented by a line L1 at a pixel level.
ＬL8. Each of the lines L1 to L8 has a width of one pixel in the y direction and is actually arranged without a gap in the y direction, but is shown apart for the sake of explanation. Lines L1 to L8 are respectively 2 pixels, 2 pixels, 3 pixels, 8 pixels, 7 pixels, 8 pixels, 8 pixels in the x direction.
Pixels have a length of 8 pixels. The run-length data indicates the lines L1 to L8 by using the coordinates of the start point of each line (the left end point of each line) and the length (the number of pixels) from the start point to the end point (the right end point of each line). It is shown.
For example, the line L3 is (x3, y5), (x4, y5)
And (x5, y5), the run-length data is (x3, y5, 3).

【００１４】ステップＳ１６、Ｓ１７では、図７（ｂ）
に示すように対象物のラベリングをすることにより、対
象物を抽出する処理を行う。すなわち、ランレングスデ
ータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部
分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、
ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレン
グスデータに対象物ラベル１，２を付加する。この処理
により、例えば図６に示す高輝度領域が、それぞれ対象
物１から４として把握されることになる。In steps S16 and S17, FIG.
A process of extracting the target object is performed by labeling the target object as shown in FIG. That is, among the lines L1 to L8 converted into run-length data, the lines L1 to L3 having a portion overlapping in the y direction are regarded as one object 1,
The lines L4 to L8 are regarded as one object 2, and object labels 1 and 2 are added to the run-length data. By this processing, for example, the high luminance areas shown in FIG.

【００１５】ステップＳ１８では図７（ｃ）に示すよう
に、抽出した対象物像の面積重心Ｇ、面積Ｓ及び破線で
示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積
Ｓは、ランレングスデータの長さを同一対象物について
積算することにより算出し、面積重心Ｇの座標は、面積
Ｓをｙ方向に沿って２等分する線のｘ座標及びｘ方向に
沿って２等分する線のｙ座標として算出し、縦横比ＡＰ
ＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄ
ｘとして算出する。なお、重心Ｇの位置は、外接四角形
の重心位置で代用してもよい。In step S18, as shown in FIG. 7C, the area gravity center G and area S of the extracted object image and the aspect ratio ASPECT of the circumscribed rectangle indicated by the broken line are calculated. The area S is calculated by integrating the length of the run-length data for the same object, and the coordinates of the area centroid G are calculated along the x-coordinate and the x-direction of a line that bisects the area S along the y-direction. Is calculated as the y-coordinate of the line bisected by
ECT is the ratio Dy / D between Dy and Dx shown in FIG.
x is calculated. The position of the center of gravity G may be replaced by the position of the center of gravity of a circumscribed rectangle.

【００１６】ステップＳ１９では、対象物の時刻間追
跡、すなわちサンプリング周期毎に同一対象物の認識を
行う。アナログ量としての時刻ｔをサンプリング周期で
離散化した時刻をｋとし、図８（ａ）に示すように時刻
ｋで対象物１，２を抽出した場合において、時刻（ｋ＋
１）で抽出した対象物３，４と、対象物１，２との同一
性判定を行う。具体的には、以下の同一性判定条件１）
〜３）を満たすときに、対象物１、２と対象物３、４と
は同一であると判定し、対象物３、４をそれぞれ１，２
というラベルに変更することにより、時刻間追跡が行わ
れる。In step S19, the object is tracked over time, that is, the same object is recognized in each sampling cycle. The time at which the time t as the analog quantity is discretized at the sampling period is k, and when the objects 1 and 2 are extracted at the time k as shown in FIG.
The identity of the objects 3 and 4 extracted in 1) and the objects 1 and 2 is determined. Specifically, the following identity determination conditions 1)
When 3) are satisfied, it is determined that the objects 1 and 2 are the same as the objects 3 and 4, and the objects 3 and 4 are respectively 1 and 2.
The time tracking is performed by changing the label to "."

【００１７】１）時刻ｋにおける対象物ｉ（＝１，２）
の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），
ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ
（＝３，４）の画像上での重心位置座標を、（ｘｊ（ｋ
＋１），ｙｊ（ｋ＋１））としたとき、 ｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜ΔｘＭ ｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜ΔｙＭ であること。ただし、ΔｘＭ、ΔｙＭは、それぞれｘ方
向及びｙ方向の画像上の変位量の許容値である。なお、
ｙ方向の許容値ΔｙＭは、車両１０のピッチングによる
画像上の変位量も考慮して設定されている。1) Object i at time k (= 1, 2)
The coordinates of the position of the center of gravity on the image of (xi (k),
yi (k)) and the object j at time (k + 1)
The coordinates of the position of the center of gravity of the image of (= 3, 4) are represented by (xj (k
+1), yj (k + 1)), | xj (k + 1) −xi (k) | <ΔxM | yj (k + 1) −yi (k) | <ΔyM. Here, ΔxM and ΔyM are allowable values of the amount of displacement on the image in the x direction and the y direction, respectively. In addition,
The allowable value ΔyM in the y direction is set in consideration of the amount of displacement on the image due to pitching of the vehicle 10.

【００１８】２）時刻ｋにおける対象物ｉ（＝１，２）
の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）に
おける対象物ｊ（＝３，４）の画像上での面積をＳｊ
（ｋ＋１）としたとき、 Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ であること。ただし、ΔＳは面積変化の許容値である。2) Object i at time k (= 1, 2)
Is the area on the image Si (k), and the area of the object j (= 3, 4) on the image at time (k + 1) is Sj
When (k + 1), Sj (k + 1) / Si (k) <1 ± ΔS. Here, ΔS is an allowable value of the area change.

【００１９】３）時刻ｋにおける対象物ｉ（＝１，２）
の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時
刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角
形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、 ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１
±ΔＡＳＰＥＣＴ であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許
容値である。3) Object i at time k (= 1, 2)
Let ASPECTi (k) denote the aspect ratio of the circumscribed rectangle of ASPECTj (k + 1), and let ASPECTj (k + 1) denote the aspect ratio of the circumscribed rectangle of the object j (= 3, 4) at time (k + 1). ) <1
± ΔASPECT. However, ΔASPECT is an allowable value of the change in the aspect ratio.

【００２０】図８（ａ）と（ｂ）とを対比すると、各対
象物は同図（ｂ）の方が画像上での大きさが大きくなっ
ているが、対象物１と３とが上記同一性判定条件を満た
し、対象物２と４とが上記同一性判定条件を満たすの
で、対象物３、４はそれぞれ対象物１、２と認識され
る。このようにして認識された各対象物の（重心の）位
置座標は、時系列位置データとしてメモリに格納され、
後の演算処理に使用される。図３のステップＳ２０で
は、図４に示すピッチング補正処理、すなわち車両１０
のピッチングにより画像上のオプティカルフローが発生
した場合に対象物の画像上の位置を補正する処理を実行
する。8 (a) and 8 (b), the size of each object on the image is larger in FIG. 8 (b), but the objects 1 and 3 The objects 3 and 4 are recognized as the objects 1 and 2, respectively, since the objects 2 and 4 satisfy the above-described conditions for the sameness. The position coordinates (of the center of gravity) of each object recognized in this way are stored in a memory as time-series position data,
It will be used for the subsequent arithmetic processing. In step S20 of FIG. 3, the pitching correction process shown in FIG.
When the optical flow on the image occurs due to the pitching, the processing of correcting the position of the object on the image is executed.

【００２１】図９は、抽出されている対象物数Ｎ＝３の
場合を例にとって、各対象物の画像上の変位ベクトルＶ
Ｍ１〜ＶＭ３，ピッチングにより発生したオプティカル
フローであるピッチングベクトルＶｐ及びピッチングが
なかったとした場合の各対象物の画像上の変位ベクトル
ＶＭ１ｐ〜ＶＭ３ｐの関係を示す図である。この図でＯ
ＢＪＯＬＤｉ及びＯＢＪＮＯＷｉは、それぞれ対象物ｉ
（＝１，２，３）の前回位置（１サンプル周期前の位
置）及び今回位置を示す。FIG. 9 shows a case where the number N of extracted objects is N = 3 as an example.
FIG. 7 is a diagram illustrating a relationship between M1 to VM3, a pitching vector Vp which is an optical flow generated by pitching, and displacement vectors VM1p to VM3p on an image of each object when pitching is not performed. O in this figure
BJOLDi and OBJNOWi are respectively the object i
(= 1, 2, 3) indicates the previous position (the position one sample cycle earlier) and the current position.

【００２２】図４のステップＳ４１では、下記式（１）
により、ピッチングにより発生する画像上のｙ方向変位
量（以下「ピッチングフロー」という）Δｙｐを算出す
る。In step S41 of FIG. 4, the following equation (1)
, The amount of displacement in the y-direction (hereinafter referred to as “pitching flow”) Δyp on the image caused by pitching is calculated.

【数１】 ここでｙｉＮＯＷ及びｙｉＯＬＤは、それぞれ今回の対
象物ｉ（ｉ＝１〜Ｎ）の重心のｙ座標及び前回（１サン
プル周期前）の対象物ｉの重心のｙ座標であり、Ｎは、
抽出されている対象物の数である。式（１）のピッチン
グフローΔｙｐは、下記式（２）で示される評価関数Ｅ
を最小とするｙ座標変位量Δｙとして算出されたもので
あり、Ｎ個の対象物の画像上での単位時間当たり（本実
施形態では１サンプル周期当たり）のｙ方向変位量の平
均値に相当する。自車両１０の走行または対象物の移動
に起因する画像上のｙ方向変位量（ピッチングがない場
合の対象物のｙ方向の変位量）は、ピッチングにより発
生する変位量に比べて微少であること、及びピッチング
により発生するオプティカルフロー（ピッチングベクト
ルＶｐ）は、画像上の位置に依存せず、すべての対象物
について一律に近似できることから、本実施形態では、
ピッチングフローΔｙｐを、式（２）の評価関数Ｅを最
小とするΔｙとして定義している。(Equation 1) Here, yiNOW and yiOLD are the y-coordinate of the center of gravity of the current object i (i = 1 to N) and the y-coordinate of the center of gravity of the previous object i (one sample cycle before), respectively, where N is
The number of objects being extracted. The pitching flow Δyp of the equation (1) is calculated by an evaluation function E expressed by the following equation (2).
Is calculated as the y coordinate displacement amount Δy that minimizes, and corresponds to the average value of the y direction displacement amounts per unit time (per one sample period in the present embodiment) on the images of N objects. I do. The amount of displacement in the y direction on the image (the amount of displacement of the object in the y direction when there is no pitching) due to the traveling of the vehicle 10 or the movement of the object is smaller than the amount of displacement caused by pitching. , And the optical flow (pitching vector Vp) generated by pitching can be uniformly approximated for all objects without depending on the position on the image.
The pitching flow Δyp is defined as Δy that minimizes the evaluation function E of Expression (2).

【数２】 (Equation 2)

【００２３】次いでピッチングフローΔｙｐの絶対値
が、所定閾値ΔｙＴＨより大きいか否かを判別し（ステ
ップＳ４２）、｜Δｙｐ｜＞ΔｙＴＨであるときは、車
両１０のピッチングが大きいと判定して、対象物ｉ（ｉ
＝１〜Ｎ）のｙ座標ｙｉＮＯＷにピッチングフローΔｙ
ｐを加算することにより、ピッチング補正を行う（ステ
ップＳ４３）。なお、所定閾値ΔｙＴＨは実験により適
切な値に設定する。Next, it is determined whether or not the absolute value of the pitching flow Δyp is greater than a predetermined threshold value ΔyTH (step S42). If | Δyp |> ΔyTH, it is determined that the pitching of the vehicle 10 is large, and Object i (i
= 1 to N) pitching flow Δy to y coordinate yiNOW
Pitch correction is performed by adding p (step S43). The predetermined threshold value ΔyTH is set to an appropriate value by an experiment.

【００２４】上記したように自車両１０または対象物の
移動に起因する画像上のｙ方向の変位（ピッチングがな
い場合の対象物のｙ方向の変位）は、ピッチングにより
発生する変位に比べて微少であるので、式（１）により
算出されたピッチングフローΔｙｐの絶対値が所定閾値
ΔｙＴＨを越えるような場合は、Δｙｐをすべてピッチ
ングによって発生した変位量とみなして、ｙ座標を補正
するようにしたものである。図９のＯＢＪＮＯＷｉｐ
（ｉ＝１，２，３）で示す位置が、各対象物の補正後の
位置に相当する。As described above, the displacement in the y direction on the image (the displacement in the y direction of the object when there is no pitching) due to the movement of the vehicle 10 or the object is smaller than the displacement caused by the pitching. Therefore, when the absolute value of the pitching flow Δyp calculated by the equation (1) exceeds a predetermined threshold value ΔyTH, Δyp is regarded as the displacement amount generated by pitching, and the y coordinate is corrected. Things. OBJNOWip of FIG.
The position indicated by (i = 1, 2, 3) corresponds to the corrected position of each object.

【００２５】一方ステップＳ４２で｜Δｙｐ｜≦ΔｙＴ
Ｈであるときは、ピッチングの影響は無視できると判定
して直ちにステップＳ４４に進み、ｙ座標の補正は行わ
ない。ステップＳ４４では、各対象物のｙ座標の今回値
ｙｉＮＯＷを前回値ｙｉＯＬＤとし、本処理を終了す
る。これにより、１サンプル周期後の処理では、今回の
処理における今回値が前回値として用いられる。On the other hand, in step S42, | Δyp | ≦ ΔyT
If it is H, it is determined that the effect of pitching can be ignored, and the process immediately proceeds to step S44, where the y coordinate is not corrected. In step S44, the current value yiNOW of the y coordinate of each object is set to the previous value yiOLD, and the process ends. Thereby, in the processing after one sample period, the current value in the current processing is used as the previous value.

【００２６】図４の処理によれば、カメラ１Ｒにより得
られる画像自体に基づいて自車両１０のピッチングによ
るｙ方向、すなわち高さ方向の変位量Δｙｐが算出さ
れ、これにより対象物のｙ座標が補正されるので、ピッ
チング補正を簡単な構成で実現することができ、その結
果以下に説明する実空間座標系における対象物の位置を
より正確に検出することが可能となる。なお以上説明し
た図３のステップＳ１４〜Ｓ２０の処理は、２値化した
基準画像（本実施形態では、右画像）ついて実行する。According to the processing of FIG. 4, the displacement Δyp in the y direction, that is, the height direction due to the pitching of the vehicle 10 is calculated based on the image itself obtained by the camera 1R, whereby the y coordinate of the object is calculated. Since the correction is performed, the pitching correction can be realized with a simple configuration, and as a result, the position of the object in the real space coordinate system described below can be detected more accurately. Note that the processing of steps S14 to S20 in FIG. 3 described above is executed for the binarized reference image (the right image in the present embodiment).

【００２７】図３のステップＳ３１では、図１０に示す
ように右画像に含まれる対象物像Ｒ１に対応する左画像
中の対象物像Ｒ２を求め、右画像のｘ方向の中心線ＬＣ
ＴＲと対象物像Ｒ１の重心との距離ｄＲ、及び左画像の
中心線ＬＣＴＲと対象物像Ｒ２の重心との距離ｄＬを算
出し、下記式（３）にこれらを適用して自車両１０から
その対象物までの距離ｚを算出する。ステップＳ３１
は、ステップＳ１９，Ｓ２０の処理に比べて長い時間を
要するので、ステップＳ１９，Ｓ２０より長い周期（例
えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周
期）で実行される。In step S31 of FIG. 3, an object image R2 in the left image corresponding to the object image R1 included in the right image is obtained as shown in FIG.
The distance dR between TR and the center of gravity of the object image R1 and the distance dL between the center line LCTR of the left image and the center of gravity of the object image R2 are calculated, and these are applied to the following equation (3) to calculate the distance from the host vehicle 10. The distance z to the object is calculated. Step S31
Takes a longer time than the processing in steps S19 and S20, and is therefore executed at a longer cycle than steps S19 and S20 (for example, about three times the execution cycle of steps S11 to S20).

【数３】 (Equation 3)

【００２８】ここで、Ｂは基線長、すなわち図１１に示
すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カ
メラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ
方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１
２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１
Ｌ内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量
である。またｆは、焦点距離Ｆと画素間隔ｐの比であ
る。Here, B is the base line length, that is, the horizontal direction (x) between the center position of the image sensor 11R of the camera 1R and the center position of the image sensor 11L of the camera 1L as shown in FIG.
Direction) (the distance between the optical axes of both cameras), F is the lens 1
The focal lengths of 2R and 12L and p are the image pickup devices 11R and 11R.
This is the pixel interval within L, and Δd (= dR + dL) is the amount of parallax. F is the ratio between the focal length F and the pixel interval p.

【００２９】ステップＳ２１では、画像内の座標（ｘ，
ｙ）及び式（３）により算出した距離ｚを下記式（４）
に適用し、実空間座標系における座標（Ｘ，Ｙ，Ｚ）に
変換する。ここで、実空間座標系Ｘ−Ｙ−Ｚは、図１２
（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置
の中点の位置（自車両１０に固定された位置）を原点Ｏ
として、図示のように定め、画像内の座標系は同図
（ｂ）に示すように、画像の中心を原点として水平方向
をｘ、垂直方向をｙと定めている。In step S21, the coordinates (x,
y) and the distance z calculated by the equation (3) are expressed by the following equation (4).
To convert to coordinates (X, Y, Z) in the real space coordinate system. Here, the real space coordinate system XYZ is shown in FIG.
As shown in (a), the position of the middle point of the mounting positions of the cameras 1R and 1L (the position fixed to the host vehicle 10) is the origin O
The coordinate system in the image is defined as x in the horizontal direction and y in the vertical direction with the center of the image as the origin, as shown in FIG.

【数４】 (Equation 4)

【００３０】ここで、（ｘｃ，ｙｃ）は、右画像上の座
標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間
原点Ｏとの相対位置関係基づいて、実空間原点Ｏと画像
の中心とを一致させた仮想的な画像内の座標に変換した
ものである。またｆは、焦点距離Ｆと画素間隔ｐとの比
である。Here, (xc, yc) represents the coordinates (x, y) on the right image, based on the relative positional relationship between the mounting position of the camera 1R and the real space origin O. Are converted into coordinates in a virtual image in which the center of the image is matched. F is a ratio between the focal length F and the pixel interval p.

【００３１】以上のように本実施形態では、自車両１０
のピッチングに起因するｙ方向、すなわち高さ方向の位
置ずれを示すピッチングフローΔｙｐを、カメラ１Ｒに
よって得られる画像データから算出し、対象物のｙ座標
を補正するようにしたので、自車両１０のピッチングの
影響を除いて正確な位置データを得ることができる。As described above, in the present embodiment, the vehicle 10
Is calculated from the image data obtained by the camera 1R to correct the y-coordinate of the target object. Accurate position data can be obtained excluding the effect of pitching.

【００３２】画像処理ユニット２は、図３の処理により
算出された対象物の実空間上の位置情報に基づいて、そ
の対象物と自車両１０との衝突の可能性を判定し、衝突
の可能性が高いときは、スピーカ３及びＨＵＤ４を介し
て運転者への警報を発する。The image processing unit 2 determines the possibility of collision between the subject and the host vehicle 10 based on the position information of the target in the real space calculated by the processing of FIG. When the driver has high performance, a warning is issued to the driver via the speaker 3 and the HUD 4.

【００３３】本実施形態では、画像処理ユニット２が位
置検出装置を構成し、より具体的には、図３のステップ
Ｓ１６〜Ｓ１９及び図４のステップＳ４１が補正量算出
手段に相当し、図４のステップＳ４２及びＳ４３が補正
手段に相当する。なお本発明は上述した実施形態に限る
ものではなく、種々の変形が可能である。例えば、上述
した実施形態では、抽出した対象物すべてのｙ座標の変
位量の平均値をピッチングフローΔｙｐとしたが、抽出
した対象物の一部（ただし少なくとも２以上の対象物と
する）のｙ座標の変位量からピッチングフローΔｙｐを
算出するようにしてもよい。In the present embodiment, the image processing unit 2 constitutes a position detecting device. More specifically, steps S16 to S19 in FIG. 3 and step S41 in FIG. 4 correspond to the correction amount calculating means. Steps S42 and S43 correspond to the correction means. The present invention is not limited to the embodiment described above, and various modifications are possible. For example, in the above-described embodiment, the average value of the displacement amounts of the y-coordinates of all the extracted objects is set as the pitching flow Δyp, but y of a part of the extracted objects (however, at least two or more objects) is used. The pitching flow Δyp may be calculated from the coordinate displacement.

【００３４】また、本実施形態では、撮像手段として赤
外線カメラを使用したが、例えば特開平９−２２６４９
０号公報に示されるように通常の可視光線のみ検出可能
なテレビカメラを使用してもよい。ただし、赤外線カメ
ラを用いることにより、動物等あるいは走行中の車両な
どの抽出処理を簡略化することができ、演算装置の演算
能力が比較的低いものでも実現できる。In this embodiment, an infrared camera is used as the image pickup means.
As shown in Japanese Patent Publication No. 0, a television camera capable of detecting only ordinary visible light may be used. However, the use of an infrared camera can simplify the process of extracting an animal or the like or a running vehicle or the like, and can realize even an arithmetic unit having a relatively low arithmetic capability.

【００３５】[0035]

【発明の効果】以上詳述したように本発明によれば、撮
像手段により得られた画像から複数の対象物が抽出さ
れ、該複数の対象物の高さ方向の位置変位量に応じてピ
ッチング補正量が算出され、前記複数の対象物の画像上
の位置が前記ピッチング補正量に応じて補正されるの
で、当該車両のピッチングによって画像内の高さ方向の
位置変位が発生した場合でも、車高センサなどを使用す
ることなく簡単な構成でその影響を除き、正確な位置検
出を行うことができる。As described above in detail, according to the present invention, a plurality of objects are extracted from an image obtained by the imaging means, and pitching is performed in accordance with the amount of positional displacement of the plurality of objects in the height direction. The correction amount is calculated, and the positions of the plurality of objects on the image are corrected in accordance with the pitching correction amount. Therefore, even when a position displacement in the height direction in the image occurs due to the pitching of the vehicle, the vehicle can be corrected. Accurate position detection can be performed with a simple configuration without using a high sensor or the like and removing its influence.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の一実施形態にかかる位置検出装置を含
む、車両の周辺監視装置の構成を示す図である。FIG. 1 is a diagram showing a configuration of a vehicle periphery monitoring device including a position detection device according to an embodiment of the present invention.

【図２】赤外線カメラの取り付け位置を説明するための
図である。FIG. 2 is a diagram for explaining a mounting position of an infrared camera.

【図３】対象物を抽出した位置検出を行う処理の手順を
示すフローチャートである。FIG. 3 is a flowchart illustrating a procedure of processing for detecting a position where an object is extracted.

【図４】図３のピッチング補正処理のフローチャートで
ある。FIG. 4 is a flowchart of a pitching correction process of FIG. 3;

【図５】赤外線カメラにより得られるグレースケール画
像を説明するために、中間階調部にハッチングを付して
示す図である。FIG. 5 is a diagram showing a gray scale image obtained by an infrared camera with hatching applied to a halftone portion;

【図６】グレースケール画像を２値化した画像を説明す
るために、黒の領域をハッチングを付して示す図であ
る。FIG. 6 is a diagram showing a black area with hatching to explain an image obtained by binarizing a grayscale image.

【図７】ランレングスデータへの変換処理及びラベリン
グを説明するための図である。FIG. 7 is a diagram for explaining a conversion process to run-length data and labeling.

【図８】対象物の時刻間追跡を説明するための図であ
る。FIG. 8 is a diagram for explaining time tracking of an object.

【図９】ピッチング補正を説明するための図である。FIG. 9 is a diagram for explaining pitching correction.

【図１０】視差の算出方法を説明するための図である。FIG. 10 is a diagram for explaining a method of calculating parallax.

【図１１】視差から距離を算出する手法を説明するため
の図である。FIG. 11 is a diagram for explaining a method of calculating a distance from parallax.

【図１２】本実施形態における座標系を示す図である。FIG. 12 is a diagram illustrating a coordinate system according to the present embodiment.

【符号の説明】[Explanation of symbols]

１Ｒ、１Ｌ 赤外線カメラ（撮像手段） ２ 画像処理ユニット（補正量算出手段、補正手段） 1R, 1L infrared camera (imaging means) 2 Image processing unit (correction amount calculating means, correcting means)

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 正人 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 (72)発明者 服部 弘 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 ──────────────────────────────────────────────────続 き Continuing from the front page (72) Inventor Masato Watanabe 1-4-1 Chuo, Wako-shi, Saitama Prefecture Inside Honda R & D Co., Ltd. (72) Inventor Hiroshi Hattori 1-4-1 Chuo, Wako-shi, Saitama Honda R & D Co., Ltd.

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】 車両に搭載された撮像手段により得られ
る画像に基づいて、対象物の実空間座標系における位置
を検出する位置検出装置において、 前記撮像手段により得られた画像から複数の対象物を抽
出し、該複数の対象物の高さ方向の位置変位量に応じて
ピッチング補正量を算出する補正量算出手段と、 前記複数の対象物の画像上の位置を前記ピッチング補正
量に応じて補正する補正手段とを備えること特徴とする
位置検出装置。1. A position detecting device for detecting a position of an object in a real space coordinate system based on an image obtained by an image pickup device mounted on a vehicle, wherein a plurality of objects are detected from the image obtained by the image pickup device. And a correction amount calculating means for calculating a pitching correction amount in accordance with a positional displacement amount in the height direction of the plurality of objects, and a position of the plurality of objects on the image in accordance with the pitching correction amount. A position detection device comprising: a correction unit configured to perform correction.