JP2002005626A - Position detector - Google Patents
Position detectorInfo
- Publication number
- JP2002005626A JP2002005626A JP2000192394A JP2000192394A JP2002005626A JP 2002005626 A JP2002005626 A JP 2002005626A JP 2000192394 A JP2000192394 A JP 2000192394A JP 2000192394 A JP2000192394 A JP 2000192394A JP 2002005626 A JP2002005626 A JP 2002005626A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinate system
- vehicle
- pitch angle
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、車両に搭載された
撮像装置により得られる画像に基づいて、対象物の位置
を検出する位置検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a position detecting device for detecting a position of an object based on an image obtained by an image pickup device mounted on a vehicle.
【０００２】[0002]
【従来の技術】車両に撮像装置を搭載し、その撮像装置
により得られる画像から対象物の位置を検出し、その対
象物と当該車両との衝突の可能性を判定する周辺監視装
置が従来より提案されている。このような装置では、撮
像装置を移動する車両に搭載しているため、車両のピッ
チングによって車両に固定された撮像装置によって得ら
れる画像に含まれる対象物像が上下方向に移動する。そ
の結果、２つの撮像装置により得られる対象物像から、
その対象物までの距離を算出し、該距離と画像内での位
置データとを用いて、該対象物の位置を検出する場合、
以下のような不具合が発生する。2. Description of the Related Art Conventionally, a peripheral monitoring device which mounts an image pickup device on a vehicle, detects a position of an object from an image obtained by the image pickup device, and determines a possibility of collision between the object and the vehicle has been conventionally used. Proposed. In such a device, since the imaging device is mounted on a moving vehicle, the target image included in the image obtained by the imaging device fixed to the vehicle due to the pitching of the vehicle moves in the vertical direction. As a result, from the object image obtained by the two imaging devices,
When calculating the distance to the object, using the distance and the position data in the image, to detect the position of the object,
The following problems occur.
【０００３】すなわち、撮像装置により得られる画像に
基づいて算出される対象物の位置データは、撮像装置の
光軸を基準とする座標系（以下「カメラ座標系」とい
う）における位置データであるが、車両のピッチングに
より、カメラ座標系と、車両の進行方向を基準とする実
空間座標系との間にずれが生じるため、カメラ座標系に
おける位置データをそのまま実空間座標系の位置データ
として採用すると、対象物の位置を誤って検出すること
になる。That is, position data of an object calculated based on an image obtained by an imaging device is position data in a coordinate system (hereinafter referred to as a “camera coordinate system”) based on the optical axis of the imaging device. Due to the pitching of the vehicle, a deviation occurs between the camera coordinate system and the real space coordinate system based on the traveling direction of the vehicle. Therefore, if position data in the camera coordinate system is directly used as position data in the real space coordinate system, However, the position of the target object is erroneously detected.
【０００４】例えば図１６において、車両のピッチング
により生じるピッチ角をθＰとし、Ｏ−Ｙ−Ｚを車両の
進行方向を基準とする実空間座標系とし、Ｏｃ−Ｙｃ−
Ｚｃをカメラ座標系とすると、点Ａの実空間座標系にお
ける位置座標（Ｙ，Ｚ）は、（０，ａ）であるのに対
し、カメラ座標系における位置座標（Ｙｃ，Ｚｃ）は、
（−ａ・ｓｉｎθＰ，ａ・ｃｏｓθＰ）となり、ピッチ
角θＰに応じたずれが発生する。For example, in FIG. 16, a pitch angle generated by pitching of a vehicle is represented by θP, OYZ is a real space coordinate system based on a traveling direction of the vehicle, and Oc-Yc-
Assuming that Zc is a camera coordinate system, the position coordinate (Y, Z) of the point A in the real space coordinate system is (0, a), whereas the position coordinate (Yc, Zc) in the camera coordinate system is
(−a · sin θP, a · cos θP), and a shift occurs according to the pitch angle θP.
【０００５】[0005]
【発明が解決しようとする課題】このような検出誤差を
無くすため、車両の路面からの高さ（車高）を検出する
車高センサを設け、このセンサにより検出される車高に
基づいてピッチ角を検出し、検出位置を補正することが
考えられるが、その場合には車高センサが必要となって
装置の構造が複雑化する。In order to eliminate such a detection error, a vehicle height sensor for detecting the height (vehicle height) of the vehicle from the road surface is provided, and the pitch based on the vehicle height detected by this sensor is provided. It is conceivable to detect the angle and correct the detection position, but in that case, a vehicle height sensor is required and the structure of the device becomes complicated.
【０００６】本発明はこの点に着目してなされたもので
あり、撮像装置により得られる画像に基づいて、車両の
ピッチングの影響を除く補正を行い、正確な位置検出を
行うことができる位置検出装置を提供することを目的と
する。The present invention has been made in view of this point, and a position detection method capable of performing a correction excluding the influence of the pitching of a vehicle based on an image obtained by an image pickup device and performing an accurate position detection. It is intended to provide a device.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するため
請求項１に記載の発明は、車両に搭載された２つの撮像
手段によって得られる画像に基づいて対象物の実空間座
標系における位置を検出する位置検出装置において、前
記撮像手段により得られる対象物像から、前記撮像手段
の光軸を基準とする撮像手段座標系における前記対象物
の時系列の位置データを算出する第１の位置データ算出
手段と、該時系列の位置データに基づいて前記対象物の
相対移動軌跡を近似する近似直線を算出する近似直線算
出手段と、該近似直線に基づいて前記撮像手段の光軸の
ピッチ角を算出するピッチ角算出手段と、前記撮像手段
座標系における前記対象物の位置データを、前記ピッチ
角に応じて補正することにより、前記実空間座標系にお
ける位置データを算出する第２の位置データ算出手段と
を備えることを特徴とする。According to a first aspect of the present invention, a position of an object in a real space coordinate system is determined based on images obtained by two image pickup means mounted on a vehicle. In a position detection device for detecting, first position data for calculating time-series position data of the object in an image pickup unit coordinate system with respect to an optical axis of the image pickup unit from an object image obtained by the image pickup unit. Calculating means, an approximate straight line calculating means for calculating an approximate straight line approximating the relative movement trajectory of the object based on the time-series position data, and a pitch angle of an optical axis of the imaging means based on the approximate straight line. By calculating the pitch angle calculating means and the position data of the object in the imaging means coordinate system according to the pitch angle, the position data in the real space coordinate system is calculated. Characterized in that it comprises a second position data calculation means for output.
【０００８】この構成によれば、撮像手段により得られ
る対象物の画像から、撮像手段の光軸を基準とする撮像
手段座標系における前記対象物の時系列の位置データが
算出され、該時系列の位置データに基づいて前記対象物
の相対移動軌跡を近似する近似直線が算出され、その近
似直線に基づいて撮像手段の光軸のピッチ角が算出され
る。そして、撮像手段座標系における対象物の位置デー
タをピッチ角に応じて補正することにより、実空間座標
系における位置データが算出される。したがって、車高
センサを用いることなく車両のピッチングの影響を除い
て正確な位置検出を行うことができる。[0008] According to this configuration, from the image of the object obtained by the imaging means, time-series position data of the object in the imaging means coordinate system based on the optical axis of the imaging means is calculated. An approximate straight line that approximates the relative movement trajectory of the object is calculated based on the position data, and the pitch angle of the optical axis of the imaging unit is calculated based on the approximate straight line. Then, the position data in the real space coordinate system is calculated by correcting the position data of the target object in the imaging means coordinate system according to the pitch angle. Therefore, accurate position detection can be performed without using the vehicle height sensor and excluding the influence of pitching of the vehicle.
【０００９】前記近似直線算出手段は、前記時系列の位
置データの平均位置座標を通り、各データ点からの距離
の２乗の平均値が最小となるような直線として、前記近
似直線を算出する。また前記ピッチ角算出手段は、撮像
手段座標系の座標軸が、前記車両のピッチングに伴って
回動したときに、その回動の中心となる座標軸（Ｘｃ
軸）に垂直な２つの座標軸（Ｙｃ軸及びＺｃ軸）を含む
平面に、前記近似直線を投影した直線と、前記撮像手段
の光軸に平行な座標軸（Ｚｃ軸）とのなす角として、前
記ピッチ角を算出する。The approximate straight line calculating means calculates the approximate straight line as a straight line passing through the average position coordinates of the time-series position data and minimizing the average value of the square of the distance from each data point. . When the coordinate axis of the image pickup means coordinate system is turned along with the pitching of the vehicle, the pitch angle calculation means sets the coordinate axis (Xc
The angle defined by a straight line obtained by projecting the approximate straight line on a plane including two coordinate axes (Yc axis and Zc axis) perpendicular to the axis) and a coordinate axis (Zc axis) parallel to the optical axis of the imaging unit is defined as Calculate the pitch angle.
【００１０】[0010]
【発明の実施の形態】以下本発明の実施の形態を図面を
参照して説明する。図１は本発明の一実施形態にかかる
位置検出装置を含む、車両の周辺監視装置の構成を示す
図であり、この装置は、遠赤外線を検出可能な２つの赤
外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出
するヨーレートセンサ５と、当該車両の走行速度（車
速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操
作量を検出するためのブレーキセンサ７と、これらのカ
メラ１Ｒ，１Ｌによって得られる画像データの基づいて
車両前方の動物等の対象物を検出し、衝突の可能性が高
い場合に警報を発する画像処理ユニット２と、音声で警
報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌ
によって得られる画像を表示するとともに、衝突の可能
性が高い対象物を運転者に認識させるためのヘッドアッ
プディスプレイ（以下「ＨＵＤ」という）４とを備えて
いる。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram showing a configuration of a vehicle periphery monitoring device including a position detection device according to an embodiment of the present invention. This device includes two infrared cameras 1R and 1L capable of detecting far infrared rays, and A yaw rate sensor 5 for detecting a yaw rate of the vehicle, a vehicle speed sensor 6 for detecting a traveling speed (vehicle speed) VCAR of the vehicle, a brake sensor 7 for detecting a brake operation amount, and cameras 1R and 1L. The image processing unit 2 detects an object such as an animal in front of the vehicle based on the obtained image data and issues an alarm when there is a high possibility of collision, a speaker 3 for issuing an alarm by voice, and the camera 1R or 1L.
And a head-up display (hereinafter, referred to as “HUD”) 4 for displaying an image obtained by the above-mentioned method and allowing the driver to recognize an object having a high possibility of collision.
【００１１】カメラ１Ｒ、１Ｌは、図２に示すように車
両１０の前部に、車両１０の横方向の中心軸に対してほ
ぼ対象な位置に離間して配置されており、２つのカメラ
１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面から
の高さが等しくなるように固定されている。赤外線カメ
ラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信
号レベルが高くなる（輝度が増加する）特性を有してい
る。As shown in FIG. 2, the cameras 1R and 1L are arranged in front of the vehicle 10 at positions substantially symmetrical with respect to the center axis of the vehicle 10 in the lateral direction. 1L are fixed such that their optical axes are parallel to each other and their heights from the road surface are equal. The infrared cameras 1R and 1L have a characteristic that the higher the temperature of the target, the higher the output signal level (the higher the luminance).
【００１２】画像処理ユニット２は、入力アナログ信号
をディジタル信号に変換するＡ／Ｄ変換回路、ディジタ
ル化した画像信号を記憶する画像メモリ、各種演算処理
を行うＣＰＵ（Central Processing Unit）、ＣＰＵが
演算途中のデータを記憶するために使用するＲＡＭ（Ra
ndom Access Memory）、ＣＰＵが実行するプログラムや
テーブル、マップなどを記憶するＲＯＭ（Read Only Me
mory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号な
どを出力する出力回路などを備えており、カメラ１Ｒ，
１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に
変換されて、ＣＰＵに入力されるように構成されてい
る。ＨＵＤ４は、図２に示すように、車両１０のフロン
トウインドウの、運転者の前方位置に画面４ａが表示さ
れるように設けられている。The image processing unit 2 includes an A / D conversion circuit for converting an input analog signal into a digital signal, an image memory for storing digitized image signals, a CPU (Central Processing Unit) for performing various types of arithmetic processing, and a CPU for performing arithmetic operations. RAM used to store intermediate data (Ra
ROM (Read Only Memory) for storing programs, tables, maps, etc., executed by the CPU.
mory), an output circuit for outputting a drive signal for the speaker 3, a display signal for the HUD 4, and the like.
1L and the output signals of the sensors 5 to 7 are converted into digital signals and input to the CPU. As shown in FIG. 2, the HUD 4 is provided such that a screen 4a is displayed at a position in front of the driver in a front window of the vehicle 10.
【００１３】図３は画像処理ユニット２における対象物
の位置検出処理の手順を示すフローチャートであり、こ
の処理は、所定時間毎に実行される。先ずカメラ１Ｒ、
１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する
（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格
納される画像は、輝度情報を含んだグレースケール画像
である。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，
１Ｌによって得られるグレースケール画像（カメラ１Ｒ
により右画像が得られ、カメラ１Ｌにより左画像が得ら
れる）を説明するための図であり、ハッチングを付した
領域は、中間階調（グレー）の領域であり、太い実線で
囲んだ領域が、輝度レベルが高く（高温で）、画面上に
白色として表示される対象物の領域（以下「高輝度領
域」という）である。右画像と左画像では、同一の対象
物の画面上の水平位置がずれて表示されるので、このず
れ（視差）によりその対象物までの距離を算出すること
ができる。FIG. 3 is a flow chart showing the procedure of the object position detection processing in the image processing unit 2, and this processing is executed at predetermined time intervals. First, camera 1R,
The 1L output signal is A / D converted and stored in the image memory (steps S11, S12, S13). The image stored in the image memory is a gray scale image including luminance information. FIGS. 5A and 5B respectively show the camera 1R,
1L (camera 1R)
To obtain a right image and a camera 1L to obtain a left image). The hatched area is an area of intermediate gradation (gray), and the area surrounded by a thick solid line is , An area of the object having a high luminance level (at a high temperature) and displayed on the screen as white (hereinafter, referred to as a “high luminance area”). In the right image and the left image, the horizontal position of the same object on the screen is shifted, so that the distance to the object can be calculated from the shift (parallax).
【００１４】図３のステップＳ１４では、右画像を基準
画像とし、その画像信号の２値化、すなわち、実験的に
決定される輝度閾値ＩＴＨより明るい領域を「１」
（白）とし、暗い領域を「０」（黒）とする処理を行
う。図６に図５（ａ）の画像を２値化した画像を示す。
この図は、ハッチングを付した領域が黒であり、太い実
線で囲まれた高輝度領域が白であることを示している。In step S14 of FIG. 3, the right image is used as a reference image, and the image signal is binarized, that is, an area brighter than a luminance threshold ITH determined experimentally is set to "1".
(White) and the dark area is set to “0” (black). FIG. 6 shows an image obtained by binarizing the image shown in FIG.
This figure shows that the hatched area is black, and the high-luminance area surrounded by the thick solid line is white.
【００１５】続くステップＳ１５では、２値化した画像
データをランレングスデータに変換する処理を行う。図
７（ａ）はこれを説明するための図であり、この図では
２値化により白となった領域を画素レベルでラインＬ１
〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれ
もｙ方向には１画素の幅を有しており、実際にはｙ方向
には隙間なく並んでいるが、説明のために離間して示し
ている。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ
２画素、２画素、３画素、８画素、７画素、８画素、８
画素、８画素の長さを有している。ランレングスデータ
は、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの
左端の点）の座標と、開始点から終了点（各ラインの右
端の点）までの長さ（画素数）とで示したものである。
例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）
及び（ｘ５，ｙ５）の３画素からなるので、ランレング
スデータとしては、（ｘ３，ｙ５，３）となる。In the following step S15, a process for converting the binarized image data into run-length data is performed. FIG. 7A is a diagram for explaining this. In FIG. 7A, an area whitened due to binarization is represented by a line L1 at a pixel level.
ＬL8. Each of the lines L1 to L8 has a width of one pixel in the y direction and is actually arranged without a gap in the y direction, but is shown apart for the sake of explanation. Lines L1 to L8 are respectively 2 pixels, 2 pixels, 3 pixels, 8 pixels, 7 pixels, 8 pixels, 8 pixels in the x direction.
Pixels have a length of 8 pixels. The run-length data indicates the lines L1 to L8 by using the coordinates of the start point of each line (the left end point of each line) and the length (the number of pixels) from the start point to the end point (the right end point of each line). It is shown.
For example, the line L3 is (x3, y5), (x4, y5)
And (x5, y5), the run-length data is (x3, y5, 3).
【００１６】ステップＳ１６、Ｓ１７では、図７（ｂ）
に示すように対象物のラベリングをすることにより、対
象物を抽出する処理を行う。すなわち、ランレングスデ
ータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部
分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、
ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレン
グスデータに対象物ラベル１，２を付加する。この処理
により、例えば図６に示す高輝度領域が、それぞれ対象
物１から４として把握されることになる。In steps S16 and S17, FIG.
A process of extracting the target object is performed by labeling the target object as shown in FIG. That is, among the lines L1 to L8 converted into run-length data, the lines L1 to L3 having a portion overlapping in the y direction are regarded as one object 1,
The lines L4 to L8 are regarded as one object 2, and object labels 1 and 2 are added to the run-length data. By this processing, for example, the high luminance areas shown in FIG.
【００１７】ステップＳ１８では図７（ｃ）に示すよう
に、抽出した対象物の面積重心Ｇ、面積Ｓ及び破線で示
す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓ
は、ランレングスデータの長さを同一対象物について積
算することにより算出し、面積重心Ｇの座標は、面積Ｓ
をｘ方向に２等分する線のｘ座標及びｙ方向に２等分す
る線のｙ座標として算出し、縦横比ＡＰＥＣＴは、図７
（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出す
る。なお、面積重心Ｇの位置は、外接四角形の重心位置
で代用してもよい。In step S18, as shown in FIG. 7C, the area gravity center G, the area S, and the aspect ratio ASPECT of the circumscribed rectangle indicated by the broken line are calculated. Area S
Is calculated by integrating the length of the run-length data for the same object, and the coordinates of the area centroid G are
Is calculated as the x coordinate of a line bisecting in the x direction and the y coordinate of a line bisecting in the y direction, and the aspect ratio APECT is calculated as shown in FIG.
It is calculated as the ratio Dy / Dx between Dy and Dx shown in (c). The position of the area center of gravity G may be replaced by the position of the center of gravity of a circumscribed rectangle.
【００１８】ステップＳ１９では、対象物の時刻間追
跡、すなわちサンプリング周期毎に同一対象物の認識を
行う。アナログ量としての時刻ｔをサンプリング周期で
離散化した時刻をｋとし、図８（ａ）に示すように時刻
ｋで対象物１，２を抽出した場合において、時刻（ｋ＋
１）で抽出した対象物３，４と、対象物１，２との同一
性判定を行う。具体的には、以下の同一性判定条件１）
〜３）を満たすときに、対象物１、２と対象物３、４と
は同一であると判定し、対象物３、４をそれぞれ１，２
というラベルに変更することにより、時刻間追跡が行わ
れる。In step S19, tracking of the object between times, that is, recognition of the same object at each sampling period is performed. The time at which the time t as the analog quantity is discretized at the sampling period is k, and when the objects 1 and 2 are extracted at the time k as shown in FIG.
The identity of the objects 3 and 4 extracted in 1) and the objects 1 and 2 is determined. Specifically, the following identity determination conditions 1)
When 3) are satisfied, it is determined that the objects 1 and 2 are the same as the objects 3 and 4, and the objects 3 and 4 are respectively 1 and 2.
The time tracking is performed by changing the label to "."
【００１９】１）時刻ｋにおける対象物ｉ（＝１，２）
の画像上での面積重心位置座標を、それぞれ（ｘｉ
（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対
象物ｊ（＝３，４）の画像上での面積重心位置座標を、
（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、 ｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜ΔｘＭ ｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜ΔｙＭ であること。ただし、ΔｘＭ、ΔｙＭは、それぞれｘ方
向及びｙ方向の画像上の変位量の許容値である。1) Object i at time k (= 1, 2)
The coordinates of the area centroid position on the image of (xi)
(K), yi (k)), and the area barycenter position coordinates on the image of the object j (= 3, 4) at time (k + 1)
When (xj (k + 1), yj (k + 1)), | xj (k + 1) −xi (k) | <ΔxM | yj (k + 1) −yi (k) | <ΔyM. Here, ΔxM and ΔyM are allowable values of the amount of displacement on the image in the x direction and the y direction, respectively.
【００２０】２）時刻ｋにおける対象物ｉ（＝１，２）
の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）に
おける対象物ｊ（＝３，４）の画像上での面積をＳｊ
（ｋ＋１）としたとき、 Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ であること。ただし、ΔＳは面積変化の許容値である。2) Object i at time k (= 1, 2)
Is the area on the image Si (k), and the area of the object j (= 3, 4) on the image at time (k + 1) is Sj
When (k + 1), Sj (k + 1) / Si (k) <1 ± ΔS. Here, ΔS is an allowable value of the area change.
【００２１】３）時刻ｋにおける対象物ｉ（＝１，２）
の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時
刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角
形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、 ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１
±ΔＡＳＰＥＣＴ であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許
容値である。3) Object i at time k (= 1, 2)
Let ASPECTi (k) denote the aspect ratio of the circumscribed rectangle of ASPECTj (k + 1), and let ASPECTj (k + 1) denote the aspect ratio of the circumscribed rectangle of the object j (= 3, 4) at time (k + 1). ) <1
± ΔASPECT. However, ΔASPECT is an allowable value of the change in the aspect ratio.
【００２２】図８（ａ）と（ｂ）とを対比すると、各対
象物は同図（ｂ）の方が画像上での大きさが大きくなっ
ているが、対象物１と３とが上記同一性判定条件を満た
し、対象物２と４とが上記同一性判定条件を満たすの
で、対象物３、４はそれぞれ対象物１、２と認識され
る。このようにして認識された各対象物の（面積重心
の）位置座標は、時系列位置データとしてメモリに格納
され、後の演算処理に使用される。なお以上説明した図
３のステップＳ１４〜Ｓ１９の処理は、２値化した基準
画像（本実施形態では、右画像）ついて実行する。8 (a) and 8 (b), each object has a larger size on the image in FIG. 8 (b), but the objects 1 and 3 have The objects 3 and 4 are recognized as the objects 1 and 2, respectively, since the objects 2 and 4 satisfy the above-described conditions for the sameness. The position coordinates (of the area barycenter) of each object recognized in this way are stored in the memory as time-series position data, and are used in subsequent arithmetic processing. Note that the processing of steps S14 to S19 in FIG. 3 described above is executed for the binarized reference image (the right image in the present embodiment).
【００２３】図３のステップＳ３１では、先ず図９に示
すように右画像（基準画像）に含まれる対象物像ＯＢＪ
Ｒ１に対応する左画像（探索画像）中の対象物像ＣＯＢ
ＪＬ１を求める。次いで、対象物像ＯＢＪＲ１の面積重
心位置と、画像左端との距離ｄＲ（画素数）及び対応対
象物像ＣＯＢＪＬ１の面積重心位置と画像左端との距離
ｄＬ（画素数）を算出し、下記式（１）に適用して、車
両１０と、対象物との距離ｚを算出する。ステップＳ３
１は、ステップＳ１９の処理に比べて長い時間を要する
ので、ステップＳ１９より長い周期（例えばステップＳ
１１〜Ｓ１９の実行周期の３倍程度の周期）で実行され
る。In step S31 of FIG. 3, first, as shown in FIG. 9, the object image OBJ included in the right image (reference image) is displayed.
Object image COB in the left image (search image) corresponding to R1
Find JL1. Next, a distance dR (number of pixels) between the area centroid position of the object image OBJR1 and the left end of the image and a distance dL (number of pixels) between the area centroid position of the corresponding target object image COBJL1 and the image left end are calculated. Applying to 1), the distance z between the vehicle 10 and the object is calculated. Step S3
1 requires a longer time than the processing in step S19, and therefore has a longer cycle than step S19 (eg, step S19).
(The cycle is about three times the execution cycle of S11 to S19).
【数１】 (Equation 1)
【００２４】ここで、Ｂは基線長、すなわち図１０に示
すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カ
メラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ
方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１
２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１
Ｌ内の画素間隔であり、Δｄ（＝ｄＬ−ｄＲ）が視差で
ある。Here, B is the base line length, that is, the horizontal direction (x) between the center position of the image sensor 11R of the camera 1R and the center position of the image sensor 11L of the camera 1L as shown in FIG.
Direction) (the distance between the optical axes of both cameras), F is the lens 1
The focal lengths of 2R and 12L and p are the image pickup devices 11R and 11R.
This is the pixel interval within L, and Δd (= dL−dR) is the parallax.
【００２５】ステップＳ２０では、図４に示す実空間位
置算出処理を実行する。この処理では、先ず画像内の対
象物像の座標（ｘ、ｙ）及び距離ｚから、カメラの光軸
を基準とするカメラ座標系（撮像手段座標系）における
対象物の座標（Ｘｃ，Ｙｃ，Ｚｃ）を算出し、これを車
両進行方向を基準とする実空間座標系における座標
（Ｘ，Ｙ，Ｚ）に変換する処理を行う。In step S20, a real space position calculation process shown in FIG. 4 is executed. In this processing, first, the coordinates (Xc, Yc, Yc, Yc, Yc, Yc, Yc) of the object in the camera coordinate system (imaging unit coordinate system) based on the optical axis of the camera are obtained from the coordinates (x, y) and distance z of the object image in the image. Zc) is calculated and converted into coordinates (X, Y, Z) in the real space coordinate system based on the vehicle traveling direction.
【００２６】カメラ座標系における座標（Ｘｃ，Ｙｃ，
Ｚｃ）は、画像内の座標（ｘ，ｙ）及び式（１）により
算出した距離ｚを下記式（２）に適用して算出する。こ
こで、カメラ座標系は、図１１（ａ）に示すように、カ
メラ１Ｒ、１Ｌの取り付け位置の中点の位置（車両１０
に固定された位置）を原点Ｏｃとし、この原点Ｏｃを通
り、カメラ１Ｒの光軸に平行な軸をＺｃ軸として、図示
のように定め、画像内の座標は同図（ｂ）に示すよう
に、画像の中心を原点として水平方向をｘ、垂直方向を
ｙと定めている。The coordinates (Xc, Yc,
Zc) is calculated by applying the coordinates (x, y) in the image and the distance z calculated by Expression (1) to Expression (2) below. Here, the camera coordinate system is, as shown in FIG. 11A, the position of the midpoint of the mounting position of the cameras 1R and 1L (the vehicle 10R).
Is fixed as the origin Oc, and an axis passing through the origin Oc and parallel to the optical axis of the camera 1R is defined as the Zc axis as shown in the figure, and the coordinates in the image are as shown in FIG. The horizontal direction is defined as x and the vertical direction is defined as y with the center of the image as the origin.
【数２】 (Equation 2)
【００２７】式（２）において、（ｘｃ，ｙｃ）は、右
画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置
と、原点Ｏｃとの相対位置関係基づいて、原点Ｏｃと画
像の中心とを一致させた仮想的な画像内の座標に変換し
たものである。またｆは、焦点距離Ｆと画素間隔ｐとの
比である。In the equation (2), (xc, yc) represents the coordinates (x, y) on the right image with the origin Oc and the image based on the relative positional relationship between the mounting position of the camera 1R and the origin Oc. This is converted into coordinates in a virtual image in which the center is matched. F is a ratio between the focal length F and the pixel interval p.
【００２８】カメラ座標系は、車両１０のピッチングに
より、Ｘｃ軸を中心として回動するので、ピッチングの
影響を受けない座標系として、車両１０の進行方向を基
準とした実空間座標系Ｏ−Ｘ−Ｙ−Ｚを定義する。実空
間座標系は、車両のピッチングがない状態では、図１１
（ｃ）に示すようにカメラ座標系Ｏｃ−Ｘｃ−Ｙｃ−Ｚ
ｃと一致するが、例えばカメラの光軸が下方向に回動
（回転移動）したときは、Ｙ軸及びＺ軸は、同図（ｄ）
に示すように、Ｙｃ軸及びＺｃ軸とずれる。Since the camera coordinate system rotates about the Xc axis due to the pitching of the vehicle 10, the real space coordinate system OX based on the traveling direction of the vehicle 10 is used as a coordinate system which is not affected by the pitching. Define -YZ. The real space coordinate system is shown in FIG.
As shown in (c), the camera coordinate system Oc-Xc-Yc-Z
c, for example, when the optical axis of the camera rotates downward (rotates), the Y-axis and the Z-axis are
As shown in (1), they deviate from the Yc axis and the Zc axis.
【００２９】図１２は、図１１（ｄ）に示すような状態
を、Ｘ軸方向からみた図である。すなわち図１２は、Ｘ
軸（Ｘｃ軸）の正方向が、紙面の裏から表に向かう方向
となるように示されている。この図において、ＰＬは画
像面であり、Ｚｃ＝Ｆの平面として示される。画像上で
座標ｑ＝（ｘ０ｃ，ｙ０ｃ）に位置する対象物像につい
て距離ｚ０が算出されると、式（２）により、カメラ座
標系における対象物の位置座標Ｑ＝（Ｘ０ｃ，Ｙ０ｃ，
Ｚ０ｃ）が算出される。この座標Ｑに対応する実空間座
標系における位置座標Ｐを（Ｘ０，Ｙ０，Ｚ０）とする
と、座標ＰとＱの関係は、下記式（３）で与えられる。FIG. 12 is a diagram showing the state shown in FIG. 11D as viewed from the X-axis direction. That is, FIG.
The positive direction of the axis (Xc axis) is shown to be a direction from the back of the paper to the front. In this figure, PL is an image plane, which is shown as a plane of Zc = F. When the distance z0 is calculated for the object image located at the coordinates q = (x0c, y0c) on the image, the position coordinates Q of the object in the camera coordinate system Q = (X0c, Y0c,
Z0c) is calculated. Assuming that the position coordinate P in the real space coordinate system corresponding to the coordinate Q is (X0, Y0, Z0), the relationship between the coordinates P and Q is given by the following equation (3).
【数３】 ここで、θＰは、カメラの光軸（Ｚｃ軸）と車両１０の
進行方向（Ｚ軸）とのなすピッチ角である。ピッチ角θ
Ｐは、図１２に示すようにＺｃ軸がＺ軸に対して下方向
に回動したときを正とし、逆に上方向に回動したときを
負とする。(Equation 3) Here, θP is a pitch angle between the optical axis of the camera (Zc axis) and the traveling direction of the vehicle 10 (Z axis). Pitch angle θ
P is positive when the Zc axis rotates downward with respect to the Z axis as shown in FIG. 12, and negative when the Zc axis rotates upward with respect to the Z axis.
【００３０】したがって、カメラ座標系における座標Ｑ
を、式（３）を用いて実空間座標系における座標Ｐに変
換するためには、ピッチ角θＰを求める必要がある。そ
こで、次にピッチ角θＰの算出方法を説明する。車両１
０が静止対象物に対して直進している状態において、車
両１０から観測される静止対象物の時系列の位置座標
は、図１３にＱ（Ｎ−１），Ｑ（Ｎ−２），…，Ｑ
（１），Ｑ（０）として示すように、実空間座標系のＺ
軸からの距離がαで、且つＺ軸に平行な直線ＬＱ上に並
ぶ。ここで、Ｑ（ｊ）（ｊ＝０〜Ｎ−１）は、ｊサンプ
ル期間前の位置座標であり、Ｑ（０）が最新の位置座標
である。この直線ＬＱをカメラ座標系で観測すると、傾
きを持った直線として認識され、この直線ＬＱとＺｃ軸
とのなす角がピッチ角θＰと等しい。なお、直線ＬＱ
は、３次元空間上では、Ｚｃ軸と交わるとは限らないの
で、ピッチ角θＰは、より正確には直線ＬＱをＹｃＺｃ
平面への投影した直線と、Ｚｃ軸とのなす角として、算
出することができる。Therefore, the coordinates Q in the camera coordinate system
Is converted to the coordinate P in the real space coordinate system using Expression (3), it is necessary to obtain the pitch angle θP. Therefore, a method of calculating the pitch angle θP will be described next. Vehicle 1
In the state where 0 is traveling straight ahead with respect to the stationary object, the time-series position coordinates of the stationary object observed from the vehicle 10 are Q (N−1), Q (N−2),. , Q
As shown as (1) and Q (0), Z in the real space coordinate system
They are arranged on a straight line LQ whose distance from the axis is α and which is parallel to the Z axis. Here, Q (j) (j = 0 to N−1) is the position coordinate before j sample periods, and Q (0) is the latest position coordinate. When this straight line LQ is observed in the camera coordinate system, it is recognized as a straight line having an inclination, and the angle between this straight line LQ and the Zc axis is equal to the pitch angle θP. Note that the straight line LQ
Does not necessarily intersect with the Zc axis in the three-dimensional space, so the pitch angle θP is more accurately calculated by connecting the straight line LQ to YcZc
It can be calculated as the angle between the straight line projected on the plane and the Zc axis.
【００３１】実際に走行する車両１０から静止対象物の
位置を検出すると、得られる位置データは、図１３に示
すようにきれいに直線ＬＱ上に並ぶことはなく、直線Ｌ
Ｑの近傍に分布するようなデータが得られる。したがっ
て、本実施形態では、以下に説明する手法で、検出位置
データから静止対象物の相対移動軌跡を近似する近似直
線ＬＭＶ（直線ＬＱとして推定される線）を算出し、そ
の近似直線ＬＭＶをＹｃＺｃ平面に投影した直線と、Ｚ
ｃ軸とのなす角として、ピッチ角θＰを算出する。When the position of the stationary object is detected from the vehicle 10 actually traveling, the obtained position data does not line up on the straight line LQ as shown in FIG.
Data that is distributed near Q is obtained. Therefore, in the present embodiment, an approximate straight line LMV (a line estimated as a straight line LQ) that approximates the relative movement locus of the stationary object is calculated from the detected position data by the method described below, and the approximate straight line LMV is calculated as YcZc. A straight line projected on a plane and Z
The pitch angle θP is calculated as the angle formed with the c-axis.
【００３２】図１４に示すように同一対象物について、
（Ｎ−１）サンプル期間内に得られた、カメラ座標系に
おけるＮ個の位置データ（例えばＮ＝１０程度）、すな
わち時系列データＱ（Ｎ−１），Ｑ（Ｎ−２），…，Ｑ
（１），Ｑ（０）から、対象物と車両１０との相対移動
軌跡に対応する近似直線ＬＭＶを求める。具体的には、
近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（Ｌｘ，
Ｌｙ，Ｌｚ）（｜Ｌ｜＝１）とすると、下記式（４）で
表される直線を求める。As shown in FIG. 14, for the same object,
(N-1) N position data (for example, about N = 10) in the camera coordinate system obtained in the sample period, that is, time-series data Q (N-1), Q (N-2),. Q
From (1) and Q (0), an approximate straight line LMV corresponding to the relative movement locus between the object and the vehicle 10 is obtained. In particular,
A direction vector L indicating the direction of the approximate straight line LMV, L = (Lx,
(Ly, Lz) (| L | = 1), a straight line represented by the following equation (4) is obtained.
【数４】 (Equation 4)
【００３３】ここでｕは、任意の値をとる媒介変数であ
り、Ｘａｖ，Ｙａｖ及びＺａｖは、それぞれカメラ座標
系における位置データ列のＸｃ座標の平均値、Ｙｃ座標
の平均値及びＺｃ座標の平均値である。なお、式（４）
は媒介変数ｕを消去すれば下記式（４ａ）のようにな
る。 （Ｘｃ−Ｘａｖ）／Ｌｘ＝（Ｙｃ−Ｙａｖ）／Ｌｙ ＝（Ｚｃ−Ｚａｖ）／Ｌｚ （４ａ）Here, u is a parameter that takes an arbitrary value, and Xav, Yav and Zav are the average value of the Xc coordinate, the average value of the Yc coordinate, and the average of the Zc coordinate of the position data sequence in the camera coordinate system, respectively. Value. Equation (4)
Becomes as shown in the following equation (4a) if the parameter u is eliminated. (Xc-Xav) / Lx = (Yc-Yav) / Ly = (Zc-Zav) / Lz (4a)
【００３４】近似直線ＬＭＶは、図１４に示す時系列デ
ータの平均位置座標Ｑａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａ
ｖ））を通り、各データ点からの距離の２乗の平均値が
最小となるような直線として求められる。より具体的に
は、平均位置座標Ｑａｖから各データ点の座標Ｑ（０）
〜Ｑ（Ｎ−１）に向かうベクトルＤ（ｊ）＝（ＤＸ
（ｊ），ＤＹ（ｊ），ＤＺ（ｊ））＝（Ｘｃ（ｊ）−Ｘ
ａｖ，Ｙｃ（ｊ）−Ｙａｖ，Ｚｃ（ｊ）−Ｚａｖ）と、
方向ベクトルＬとの内積ｓを下記式（５）により算出
し、この内積ｓの分散が最大となる方向ベクトルＬ＝
（Ｌｘ，Ｌｙ，Ｌｚ）を求める。 ｓ＝Ｌｘ・ＤＸ（ｊ）＋Ｌｙ・ＤＹ（ｊ）＋Ｌｚ・ＤＺ（ｊ） （５）The approximate straight line LMV is represented by the average position coordinates Qav (= (Xav, Yav, Za) of the time-series data shown in FIG.
v)) is obtained as a straight line that minimizes the average value of the square of the distance from each data point. More specifically, the coordinates Q (0) of each data point are calculated from the average position coordinates Qav.
To the vector D (j) = (DX)
(J), DY (j), DZ (j)) = (Xc (j) -X
av, Yc (j) -Yav, Zc (j) -Zav);
The inner product s with the direction vector L is calculated by the following equation (5), and the direction vector L =
(Lx, Ly, Lz) is obtained. s = Lx.DX (j) + Ly.DY (j) + Lz.DZ (j) (5)
【００３５】各データ点の座標の分散共分散行列Ｖは、
下記式（６）で表され、この行列の固有値σが内積ｓの
分散に相当するので、この行列から算出される３つの固
有値のうち最大の固有値に対応する固有ベクトルが求め
る方向ベクトルＬとなる。なお、式（６）の行列から固
有値と固有ベクトルを算出するには、ヤコビ法（例えば
「数値計算ハンドブック」（オーム社）に示されてい
る）として知られている手法を用いる。The variance-covariance matrix V of the coordinates of each data point is
Since the eigenvalue σ of the matrix corresponds to the variance of the inner product s, the directional vector L corresponding to the largest eigenvalue among the three eigenvalues calculated from the matrix becomes the directional vector L to be obtained. In order to calculate the eigenvalue and the eigenvector from the matrix of Expression (6), a method known as the Jacobi method (for example, shown in “Numerical Calculation Handbook” (Ohm)) is used.
【数５】 このようにして、方向ベクトルＬが求まると、ピッチ角
θＰは、下記式（７）で与えられる。(Equation 5) When the direction vector L is obtained in this way, the pitch angle θP is given by the following equation (7).
【数６】 (Equation 6)
【００３６】以上説明した処理が図４の処理で実行され
る。すなわち、ステップＳ４１では、画像上の位置座標
（ｘｃ，ｙｃ）及び距離ｚを式（２）にて適用して、カ
メラ座標系における位置座標（Ｘｃ，Ｙｃ，Ｚｃ）を算
出する。次いで同一対象物についての位置座標データの
数がＮ個以上となったか否かを判別し（ステップＳ４
２）、データ数が不足しているときは、ステップＳ４３
〜Ｓ４５を実行することなく処理を終了する。The processing described above is executed by the processing of FIG. That is, in step S41, the position coordinates (Xc, Yc, Zc) in the camera coordinate system are calculated by applying the position coordinates (xc, yc) and the distance z on the image by Expression (2). Next, it is determined whether or not the number of position coordinate data for the same object is N or more (step S4).
2) If the number of data is insufficient, step S43
The processing is terminated without executing S45.
【００３７】データ数がＮ個となると、上述した手法に
より近似直線ＬＭＶを算出し（ステップＳ４３）、式
（７）により、ピッチ角θＰを算出する（ステップＳ４
４）。次いで、カメラ座標系における位置座標データ
（Ｘｃ，Ｙｃ，Ｚｃ）及びピッチ角θＰを式（３）に適
用して、すなわちカメラ座標系における位置座標データ
をピッチ角θＰに応じて補正することにより、実空間座
標系における位置座標データ（Ｘ，Ｙ，Ｚ）を算出して
（ステップＳ４５）、本処理を終了する。When the number of data reaches N, the approximate straight line LMV is calculated by the above-described method (step S43), and the pitch angle θP is calculated by equation (7) (step S4).
4). Next, the position coordinate data (Xc, Yc, Zc) and the pitch angle θP in the camera coordinate system are applied to Expression (3), that is, the position coordinate data in the camera coordinate system is corrected according to the pitch angle θP. The position coordinate data (X, Y, Z) in the real space coordinate system is calculated (step S45), and the process ends.
【００３８】なお、上述したピッチ角算出方法は、対象
物が静止していることを前提として説明したが、実際に
は対象物の実空間座標系におけるＹ座標、すなわち高さ
方向の位置が変化しなければよいので、Ｘ方向やＺ方向
への動きがある対象物であっても、ピッチ角θＰを算出
することができる。通常は、高さ方向に移動する対象物
はほとんどないので、静止対象物であるか否かの判定を
行わなくても、十分な精度のピッチ角θＰを算出するこ
とできる。ただし、少なくとＮ個のデータを取得する期
間中はピッチ角θＰがほぼ一定であることを前提として
いるので、例えば加速度または減速度がほぼ一定の加速
状態または減速状態、あるいは車両に搭載された荷物な
どに起因する車両の傾きがあり場合に、ほぼ一定速度で
走行している状態などにおいて、正確なピッチ角θＰを
得ることができ、対象物の正確な位置検出を行うことが
できる。Although the above-described pitch angle calculation method has been described on the assumption that the object is stationary, actually, the Y coordinate of the object in the real space coordinate system, that is, the position in the height direction changes. The pitch angle θP can be calculated even for an object that moves in the X direction or the Z direction. Normally, almost no object moves in the height direction, so that it is possible to calculate the pitch angle θP with sufficient accuracy without determining whether the object is a stationary object. However, since it is assumed that the pitch angle θP is substantially constant during a period in which at least N pieces of data are obtained, for example, the acceleration or deceleration is substantially constant, or the vehicle is mounted on a vehicle. When the vehicle is tilted due to luggage or the like, an accurate pitch angle θP can be obtained in a state where the vehicle is traveling at a substantially constant speed, and an accurate position detection of an object can be performed.
【００３９】図１５は、ほぼ一定の加速度で加速中の車
両から観測した時系列位置データを示し、時系列データ
ＤＰ１が、ピッチ角θＰによる補正を行う前のデータで
あり、時系列データＤＰ２がピッチ角補正後のデータで
ある。このように、加速中はピッチ角補正を行わない
と、対象物の高さを誤検出してしまうが、上述したピッ
チ角θＰに応じた補正、すなわち座標変換を行うことに
より、対象物の正確な位置を検出することができる。FIG. 15 shows time-series position data observed from a vehicle that is accelerating at a substantially constant acceleration. Time-series data DP1 is data before correction based on the pitch angle θP, and time-series data DP2 is This is data after pitch angle correction. As described above, if the pitch angle correction is not performed during acceleration, the height of the target object is erroneously detected. However, by performing the correction according to the pitch angle θP described above, that is, by performing coordinate conversion, the accuracy of the target object Position can be detected.
【００４０】画像処理ユニット２は、図３の処理により
算出された対象物の実空間上の位置情報に基づいて、そ
の対象物と車両１０との衝突の可能性を判定し、衝突の
可能性が高いときは、スピーカ３及びＨＵＤ４を介して
運転者への警報を発する。本実施形態では、画像処理ユ
ニット２が位置検出装置を構成し、より具体的には、図
４のステップＳ４１、Ｓ４３、Ｓ４４及びＳ４５が、そ
れぞれ第１の位置データ算出手段、近似直線算出手段、
ピッチ角算出手段及び第２の位置データ算出手段に相当
する。The image processing unit 2 determines the possibility of collision between the object and the vehicle 10 based on the position information of the object in the real space calculated by the processing of FIG. Is high, a warning is issued to the driver via the speaker 3 and the HUD 4. In the present embodiment, the image processing unit 2 constitutes a position detection device, and more specifically, steps S41, S43, S44, and S45 in FIG. 4 respectively include first position data calculation means, approximate straight line calculation means,
It corresponds to a pitch angle calculating means and a second position data calculating means.
【００４１】なお本発明は上述した実施形態に限るもの
ではなく、種々の変形が可能である。例えば、上述した
実施形態では、撮像手段として赤外線カメラを使用した
が、例えば特開平９−２２６４９０号公報に示されるよ
うに通常の可視光線のみ検出可能なテレビカメラを使用
してもよい。ただし、赤外線カメラを用いることによ
り、動物等あるいは走行中の車両などの抽出処理を簡略
化することができ、演算装置の演算能力が比較的低いも
のでも実現できる。The present invention is not limited to the embodiment described above, and various modifications are possible. For example, in the above-described embodiment, an infrared camera is used as an imaging unit. However, for example, a television camera that can detect only ordinary visible light may be used as shown in Japanese Patent Application Laid-Open No. 9-226490. However, the use of an infrared camera can simplify the process of extracting an animal or the like or a running vehicle or the like, and can realize even an arithmetic unit having a relatively low arithmetic capability.
【００４２】[0042]
【発明の効果】以上詳述したように本発明によれば、撮
像手段により得られる対象物の画像から、撮像手段の光
軸を基準とする撮像手段座標系における前記対象物の時
系列の位置データが算出され、該時系列の位置データに
基づいて前記静止対象物の相対移動軌跡を近似する近似
直線が算出され、その近似直線に基づいて撮像手段の光
軸のピッチ角が算出される。そして、撮像手段座標系に
おける対象物の位置データをピッチ角に応じて補正する
ことにより、実空間座標系における位置データが算出さ
れる。したがって、車高センサを用いることなく車両の
ピッチングの影響を除いて正確な位置検出を行うことが
できる。As described above in detail, according to the present invention, a time-series position of the object in the image pickup device coordinate system with respect to the optical axis of the image pickup device is obtained from the image of the object obtained by the image pickup device. Data is calculated, an approximate straight line approximating the relative movement trajectory of the stationary object is calculated based on the time-series position data, and the pitch angle of the optical axis of the imaging unit is calculated based on the approximate straight line. Then, the position data in the real space coordinate system is calculated by correcting the position data of the target object in the imaging means coordinate system according to the pitch angle. Therefore, accurate position detection can be performed without using the vehicle height sensor and excluding the influence of pitching of the vehicle.
【図１】本発明の一実施形態にかかる位置検出装置を含
む、車両の周辺監視装置の構成を示す図である。FIG. 1 is a diagram showing a configuration of a vehicle periphery monitoring device including a position detection device according to an embodiment of the present invention.
【図２】赤外線カメラの取り付け位置を説明するための
図である。FIG. 2 is a diagram for explaining a mounting position of an infrared camera.
【図３】対象物を抽出した位置検出を行う処理の手順を
示すフローチャートである。FIG. 3 is a flowchart illustrating a procedure of processing for detecting a position where an object is extracted.
【図４】図３の実空間位置算出処理のフローチャートで
ある。FIG. 4 is a flowchart of a real space position calculation process of FIG. 3;
【図５】赤外線カメラにより得られるグレースケール画
像を説明するために、中間階調部にハッチングを付して
示す図である。FIG. 5 is a diagram showing a gray scale image obtained by an infrared camera with hatching applied to a halftone portion;
【図６】グレースケール画像を２値化した画像を説明す
るために、黒の領域をハッチングを付して示す図であ
る。FIG. 6 is a diagram showing a black area with hatching to explain an image obtained by binarizing a grayscale image.
【図７】ランレングスデータへの変換処理及びラベリン
グを説明するための図である。FIG. 7 is a diagram for explaining a conversion process to run-length data and labeling.
【図８】対象物の時刻間追跡を説明するための図であ
る。FIG. 8 is a diagram for explaining time tracking of an object.
【図９】視差の算出方法を説明するための図である。FIG. 9 is a diagram for explaining a method of calculating parallax.
【図１０】視差から距離を算出する手法を説明するため
の図である。FIG. 10 is a diagram for explaining a method of calculating a distance from parallax.
【図１１】本実施形態における座標系を示す図である。FIG. 11 is a diagram illustrating a coordinate system according to the present embodiment.
【図１２】ピッチングが発生した場合のカメラ座標系
と、実空間座標系との関係を示す図である。FIG. 12 is a diagram illustrating a relationship between a camera coordinate system and a real space coordinate system when pitching has occurred.
【図１３】ピッチ角の算出方法を説明するための図であ
る。FIG. 13 is a diagram for explaining a method of calculating a pitch angle.
【図１４】近似直線の算出方法を説明するための図であ
る。FIG. 14 is a diagram for explaining a method of calculating an approximate straight line.
【図１５】実測位置データ及び補正後の位置データを示
す図である。FIG. 15 is a diagram showing measured position data and corrected position data.
【図１６】車両のピッチングにより発生する問題点を説
明するための図である。FIG. 16 is a diagram illustrating a problem that occurs due to pitching of the vehicle.
１Ｒ、１Ｌ 赤外線カメラ（撮像手段） ２ 画像処理ユニット（第１の位置データ算出手段、近
似直線算出手段、ピッチ角算出手段、第２の位置データ
算出手段）1R, 1L infrared camera (imaging means) 2 Image processing unit (first position data calculating means, approximate straight line calculating means, pitch angle calculating means, second position data calculating means)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ３１５ Ｇ０６Ｔ 1/00 ３１５ ５Ｌ０９６ ３３０ ３３０Ｚ 7/60 １５０ 7/60 １５０Ｂ Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ // Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｃ (72)発明者 服部 弘 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 (72)発明者 渡辺 正人 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 Ｆターム(参考） 2F065 AA03 AA06 AA17 BB15 CC16 DD11 EE00 FF05 FF26 GG09 GG21 JJ03 JJ05 JJ26 MM06 QQ04 QQ18 QQ24 SS02 SS09 UU02 UU05 2F112 AC06 BA06 BA09 CA05 FA03 FA08 FA21 FA45 FA50 5B057 AA06 AA16 BA02 BA29 CD01 CE09 CF10 DA07 DC04 DC06 DC08 DC09 DC30 5C054 AA01 CA04 CC02 CH01 EA01 EA05 FC12 FC13 FC15 HA00 HA30 5H180 AA01 CC02 CC04 CC24 LL01 LL07 LL08 5L096 AA06 BA02 BA04 CA05 EA22 EA35 FA18 FA59 FA60 FA66 FA67 FA69 GA34 GA36 HA04──────────────────────────────────────────────────続 き Continuation of the front page (51) Int.Cl. 7 Identification symbol FI Theme coat 参考 (Reference) G06T 1/00 315 G06T 1/00 315 5L096 330 330Z 7/60 150 7/60 150B G08G 1/16 G08G 1 / 16 C // H04N 7/18 H04N 7/18 C (72) Inventor Hiroshi Hattori 1-4-1 Chuo, Wako-shi, Saitama Pref. In Honda R & D Co., Ltd. (72) Inventor Masato Watanabe Wako-shi, Saitama 1-4-1 Chuo F-term in Honda R & D Co., Ltd. (Reference) 2F065 AA03 AA06 AA17 BB15 CC16 DD11 EE00 FF05 FF26 GG09 GG21 JJ03 JJ05 JJ26 MM06 QQ04 QQ18 QQ24 SS02 SS09 UU02 UU05 FA05 FA06 FA06 FA06 FA45 FA50 5B057 AA06 AA16 BA02 BA29 CD01 CE09 CF10 DA07 DC04 DC06 DC08 DC09 DC30 5C054 AA01 CA04 CC02 CH01 EA01 EA05 FC12 FC13 FC15 HA00 HA30 5H180 AA01 CC02 CC04 CC24 LL01 LL07 LL08 5L096 AA06 BA02 BA04 CA05 EA22 EA35 FA18 FA59 FA60 FA66 FA67 FA69 GA34 GA36 HA04
Claims (1)
て得られる画像に基づいて対象物の実空間座標系におけ
る位置を検出する位置検出装置において、 前記撮像手段により得られる対象物像から、前記撮像手
段の光軸を基準とする撮像手段座標系における前記対象
物の時系列の位置データを算出する第１の位置データ算
出手段と、 該時系列の位置データに基づいて前記対象物の相対移動
軌跡を近似する近似直線を算出する近似直線算出手段
と、 該近似直線に基づいて前記撮像手段の光軸のピッチ角を
算出するピッチ角算出手段と、 前記撮像手段座標系における前記対象物の位置データ
を、前記ピッチ角に応じて補正することにより、前記実
空間座標系における位置データを算出する第２の位置デ
ータ算出手段とを備えることを特徴とする位置検出装
置。1. A position detecting device for detecting a position of a target object in a real space coordinate system based on images obtained by two image pickup units mounted on a vehicle, comprising: First position data calculating means for calculating time-series position data of the object in the image-taking means coordinate system based on the optical axis of the image-taking means; and relative movement of the object based on the time-series position data. Approximation line calculation means for calculating an approximation straight line approximating a trajectory; pitch angle calculation means for calculating a pitch angle of the optical axis of the imaging means based on the approximation line; and a position of the object in the imaging means coordinate system. A second position data calculating unit that calculates position data in the real space coordinate system by correcting data according to the pitch angle.置検 detection device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000192394A JP3808287B2 (en) | 2000-06-27 | 2000-06-27 | Position detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000192394A JP3808287B2 (en) | 2000-06-27 | 2000-06-27 | Position detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002005626A true JP2002005626A (en) | 2002-01-09 |
| JP3808287B2 JP3808287B2 (en) | 2006-08-09 |
Family
ID=18691532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000192394A Expired - Fee Related JP3808287B2 (en) | 2000-06-27 | 2000-06-27 | Position detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3808287B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003237509A (en) * | 2002-02-13 | 2003-08-27 | Nissan Motor Co Ltd | Outside acknowledging device for vehicle |
| JP2007087203A (en) * | 2005-09-22 | 2007-04-05 | Sumitomo Electric Ind Ltd | Collision determination system, collision determination method, and computer program |
| US7567688B2 (en) | 2004-11-30 | 2009-07-28 | Honda Motor Co., Ltd. | Apparatus for and method of extracting image |
| US7590263B2 (en) | 2004-11-30 | 2009-09-15 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| US7599521B2 (en) | 2004-11-30 | 2009-10-06 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| US7616806B2 (en) | 2004-11-30 | 2009-11-10 | Honda Motor Co., Ltd. | Position detecting apparatus and method of correcting data therein |
| US7620237B2 (en) | 2004-11-30 | 2009-11-17 | Honda Motor Co., Ltd. | Position detecting apparatus and method of correcting data therein |
| JP2012026992A (en) * | 2010-07-28 | 2012-02-09 | Honda Motor Co Ltd | Estimation device of vehicle pitch angle |
| JP2014038401A (en) * | 2012-08-13 | 2014-02-27 | Honda Motor Co Ltd | Vehicle periphery monitoring device |
| WO2015151681A1 (en) * | 2014-03-31 | 2015-10-08 | 日立オートモティブシステムズ株式会社 | Vehicle orientation detection device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09161060A (en) * | 1995-12-12 | 1997-06-20 | Mitsubishi Electric Corp | Peripheray monitoring device for vehicle |
| JPH1040499A (en) * | 1996-07-24 | 1998-02-13 | Honda Motor Co Ltd | Outside recognizing device for vehicle |
| JPH10132939A (en) * | 1996-11-01 | 1998-05-22 | Mitsubishi Motors Corp | Forward recognizing device of vehicle |
| JPH11337310A (en) * | 1998-05-22 | 1999-12-10 | Mitsubishi Electric Corp | Device for detecting position for vehicle |
| JP2001066361A (en) * | 1999-08-30 | 2001-03-16 | Denso Corp | Calculating device and correcting device for center axis deflection quantity of obstacle detecting device for vehicle, and neutral learning device and inter-vehicle interval controller |
-
2000
- 2000-06-27 JP JP2000192394A patent/JP3808287B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09161060A (en) * | 1995-12-12 | 1997-06-20 | Mitsubishi Electric Corp | Peripheray monitoring device for vehicle |
| JPH1040499A (en) * | 1996-07-24 | 1998-02-13 | Honda Motor Co Ltd | Outside recognizing device for vehicle |
| JPH10132939A (en) * | 1996-11-01 | 1998-05-22 | Mitsubishi Motors Corp | Forward recognizing device of vehicle |
| JPH11337310A (en) * | 1998-05-22 | 1999-12-10 | Mitsubishi Electric Corp | Device for detecting position for vehicle |
| JP2001066361A (en) * | 1999-08-30 | 2001-03-16 | Denso Corp | Calculating device and correcting device for center axis deflection quantity of obstacle detecting device for vehicle, and neutral learning device and inter-vehicle interval controller |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003237509A (en) * | 2002-02-13 | 2003-08-27 | Nissan Motor Co Ltd | Outside acknowledging device for vehicle |
| US7567688B2 (en) | 2004-11-30 | 2009-07-28 | Honda Motor Co., Ltd. | Apparatus for and method of extracting image |
| US7590263B2 (en) | 2004-11-30 | 2009-09-15 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| US7599521B2 (en) | 2004-11-30 | 2009-10-06 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| US7616806B2 (en) | 2004-11-30 | 2009-11-10 | Honda Motor Co., Ltd. | Position detecting apparatus and method of correcting data therein |
| US7620237B2 (en) | 2004-11-30 | 2009-11-17 | Honda Motor Co., Ltd. | Position detecting apparatus and method of correcting data therein |
| JP2007087203A (en) * | 2005-09-22 | 2007-04-05 | Sumitomo Electric Ind Ltd | Collision determination system, collision determination method, and computer program |
| JP2012026992A (en) * | 2010-07-28 | 2012-02-09 | Honda Motor Co Ltd | Estimation device of vehicle pitch angle |
| JP2014038401A (en) * | 2012-08-13 | 2014-02-27 | Honda Motor Co Ltd | Vehicle periphery monitoring device |
| WO2015151681A1 (en) * | 2014-03-31 | 2015-10-08 | 日立オートモティブシステムズ株式会社 | Vehicle orientation detection device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3808287B2 (en) | 2006-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3515926B2 (en) | Vehicle periphery monitoring device | |
| JP4615139B2 (en) | Vehicle periphery monitoring device | |
| US8144195B2 (en) | Vehicle zone monitoring apparatus | |
| US7158664B2 (en) | Image recognition apparatus | |
| US6531959B1 (en) | Position detecting device | |
| JP3764086B2 (en) | Vehicle information providing device | |
| JP5706874B2 (en) | Vehicle periphery monitoring device | |
| JP4173902B2 (en) | Vehicle periphery monitoring device | |
| JP2001169310A (en) | Distance detector | |
| JP2001023091A (en) | Picture display device for vehicle | |
| JP2002005626A (en) | Position detector | |
| JP3910345B2 (en) | Position detection device | |
| JP2004126905A (en) | Image processor | |
| JP2009075124A (en) | Distance detector | |
| JP3919975B2 (en) | Vehicle periphery monitoring device | |
| JP3897956B2 (en) | Position detection device | |
| JP3949628B2 (en) | Vehicle periphery monitoring device | |
| JP4176558B2 (en) | Vehicle periphery display device | |
| JP4567072B2 (en) | Vehicle periphery monitoring device | |
| JP4943403B2 (en) | Vehicle periphery monitoring device | |
| US7545955B2 (en) | Vehicle surroundings monitoring apparatus | |
| JP4040657B2 (en) | Moving object detection device | |
| JP3859429B2 (en) | Moving object detection device | |
| JP2001147117A (en) | Distance detecting device | |
| JPH117534A (en) | Road white line detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050830 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060517 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090526 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140526 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |