JP3296055B2 - Distance detection device using in-vehicle camera - Google Patents
Distance detection device using in-vehicle cameraInfo
- Publication number
- JP3296055B2 JP3296055B2 JP27029593A JP27029593A JP3296055B2 JP 3296055 B2 JP3296055 B2 JP 3296055B2 JP 27029593 A JP27029593 A JP 27029593A JP 27029593 A JP27029593 A JP 27029593A JP 3296055 B2 JP3296055 B2 JP 3296055B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- image
- distance
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of Optical Distance (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は車載カメラを用いた距離
検出装置に関し、特に、ステレオ視カメラではなく1つ
のカメラで捕えた画像を画像処理することにより画像上
のポイントの車両からの実際の距離を検出する場合に、
車両のピッチング等により路面に対して変化するカメラ
の高さ及び角度を、車高センサや傾斜センサ等の外部セ
ンサを用いることなく補正して検出することにより、距
離検出の精度向上を図ったものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a distance detecting apparatus using an on-vehicle camera, and more particularly, to processing an image captured by a single camera, not a stereoscopic camera, so that a point on the image is actually detected from a vehicle. When detecting distance,
The accuracy of distance detection is improved by correcting and detecting the height and angle of the camera, which changes with respect to the road surface due to the pitching of the vehicle, without using external sensors such as a vehicle height sensor and tilt sensor. It is.
【0002】[0002]
【従来の技術】自動車の運転操作を軽減するために、定
速走行装置が実用化され、また車間距離制御装置が開発
されている。2. Description of the Related Art In order to reduce the driving operation of an automobile, a constant-speed traveling device has been put to practical use, and an inter-vehicle distance control device has been developed.
【0003】「定速走行装置」は、「オートマチック・
スピード・コントロール」や「クルーズ・コントロー
ル」とも称ばれている。この装置を備えた自動車では、
セットスイッチを押すと、アクセルペダルから足を離し
ても、設定した車速を維持して走行を行う。設定車速は
コントロールスイッチの操作により変更することができ
る。運転者がブレーキを踏んだり、クラッチを踏んだ
り、ギヤシフトをするなどの操作をすると、この機能が
キャンセルされるようになっている。[0003] The "constant speed traveling device"
It is also called "speed control" or "cruise control." In vehicles equipped with this device,
When the set switch is pressed, the vehicle keeps running at the set vehicle speed even when the accelerator pedal is released. The set vehicle speed can be changed by operating the control switch. This function is canceled when the driver steps on the brake, depresses the clutch, shifts the gear, or the like.
【0004】上述した定速走行装置を利用したときの安
全性を確保するため、次のような機能を付加したものも
ある。即ち先行車との距離を、車載カメラでとらえた画
像を画像処理して検出したり、レーザレーダ等で検出し
ておき、先行車に異常接近したときには、警報を発して
運転者に注意を促したり、ギヤシフト段を4速(オーバ
ードライブ)から3速へシフトダウンしてエンジンブレ
ーキを作動させるオーバドライブオフにより減速したり
する。[0004] In order to ensure safety when the above-mentioned constant-speed traveling device is used, some devices have the following additional functions. That is, the distance from the preceding vehicle is detected by processing the image captured by the on-board camera or detected by a laser radar, etc., and when approaching the preceding vehicle abnormally, a warning is issued to alert the driver to attention. Alternatively, the gear shift stage is downshifted from fourth speed (overdrive) to third speed, and the speed is reduced by overdrive-off for operating the engine brake.
【0005】一方「車間距離制御装置」を備えた自動車
では、セットスイッチを押すと、そのときの自車の車速
から目標車間距離を演算し、また先行車との車間距離を
検出し、先行車との車間距離が目標車間距離となるよう
にエンジン出力やブレーキの制御をして、先行車を追尾
して走行する。この場合、先行車との車間距離の検出
は、車載カメラでとらえた画像を画像処理して求めた
り、レーザレーダ等により求める。On the other hand, in an automobile equipped with an "inter-vehicle distance control device", when a set switch is pressed, a target inter-vehicle distance is calculated from the vehicle speed of the own vehicle at that time, and the inter-vehicle distance with the preceding vehicle is detected. It controls the engine output and the brake so that the inter-vehicle distance between the vehicle and the vehicle becomes the target inter-vehicle distance, and tracks the preceding vehicle to travel. In this case, the distance between the vehicle and the preceding vehicle is detected by performing image processing on an image captured by an on-vehicle camera, or by using a laser radar or the like.
【0006】車載カメラを用いた距離検出方法には、ス
テレオ視カメラ法と、単一カメラ法とが知られている。As a distance detection method using a vehicle-mounted camera, a stereo vision camera method and a single camera method are known.
【0007】ステレオ視カメラ法では、次のようにして
距離検出が行われる。図6に示すようにステレオ視カメ
ラ1は2つのカメラ例えばCCDカメラ2,3を横方向
に間隔Lをおいてボディー4内に配置したものであり、
車両に水平に取り付けられる。これら左右のカメラ2,
3からは、図7(a),(b)に示すように2つの画像
が得られる。そして右側の画像中のウインドウ5で囲ん
だ自動車画像6Rと同じ画像6Lが、左側の画像中に少
し横方向にずれた位置に存在する。そこで、ウインドウ
5で囲んだ右側の自動車画像6Rを、左側の画像のサー
チ範囲7内で1画素づつシフトしながら、最も整合する
画の位置を求める。このとき、図8に示すように左右各
カメラ2,3の焦点距離をf、左右カメラ2,3の光軸
間の距離をLとし、CCDの画素ピッチをP、左右の自
動車画像が整合するまでにシフトした画素数をnとする
と、先行する自動車までの距離(車間距離)Rは、三角
測量の原理により、次式(1)で計算できる。In the stereoscopic camera method, distance detection is performed as follows. As shown in FIG. 6, the stereoscopic camera 1 has two cameras, for example, CCD cameras 2 and 3 arranged in a body 4 at an interval L in the horizontal direction.
Mounted horizontally on the vehicle. These left and right cameras 2,
From FIG. 3, two images are obtained as shown in FIGS. 7 (a) and 7 (b). Then, the same image 6L as the car image 6R surrounded by the window 5 in the right image exists at a position slightly shifted in the horizontal direction in the left image. Thus, the position of the most matching image is determined while shifting the right-side car image 6R surrounded by the window 5 by one pixel within the search range 7 of the left-side image. At this time, as shown in FIG. 8, the focal length of each of the left and right cameras 2 and 3 is f, the distance between the optical axes of the left and right cameras 2 and 3 is L, the pixel pitch of the CCD is P, and the left and right vehicle images match. Assuming that the number of pixels shifted up to is n, the distance (inter-vehicle distance) R to the preceding vehicle can be calculated by the following equation (1) based on the principle of triangulation.
【数1】 R=(f・L)/(n・P) ・・・式(1)R = (f · L) / (n · P) Equation (1)
【0008】しかし、ステレオ視カメラは高価であり、
またシステム構成が複雑でありコスト高になる。[0008] However, stereo vision cameras are expensive,
Further, the system configuration is complicated and the cost increases.
【0009】これに対し、単一カメラ法では、次のよう
にして距離検出が行われる。図9に示すように、1つの
カメラ例えばCCDカメラ8が路面9に対して高さH、
角度θで車両10に設置される。このCCDカメラ8か
らは、図10に示すように1つの画像が得られる。そこ
で、画像座標系を図10の如くi−j直交座標系(i座
標は横方向の位置、jは縦方向の位置)とし、自動車画
像6のj座標値をβ、カメラ8の焦点距離をfとする
と、先行する自動車までの実際の距離Yは、次式(2)
で計算できる。On the other hand, in the single camera method, distance detection is performed as follows. As shown in FIG. 9, one camera, for example, a CCD camera 8 has a height H with respect to the road surface 9,
Installed on the vehicle 10 at an angle θ. One image is obtained from the CCD camera 8 as shown in FIG. Therefore, the image coordinate system is an ij orthogonal coordinate system (i-coordinate is a horizontal position, j is a vertical position) as shown in FIG. 10, the j-coordinate value of the car image 6 is β, and the focal length of the camera 8 is Assuming that f, the actual distance Y to the preceding vehicle is given by the following equation (2).
Can be calculated by
【数2】 Y=H(β・tan θ+f)/(f・tan θ−β) ・・・式(2)Y = H (β · tan θ + f) / (f · tan θ−β) Expression (2)
【0010】上述した単一カメラ法は、カメラを1つし
か必要とせず、ステレオ視カメラ法に比べて安価であ
り、システム構成も簡単である。しかし、CCDカメラ
8の高さH及び角度θを固定値にして式(2)の演算が
行われていた。そのため、車両10の車高や姿勢がピッ
チング等により変化した場合、路面9に対するCCDカ
メラ8の実際の高さH及び角度θが変化するため、距離
検出に誤差が生じる。The single camera method described above requires only one camera, is less expensive than the stereoscopic camera method, and has a simple system configuration. However, the calculation of Expression (2) has been performed with the height H and the angle θ of the CCD camera 8 fixed. Therefore, when the vehicle height or attitude of the vehicle 10 changes due to pitching or the like, the actual height H and the angle θ of the CCD camera 8 with respect to the road surface 9 change, and an error occurs in distance detection.
【0011】このCCDカメラ8の路面9に対する高さ
H及び角度θの変化による影響を除去する方法として、
特開平1−273746号、特開平3−118611号
等により開示された技術が知られている。As a method of removing the influence of the change of the height H and the angle θ of the CCD camera 8 on the road surface 9,
The techniques disclosed in Japanese Patent Application Laid-Open Nos. 1-273746 and 3-118611 are known.
【0012】特開平1−273746号では、Gセンサ
等を用いた傾斜センサにより車両のピッチ角を検出し、
検出結果に応じてカメラの電子シャッタの作動タイミン
グを補正することにより、車両が傾斜していない状態の
画像を得る。しかし、傾斜センサが必要となる分、コス
ト高になる。特開平3−118611号では、ジャイロ
等を用いた傾斜センサにより車両のピッチ角を検出し、
ピッチ角をラスタ数に変換して画像取り込み開始のラス
タ位置を変更することにより、車両のピッチングをキャ
ンセルした画像を得る。しかし、この場合も傾斜センサ
が必要となる分、コスト高になる。その他に、車高セン
サにより車高を検出し、検出結果に応じてカメラの高さ
値を補正することもあるが、この場合も車両センサが必
要となる分、コスト高になる。In JP-A-1-273746, a pitch angle of a vehicle is detected by an inclination sensor using a G sensor or the like.
By correcting the operation timing of the electronic shutter of the camera according to the detection result, an image in which the vehicle is not tilted is obtained. However, the cost increases because the tilt sensor is required. In JP-A-3-118611, a pitch angle of a vehicle is detected by a tilt sensor using a gyro or the like,
By converting the pitch angle into the number of rasters and changing the raster position at which image capture is started, an image in which pitching of the vehicle is canceled is obtained. However, also in this case, the cost increases because the tilt sensor is required. In addition, the vehicle height may be detected by a vehicle height sensor, and the height value of the camera may be corrected according to the detection result. However, in this case, the cost is increased because the vehicle sensor is required.
【0013】[0013]
【発明が解決しようとする課題】上述した従来技術に鑑
み、本発明の目的は、ステレオ視カメラではなく1つの
カメラで捕えた画像を画像処理することにより画像上の
ポイントの車両からの実際の距離を検出する場合に、車
両のピッチング等によって路面に対して変化するカメラ
の高さ及び角度を、車高センサや傾斜センサ等の外部セ
ンサを用いることなく画像処理により補正して検出し、
この検出結果を利用することにより精度良く距離を検出
することができる装置を提供することにある。SUMMARY OF THE INVENTION In view of the above-mentioned prior art, it is an object of the present invention to process an image captured by a single camera instead of a stereoscopic camera so that a point on the image is actually obtained from a vehicle. When detecting the distance, the height and angle of the camera, which changes with respect to the road surface due to the pitching of the vehicle, are detected and corrected by image processing without using an external sensor such as a vehicle height sensor or a tilt sensor,
An object of the present invention is to provide a device capable of detecting a distance with high accuracy by utilizing the detection result.
【0014】[0014]
【課題を解決するための手段】上記目的を達成する本発
明の車載カメラを用いた距離検出装置は、車両に搭載し
た1つのカメラを用い、このカメラの路面に対する高さ
及び角度と,カメラの焦点距離と,画像上の座標値とか
ら、画像上のポイントの車両からの実際の距離を検出す
る装置において、車両の走行路に形成された端点間の間
隔が既知の破線状物体の3つまたはそれ以上の端点につ
いて画像上の座標値を求める手段と、求めた各端点の画
像上の座標値と、端点間の既知の間隔と,カメラの焦点
距離とを用いて、距離検出誤差を最小とするカメラの路
面に対する高さ及び角度を求める手段とを有することを
特徴とするものである。A distance detecting apparatus using a vehicle-mounted camera according to the present invention, which achieves the above object, uses one camera mounted on a vehicle, and measures the height and angle of the camera with respect to a road surface and the camera. In a device for detecting an actual distance of a point on an image from a vehicle from a focal length and a coordinate value on an image, three dashed objects having a known interval between end points formed on a traveling path of the vehicle. Or a means for obtaining coordinate values on the image for the endpoints greater than or equal to each other, a distance detection error is minimized by using the determined coordinate values on the image for each endpoint, a known interval between the endpoints, and the focal length of the camera. Means for calculating the height and angle of the camera with respect to the road surface.
【0015】[0015]
【作用】自動車専用道路や高速道路の路面には中央破線
として、長さ8mの白線が20m毎に引かれており、従
って中央破線の端点間の間隔は8mと12mの既知の値
である。本発明では中央破線のような破線状物体を物指
しに利用して、カメラの高さ及び角度を校正する。即
ち、中央破線のように端点間の間隔が既知の破線状物体
について、或る端点の画像上の座標値を求めると、この
座標値はカメラの路面に対する高さ及び角度と,カメラ
の焦点距離と,この端点の車両からの実際の距離とに依
存する。この場合、カメラの焦点距離は既知であるが、
端点の車両からの実際の距離は当然未知であり、また前
述の如くカメラの路面に対する高さ及び角度は車両のピ
ッチング等により変化するのでやはり未知である。そこ
で、3つまたはそれ以上の端点について画像上の座標値
を求めれば、端点間の実際の間隔が既知であることか
ら、カメラの路面に対する実際の高さ及び角度が求ま
る。但し、端点間の間隔の誤差、あるいは画像上の座標
値の誤差があるため、最小二乗法等により、距離検出誤
差が最小になるような高さ及び角度を求める。このよう
にして求めたカメラの路面に対する高さ及び角度を用い
ることにより、ステレオ視カメラではなく1つのカメラ
で捕えた画像の画像処理により画像上のポイントの車両
からの距離を検出する場合の精度が向上する。また、カ
メラの路面に対する高さ及び角度は、距離検出の画像処
理の一環として求めることができるので、車高センサや
傾斜センサ等の外部センサが不要である。更に、車両に
カメラを設置する場合に、高さ及び角度に誤差があって
もこれを吸収することができるので、設置作業の容易化
に寄与する。A white line having a length of 8 m is drawn every 20 m as a central broken line on the road surface of a motorway or a highway, so that the distance between the end points of the central broken line is a known value of 8 m and 12 m. In the present invention, the height and angle of the camera are calibrated using a dashed object such as the center dashed line as an object. That is, when a coordinate value on an image of a certain end point is obtained for a dashed object whose interval between the end points is known, such as a center broken line, the coordinate value is the height and angle of the camera with respect to the road surface, and the focal length of the camera. And the actual distance of this endpoint from the vehicle. In this case, the focal length of the camera is known,
The actual distance of the end point from the vehicle is, of course, unknown, and the height and angle of the camera with respect to the road surface are also unknown because they change due to the pitching of the vehicle. Thus, if the coordinate values on the image for three or more end points are obtained, the actual height and angle of the camera with respect to the road surface can be obtained because the actual distance between the end points is known. However, since there is an error in the interval between the end points or an error in the coordinate value on the image, the height and angle that minimize the distance detection error are obtained by the least square method or the like. By using the height and angle of the camera with respect to the road surface obtained in this way, the accuracy in detecting the distance of the point on the image from the vehicle by image processing of the image captured by one camera instead of the stereoscopic camera Is improved. Further, since the height and angle of the camera with respect to the road surface can be obtained as part of image processing for distance detection, external sensors such as a vehicle height sensor and a tilt sensor are not required. Furthermore, when a camera is installed in a vehicle, even if there is an error in height and angle, this can be absorbed, which contributes to simplification of installation work.
【0016】[0016]
【実施例】以下、本発明の一実施例を図面に基づいて説
明する。図1は実施例に係る車載カメラを用いた距離検
出装置を適用した自動車の走行制御システムの構成を示
す図である。図2は処理フローを示し、図3はカメラが
捕えた画像と画像上の端点の座標値を示し、図4は道路
上の白い中央破線とその端点の認識方法を示す。An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram illustrating a configuration of a traveling control system of an automobile to which a distance detection device using a vehicle-mounted camera according to an embodiment is applied. 2 shows a processing flow, FIG. 3 shows an image captured by a camera and coordinate values of an end point on the image, and FIG. 4 shows a white center broken line on a road and a method of recognizing the end point.
【0017】図1において、距離検出装置は1つのCC
Dカメラ8と、画像処理装置11と、高さ及び角度算出
装置12と、距離算出装置13とからなっている。高さ
及び角度算出装置12及び距離算出装置13は、車間距
離制御用あるいは定速走行用等の走行制御装置14内の
一機能部になっている。符号9は路面を示す。In FIG. 1, the distance detecting device has one CC.
It comprises a D camera 8, an image processing device 11, a height and angle calculation device 12, and a distance calculation device 13. The height and angle calculation device 12 and the distance calculation device 13 are one functional unit in the travel control device 14 for controlling the distance between vehicles or traveling at a constant speed. Reference numeral 9 indicates a road surface.
【0018】CCDカメラ8は図9に示したように車両
10に、前方やや下向きに搭載されている。高速道路や
自動車専用道路を車両が走行している時は、道路上に長
さ8mの白線を20m毎に引いた中央破線があるので、
CCDカメラ8はこの中央破線を撮影することができ
る。画像処理装置11は、CCDカメラ8からのビデオ
信号を入力することにより、図3に示すような画像を取
り込む。この画像中で、15は中央破線の白線像であ
る。また、16は路側の連続線の像、17は地平線であ
る。画像処理装置11は、取り込んだ画像を画像処理す
ることにより、中央破線を認識して図3のi−j画像座
標系における各白線像15の端点のj座標値を3つ以上
手前から順にβ1 ,β2 …βn (n≧3)として求め、
高さ及び角度算出装置12に与える。但し、i座標は車
両の横方向、j座標は車両の前後方向の座標である。The CCD camera 8 is mounted on the vehicle 10 as shown in FIG. When a vehicle is running on a highway or a motorway, there is a central dashed line with a white line of 8m length drawn every 20m on the road.
The CCD camera 8 can photograph the center broken line. The image processing device 11 captures an image as shown in FIG. 3 by inputting a video signal from the CCD camera 8. In this image, reference numeral 15 is a white line image with a broken center line. 16 is an image of a continuous line on the roadside, and 17 is a horizon. The image processing apparatus 11 performs image processing on the captured image, recognizes the center broken line, and sequentially determines three or more j coordinate values of the end point of each white line image 15 in the ij image coordinate system of FIG. 1 , β 2 ... β n (n ≧ 3)
It is given to the height and angle calculation device 12. Here, the i coordinate is the coordinate in the lateral direction of the vehicle, and the j coordinate is the coordinate in the front and rear direction of the vehicle.
【0019】中央破線の認識は、例えば次のようにして
行う。即ち、図4に示すように、横方向の4本のライン
W1〜W4に沿って画素の明度を調べ、明るい点を白線
候補として選定し、上方の候補点と下方の候補点を補間
して結んだ線分を白線として抽出する。そして、この線
分上及びその延長線上に沿って画素の明度を調べ、暗い
点から明るい点に、或いは明るい点から暗い点に変化し
た点を白線の端点とする。The recognition of the center broken line is performed, for example, as follows. That is, as shown in FIG. 4, the brightness of pixels is examined along four horizontal lines W1 to W4, bright points are selected as white line candidates, and upper and lower candidate points are interpolated. The connected line segment is extracted as a white line. Then, the brightness of the pixel is checked along this line segment and the extension thereof, and the point where the dark point changes to a bright point or the point where the light point changes to a dark point is defined as the end point of the white line.
【0020】高さ及び角度算出装置12には、端点間の
間隔とカメラの焦点距離が既知の値としてセットされて
おり、これらの値と画像処理装置11から与えられる各
端点のj座標値とを用いて、例えば最小二乗法により、
距離検出誤差を最小とするカメラの路面に対する高さH
及び角度θを求める。In the height and angle calculating device 12, the distance between the end points and the focal length of the camera are set as known values, and these values, the j coordinate value of each end point given from the image processing device 11, and Using, for example, the least squares method,
The height H of the camera with respect to the road surface that minimizes the distance detection error.
And the angle θ.
【0021】次に、高さH及び角度θの算出処理例を説
明する。図3に示した例では、手前からk番目の端点の
j座標値βk (k=1〜n,n≧3)の実際の距離dk
は、1番目の端点の距離をd0 と仮定すると、dk =d
0 +Δk となる。Δk は既知であり、端点間隔即ち白線
長8mと白線の周期20mより、kが奇数の場合はΔk
=20(k−1)m、kが偶数の場合はΔk =〔20
(k−1)−8〕mとなる。なお、Δ1 =0である。一
方、カメラの高さH及び角度θと焦点距離fを用いて手
前からk番目の端点のj座標値βk に対応する距離を計
算したとすれば、その値Yk は次式(3)で与えられ
る。Next, an example of calculation processing of the height H and the angle θ will be described.
I will tell. In the example shown in FIG. 3, the k-th end point from the front is
j coordinate value βk(K = 1 to n, n ≧ 3) actual distance dk
Is the distance of the first endpoint to d0Assuming that dk= D
0+ ΔkBecomes ΔkIs known, and the end point interval or white line
From the length 8m and the white line cycle 20m, if k is an odd number, Δk
= 20 (k-1) m, when k is an even number, Δk= [20
(K-1) -8] m. Note that Δ1= 0. one
Using the camera height H, angle θ and focal length f
J-coordinate value β of k-th end point from the frontkMeasure the distance corresponding to
If it is calculated, its value YkIs given by the following equation (3)
You.
【数3】 Yk =H(βk ・tan θ+f)/(f・tan θ−βk ) ・・・式(3)Y k = H (β k · tan θ + f) / (f · tan θ−β k ) Equation (3)
【0022】前式(3)を変形すると次式(4)とな
る。また、計算値Yk と実際の距離d 0 +Δk は、それ
ぞれj座標値βk の関数であるから、次式(5)のよう
に対応する。When the above equation (3) is modified, the following equation (4) is obtained.
You. The calculated value YkAnd the actual distance d 0+ ΔkIs it
J coordinate value βkSince it is a function of
Corresponding to
【数4】 Yk (f・tan θ−βk )−H(βk ・tan θ+f)=0 ・・・式(4)Y k (f · tan θ−β k ) −H (β k · tan θ + f) = 0 Equation (4)
【数5】 (Yk ,βk )=(d0 +Δk ,βk ) ・・・式(5)(Y k , β k ) = (d 0 + Δ k , β k ) Equation (5)
【0023】また、前式(5)を正確に対応させるに
は、誤差の評価値εk として例えば次式(6)を考える
と、n≧3としてε1 2 からεn 2 までの和Σεk 2 が
最小となるように、未知数H,θ(またはtan θ)及び
d0 を算出すれば良く、これによってその時点でのカメ
ラの高さH及び角度tan θ、更には1番手前の端点の距
離d0 が求まる。Further, in the Equation (5) to correspond precisely, the sum of considering for example the following equation as the evaluation value epsilon k error (6), from epsilon 1 2 to epsilon n 2 as n ≧ 3 Σε The unknowns H, θ (or tan θ) and d 0 may be calculated so that k 2 is minimized, whereby the height H and angle tan θ of the camera at that time, and the end point at the forefront distance d 0 of is obtained.
【数6】 εk =(d0 +Δk )(f・tan θ−βk )−H(βk ・tan θ+f) ・・・式(6)6 k = (d 0 + Δ k ) (f · tan θ−β k ) −H (β k · tan θ + f) Equation (6)
【0024】そこで本実施例の高さ及び角度算出装置1
2は、前式(6)の誤差評価値εkを用い、下記算出式
(7)により、カメラの高さH及び角度tan θとd0 と
を算出する。Therefore, the height and angle calculating device 1 of this embodiment
2 calculates the camera height H and the angles tan θ and d 0 using the error evaluation value ε k of the previous equation (6) and the following equation (7).
【数7】∂(Σεk 2 )/∂H=0 ∂(Σεk 2 )/∂(tan θ)=0 ∂(Σεk 2 )/∂d0 =07 (Σε k 2 ) / ∂H = 0 ∂ (Σε k 2 ) / ∂ (tan θ) = 0 ∂ (Σε k 2 ) / ∂d 0 = 0
【0025】距離算出装置13は、上述の如く算出した
CCDカメラ8の路面9に対する高さH、角度θまたは
tan θを用いて、任意物体の距離Yを画像上のj座標値
βとCCDカメラ8の焦点距離fから前式(2)により
算出する。この場合、H,θ又はtan θは車両のピッチ
ング等による変化を正しく反映しているから、車両にピ
ッチング等があっても任意物体の距離を正しく検出する
ことができる。従って、高さ及び角度算出装置12で算
出したCCDカメラ8の正しい高さH及び角度tan θを
用いて、図5に示すような旋回路18の画像上について
中央破線の各白線15の端点の距離を検出することによ
り、端点の間隔または距離が実際の値からずれてくるの
で、ずれ量から旋回路18の曲率半径を正確に算出する
ことができる。この曲率半径の算出値を用いることによ
り、車両が旋回路に進入する際に必要な減速、操舵等に
ついて走行制御装置14で運転者に警告したり、あるい
は自動的に修正操作を行うなどの制御が可能である。The distance calculating device 13 calculates the height H, the angle θ or the height H of the CCD camera 8 with respect to the road surface 9 calculated as described above.
Using tan θ, the distance Y of the arbitrary object is calculated from the j-coordinate value β on the image and the focal length f of the CCD camera 8 by the above equation (2). In this case, since H, θ or tan θ correctly reflects changes due to the pitching of the vehicle, the distance of any object can be correctly detected even if the vehicle is pitched. Therefore, using the correct height H and angle tan θ of the CCD camera 8 calculated by the height and angle calculator 12, the end point of each white line 15 of the center broken line on the image of the circuit 18 as shown in FIG. By detecting the distance, the interval or distance between the end points deviates from the actual value, so that the radius of curvature of the circuit 18 can be accurately calculated from the deviation amount. By using the calculated value of the radius of curvature, the driving control device 14 warns the driver about deceleration, steering, and the like necessary when the vehicle enters the lane, or performs control such as automatically performing a correction operation. Is possible.
【0026】[0026]
【発明の効果】本発明によれば、自動車専用道路や高速
道路の路面に引かれた中央破線など、端点間の間隔が既
知の破線状物体を物指しとして、3つ以上の端点の画像
上の座標値を求め、求めた座標値と既知の端点間の間隔
及びカメラの焦点距離とから最小二乗法等によりカメラ
の高さ及び角度を検出し、この検出した高さ及び角度を
用いて距離検出を行う。従って、車両のピッチング等に
よりカメラの高さ及び角度が変化しても、車高センサや
傾斜センサ等の外部センサを用いることなく、1つのカ
メラを用いて正確な距離検出を行うことができる。According to the present invention, a dashed object having a known interval between endpoints, such as a center dashed line drawn on the road surface of a motorway or an expressway, is used as a pointing object to display three or more endpoints on an image. The coordinate values are obtained, the height and angle of the camera are detected by the least square method or the like from the obtained coordinate values, the distance between the known end points, and the focal length of the camera, and the distance is detected using the detected height and angle. I do. Therefore, even if the height and angle of the camera change due to the pitching of the vehicle or the like, accurate distance detection can be performed using one camera without using an external sensor such as a vehicle height sensor or an inclination sensor.
【図1】本発明の一実施例に係る車載カメラを用いた距
離検出装置を適用した自動車の走行制御システムの構成
を示す図。FIG. 1 is a diagram showing a configuration of a traveling control system of an automobile to which a distance detection device using an on-vehicle camera according to an embodiment of the present invention is applied.
【図2】処理フローを示す図。FIG. 2 is a diagram showing a processing flow.
【図3】カメラが捕えた画像と端点の画像上の座標値を
示す図。FIG. 3 is a diagram showing an image captured by a camera and coordinate values on an image of an end point.
【図4】道路上の白い中央破線とその端点の認識手法を
示す図。FIG. 4 is a diagram showing a method for recognizing a white center broken line on a road and its end points.
【図5】旋回路の画像を示す図。FIG. 5 is a diagram showing an image of a circuit.
【図6】ステレオ視カメラを示す図。FIG. 6 is a diagram showing a stereo vision camera.
【図7】ステレオ視カメラ法の距離検出手法を示す図。FIG. 7 is a diagram showing a distance detection method of the stereoscopic camera method.
【図8】ステレオ視カメラによる三角測量の原理を示す
図。FIG. 8 is a diagram showing the principle of triangulation by a stereoscopic camera.
【図9】単一カメラ法におけるカメラの高さと角度を示
す図。FIG. 9 is a diagram showing the height and angle of a camera in the single camera method.
【図10】単一カメラ法の距離検出手法を示す図。FIG. 10 is a diagram showing a distance detection method using the single camera method.
8 CCDカメラ 9 路面 10 車両 11 画像処理装置 12 高さ及び角度算出装置 13 距離算出装置 14 走行制御装置 15 白線像 16 路側線像 17 地平線 18 旋回路像 H カメラの高さ θ カメラの角度 β1 ,β2 ,β3 ,β4 端点のj座標値 d0 1番手前の端点の距離Reference Signs List 8 CCD camera 9 Road surface 10 Vehicle 11 Image processing device 12 Height and angle calculation device 13 Distance calculation device 14 Traveling control device 15 White line image 16 Roadside line image 17 Horizon 18 Circuit circuit image H Camera height θ Camera angle β 1 , Β 2 , β 3 , β 4 j-coordinate value of the end point d 0 Distance of the first end point
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭64−15605(JP,A) 実開 平5−23298(JP,U) (58)調査した分野(Int.Cl.7,DB名) G01C 3/06 B60R 21/00 ──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-64-15605 (JP, A) JP-A-5-23298 (JP, U) (58) Fields investigated (Int. Cl. 7 , DB name) G01C 3/06 B60R 21/00
Claims (1)
のカメラの路面に対する高さ及び角度と,カメラの焦点
距離と,画像上の座標値とから、画像上のポイントの車
両からの実際の距離を検出する装置において、 車両の走行路に形成された端点間の間隔が既知の破線状
物体の3つまたはそれ以上の端点について画像上の座標
値を求める手段と、 求めた各端点の画像上の座標値と、端点間の既知の間隔
と,カメラの焦点距離とを用いて、距離検出誤差を最小
とするカメラの路面に対する高さ及び角度を求める手段
とを有することを特徴とする車載カメラを用いた距離検
出装置。1. Using a camera mounted on a vehicle, the height and angle of the camera with respect to the road surface, the focal length of the camera, and the coordinate values on the image are used to determine the actual point of the point on the image from the vehicle. An apparatus for detecting a distance, comprising: means for obtaining coordinate values on an image of three or more end points of a dashed object having a known interval between end points formed on a traveling path of a vehicle; and an image of each obtained end point. Means for obtaining a height and an angle of a camera with respect to a road surface with a minimum distance detection error by using the above coordinate values, the known distance between end points, and the focal length of the camera. A distance detection device using a camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27029593A JP3296055B2 (en) | 1993-10-28 | 1993-10-28 | Distance detection device using in-vehicle camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27029593A JP3296055B2 (en) | 1993-10-28 | 1993-10-28 | Distance detection device using in-vehicle camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07120258A JPH07120258A (en) | 1995-05-12 |
JP3296055B2 true JP3296055B2 (en) | 2002-06-24 |
Family
ID=17484277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27029593A Expired - Fee Related JP3296055B2 (en) | 1993-10-28 | 1993-10-28 | Distance detection device using in-vehicle camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3296055B2 (en) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19911665B4 (en) * | 1999-03-16 | 2010-03-04 | Volkswagen Ag | Method and device for determining the distance of objects present on the roadway to a vehicle |
US6531959B1 (en) * | 1999-07-13 | 2003-03-11 | Honda Giken Kogyo Kabushiki Kaisha | Position detecting device |
JP4573076B2 (en) * | 2000-07-28 | 2010-11-04 | ソニー株式会社 | Information processing apparatus and method, and recording medium |
JP4586571B2 (en) * | 2005-02-25 | 2010-11-24 | 株式会社豊田中央研究所 | Object judgment device |
JP4810893B2 (en) * | 2005-06-20 | 2011-11-09 | 株式会社豊田中央研究所 | Distance measuring device |
JP4638369B2 (en) * | 2006-03-28 | 2011-02-23 | 富士重工業株式会社 | Lane position detector |
JP4948338B2 (en) * | 2007-09-20 | 2012-06-06 | アルパイン株式会社 | Inter-vehicle distance measuring device |
JP2009169776A (en) * | 2008-01-18 | 2009-07-30 | Hitachi Ltd | Detector |
JP5112131B2 (en) * | 2008-03-25 | 2013-01-09 | アルパイン株式会社 | Vehicle abnormality detection device |
JP5359038B2 (en) * | 2008-06-11 | 2013-12-04 | 株式会社明電舎 | Line sensor elevation angle measuring device by image processing |
JP5315891B2 (en) * | 2008-09-24 | 2013-10-16 | 富士通株式会社 | Distance measuring device, distance measuring method and distance measuring program |
JP5425500B2 (en) * | 2009-03-19 | 2014-02-26 | 本田技研工業株式会社 | Calibration apparatus and calibration method |
CN104111058B (en) * | 2013-04-16 | 2016-12-28 | 杰发科技(合肥)有限公司 | Vehicle distance measurement method and device, vehicle relative velocity measuring method and device |
CN105072403A (en) * | 2015-08-12 | 2015-11-18 | 江西好帮手电子科技有限公司 | Vehicle-mounted multimedia device |
JP6138293B1 (en) * | 2016-01-19 | 2017-05-31 | 三菱電機株式会社 | Road surface undulation estimation device and road surface undulation estimation method |
US10739455B2 (en) * | 2018-05-24 | 2020-08-11 | GM Global Technology Operations LLC | Method and apparatus for acquiring depth information using cameras from different vehicles |
-
1993
- 1993-10-28 JP JP27029593A patent/JP3296055B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07120258A (en) | 1995-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3436074B2 (en) | Car stereo camera | |
JP3296055B2 (en) | Distance detection device using in-vehicle camera | |
US9074906B2 (en) | Road shape recognition device | |
US8175331B2 (en) | Vehicle surroundings monitoring apparatus, method, and program | |
JP2887039B2 (en) | Vehicle periphery monitoring device | |
US8384781B2 (en) | Stereo camera device | |
EP1909064A1 (en) | Object detection device | |
US10821975B2 (en) | Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method | |
RU2703440C1 (en) | Method and device for controlling movement | |
JPH09142236A (en) | Periphery monitoring method and device for vehicle, and trouble deciding method and device for periphery monitoring device | |
US11650321B2 (en) | Apparatus and method for detecting tilt of LiDAR apparatus mounted to vehicle | |
WO2019216386A1 (en) | Vehicle control device and vehicle | |
KR101281499B1 (en) | Automatic vehicle driving system | |
JPH09133525A (en) | Distance measuring device | |
US5257022A (en) | Method and apparatus for following a vehicle | |
JP2007102578A (en) | Apparatus and method for distance calculation, and vehicle having the apparatus | |
JP3440956B2 (en) | Roadway detection device for vehicles | |
JP2940366B2 (en) | Object tracking recognition device | |
JPH07244717A (en) | Travel environment recognition device for vehicle | |
US20220082407A1 (en) | Map system, map generating program, storage medium, on-vehicle apparatus, and server | |
JP3304905B2 (en) | Object tracking recognition device | |
JPH1153551A (en) | Line detector | |
JP3290318B2 (en) | In-vehicle image processing device, in-vehicle road monitoring device and vehicle control device | |
JP3405819B2 (en) | Vehicle running state determination device | |
JP2687645B2 (en) | Vehicle position locator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020312 |
|
LAPS | Cancellation because of no payment of annual fees |