JP2001273504A - Road direction detector - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a road direction detector which can accurately detect the direction of a road. SOLUTION: The road width is calculated in accordance with a picture obtained by photographing the road in the front of a vehicle, and a triangle formed by road end data at two points in the picture bottom part and a lost point on a prescribed lost line is obtained, and thus the direction of the road to the vehicle is detected.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、車両に対する道路
の方向を検出する道路方向検出装置に関する。これは、
対象物の前景を撮像して得られる画像に基づいて、局地
的地域での対象物の位置、速度、及び、姿勢に関して、
局地的位置把握データを提供し、特に自動車の路上に於
ける静止或いは走行中の状態の検出に特に適した局地的
位置把握システムに用いる局地的位置把握装置などと共
に用いられる。局地的位置把握装置は、路面状態変動或
いは天候、時間帯、固定照明、可動照明の撮像条件の変
動の影響を受けないで、対象物の局地的地域内での位置
を正しく検出できる。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a road direction detecting device for detecting a direction of a road relative to a vehicle. this is,
Based on the image obtained by imaging the foreground of the object, the position, speed, and orientation of the object in the local area,
It provides localization data and is used in conjunction with a localization device or the like used in a localization system particularly suitable for detecting stationary or running conditions on the road of an automobile. The local position grasping device can correctly detect the position of the target object in the local area without being affected by the fluctuation of the road surface condition or the fluctuation of the imaging conditions of the weather, the time zone, the fixed illumination, and the movable illumination.

【０００２】[0002]

【従来の技術】図２５に、自動車に用いられる従来の局
地的位置把握装置を示す。この従来の局地的位置把握装
置ＬＰＰは、エッジ抽出器１Ｐ、閾値設定器３Ｐ、輪郭
抽出器５Ｐ、マッチング検出器９Ｐ、車線輪郭検出器１
１Ｐ、領域限定器１３Ｐ、現位置検出器１５Ｐ、曲率検
出器１７Ｐ、及びヨー角検出器１９Ｐを有する。エッジ
抽出器１Ｐは、デジタル撮像装置（図１）に接続されて
いる。デジタル撮像器は、自動車ＡＭ（図４）に搭載さ
れて、自動車の進行方向前方の風景の斜視画像Ｖｉをデ
ジタル画像信号Ｓｉとして生成する。この画像Ｖｉに
は、道路及びその上に設けられた現在走行中の車線Ｌ
ｍ、及び同車線Ｌｍの両側を規制する白線Ｌｍ１及びＬ
ｍ２等が写っている（図５）。更に、隣の車線の白線Ｌ
ｍ３も写っている。エッジ抽出機１Ｐは、デジタル画像
信号Ｓｉから、これらの車線Ｌｍ１、Ｌｍ２、及び、Ｌ
ｍ３に対応するエッジ画素を抽出して、抽出エッジ画素
信号Ｓｘ'を生成する。この抽出エッジ画素信号Ｓｘ'は
抽出されたエッジ画素のみを含む、抽出エッジ画像Ｖ
ｘ'を表示する。閾値設定器３Ｐは、公知の方法で、マ
ークする各々の車線Ｌｍの線を抽出するために、信号Ｓ
ｘ’を走査して、エッジ画素データ信号Ｓｘ’から車線
マーキングの輪郭を示す画素を抽出するための、閾値Ｅ
ｔｈ’を決定する。そして、車線マーキングの輪郭線を
表す輪郭画素を抽出した信号Ｓｃ’を生成する。マッチ
ング検出器９Ｐは、このように輪郭を抽出した、輪郭抽
出信号Ｓｃ’に含まれる輪郭線にマッチする直線或いは
円弧を求め、これらの直線或いは円弧のマッチした線の
全てを含むマッチングデータＳｍ’を生成する。更に、
車線輪郭抽出部１１Ｐは、これらのマッチングデータ
を、予め記憶してある車線の寸法的特徴と比較し、この
寸法的特徴を満たすマッチング線を車線の輪郭線として
採用して、車線抽出信号Ｓｍｃ’を生成する。領域限定
器１３Ｐは、車線抽出信号Ｓｍｃ’に基づいて、抽出さ
れた車線の周りに領域を設定すると共に、この領域を規
定する領域信号Ｓｒ’を生成する。エッジ抽出器１は斜
視画像Ｖｉでの領域を、この領域信号Ｓｒ’に規定され
る領域に限定する。現位置検出器１５Ｐは、自動車ＡＭ
が、現在位置している道路上の位置を検出する。曲率検
出器１７Ｐは、走行中の車線の曲率を検出する。ヨー角
検出器１９Ｐは、自動車の車線に対する傾斜角度を検出
する。2. Description of the Related Art FIG. 25 shows a conventional local position detecting device used for an automobile. The conventional local position grasping device LPP includes an edge extractor 1P, a threshold setting device 3P, a contour extractor 5P, a matching detector 9P, and a lane contour detector 1P.
1P, an area limiter 13P, a current position detector 15P, a curvature detector 17P, and a yaw angle detector 19P. The edge extractor 1P is connected to a digital imaging device (FIG. 1). The digital image pickup device is mounted on the automobile AM (FIG. 4) and generates a perspective image Vi of a scenery ahead in the traveling direction of the automobile as a digital image signal Si. This image Vi includes a road and a currently running lane L provided thereon.
m, and white lines Lm1 and Lm that regulate both sides of the lane Lm.
m2 and the like are shown (FIG. 5). Furthermore, the white line L of the next lane
m3 is also shown. The edge extractor 1P extracts these lanes Lm1, Lm2, and L from the digital image signal Si.
An edge pixel corresponding to m3 is extracted to generate an extracted edge pixel signal Sx '. The extracted edge pixel signal Sx ′ includes an extracted edge image V including only the extracted edge pixels.
Display x '. The threshold setter 3P uses the signal S to extract in a known manner the line of each lane Lm to be marked.
x ′ is scanned to extract a pixel indicating the outline of the lane marking from the edge pixel data signal Sx ′.
th 'is determined. Then, a signal Sc ′ is generated by extracting outline pixels representing the outline of the lane marking. The matching detector 9P obtains a straight line or an arc that matches the contour line included in the contour extraction signal Sc ′, which has thus extracted the contour, and obtains matching data Sm ′ including all of the straight lines or the arc-matched lines. Generate Furthermore,
The lane contour extracting unit 11P compares the matching data with the dimensional features of the lane stored in advance, adopts a matching line satisfying the dimensional features as a lane contour, and outputs a lane extraction signal Smc ′. Generate The area limiter 13P sets an area around the extracted lane based on the lane extraction signal Smc ', and generates an area signal Sr' that defines the area. The edge extractor 1 limits the area in the perspective image Vi to an area defined by the area signal Sr ′. The current position detector 15P is a vehicle AM
Detects the current location on the road. The curvature detector 17P detects the curvature of the traveling lane. The yaw angle detector 19P detects an inclination angle of the vehicle with respect to the lane.

【０００３】[0003]

【発明が解決しようとする課題】しかしながら、全ての
処理は、撮像装置１００によって得られる車両前方の斜
視画像Ｖｉに基づいて行われる。言うまでもなく、斜視
図では三次元的空間が二次元平面の上に表現されるの
で、斜視画像Ｖｉからは対象物である車線の正しい寸法
情報を得ることが出来ない。斜視画像Ｖｉに於いては、
撮像装置１００より遠ざかるにつれて、形状が変形して
表示される。言い換えれば、遠くに在る対象物は、近く
の対象物より小さく表現される。故に、道路或いは車線
のエッジ部の斜視画像Ｖｉも不鮮明になり、エッジ部の
検出が困難になる。また、路面の状態は常に一定では無
いので、一層エッジ部の検出は困難である。たとえは、
草木や土砂等によって、道路の端部或いは車線の白線が
隠されている場合、エッジ検出による道路或いは車道の
輪郭の認識は実質的に不可能である。更に、車線の白線
自体が汚れや損傷によって、部分的に、或いは全面的に
識別困難で在るような場合にも、エッジ検出は実際上不
可能である。尚、路面上の明るさも、天候の変化、トン
ネルの内外、昼夜の別によって状態が異なる。更に、ト
ンネル内や車道に取り付けられた照明灯が車道を部分的
に照らすので、同じ道路表面であっても、スポット的に
画像の明るさに著しい斑が生じる。さらに、特に夜間走
行中は、自車或いは多車のライトによる逐次変化する照
明の影響が重畳される。このように走行場所、走行時間
帯や天候の違い、更にそのような場所、時間帯、及び天
候が同一であっても固定照明や可動照明により斜視画像
Ｖｉ各部分で照度が動的に変化する環境において、前記
エッジ検出用閾値Ｅｔｈ’を正確に設定する事は不可能
である。つまり、この様な不正確な閾値Ｅｔｈ’に基づ
いて生成された輪郭抽出信号Ｓｃ’から、対象物の正し
い寸法の情報を得ることは不可能である。さらに、この
ような信頼できない、不正確な、歪んだ寸法の情報に基
づいて、車両の局地的位置把握及び、誤って把握した局
地位置情報に基づいて、道路の曲率、車両に働くヨー角
検出等の処理を行うことが非常に危険であることは明白
である。また、道路方向を正確に検出することができる
必要がある。However, all the processing is performed based on the perspective image Vi in front of the vehicle obtained by the imaging device 100. Needless to say, in the perspective view, a three-dimensional space is represented on a two-dimensional plane, so that it is not possible to obtain correct dimensional information of a lane as an object from the perspective image Vi. In the perspective image Vi,
As the distance from the imaging apparatus 100 increases, the shape is deformed and displayed. In other words, a distant object is represented smaller than a nearby object. Therefore, the perspective image Vi of the edge portion of the road or the lane becomes unclear, and it becomes difficult to detect the edge portion. Further, since the state of the road surface is not always constant, it is more difficult to detect an edge portion. The parable is
When the edge of the road or the white line of the lane is hidden by vegetation, earth and sand, etc., it is practically impossible to recognize the contour of the road or the road by edge detection. Furthermore, even when the white line of the lane itself is difficult to identify partially or entirely due to dirt or damage, edge detection is practically impossible. The brightness of the road surface also varies depending on weather changes, inside and outside the tunnel, day and night. Furthermore, since the illuminating lights installed in the tunnel or on the roadway partially illuminate the roadway, even on the same road surface, there is a noticeable unevenness in the brightness of the image in a spot. Further, particularly during night driving, the influence of the lighting which is gradually changed by the lights of the own vehicle or multiple vehicles is superimposed. As described above, the illuminance dynamically changes in each portion of the perspective image Vi due to the fixed illumination or the movable illumination even when the traveling place, the traveling time zone, and the weather are different, and the location, the time zone, and the weather are the same. In an environment, it is impossible to accurately set the threshold Eth 'for edge detection. In other words, it is impossible to obtain information on the correct dimensions of the object from the contour extraction signal Sc 'generated based on such an incorrect threshold Eth'. Further, based on such unreliable, inaccurate, and distorted dimension information, the local position of the vehicle is determined, and the curvature of the road and the yaw acting on the vehicle are determined based on the incorrectly determined local position information. Obviously, it is very dangerous to perform processing such as angle detection. Further, it is necessary to be able to accurately detect the road direction.

【０００４】[0004]

【課題を解決するための手段】この課題を解決するため
に本発明は、次の道路方向検出装置を提供する。請求項
１の装置は、車両前方の道路を撮影する道路画像撮影手
段と、前記道路画像撮影手段からの道路画像データから
画像特性によって画像を分割する画像分割手段と、後述
する道路幅検出手段からの道路幅データと前記画像分割
手段からの分割領域データとを使用して画像上の自車両
位置の分割領域とその左右に隣接する領域を道路幅分だ
け併合し、それを画像の上方の所定の位置まで繰り返し
て道路領域を抽出する道路領域併合手段と、前記道路領
域併合手段からの抽出道路領域から画像の各高さでの道
路幅を算出する道路幅検出手段とを具備し、前記道路幅
検出手段からの画像底部における２点の道路端データ及
び所定の消失線上の任意の位置の消失点から作られる三
角形と道路領域併合手段からの抽出道路領域との相関を
取ることによって相関が最大になる消失点を検出する道
路領域相関値検出手段と、前記道路領域相関値検出手段
からの相関値が最大になる消失点位置から車両前方の道
路の方向を検出する道路方向検出手段とを具備し、道路
端と所定の消失線上の消失点で作る三角形と抽出した道
路領域との相関を求めることにより車両に対する道路の
方向を検出することを特徴とする道路方向検出装置であ
る。In order to solve this problem, the present invention provides the following road direction detecting device. The apparatus according to claim 1 includes: a road image photographing means for photographing a road ahead of the vehicle; an image dividing means for dividing an image from road image data from the road image photographing means by image characteristics; Using the road width data and the divided region data from the image dividing means, the divided region of the own vehicle position on the image and the region adjacent to the left and right thereof are merged by the road width, and are merged into a predetermined area above the image. A road area merging means for repeatedly extracting a road area up to a position, and a road width detecting means for calculating a road width at each height of an image from the extracted road area from the road area merging means; To obtain a correlation between a triangle formed from two road end data at the bottom of the image from the width detecting means and a vanishing point at an arbitrary position on a predetermined vanishing line and an extracted road area from the road area merging means. Road area correlation value detecting means for detecting a vanishing point at which the correlation becomes maximum, and a road direction for detecting the direction of the road ahead of the vehicle from the vanishing point position at which the correlation value from the road area correlation value detecting means becomes maximum. A road direction detecting device, comprising: detecting means for detecting a correlation between a road edge and a triangle formed by a vanishing point on a predetermined vanishing line and an extracted road area to detect a direction of the road with respect to the vehicle. is there.

【０００５】[0005]

【発明の実施の形態】図１に、本発明に係る局地的位置
把握装置ＬＰの構成を示す。この局地的位置把握装置Ｌ
Ｐは、例えば、自動車ＡＭ（不図示）等の自由軌道走行
車両に搭載される。局地的位置把握装置ＬＰは、 デジ
タル撮像装置１００、空間周波数分離器２００、路面検
出器３００、道路輪郭検出器４００、道路検出器５０
０、及びＥＣＵ（電気制御ユニット）７００を含む。Ｅ
ＣＵ７００は、車両の走行速度及び操舵状態に代表され
る車両の状態を検出して、速度信号Ｓｖ及び操舵信号Ｓ
ｓを含む車両状態信号Ｓｃを生成すると共に車両の電気
装置の各種制御を行う自動車産業界に於いて衆知な装置
である。デジタル撮像装置１００は、撮像素子より成
り、Ｐh ｘ ＰＶ画素マトリックスによって対象物の画
像を連続的に得ることができる。ＰhとＰＶは、それぞ
れ水平方向と垂直の方向に配置される画素の数を表して
いる。故に、画素数ＰhとＰＶを増やせば、画像の解像
度を上げることができるので、本発明の位置把握等の動
作の精度を上げることができる。一方、製造コストが増
えるという問題があるので、これらの数ＰhとＰＶは必
要とされる分解能と製造コストに従って決定されるべき
である。一例として、Ｐｈ及びＰｖはそれぞれ、４２８
及び２６８とされているが、これに限定されるものでは
ない。デジタル撮像装置１００は自動車ＡＭの前端部近
くに設置されて、自動車ＡＭの進行方向の風景画像Ｖｉ
を連続的に撮影して、デジタル画像信号Ｓｉを生成す
る。この画像Ｖｉは、自動車ＡＭの中から見た前方の斜
視図である。この画像Ｖｉは、静止画及び動画のいずれ
でも良い。空間周波数分離器２００はデジタル撮像装置
１００に接続されて、デジタル画像信号Ｓｉの入力を得
る。空間周波数分離器２００はデジタル画像信号Ｓｉか
ら、低周波成分を抽出して空間低周波数信号ＳＬを生成
すると共に、高周波成分を抽出して空間高周波信号ＳＨ
を生成する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 shows a configuration of a local position grasping device LP according to the present invention. This local position grasping device L
P is mounted on a free-track vehicle such as an automobile AM (not shown), for example. The local position grasping device LP includes a digital imaging device 100, a spatial frequency separator 200, a road surface detector 300, a road contour detector 400, and a road detector 50.
0, and an ECU (electric control unit) 700. E
The CU 700 detects the traveling speed of the vehicle and the state of the vehicle typified by the steering state, and outputs a speed signal Sv and a steering signal Sv.
This is a well-known device in the automobile industry that generates a vehicle state signal Sc including s and performs various controls of a vehicle electric device. The digital imaging device 100 includes an imaging device, and can continuously obtain an image of an object using a PhxPV pixel matrix. Ph and PV represent the numbers of pixels arranged in the horizontal direction and the vertical direction, respectively. Therefore, if the number of pixels Ph and PV are increased, the resolution of the image can be increased, so that the accuracy of the operation such as position grasp of the present invention can be improved. On the other hand, since there is a problem that the manufacturing cost increases, these numbers Ph and PV should be determined according to the required resolution and manufacturing cost. As an example, Ph and Pv are each 428
And 268, but is not limited thereto. The digital imaging device 100 is installed near the front end of the vehicle AM, and a landscape image Vi in the traveling direction of the vehicle AM.
Are continuously photographed to generate a digital image signal Si. This image Vi is a front perspective view seen from inside the automobile AM. This image Vi may be either a still image or a moving image. The spatial frequency separator 200 is connected to the digital imaging device 100 to obtain an input of a digital image signal Si. The spatial frequency separator 200 extracts a low frequency component from the digital image signal Si to generate a spatial low frequency signal SL, and extracts a high frequency component to extract the spatial high frequency signal SH.
Generate

【０００６】道路面検出器３００は空間周波数分離器２
００に接続されて、空間低周波数信号ＳＬの入力を得
る。空間低周波数信号ＳＬに基づいて、道路面検出器３
００は前景画像Ｖｉから道路面を検出して路面領域信号
Ｓｒｒを生成する。同様に、道路輪郭検出器４００は空
間周波数分離器２００に接続されて、空間高周波信号Ｓ
Ｈに基づいて、前景画像Ｖｉから道路の輪郭を検出して
路面輪郭信号Ｓｒｅを生成する。斜視画像Ｖｉに於ける
輪郭検出の走査領域を検出された輪郭の周囲に限定して
処理負荷を低減する為に、輪郭検出走査領域を限定する
領域限定信号Ｓｒを生成して空間周波数分離器２００に
入力する。空間周波数分離器２００は、デジタル画像信
号Ｓｉに於いて領域限定信号Ｓｒで指定された部分のみ
から空間高周波信号ＳＨを抽出する。The road surface detector 300 is a spatial frequency separator 2
00 to obtain the input of the spatial low frequency signal SL. Based on the spatial low frequency signal SL, the road surface detector 3
00 detects a road surface from the foreground image Vi and generates a road surface region signal Srr. Similarly, the road contour detector 400 is connected to the spatial frequency separator 200 and outputs the spatial high-frequency signal S
Based on H, a road contour is detected from the foreground image Vi to generate a road contour signal Sre. In order to reduce the processing load by limiting the scanning area for contour detection in the perspective image Vi to the periphery of the detected contour, an area limiting signal Sr for limiting the contour detection scanning area is generated to generate a spatial frequency separator 200. To enter. The spatial frequency separator 200 extracts the spatial high-frequency signal SH only from the portion of the digital image signal Si specified by the area limiting signal Sr.

【０００７】道路検出器５００は、道路面検出器３００
及び道路輪郭検出器４００に接続されて、路面領域信号
Ｓｒｒ及び路面輪郭信号Ｓｒｅの入力を得る。道路検出
器５００は路面領域信号Ｓｒｒに基づいて、路面輪郭信
号Ｓｒｅの示して路面輪郭が正しいかどうかを判定し、
判定結果を示す路面判定信号Ｓｊを生成して、道路輪郭
検出器４００にフィードバックする。更に、道路検出器
５００は、路面輪郭信号Ｓｒｅの示す路面輪郭が正しい
と判定した場合にのみ、路面輪郭信号Ｓｒｅをそのまま
出力する。尚、道路輪郭検出器４００は路面判定信号Ｓ
ｊに基づいて、路面輪郭信号Ｓｒｅを更新して道路検出
器５００に出力する。道路検出器５００は、路面輪郭信
号Ｓｒｅが正しい路面輪郭を示していると判断されるま
で、路面判定信号Ｓｊによって道路輪郭検出器４００に
路面輪郭信号Ｓｒｅの更新を継続させて、正しい路面輪
郭を示していると判断された時点で路面輪郭信号Ｓｒｅ
を外部に出力する。The road detector 500 includes a road surface detector 300
And the road contour detector 400 to obtain the input of the road area signal Srr and the road contour signal Sre. The road detector 500 determines whether the road contour is correct based on the road contour signal Sre based on the road area signal Srr,
A road surface determination signal Sj indicating the determination result is generated and fed back to the road contour detector 400. Further, only when it is determined that the road contour indicated by the road contour signal Sre is correct, the road detector 500 outputs the road contour signal Sre as it is. Note that the road contour detector 400 outputs the road surface determination signal S
Based on j, the road contour signal Sre is updated and output to the road detector 500. The road detector 500 causes the road contour detector 400 to continue updating the road contour signal Sre by the road decision signal Sj until it is determined that the road contour signal Sre indicates the correct road contour, and determines the correct road contour. The road surface contour signal Sre
Is output to the outside.

【０００８】路上位置検出装置６００は、道路検出器５
００に接続されて路面輪郭信号Ｓｒｅの入力を得ると共
に、ＥＣＵ７００に接続されて車両状態信号Ｓｃの入力
を得る。路上位置検出装置６００は、正しい路面輪郭を
示す路面輪郭信号Ｓｒｅと車両の走行状態を示す車両状
態信号Ｓｃに基づいて、自動車ＡＭの移動中或いは静止
位置を検出して、路上位置検出信号Ｓｐを生成する。
尚、この路上位置検出信号Ｓｐに基づいて、車両の運転
状態を制御するＥＣＵ制御信号の生成や、ナビゲーショ
ン装置用のナビゲーション信号等の種々の制御信号を生
成方法及び装置に関しては、本願と同一出願人による日
本出願番号特願平８−１０２８９２（平成８年４月２４
日出願）及び、対応米国出願番号０８／６３７、４１７
（１９９６年４月２５日出願）に詳しく開示されてい
る。The road position detecting device 600 includes a road detector 5
00 to obtain the input of the road surface contour signal Sre, and to the ECU 700 to obtain the input of the vehicle state signal Sc. The road position detection device 600 detects a moving or stationary position of the automobile AM based on a road surface contour signal Sre indicating a correct road surface contour and a vehicle state signal Sc indicating a running state of the vehicle, and generates a road position detection signal Sp. Generate.
The method and apparatus for generating an ECU control signal for controlling the driving state of the vehicle based on the road position detection signal Sp and for generating various control signals such as a navigation signal for a navigation apparatus are the same as those of the present application. Japanese Patent Application No. Hei 8-102892 (April 24, 1996)
And corresponding US application Ser. No. 08 / 637,417.
(Filed on April 25, 1996).

【０００９】図４に、デジタル撮像装置１００を搭載し
た自動車ＡＭの側面を大略示す。デジタル撮像装置１０
０の光軸Ａｘは、自動車ＡＭが道路上を移動する方向Ｚ
と一致しているが、水平面に対して所定の角度θだけ、
下向きになるように設定されている。この場合、自動車
ＡＭの前端部の真下の路面の画像Ｖｉを得るのに、十分
に大きい画角を有したデジタル撮像装置１００が用いら
れる。図５に、デジタル撮像装置１００によって得られ
た、デジタル画像信号Ｓｉに表される自動車ＡＭから進
行方向前方をみた斜視画像Ｖｉを示す。自動車ＡＭは、
二車線道路の左側の車線を走行している。この二車線道
路は、３本の車線分離線Ｌｍ１、Ｌｍ２、及びＬｍ３に
よって、二車線に分けられている。つまり、右側車線
は、分離線Ｌｍ３及びＬｍ２によって、左側車線は分離
線Ｌｍ１及びＬｍ２によって案内されている。通常、こ
れらの車線分離線は路面上に、白色ペイントで、明示さ
れている。同図に於いて、斜視図Ｖｉの底辺部は、自動
車ＡＭの前端部の真下の道路の画像である。更に、作図
上の制限により、前景が線描されていて、あたかも輪郭
のみで表現された画像のように見えるが、通常のビデオ
カメラで撮像された画像のように、対象物をそれぞれ輝
度、濃度、及び色彩の異なる画素で表示された画像であ
ることは言うまでも無い。FIG. 4 schematically shows a side surface of an automobile AM on which the digital imaging device 100 is mounted. Digital imaging device 10
The optical axis Ax of 0 is the direction Z in which the car AM moves on the road.
But by a predetermined angle θ with respect to the horizontal plane,
It is set to face down. In this case, the digital imaging device 100 having a sufficiently large angle of view is used to obtain an image Vi of the road surface immediately below the front end of the vehicle AM. FIG. 5 shows a perspective image Vi obtained by the digital imaging device 100 and viewed from the front of the automobile AM represented by the digital image signal Si in the traveling direction. Auto AM
You are driving in the left lane of a two-lane road. This two-lane road is divided into two lanes by three lane separation lines Lm1, Lm2, and Lm3. That is, the right lane is guided by the separation lines Lm3 and Lm2, and the left lane is guided by the separation lines Lm1 and Lm2. Usually, these lane separation lines are marked with white paint on the road surface. In the figure, the bottom of the perspective view Vi is an image of a road immediately below the front end of the car AM. Furthermore, due to restrictions on drawing, the foreground is drawn as a line, and it looks like an image represented only by the outline, but like the image captured by a normal video camera, the object is illuminated, density, Needless to say, the image is displayed with pixels having different colors.

【００１０】（実施の形態１）図２に、図１に示した空
間周波数分離器２００、路面検出器３００、道路輪郭検
出器４００、道路検出器５００、及び路上位置検出装置
６００の詳細な構成を示す。空間周波数分離器２００
は、デジタル画像信号Ｓｉに基づいて空間低周波数信号
ＳＬを生成する低周波抽出器２０２と、空間高周波信号
ＳＨを生成する高周波抽出器２０４を有する。低周波抽
出器２０２はデジタル画像信号Ｓｉ中の輝度データを使
用して空間周波数の低い成分のみの画像ＶＬを生成する
ものであり、好ましくは、二次元ローパスフィルタ（Ｌ
ＰＦ）により構成される。一方、高周波抽出器２０４
は、デジタル画像信号Ｓｉ中の輝度データを使用して空
間周波数の高い成分のみの画像ＶＨを生成するものであ
り、好ましくは二次元ハイパスフィルタ（ＨＰＦ）によ
り構成される。つまり、低周波抽出器２０２と高周波抽
出器２０４により、デジタル撮像装置１００によって撮
像された画像Ｖｉを選択する周波数が重ならないよう低
周波画像ＶＬと高周波画像ＶＨとを分離している。路面
検出器３００は、路面輝度設定器３０２、路面画像抽出
器３０４、及び路面領域設定器３０６を有する。路面輝
度設定器３０２は、空間周波数分離器２００の低周波抽
出器２０２に接続されて空間低周波数信号ＳＬの入力を
得ると共に、ＥＣＵ７００に接続されて車両状態信号Ｓ
ｃの入力を得る。路面輝度設定器３０２は、車両状態信
号Ｓｃ中の速度信号Ｓｖに基づいて、空間低周波数信号
ＳＬに於いて道路を示す画素の輝度を示す路面輝度（Ｂ
ｍｉｎ、Ｂｍａｘ）を設定して、その閾値輝度を表す路
面輝度信号ＳＢｒを空間低周波数信号ＳＬと共に出力す
る。路面画像抽出器３０４は路面輝度設定器３０２に接
続されて、空間低周波数信号ＳＬ及び路面輝度信号ＳＢ
ｒ（Ｂｍａｘ）に基づいて空間低周波数信号ＳＬ中に路
面領域を抽出して路面抽出信号Ｓｒｓを生成して、空間
低周波数信号ＳＬ及び路面輝度信号ＳＢｒと共に出力す
る。路面領域設定器３０６は、路面画像抽出器３０４に
接続されて、空間低周波数信号ＳＬ、路面輝度信号ＳＢ
ｒ、及び路面抽出信号Ｓｒｓの入力を得る。路面領域設
定器３０６は、路面抽出信号Ｓｒｓに基づいて空間低周
波数信号ＳＬ中に路面領域を設定して路面領域信号Ｓｒ
ｒを生成する。(Embodiment 1) FIG. 2 shows a detailed configuration of the spatial frequency separator 200, the road surface detector 300, the road contour detector 400, the road detector 500, and the road position detector 600 shown in FIG. Is shown. Spatial frequency separator 200
Has a low-frequency extractor 202 that generates a spatial low-frequency signal SL based on the digital image signal Si, and a high-frequency extractor 204 that generates a spatial high-frequency signal SH. The low-frequency extractor 202 uses the luminance data in the digital image signal Si to generate an image VL of only a component having a low spatial frequency, and is preferably a two-dimensional low-pass filter (L
PF). On the other hand, the high frequency extractor 204
Generates an image VH of only a component having a high spatial frequency using luminance data in the digital image signal Si, and is preferably formed of a two-dimensional high-pass filter (HPF). That is, the low-frequency extractor 202 and the high-frequency extractor 204 separate the low-frequency image VL and the high-frequency image VH so that the frequencies for selecting the image Vi captured by the digital imaging device 100 do not overlap. The road surface detector 300 includes a road surface luminance setting device 302, a road surface image extractor 304, and a road surface region setting device 306. The road surface luminance setting unit 302 is connected to the low frequency extractor 202 of the spatial frequency separator 200 to obtain the input of the spatial low frequency signal SL, and is connected to the ECU 700 to connect the vehicle state signal S
Get the input of c. The road surface luminance setting unit 302 determines the road surface luminance (B) indicating the luminance of the pixel indicating the road in the spatial low frequency signal SL based on the speed signal Sv in the vehicle state signal Sc.
min, Bmax), and outputs a road surface luminance signal SBr representing the threshold luminance together with the spatial low frequency signal SL. The road surface image extractor 304 is connected to the road surface luminance setting unit 302, and outputs the spatial low frequency signal SL and the road surface luminance signal SB.
Based on r (Bmax), a road surface area is extracted from the spatial low frequency signal SL to generate a road surface extraction signal Srs, which is output together with the spatial low frequency signal SL and the road surface luminance signal SBr. The road surface area setting unit 306 is connected to the road surface image extractor 304, and outputs the spatial low frequency signal SL and the road surface luminance signal SB.
r and the input of the road surface extraction signal Srs. The road surface area setting unit 306 sets the road surface area in the spatial low frequency signal SL based on the road surface extraction signal Srs, and sets the road surface area signal Sr
Generate r.

【００１１】道路輪郭検出器４００は、閾値設定器４０
２、輪郭抽出器４０４、及び領域限定器４０６を有す
る。閾値設定器４０２は空間周波数分離器２００の高周
波抽出器２０４に接続されて、空間高周波信号ＳＨに於
いて道路を示す画像の輪郭点をエッジ処理で抽出する閾
値Ｅｔｈを設定して、その閾値を表す輪郭閾値信号Ｓｔ
ｈを空間高周波信号ＳＨと共に出力する。閾値信号Ｓｔ
ｈ生成して、空間高周波信号ＳＨと共に出力する。輪郭
抽出器４０４は閾値設定器４０２に接続されて、輪郭閾
値信号Ｓｔｈに基づいて空間高周波信号ＳＨに於いて路
面を示す画像の輪郭を抽出して路面輪郭信号Ｓｒｅを生
成して前記の道路検出器５００に出力する。領域限定器
４０６は輪郭抽出器４０４に接続されて、路面輪郭信号
Ｓｒｅに基づいて、空間高周波信号ＳＨ中で路面輪郭を
抽出すべき領域を限定する領域限定信号Ｓｒを生成して
空間周波数分離器２００の高周波抽出器２０４に出力す
る。高周波抽出器２０４は、デジタル画像信号Ｓｉ中の
領域限定信号Ｓｒで限定された領域から高周波成分を抽
出して空間高周波信号ＳＨを生成する。輪郭抽出器４０
４は、更に、道路検出器５００に接続されて路面判定信
号Ｓｊのフィードバックを得て、路面輪郭信号Ｓｒｅが
正しい路面の輪郭を抽出していない場合には、現在路面
輪郭して抽出している輪郭に隣接する輪郭エッジを路面
輪郭として採用するべく路面輪郭信号Ｓｒｅを更新し
て、道路検出器５００に出力する。The road contour detector 400 includes a threshold setting unit 40
2. It has a contour extractor 404 and a region limiter 406. The threshold value setting unit 402 is connected to the high frequency extractor 204 of the spatial frequency separator 200, sets a threshold value Eth for extracting a contour point of an image indicating a road by edge processing in the spatial high frequency signal SH, and sets the threshold value to the threshold value Eth. Representing contour threshold signal St
h is output together with the spatial high-frequency signal SH. Threshold signal St
h is generated and output together with the spatial high-frequency signal SH. The contour extractor 404 is connected to the threshold setting unit 402, extracts the contour of the image indicating the road surface in the spatial high-frequency signal SH based on the contour threshold signal Sth, generates a road surface contour signal Sre, and performs the road detection. Output to the container 500. The region limiter 406 is connected to the contour extractor 404, and generates a region limit signal Sr for limiting a region where a road surface contour is to be extracted in the spatial high-frequency signal SH based on the road surface contour signal Sre. 200 to the high frequency extractor 204. The high-frequency extractor 204 generates a spatial high-frequency signal SH by extracting a high-frequency component from a region limited by the region-limiting signal Sr in the digital image signal Si. Contour extractor 40
4 is further connected to the road detector 500 to obtain the feedback of the road surface determination signal Sj. If the road surface contour signal Sre does not extract the correct road surface contour, the current road surface contour is extracted. The road surface contour signal Sre is updated so that a contour edge adjacent to the contour is adopted as the road surface contour, and is output to the road detector 500.

【００１２】道路検出器５００は、前述のように、路面
領域信号Ｓｒｒに基づいて、路面輪郭信号Ｓｒｅが正し
い路面輪郭エッジを抽出しているか否かを判断して、路
面判定信号Ｓｊを生成する。路面判定信号Ｓｊは好まし
くは、路面輪郭信号Ｓｒｅが正しい路面輪郭エッジを抽
出している場合はハイに、否の場合はローになる二値信
号である。つまり、路面判定信号Ｓｊがローの場合は、
道路検出器５００は路面輪郭信号Ｓｒｅを遮断して、輪
郭抽出器４０４の路面輪郭信号Ｓｒｅを更新させる。そ
して、路面判定信号Ｓｊがハイの場合にのみ、路面輪郭
信号Ｓｒｅを路上位置検出装置６００に出力する。つま
り、輪郭抽出器４０４は高周波抽出器２０４から出力さ
れる高周波画像データＳＨを使用して、道路の白線に相
当する白線候補となる推定輪郭点（路面輪郭信号Ｓｒ
ｅ）を検出するものである。道路検出器５００は路面画
像抽出器３０４で検出した道路領域データ（路面領域信
号Ｓｒｒ）と、輪郭抽出器４０４で検出した推定輪郭点
（路面輪郭信号Ｓｒｅ）とを使用して、道路白線の輪郭
点を検出するものである。As described above, the road detector 500 determines whether or not the road contour signal Sre extracts a correct road contour edge based on the road area signal Srr, and generates a road determination signal Sj. . The road determination signal Sj is preferably a binary signal that goes high when the road contour signal Sre extracts a correct road contour edge, and goes low when it is not. That is, when the road surface determination signal Sj is low,
The road detector 500 blocks the road surface contour signal Sre, and updates the road surface contour signal Sre of the contour extractor 404. Then, only when the road surface determination signal Sj is high, the road surface contour signal Sre is output to the road position detection device 600. In other words, the contour extractor 404 uses the high-frequency image data SH output from the high-frequency extractor 204 to estimate a contour point (a road contour signal Sr
e) is to be detected. The road detector 500 uses the road area data (road surface signal Srr) detected by the road surface image extractor 304 and the estimated contour points (road surface signal Sre) detected by the contour extractor 404 to obtain the outline of the road white line. This is to detect points.

【００１３】路上位置検出装置６００は、座標変換器６
０２、マッチング検出器６０４、車線輪郭抽出器６０
６、及び車線内位置検出器６０８を有する。座標変換器
６０２は、路面輪郭信号Ｓｒｅに、斜視前景画像Ｖｉを
鳥瞰画像Ｖｃｃに変換する座標変換を施して、鳥瞰輪郭
信号Ｓｃｃを生成する。マッチング検出器６０４は座標
変換器６０２に接続されて、鳥瞰輪郭信号Ｓｃｃに基づ
いて、輪郭を検出した路面が直線路か曲線路であるかを
検出し、マッチした路面形状を示すマッチング信号Ｓｍ
を生成する。車線輪郭抽出器６０６はマッチング検出器
６０４に接続されて、マッチング信号Ｓｍに基づいて、
現在走行中の車線の輪郭を抽出して、車線輪郭信号Ｓｌ
ｃを生成する。車線内位置検出器６０８は車線輪郭抽出
器６０６に接続されて、車線輪郭信号Ｓｌｃに基づい
て、同車線内に於ける自身の位置を検出して位置信号Ｓ
ｐを生成してＥＣＵに出力する。前述のように、路上位
置検出装置６００はＥＣＵ７００に接続されて、車両状
態信号Ｓｃに基づいて位置信号Ｓｐの生成を行うが、本
明細書においては、一例として、車両状態信号Ｓｃ中の
操舵信号ＳｓＴに基づくマッチング検出器６０４による
車線輪郭マッチング処理について、後に図２０、図２
１、及び図２２を参照して詳述する。The road position detecting device 600 includes a coordinate converter 6
02, matching detector 604, lane contour extractor 60
6 and a lane position detector 608. The coordinate converter 602 performs a coordinate conversion on the road surface contour signal Sre to convert the oblique foreground image Vi into a bird's-eye image Vcc, and generates a bird's-eye contour signal Scc. The matching detector 604 is connected to the coordinate converter 602, detects whether the road surface on which the contour is detected is a straight road or a curved road based on the bird's-eye contour signal Scc, and matches the matching signal Sm indicating the matched road surface shape.
Generate The lane contour extractor 606 is connected to the matching detector 604, and based on the matching signal Sm,
The contour of the currently traveling lane is extracted, and the lane contour signal Sl is extracted.
Generate c. The in-lane position detector 608 is connected to the lane contour extractor 606, detects its own position in the lane based on the lane contour signal Slc, and outputs a position signal S
p is generated and output to the ECU. As described above, the road position detection device 600 is connected to the ECU 700 and generates the position signal Sp based on the vehicle state signal Sc. In the present specification, as an example, the steering signal in the vehicle state signal Sc is used. The lane contour matching processing by the matching detector 604 based on SsT will be described later with reference to FIGS.
1 and FIG.

【００１４】以下に添付の図５、図６、図７、図８、図
９、図１０、図１１、図１２、図１３、図１４、図１
５、図１６、図１７、図１８、図１９、図２０、図２
１、図２２、図２３、図２４、及び図２５を参照して、
本発明に係る局地的位置把握装置ＬＰの各要部の動作に
ついて説明する。デジタル撮像装置１００については、
図５を参照して既に説明済みであるので、先ず、図５及
び図６を参照してして空間周波数分離器２００の高周波
抽出器２０４によるエッジ抽出について説明する。高周
波抽出器２０４は、デジタル画像信号Ｓｉから高周波成
分を抽出してエッジ画像Ｖｈを表す空間高周波信号ＳＨ
を生成する。高周波抽出器２０４は、一例として、デジ
タル画像信号Ｓｉにソーベルフィルター等のフィルター
処理を施して、画像濃度が急激に変化するエッジ画素を
抽出する。この際、処理負荷を軽減する為に、以下の述
べるように、斜視画像Ｖｉデータ全域にでは無く所定の
領域にのみフィルター処理を行い斜視エッジ画像Ｖｈデ
ータ（空間高周波信号ＳＨ）を生成する。つまり、一本
の水平線Ｌｓによって、斜視画像Ｖｉ（図５）は上部領
域Ｓｔと下部領域Ｓｂの二つの部分に分けられる。尚、
水平線Ｌｓは画像Ｖｉの底部から垂直方向に、上端部に
向かって数えてＡ番目の水平位置に配置された画素に一
致する。上端部領域ＳｔはＰh ｘ（ＰＶ-Ａ）画素面積
を有し、下部領域ＳｂはＰｈｘＡ画素面積を有する。こ
のＡ番目の垂直位置は、自動車ＡＭが平坦路を走行中
に、前景の消滅点が画像Ｖｉに出る垂直画素位置と一致
するように決めることが好ましい。本発明の実施の形態
に於いては、Ａは、デジタル撮像装置１００によって直
接に自動車ＡＭの進行方向を撮像したときに、自動車Ａ
Ｍからおよそ５０メートル離れた場所の像を映す画素の
垂直位置にセットされる。本発明による局地的位置把握
動作の開始直後は、高周波抽出器２０４は下部領域Ｓｂ
にのみ空間高周波成分抽出（フィルタリング）処理を施
して、エッジ画素を抽出して空間高周波信号ＳＨを生成
する。つまり、空間高周波信号ＳＨには、Ｓｂ部（Ｐh
ｘＡ）から抽出されたエッジ画素だけを含んでいる。5, 6, 7, 8, 9, 9, 10, 11, 12, 13, 14, and 1 attached to FIGS.
5, FIG. 16, FIG. 17, FIG. 18, FIG. 19, FIG. 20, FIG.
1, FIG. 22, FIG. 23, FIG. 24, and FIG.
The operation of each main part of the local position grasping device LP according to the present invention will be described. Regarding the digital imaging device 100,
Since it has already been described with reference to FIG. 5, first, the edge extraction by the high frequency extractor 204 of the spatial frequency separator 200 will be described with reference to FIGS. The high-frequency extractor 204 extracts a high-frequency component from the digital image signal Si and outputs a spatial high-frequency signal SH representing an edge image Vh.
Generate As an example, the high-frequency extractor 204 performs a filtering process such as a Sobel filter on the digital image signal Si to extract edge pixels whose image density changes rapidly. At this time, in order to reduce the processing load, as described below, the filtering process is performed only on a predetermined area, not on the entire area of the perspective image Vi data, and the perspective edge image Vh data (spatial high-frequency signal SH) is generated. That is, the perspective image Vi (FIG. 5) is divided into two parts, the upper area St and the lower area Sb, by one horizontal line Ls. still,
The horizontal line Ls coincides with the pixel located at the A-th horizontal position counted from the bottom of the image Vi in the vertical direction toward the upper end. The upper end region St has a Phx (PV-A) pixel area, and the lower region Sb has a PhxA pixel area. The A-th vertical position is preferably determined such that the vanishing point of the foreground coincides with the vertical pixel position appearing in the image Vi while the automobile AM is traveling on a flat road. In the embodiment of the present invention, when the digital imaging device 100 directly captures an image of the traveling direction of the vehicle AM, the vehicle A
It is set to the vertical position of the pixel that represents the image at a location approximately 50 meters away from M. Immediately after the start of the localization operation according to the present invention, the high-frequency extractor 204 operates in the lower region Sb.
, A spatial high-frequency component extraction (filtering) process is performed on only the edge pixels to extract an edge pixel and generate a spatial high-frequency signal SH. That is, the spatial high-frequency signal SH includes the Sb portion (Ph
xA) only includes the edge pixels extracted from xA).

【００１５】図６に空間高周波信号ＳＨによって表され
る抽出エッジ画像Ｖｈを示す。画像Ｖｉ（図５）の下部
領域Ｓｂからは、主に車線表示Ｌｍ１、Ｌｍ２、及び、
Ｌｍ３と、その周辺の画素がエッジ画素として抽出され
ている。図示されていないが、これら車線表示に関係な
い部分からもエッジ画素が抽出されていることは言うま
でもない。閾値設定器４０２は低周波抽出器２０２に接
続されて抽出エッジ画素から成る空間高周波信号ＳＨを
受けている。閾値設定器４０２は、空間高周波信号ＳＨ
から、車線表示Ｌｍの輪郭の部分のエッジ画素を効果的
に抽出するための閾値Ｅｔｈを以下の式に基づいて閾値
Ｅｔｈを決定する。Ｅｔｈ＝Ｃ・Ｅｍａｘ ＋（１−
Ｃ）・Ｅｍｅａn （１）第１式において、Ｅｍａ
ｘ及びＥｍｅａnは、斜視画像Ｖｉの下部領域Ｓｂに於
ける所定の水平線上の画素の有する最大濃度と平均濃度
を表す。さらに、Ｃは０より大きく、１より小さい所定
の定数である。FIG. 6 shows an extracted edge image Vh represented by the spatial high-frequency signal SH. From the lower area Sb of the image Vi (FIG. 5), mainly the lane indications Lm1, Lm2, and
Lm3 and surrounding pixels are extracted as edge pixels. Although not shown, it is needless to say that edge pixels are also extracted from these portions not related to the lane display. The threshold setting unit 402 is connected to the low-frequency extractor 202 and receives a spatial high-frequency signal SH composed of extracted edge pixels. The threshold setting unit 402 outputs the spatial high-frequency signal SH
Then, the threshold value Eth for effectively extracting the edge pixels of the outline portion of the lane display Lm is determined based on the following equation. Eth = C · Emax + (1-
C) · Emean (1) In the first equation, Ema
x and Emean represent the maximum density and the average density of pixels on a predetermined horizontal line in the lower region Sb of the perspective image Vi. Further, C is a predetermined constant larger than 0 and smaller than 1.

【００１６】次に図７及び図８を参照して、輪郭抽出器
４０４による輪郭抽出について説明する。図７に、輪郭
抽出器４０４が輪郭線を抽出しているエッジ画像Ｖｈ
（ＳＨ）を示す。輪郭抽出器４０４は、空間高周波信号
ＳＨの下部領域Ｓｂの画素を閾値Ｅｔｈに基づいて走査
して、車線表示の輪郭線を抽出する。抽出エッジ画像Ｖ
ｈの下部領域Ｓｂは更に、垂直中心線Ｌｃによって、左
右の下部領域ＳｂＬとＳｂＲに細分化される。この中心
線Ｌｃは、抽出エッジ画像Ｖｈの底部の中心の位置Ｐh/
２に位置する画素から垂直に延びている。しかし、この
垂直線Ｌｃは中心位置Ｐh/２に限定されるものではな
い。輪郭抽出器４０４は、まず水平線Ｌｓに沿って、中
心線Ｌｃから左右の水平方向の水平線ＬｈＬ及びＬｈＲ
に沿って走査し、途中の画素の濃度を閾値Ｅｔｈを比較
し、閾値Ｅｔｈ以上の濃度を有する画素を輪郭画素とし
て抽出する。そして、この中心線Ｌｃに沿って底部に向
かって所定の画素数分移動したのち、その位置からま
た、左右の水平方向に走査して、輪郭画素を求めてい
く。実際には、左右の下部領域の一方を先に、走査して
輪郭画素を求めている。例えば、水平ラインＬｈの左半
分ＬｈＬをこの中心線Ｌｃに沿って、所定の間隔ＰＬｈ
で上部（Ａ位置）から下部に向かって順番に移動させ
て、左下部領域Ｓｂ内の輪郭画素を求める。その後、同
様にして、右下部領域Ｓｂの輪郭画素を求めて路面輪郭
信号Ｓｒｅを生成する。Next, with reference to FIGS. 7 and 8, outline extraction by the outline extractor 404 will be described. FIG. 7 shows an edge image Vh from which the contour extractor 404 extracts a contour line.
(SH). The contour extractor 404 scans pixels in the lower region Sb of the spatial high-frequency signal SH based on the threshold value Eth, and extracts a contour line for lane display. Extracted edge image V
The lower region Sb of h is further subdivided into left and right lower regions SbL and SbR by the vertical center line Lc. The center line Lc is located at the position Ph / at the center of the bottom of the extracted edge image Vh.
2 extends vertically from the pixel located at position 2. However, the vertical line Lc is not limited to the center position Ph / 2. First, the contour extractor 404 performs horizontal lines LhL and LhR in the left and right horizontal directions from the center line Lc along the horizontal line Ls.
, The density of pixels in the middle is compared with a threshold value Eth, and pixels having a density equal to or higher than the threshold value Eth are extracted as contour pixels. Then, after moving by a predetermined number of pixels toward the bottom along the center line Lc, scanning is performed from that position again in the left and right horizontal directions to obtain contour pixels. In practice, one of the left and right lower regions is scanned first to obtain contour pixels. For example, the left half LhL of the horizontal line Lh is set at a predetermined interval PLh along the center line Lc.
Are moved in order from the upper part (position A) to the lower part to obtain the contour pixels in the lower left area Sb. Thereafter, similarly, the contour pixels of the lower right region Sb are obtained to generate the road surface contour signal Sre.

【００１７】水平走査位置を所定間隔ＰＬｈでスキップ
させていくことによって、Ｐｖ／ＰＬｈの絶対値に相当
する整数Ｋ本の水平線Ｌｈで抽出することになり、計算
負荷の低減を図ると共に、画素抽出処理の迅速化を可能
にしている。言うまでもなく、ＰＬｈを一画素単位でセ
ットできる。。このようにして、左右の下部領域ＳｂＬ
及びＳｂＲの輪郭画素を求めていくが、各垂直位置に於
いて、各左右の線ＬｈＬ及びＬｈＲに関して、最初に所
定濃度を持つ画素が見つかれば、その画素Ｐｅを輪郭画
素と定めて、その水平線に関しては、輪郭画素の走査は
行わないで、次の垂直位置での水平線に移動してその垂
直位置での輪郭画素を求める。つまり、水平線Ｌｓから
数えて、最初の水平線Ｌｈに関して、左右の車線表示Ｌ
ｍ１及びＬｍ２の内側エッジ部で、輪郭画素が検出され
る。しかしながら、３番目、４番目の線に関して言え
ば、この垂直位置では、右側の車線表示Ｌｍ２の分割さ
れているため、水平線は、右側車線表示Ｌｍ２を通り越
し、隣の車線の表示Ｌｍ３の内側エッジを輪郭画素とし
て検出してしまう。更に、図７には示されていないが、
垂直線Ｌｃから各車線表示までの間に、傷とか汚れ等が
あれば、これらのエッジも輪郭点として検出される。こ
れらの輪郭画素は、現在走行中の車線に対応するもので
ないので、本発明に係る位置把握動作に対する一種のノ
イズ成分となる。これらノイズ成分は、後に詳述する道
路検出器５００による路面判定により除去される。By skipping the horizontal scanning position at a predetermined interval PLh, the horizontal scanning position is extracted by an integer K horizontal lines Lh corresponding to the absolute value of Pv / PLh, thereby reducing the calculation load and extracting pixels. It allows for faster processing. Needless to say, PLh can be set for each pixel. . Thus, the left and right lower regions SbL
And the outline pixels of SbR are determined. If a pixel having a predetermined density is first found for each of the left and right lines LhL and LhR at each vertical position, the pixel Pe is determined as an outline pixel, and the horizontal line is determined. With regard to, the contour pixel is not scanned, but is moved to the horizontal line at the next vertical position, and the contour pixel at that vertical position is obtained. In other words, counting from the horizontal line Ls, with respect to the first horizontal line Lh, the left and right lane indications L
Contour pixels are detected at the inner edges of m1 and Lm2. However, regarding the third and fourth lines, at this vertical position, the right lane display Lm2 is divided, so that the horizontal line passes through the right lane display Lm2 and passes through the inner edge of the adjacent lane display Lm3. It is detected as a contour pixel. Further, although not shown in FIG.
If there is a flaw or dirt between the vertical line Lc and the display of each lane, these edges are also detected as contour points. Since these contour pixels do not correspond to the currently traveling lane, they become a kind of noise component for the position determination operation according to the present invention. These noise components are removed by road surface determination by the road detector 500 described later in detail.

【００１８】図８に、このようにして得られた路面輪郭
信号Ｓｒｅによって表されている抽出輪郭画像Ｖｒｅを
示す。車線表示Ｌｍ１、Ｌｍ２、及びＬｍ３に対応する
検出された輪郭画素がそれぞれ点線で示されているＳｃ
Ｌ、ＳｃＲ、及びＳｃＲ’に対応する。ここで、Ｓｃ
Ｒ’は、先に述べたノイズデータである。更に、車線輪
郭ＳｃＬの近傍に示されていう点線ＳｃＬ’は、路面上
の汚れ、傷等、影等の原因で抽出されたノイズデータで
ある。FIG. 8 shows an extracted contour image Vre represented by the road surface contour signal Sre thus obtained. Sc in which detected contour pixels corresponding to lane indications Lm1, Lm2, and Lm3 are indicated by dotted lines, respectively.
L, ScR, and ScR '. Where Sc
R ′ is the noise data described above. Further, a dotted line ScL ′ shown near the lane contour ScL is noise data extracted due to dirt, scratches, shadows, etc. on the road surface.

【００１９】図９及び図１０を参照して、領域限定器４
０６による領域設定を説明する。図９に示すように、領
域限定器４０６は路面輪郭信号Ｓｒｅに基づいて、抽出
された輪郭ＳｃＬ及びＳｃＲのそれぞれを中心に左右に
所定の水平長さＷｒで規定される限定領域ＲｓＬ及びＲ
ｓＲを設定する。そして、設定された限定領域ＲｓＬ及
びＲｓＲを示す領域限定信号Ｓｒを空間周波数分離器２
００の高周波抽出器２０４に出力する。但し、輪郭抽出
器４０４が車線輪郭を抽出出来なくて、路面輪郭信号Ｓ
ｒｅの代わりにエラー信号Ｓｅｅ（不図示）を出力した
場合には、上述の領域限定を行わない。限定領域の幅Ｗ
Ｒは、自動車ＡＭの横方向移動に伴う画像中の車線表示
（白線）がｘ方向へ移動する量を考慮して予め設定して
おく。ＷＲは、斜視画像ＶｉでＬｍ１をマークする車線
とすれば、本発明装置の１システムサイクルＣＳ、例え
ば３３ｍＳ、の間に移動する可能性のある距離に相当す
る量である。よって、この限定幅は、画像底辺に近づく
につれて大きくなるように設定されている。Referring to FIGS. 9 and 10, area limiter 4
The setting of the area according to 06 will be described. As shown in FIG. 9, based on the road surface contour signal Sre, the region limiter 406 defines limited regions RsL and R defined by a predetermined horizontal length Wr on the left and right around the extracted contours ScL and ScR, respectively.
Set sR. Then, the region limited signal Sr indicating the set limited regions RsL and RsR is converted to a spatial frequency separator 2.
00 to the high frequency extractor 204. However, since the contour extractor 404 cannot extract the lane contour, the road surface contour signal S
When an error signal See (not shown) is output instead of re, the above-described region limitation is not performed. Limited area width W
R is set in advance in consideration of the amount by which the lane display (white line) in the image moves in the x direction due to the lateral movement of the automobile AM. WR is an amount corresponding to a distance that may move during one system cycle CS of the device of the present invention, for example, 33 mS, assuming that the lane marks Lm1 in the perspective image Vi. Therefore, the limited width is set to increase as approaching the bottom of the image.

【００２０】図１０に示すように、高周波抽出器２０４
は領域信号Ｓｒに基づいて、斜視画像Ｖｉの下部領域Ｓ
ｂ内のエッジ抽出処理の対象部分を、限定領域ＲｓＲ及
びＲｓＬ内に限定する。このように、斜視画像Ｖｉのデ
ータ処理量を少なくして、処理の迅速化を図ると共に、
対象とする車線輪郭以外のノイズ成分の影響を押さえ
て、車線に対する追随性を向上させることができる。ノ
イズ成分が、前述の対向車線Ｌｍ３の輪郭線ＳｃＲ’の
ように限定領域ＲｓＬ（ＲｓＲ）から十分離れている場
合には、領域設定器４０６による領域限定で除去でき
る。しかし、点線ＳｃＬ’のような輪郭ノイズが本来の
車線輪郭ＲｃＲの近傍に場合には、限定領域ＲｓＲ内に
含まれてしまうことがある、この場合、領域設定器４０
６に領域限定では同輪郭ノイズの除去は不可能である。
これらのノイズ成分については、後述の道路検出器５０
０による路面判定により除去される。As shown in FIG. 10, the high frequency extractor 204
Is the lower region S of the perspective image Vi based on the region signal Sr.
The target portion of the edge extraction processing in b is limited to the limited regions RsR and RsL. As described above, the amount of data processing of the perspective image Vi is reduced to speed up the processing, and
The effect of noise components other than the target lane contour can be suppressed, and the ability to follow the lane can be improved. When the noise component is sufficiently separated from the limited area RsL (RsR) as in the contour line ScR 'of the opposite lane Lm3, the noise component can be removed by limiting the area by the area setting unit 406. However, if the contour noise such as the dotted line ScL ′ is near the original lane contour RcR, it may be included in the limited region RsR. In this case, the region setting unit 40
6, it is impossible to remove the same contour noise when the area is limited.
For these noise components, a road detector 50 described later is used.
It is removed by the road surface judgment by 0.

【００２１】図１１を参照して、空間周波数分離器２０
０の低周波抽出器２０２による低周波画像生成を簡単に
説明する。低周波抽出器２０２は、デジタル画像信号Ｓ
ｉにローパスフィルタリングを施して空間低周波数信号
ＳＬを生成する。図１１に示すように、空間低周波数信
号ＳＬの表す低周波画像ＶＬに於いては、前景画像Ｖｉ
中の対象物は、それぞれ輝度の異なる画素集合によっ
て、ボケた状態で表現される。つまり、空間低周波数信
号ＳＬの表す低周波画像ＶＬは輝度画像である。空間低
周波数信号ＳＬの生成においても、処理負荷を軽減する
為に、空間高周波信号ＳＨ生成の場合と同様に、斜視画
像Ｖｉデータ全域にでは無く、Ｓｂ部（Ｐh ｘＡ）から
抽出された輝度画素だけを抽出する。このようにして得
られた前景斜視輝度画像ＶＬに於いて、路面を表す画素
の輝度は、自動車ＡＭつまりデジタル撮像装置１００か
ら遠方の路面に対応する画素ほど輝度が高いと言う傾向
がある。路肩、側溝、及び側壁と言う対象部においても
同様に遠方を示す画素ほど輝度が高い。図１１に於いて
は、Ａ位置に於ける画素、つまり水平線Ｌｓ上の画素
が、それぞれ属する対象物を表す画素の中で一番高い輝
度を有し、最下部の画素が一番低い輝度を有する。Referring to FIG. 11, spatial frequency separator 20
The low-frequency image generation by the low-frequency extractor 202 of 0 will be briefly described. The low frequency extractor 202 outputs the digital image signal S
i is subjected to low-pass filtering to generate a spatial low-frequency signal SL. As shown in FIG. 11, in the low-frequency image VL represented by the spatial low-frequency signal SL, the foreground image Vi
The object in the middle is represented in a blurred state by a set of pixels having different luminances. That is, the low-frequency image VL represented by the spatial low-frequency signal SL is a luminance image. Also in the generation of the spatial low frequency signal SL, in order to reduce the processing load, as in the case of the generation of the spatial high frequency signal SH, the luminance pixels extracted from the Sb portion (Ph xA) instead of the entire perspective image Vi data. Just extract. In the foreground oblique luminance image VL obtained in this way, the luminance of the pixel representing the road surface tends to be higher for the pixel corresponding to the road surface farther from the automobile AM, that is, the digital imaging device 100. Similarly, in a target portion such as a road shoulder, a side groove, and a side wall, the luminance of a pixel that is farther away is higher. In FIG. 11, the pixel at the position A, that is, the pixel on the horizontal line Ls has the highest luminance among the pixels representing the objects to which each belongs, and the lowermost pixel has the lowest luminance. Have.

【００２２】しかし、同様の遠距離にある異なる対象物
の画素間のそれぞれの輝度は同一と言う訳では無く、材
質の違いによる反射率、また光源から光を受ける角度の
違いによって輝度が異なるからである。しかし、遠方を
示す画素ほど輝度が高いと言う関係は保たれる。前述の
ように、輝度画像ＶＬはデジタル撮像装置１００によっ
て前景路面を重点的に撮像して得た斜視画像Ｖｉの下部
Ｓｂからのみ生成している。それ故に、輝度画像ＶＬの
画素の大半は路面を表しているので、輝度画像ＶＬ中の
全画素に対してもこの傾向が概ね適用できる。そこで、
デジタル撮像装置１００から見て最遠方部に在る水平線
Ｌｓ上の画素の内で路面を表す画素を路面最遠画素Ｐｆ
とし、その輝度値を路面最高輝度Ｂｍａｘとする。そし
て、最下部画素の内で路面を表す画素を路面最近画素Ｐ
ｎとし、その輝度値を路面最低輝度値Ｂｍｉｎとする。
尚、路面最遠画素Ｐｆ及び路面最近画素Ｐｎは、必要に
応じて、任意の位置に設定して良いことは言うまでもな
い。However, the brightness between pixels of different objects located at similar distances is not necessarily the same, and the brightness differs depending on the reflectance due to the difference in material and the angle at which light is received from the light source. It is. However, the relationship that the luminance of a pixel that is farther away is higher is maintained. As described above, the luminance image VL is generated only from the lower part Sb of the perspective image Vi obtained by focusing the foreground road surface by the digital imaging device 100. Therefore, since most of the pixels of the luminance image VL represent the road surface, this tendency can be generally applied to all the pixels in the luminance image VL. Therefore,
Pixels representing the road surface among the pixels on the horizontal line Ls located farthest from the digital imaging device 100 are referred to as the road surface farthest pixels Pf.
And the luminance value is set as the road surface maximum luminance Bmax. Then, a pixel representing the road surface among the lowermost pixels is set as a road surface latest pixel P.
n, and its luminance value is the road surface minimum luminance value Bmin.
Needless to say, the farthest road surface pixel Pf and the nearest road surface pixel Pn may be set at arbitrary positions as needed.

【００２３】図１２に、輝度画像ＶＬ中の全画素につい
て、横軸に輝度値をとり、縦軸に各輝度値を有する画素
数をとり作成したヒストグラムを示す。同図に示すよう
に、輝度画像ＶＬ中の画素の大半が路面最低輝度値Ｂｍ
ｉｎと路面最高輝度Ｂｍａｘの輝度を有する路面を表す
画素であることが分かる。このことから、路面最低輝度
値Ｂｍｉｎと路面最高輝度Ｂｍａｘ間の輝度を路面輝度
Ｂｒと呼び、更にこれらの画素を路面表示画素Ｐｒと呼
ぶ。尚、図４を参照して説明したように、デジタル撮像
装置１００が自動車ＡＭの前方のほぼ中央に取付けられ
ている場合には、路面最遠画素Ｐｆと路面最近画素Ｐｎ
を図７で示した垂直中心線Ｌｃ上の適当な位置Ｖｐｆ及
びＶｐｎにそれぞれ設定すれば、この二点Ｖｐｆ及びＶ
ｐｎ間の距離に含まれる路面は路面表示画素Ｐｒで表さ
れる。この意味に於いて、位置Ｖｐｆは路面検出最遠距
離であり、位置Ｖｐｎは路面検出最近距離である。デジ
タル撮像装置１００のＡＭに於ける取り付け位置に応じ
て、路面最遠画素Ｐｆは路面検出最遠距離Ｖｐｆ上の任
意の位置に設定し、同様に路面最近画素Ｐｎは路面検出
最近距離Ｖｐｎ上の任意の位置に設定すれば良い。路面
検出最遠距離Ｖｐｆ及び路面検出最近距離Ｖｐｎも車速
や、局地的位置把握装置ＬＰの処理能力に応じて、任意
の位置に設定すれば良いが、これについては後程詳しく
説明する。FIG. 12 shows a histogram created by taking the luminance value on the horizontal axis and the number of pixels having each luminance value on the vertical axis for all the pixels in the luminance image VL. As shown in the drawing, most of the pixels in the luminance image VL have the road surface minimum luminance value Bm.
It can be seen that the pixel is a pixel representing a road surface having a luminance of “in” and the maximum road surface luminance Bmax. Accordingly, the luminance between the road surface minimum luminance value Bmin and the road surface maximum luminance Bmax is referred to as road surface luminance Br, and these pixels are referred to as road surface display pixels Pr. Note that, as described with reference to FIG. 4, when the digital imaging device 100 is mounted substantially at the center in front of the automobile AM, the road surface farthest pixel Pf and the road surface latest pixel Pn
Are set at appropriate positions Vpf and Vpn on the vertical center line Lc shown in FIG.
The road surface included in the distance between pn is represented by a road surface display pixel Pr. In this sense, the position Vpf is the farthest road detection distance, and the position Vpn is the closest road detection distance. The farthest road surface pixel Pf is set at an arbitrary position on the farthest road detection distance Vpf according to the mounting position of the digital imaging device 100 in the AM. It may be set at any position. The farthest road surface detection distance Vpf and the latest road surface detection distance Vpn may be set to arbitrary positions according to the vehicle speed and the processing capacity of the local position grasping device LP, which will be described in detail later.

【００２４】図１３に、輝度画像ＶＬ中の路面のみを表
示する画素の輝度値と、各画素が対応する路面の撮像距
離との関係の一例を示す。同図は、自動車ＡＭの前部に
デジタル撮像装置１００を搭載して、晴天時に高速道路
の直線車線上を走行中に得られた輝度画像ＶＬ内の路面
表示画素に関して得られた実験値である。同図におい
て、横軸は、輝度画像ＶＬに於ける水平走査位置（Ｐ
ｖ）つまり画素毎の対応距離Ｄを、縦軸に、その距離に
於ける輝度Ｂである。同図より明らかなように、上述の
距離と輝度値の関係が明らかに認められる。距離-輝度
値の関係が直線では無く右肩上がりの波形になっている
のは、同一路面に於いても白線や、汚れ等、更に路面表
面の起伏等による乱反射により部分的に色や輝度に斑が
あるからである。更に、既に述べたように、水平走査遠
位置が高いほど１画素が表す範囲が広いために、輝度値
の変動も大きくなる。しかしながら、この様な撮像距離
と画素輝度値の関係は次式（２）で表すことができる。 Ｂ ＝ Ａ・Ｄ ＋ Ｃ （２） 尚、高速道路の直線車線上では、Ａ＝０．４１２８、Ｄ
＝１０８．５６と言う値が実験結果として得られてい
る。また、この第２式に示す直線の上下に Ｂ ＝ Ａ・Ｄ ＋ Ｃ’ （３） Ｂ ＝ Ａ・Ｄ ＋ Ｃ” （４） 但し、Ｃ’及びＣ”（Ｃ’＞Ｃ＞Ｃ”）を正しく設定す
ることで、第３式及び第４式で表される二本の平行線を
求めることによって、各走査位置を示す画素の輝度値の
範囲を求めることが出来る。FIG. 13 shows an example of the relationship between the luminance value of a pixel displaying only the road surface in the luminance image VL and the imaging distance of the road surface corresponding to each pixel. The figure shows experimental values obtained with respect to a road surface display pixel in a luminance image VL obtained while the digital imaging device 100 is mounted in front of the automobile AM and traveling on a straight lane of a highway in fine weather. . In the figure, the horizontal axis represents the horizontal scanning position (P
v) That is, the vertical axis represents the corresponding distance D for each pixel, and the luminance B at that distance. As is clear from the figure, the relationship between the distance and the luminance value is clearly recognized. The relationship between the distance and the brightness value is not a straight line but a waveform that rises to the right because even on the same road surface, white lines, dirt, etc. This is because there are spots. Further, as described above, the higher the far position in the horizontal scanning is, the wider the range represented by one pixel is, so that the fluctuation of the luminance value is also large. However, such a relationship between the imaging distance and the pixel luminance value can be expressed by the following equation (2). B = A · D + C (2) In the straight lane of the highway, A = 0.4128, D
= 108.56 is obtained as an experimental result. B = A ・ D + C ′ (3) B = A ・ D + C ″ (4) where C ′ and C ″ (C ′>C> C ″) above and below the straight line shown in the second equation. By properly setting, the range of the luminance value of the pixel indicating each scanning position can be obtained by obtaining the two parallel lines represented by the third and fourth expressions.

【００２５】図１４を参照して、路面輝度設定器３０２
による路面輝度設定について説明する。図１１、図１
２、及び図１３を用いて説明した撮像距離と画素輝度値
の関係に基づいて、空間低周波数信号ＳＬに対して、位
置把握処理対象とする路面の領域を規定する距離に応じ
た画素位置に路面最遠画素Ｐｆ及び路面最近画素Ｐｎに
それぞれ設定する。そして、路面最遠画素Ｐｆに於ける
画素輝度を路面最高輝度Ｂｍａｘとし、路面最近画素Ｐ
ｎに於ける画素輝度を路面最低輝度値Ｂｍｉｎとして取
り込んで、路面輝度信号ＳＢｒを生成する。尚、必要に
応じて、路面輝度信号ＳＢｒには上述の第３式及び第４
式で表された範囲の輝度値幅を有するように設定され
る。尚、これら路面最遠画素Ｐｆ及び路面最近画素Ｐｎ
の輝度画像ＶＬ上の位置を、図３に示す斜視画像座標に
もとづいて、Ｐｆ（ｘＰｆ、ｙＰｆ）とＰｎ（ｘＰｎ、
ｙＰｎ）とそれぞれ表す。尚、路面最高輝度Ｂｍａｘを
検出する路面最遠画素Ｐｆの位置は、自動車ＡＭの移動
速度及び局地的位置把握装置ＬＰの処理速度Ｔｐに応じ
た適正ない位置に設定する事によって、局地的位置把握
装置ＬＰの設置された自動車ＡＭの走行条件に応じた精
度の高い車線領域検出が実現できる。例えば、自動車Ａ
Ｍの走行速度Ｓｖに応じて、路面最遠画素Ｐｆを輝度画
像ＶＬ中を垂直方向に移動させることによって、自動車
ＡＭが高速走行している場合には自動車ＡＭより遠方地
点における測定精度を確保する。同様に自動車ＡＭが低
速走行している場合は、より近距離地点での車線検出の
精度を向上することができる。自動車ＡＭが高速走行時
には、近距離位置を検出している間に自動車ＡＭはその
地点を通り過ぎてしまうので、局地的位置把握装置の処
理速度と走行速度Ｓｖに応じた適切な距離の地点から路
面最高輝度Ｂｍａｘを検出することが合理的である。Referring to FIG. 14, road surface luminance setting device 302
Will be described. 11 and 1
2, based on the relationship between the imaging distance and the pixel luminance value described with reference to FIG. The road surface farthest pixel Pf and the road surface nearest pixel Pn are set. The pixel luminance at the farthest road surface pixel Pf is defined as the maximum road surface luminance Bmax, and the pixel P
The pixel luminance at n is taken in as the road surface minimum luminance value Bmin, and a road surface luminance signal SBr is generated. If necessary, the road surface luminance signal SBr may include the above-described third formula and fourth formula.
It is set so as to have the luminance value width in the range represented by the expression. The farthest road surface pixel Pf and the latest road surface pixel Pn
Of the luminance image VL on the basis of the perspective image coordinates shown in FIG.
yPn). By setting the position of the road surface farthest pixel Pf for detecting the road surface maximum brightness Bmax to an inappropriate position corresponding to the moving speed of the automobile AM and the processing speed Tp of the local position grasping device LP, the local position is determined. High-accuracy lane area detection according to the traveling conditions of the automobile AM in which the position grasping device LP is installed can be realized. For example, car A
By moving the farthest road surface pixel Pf in the luminance image VL in the vertical direction according to the traveling speed Sv of M, when the automobile AM is traveling at high speed, the measurement accuracy at a point farther than the automobile AM is secured. . Similarly, when the vehicle AM is traveling at a low speed, the accuracy of lane detection at a shorter distance can be improved. When the vehicle AM travels at high speed, the vehicle AM passes the point while detecting the short-distance position. Therefore, from a point at an appropriate distance according to the processing speed of the local position grasping device and the traveling speed Sv. It is reasonable to detect the road surface maximum brightness Bmax.

【００２６】更に、自動車ＡＭが直進路を進行中には路
面最遠画素Ｐｆは、輝度画像ＶＬの垂直中心線Ｌｃ上に
設定すれば十分である。しかしながら、自動車ＡＭが曲
進道を走行する場合には、路面最遠画素Ｐｆは輝度画像
ＶＬ中の側壁等の路面以外の画像から路面最高輝度Ｂｍ
ａｘを抽出してしまう恐れがある。この様な場合には、
自動車ＡＭの操舵角度に基づいて、車線の曲率を推定す
ることによって、常に輝度画像ＶＬ中の路面領域の画像
のみを路面最高輝度Ｂｍａｘ抽出対象とする事ができ
る。つまり、操舵信号Ｓｓに応じて、路面最遠画素Ｐｆ
を輝度画像ＶＬ中の水平方向に移動させることによっ
て、路面最遠画素Ｐｆを路面画像中に設定することが出
来る。上述の速度信号Ｓｖ及び操舵信号Ｓｓに基づい
て、路面最遠画素Ｐｆを輝度画像ＶＬ中を水平垂直に自
由に動かすことによって、路面表示画素を路面最遠画素
Ｐｆにする事ができる。尚、速度信号Ｓｖの代わりに運
転者が、任意の対象距離（垂直方向位置）を入力しても
良い。更に、操舵信号Ｓｓの代わりに、ナビゲーション
システム等に用いられている地図データから車線の直進
或いは曲進に関する情報を得ても良いことは言うまでも
ない。要するに、必要に応じて、適当な手段により路面
最遠画素Ｐｆ及び路面最近画素Ｐｎを輝度画像ＶＬ中の
任意の方向に移動或いは固定制御することにより、検出
対象物画像をより確実補足する事ができる。Further, while the automobile AM is traveling on a straight road, it is sufficient to set the farthest pixel Pf on the vertical center line Lc of the luminance image VL. However, when the car AM travels on a curved road, the road surface farthest pixel Pf is calculated from the image other than the road surface such as the side wall in the luminance image VL as the road surface maximum luminance Bm.
ax may be extracted. In such a case,
By estimating the curvature of the lane based on the steering angle of the automobile AM, it is possible to always extract only the image of the road surface area in the luminance image VL as the road surface maximum luminance Bmax. That is, the farthest road surface pixel Pf is determined according to the steering signal Ss.
Is moved in the horizontal direction in the luminance image VL, whereby the farthest pixel Pf on the road surface can be set in the road surface image. By freely moving the road surface farthest pixel Pf horizontally and vertically in the luminance image VL based on the speed signal Sv and the steering signal Ss, the road surface display pixel can be made the road surface farthest pixel Pf. Note that the driver may input an arbitrary target distance (vertical position) instead of the speed signal Sv. Further, it is needless to say that, in place of the steering signal Ss, information relating to straight traveling or turning of a lane may be obtained from map data used in a navigation system or the like. In short, if necessary, the farthest road surface pixel Pf and the nearest road surface pixel Pn are moved or fixedly controlled in any direction in the luminance image VL by appropriate means, so that the detection target image can be more reliably supplemented. it can.

【００２７】図１５、図１６、及び図１７を参照して路
面画像抽出器３０４による路面画像抽出について説明す
る。路面画像抽出器３０４は、空間低周波数信号ＳＬの
下部領域Ｓｂの画素を図１３に示す走査位置に対する画
素輝度値の関係（第２式、第３式、及び第４式）に基づ
いて走査して、路面画像内の画素を抽出する。路面画像
抽出器３０４に於ける路面画像抽出は、図１２を参照し
て説明した輪郭抽出器４０４の車線表示の輪郭線と類似
している。しかし、輪郭抽出器４０４は輪郭閾値信号Ｓ
ｔｈに基づいて閾値以上の輝度エッジを有する画素から
車線輪郭を抽出するのに対して、路面画像抽出器３０４
では、各水平走査位置（Ｐｖ）に於いて前記第２式、第
３式、或いは第４式を満たす路面最高輝度Ｂｍａｘ以下
且つ路面最低輝度値Ｂｍｉｎ以上の画素を抽出して路面
画像とする。尚、白線部Ｌｍ１、Ｌｍ２、及びＬｍ３の
最内周部に於いて、図８に於ける輪郭画素ＳｃＬ、Ｓｃ
Ｒ、及びＳｃＲ’にそれぞれ相当する領域画素の集合Ｅ
ｌｍ、Ｅｒｍ、及びＥｒｍ’が得られる。尚、必要に応
じて、これら相当する領域画素集合Ｅｌｍ、Ｅｒｍ、及
びＥｒｍ’に基づいて、最小二乗法や、後で図２０、図
２１及び図２２を参照して説明するＨｏｕｇｈ変換等の
適当な手法を用いて、白線部Ｌｍ１、Ｌｍ２、及びＬｍ
３の内端部を表す直線を求めても良い。図１６に画素集
合ＥｌｍのＨｏｕｇｈ変換等の例を示す。更に図１７に
直線近似された路面画像を示す。このように、直線近似
の結果、対抗車線の白線Ｌｍ３の白線内端部Ｅｒｍ’が
除去される。The extraction of the road surface image by the road surface image extractor 304 will be described with reference to FIGS. The road surface image extractor 304 scans the pixels in the lower region Sb of the spatial low-frequency signal SL based on the relationship (2nd, 3rd, and 4th) of the pixel luminance value with respect to the scanning position shown in FIG. Then, the pixels in the road surface image are extracted. The road surface image extraction in the road surface image extractor 304 is similar to the outline of the lane display of the outline extractor 404 described with reference to FIG. However, the contour extractor 404 uses the contour threshold signal S
While extracting a lane contour from a pixel having a luminance edge equal to or greater than a threshold based on th, a road surface image extractor 304
In each of the horizontal scanning positions (Pv), a pixel having a road surface maximum luminance Bmax or less and a road surface minimum luminance value Bmin or more that satisfies the second, third, or fourth expression is extracted as a road surface image. Note that, at the innermost peripheral portions of the white line portions Lm1, Lm2, and Lm3, the contour pixels ScL, Sc in FIG.
A set E of region pixels corresponding to R and ScR ′, respectively.
Im, Erm, and Erm 'are obtained. Incidentally, if necessary, based on these corresponding area pixel sets Elm, Erm, and Erm ′, an appropriate method such as a least square method or a Hough transform described later with reference to FIGS. 20, 21, and 22 can be used. Line portions Lm1, Lm2, and Lm
Alternatively, a straight line representing the inner end of No. 3 may be obtained. FIG. 16 shows an example of a Hough transform of the pixel set Elm. FIG. 17 shows a road surface image approximated by a straight line. In this way, as a result of the straight line approximation, the inner end portion Erm 'of the white line Lm3 of the opposing lane is removed.

【００２８】図１８を参照して、路面領域設定器３０６
による路面領域設定について説明する。路面領域設定器
３０６は、路面抽出信号Ｓｒｓに基づいて、抽出された
白線内端部Ｅｌｍ及びＥｒｍのそれぞれを中心に左右に
所定の水平長さＷａで規定される路面端領域ＡｅＬ及び
を設定する。そして、設定された路面領域ＡｅＬ及びＡ
ｅＲを示す路面領域信号Ｓｒｒを道路検出器５００に出
力する。但し、路面領域設定器３０６が路面領域を抽出
出来なくて、路面抽出信号Ｓｒｓの代わりにエラー信号
Ｓｅｅ（不図示）を出力した場合には、上述の領域限定
を行わない。路面画像抽出器３０４に於ける路面領域設
定は、領域限定器４０６に於ける輪郭抽出領域限定に類
似しているが、設定領域幅Ｗａは上述の第２式、第３
式、及び第４式で示されたＣ、Ｃ’、及びＣ”に基づい
て適宜定めることができる値である。このように、路面
画像抽出器３０４は低周波抽出器２０２からの低周波数
画像データからなる空間低周波数信号ＳＬを使用して、
輝度の分布から所定の関係にある画素からなる領域毎に
ひとまとめにして輝度画像ＶＬを分割し、更に分割され
た領域を道路に関する知識を使用してその領域を併合し
て路面領域を検出するものである。ここで道路に関する
知識とは、デジタル撮像装置１００により撮影された画
像Ｖｉの路面最遠画素Ｐｆ及び路面最近画素Ｐｎを含む
領域は道路であるということである。これに加えて、左
右の白線が交差する消失点が時間的に急激には変化しな
いことや、道路の画素に占める大きさがほぼ一定である
等を含めることもできる。従って少なくとも路面最近画
素Ｐｎを含む領域とし、又はこれに加えて隣接する領域
を加えて道路とする。Referring to FIG. 18, road surface area setting device 306
The following describes how to set the road surface area. The road surface area setting unit 306 sets a road surface end area AeL defined by a predetermined horizontal length Wa on the left and right around the extracted white line inner ends Elm and Erm based on the road surface extraction signal Srs. . Then, the set road surface areas AeL and AeL
The road surface area signal Srr indicating eR is output to the road detector 500. However, when the road surface area setting unit 306 cannot extract the road surface area and outputs an error signal See (not shown) instead of the road surface extraction signal Srs, the above-described area limitation is not performed. The setting of the road surface area in the road image extractor 304 is similar to the limitation of the contour extraction area in the area limiter 406.
The value is a value that can be appropriately determined based on the formulas and C, C ′, and C ″ shown in the fourth formula. As described above, the road surface image extractor 304 outputs the low frequency image from the low frequency extractor 202. Using the spatial low frequency signal SL consisting of data,
A method in which a luminance image VL is divided into regions each including pixels having a predetermined relationship from a luminance distribution, and the divided regions are combined using the knowledge about a road to detect a road surface region. It is. Here, the knowledge about the road means that an area including the road surface farthest pixel Pf and the road surface latest pixel Pn of the image Vi captured by the digital imaging device 100 is a road. In addition to this, it is also possible to include that the vanishing point at which the left and right white lines intersect does not change abruptly with time, or that the size of the pixel occupying the road is almost constant. Therefore, the road is defined as a region including at least the latest pixel Pn on the road surface, or in addition to the region, a road is formed by adding an adjacent region.

【００２９】次に、道路検出器５００の動作について説
明する。道路検出器５００は、道路輪郭検出器４００か
ら供給された路面輪郭信号Ｓｒｅの示す輪郭線ＳｃＲ及
びＳｃＬ（図８）が、路面領域信号Ｓｒｒに示される路
面端領域ＡｅＲ及びＡｅＬにそれぞれ含まれるか否かが
判断される。つまり同一水平走査線位置（距離）に於い
て、ＳｃＲの値がＡｅＲ±Ｗａ内である場合には、路面
輪郭信号Ｓｒｅは正しい路面輪郭を示していると見なし
て、路面判定信号Ｓｊをローにすると共に、路面輪郭信
号Ｓｒｅを路上位置検出装置６００に出力する。一方、
ＳｃＲの値がＡｅＲ±Ｗａ外である場合には、路面輪郭
信号Ｓｒｅは路面輪郭を示していない、つまり路面内の
ノイズ輪郭をしめしていると見なして、路面判定信号Ｓ
ｊをハイにして、路面輪郭信号Ｓｒｅを外部に出力しな
い。以上のように、同じ輝度画像データから空間周波数
的に重なりのない低周波画像と高周波画像を作成し、そ
れぞれの画像から独立に道路領域と道路白線候補輪郭点
を検出することにより、精度の高い道路白線検出を実現
できる。。Next, the operation of the road detector 500 will be described. The road detector 500 determines whether or not the contour lines ScR and ScL (FIG. 8) indicated by the road surface contour signal Sre supplied from the road contour detector 400 are included in the road surface end regions AeR and AeL indicated by the road surface region signal Srr, respectively. It is determined whether or not. That is, at the same horizontal scanning line position (distance), if the value of ScR is within AeR ± Wa, the road surface contour signal Sre is regarded as indicating a correct road surface contour, and the road surface determination signal Sj is set to low. At the same time, it outputs the road surface contour signal Sre to the road position detection device 600. on the other hand,
If the value of ScR is out of AeR ± Wa, it is considered that the road surface contour signal Sre does not indicate a road surface contour, that is, it indicates a noise contour on the road surface.
j is set high, and the road surface contour signal Sre is not output to the outside. As described above, a low-frequency image and a high-frequency image having no spatial frequency overlap are created from the same luminance image data, and a road region and a road white line candidate contour point are independently detected from each image, thereby achieving high accuracy. Road white line detection can be realized. .

【００３０】図３及び図４を参照して、座標変換器６０
２による抽出輪郭画像Ｖｒｅの座標変換の概念を簡単に
説明する。座標変換器６０２は路面輪郭信号Ｓｒｅの座
標系を変換して、その信号の表す斜視画像Ｖｒｅから鳥
瞰図画像Ｖｃｃに変換する。抽出輪郭画像Ｖｒｅに於い
ては、対象が斜視された状態で表現されているので、デ
ジタル撮像装置１００からの距離が遠くなるほど、対象
物の形状はより歪んでしまう。言い換えれば、同じ大き
さの二つの対象物でも、近くに在る対象物より、遠くに
在る物の方が小さく表現される。対象物の形は撮像デバ
イス１００か自動車ＡＭから距離が遠くなるに従って歪
みが大きい。図３に斜視画像Ｖｉ、Ｖｈ、及びＶｒｅの
座標系を示す。図４も自動車ＡＭを基準とした鳥瞰座標
系を示す。画像座標系（ｘ、ｙ）のｘ軸は、鳥瞰図の座
標系のＸ軸に平行で同方向、デジタル撮像装置１００の
光軸Ａｘが水平面に対して角度θ傾いているので、ｙ軸
もＹ軸に対して角度θだけ傾いている。このように、Ｘ
軸とＺ軸で、自動車ＡＭの走行面である路面に対して実
質的に平行な水平面Ｐｄを規定する。Ｙ軸とｙ軸は芯が
合っている。Ｘ軸は図４の面に対して垂直である。原点
Ｏは、抽出輪郭画像Ｖｒｅの座標系原点と同一であると
共に、デジタル撮像装置１００の光軸が通っている。そ
して、次の方程式を利用することにより、斜視画像Ｖｒ
ｅの座標を鳥瞰画像Ｖｃｃの座標に変換できる。。 Ｘ ＝（ｘ/Ｆ）（Ｚｃｏｓθ-Ｙｓｉｎθ） （５） Ｚ ＝ Ｙ（Ｆｃｏｓθ＋Ｙｓｉｎθ） （６） Ｙ ＝ −Ｈ （７） Ｆは、デジタル撮像装置１００の光学レンズの焦点距
離、θはＺ軸（水平方向軸）と光学レンズの光軸Ａｘの
成す角度、Ｈは路面から光軸レンズの原点までの距離。
θもＨも、好ましくは、図５を参照して説明したような
自動車ＡＭの進行方向前方の斜視画像Ｖｉを得られるよ
うに設定される。たとえは、θは６度に、Ｈは１．２メ
ータに設定される。Referring to FIG. 3 and FIG.
The concept of the coordinate transformation of the extracted contour image Vre according to 2 will be briefly described. The coordinate converter 602 converts the coordinate system of the road surface contour signal Sre, and converts the perspective image Vre represented by the signal into a bird's-eye view image Vcc. In the extracted contour image Vre, the target is represented in a perspective state, and thus, the shape of the target is more distorted as the distance from the digital imaging device 100 increases. In other words, even for two objects having the same size, a far object is represented smaller than a nearby object. The distortion of the shape of the object increases as the distance from the imaging device 100 or the automobile AM increases. FIG. 3 shows a coordinate system of the perspective images Vi, Vh, and Vre. FIG. 4 also shows a bird's-eye view coordinate system based on the vehicle AM. The x-axis of the image coordinate system (x, y) is parallel to and the same direction as the X-axis of the bird's-eye view coordinate system. Since the optical axis Ax of the digital imaging device 100 is inclined at an angle θ with respect to the horizontal plane, the y-axis is also Y. It is inclined by an angle θ with respect to the axis. Thus, X
An axis and a Z axis define a horizontal plane Pd substantially parallel to a road surface that is a running surface of the vehicle AM. The Y axis and the y axis are aligned. The X axis is perpendicular to the plane of FIG. The origin O is the same as the origin of the coordinate system of the extracted contour image Vre, and the optical axis of the digital imaging device 100 passes through it. Then, by using the following equation, the perspective image Vr
The coordinates of e can be converted to the coordinates of the bird's-eye image Vcc. . X = (x / F) (Zcosθ−Ysinθ) (5) Z = Y (Fcosθ + Ysinθ) (6) Y = −H (7) F is the focal length of the optical lens of the digital imaging device 100, and θ is the Z axis ( H is the angle between the horizontal axis) and the optical axis Ax of the optical lens, and H is the distance from the road surface to the origin of the optical axis lens.
Both θ and H are preferably set such that a perspective image Vi in the forward direction of the vehicle AM as described with reference to FIG. 5 can be obtained. For example, θ is set to 6 degrees and H is set to 1.2 meters.

【００３１】上述の式（５）、（６）、及び（７）に基
づいて、抽出輪郭画像Ｖｒｅ中の距離を変換することに
よって、路面輪郭信号Ｓｒｅを座標変換した鳥瞰画像信
号Ｓｃｃが得られる。この信号Ｓｃｃに於いては、水平
方向の距離は、デジタル撮像装置１００からＺ軸方向に
距離が離れても関係無く、正確に表される。厳密に言え
ば、座標変換された画像Ｖｃｃは鳥瞰図画像ではなく、
常に路面と平行な面に路面を映した、いわば路面の平面
図である。それ故に、例えば、路面が小さい丘のように
盛り上がりや、さらに起伏を有していても、画像Ｖｃｃ
は路面を、常に平坦な表面として示す。しかしながら、
このような誤差は、本発明に係る局地的位置把握の精度
を損なうものではない。なぜなら、局地的位置把握は、
先に述べたように５０メートル先と言った比較的近距離
を、制御対象の再遠方地点としているので、路面の起伏
と言ったような変動を無視できる。しかしながら、路面
の完全な鳥瞰図画像、つまり鉛直線に垂直な水平面に垂
直に投影した路面の平面図画像が必要であれば、デジタ
ル撮像装置１００の光軸Ａｘを自動車ＡＭに固定するこ
となく、ジャイロ等の既知の自動姿勢制御装置を利用す
ることによって、常に水平面に対して一定の姿勢で画像
Ｖｉを得るようにすれば良い。ちなみに、以下の（８）
式及び（９）式に基づいて、鳥瞰座標から斜視座標に逆
変換できる。 ｘ＝ＦＸ/（Ｚｃｏｓθ＋Hｓｉｎθ) （８） ｚ＝Ｆ（Ｈｃｏｓθ＋Ｚｓｉｎθ)/（Ｚｃｏｓθ−Ｈｓｉｎθ) （９）By converting the distance in the extracted contour image Vre based on the above equations (5), (6) and (7), a bird's-eye image signal Scc obtained by performing coordinate conversion on the road surface contour signal Sre is obtained. . In the signal Scc, the horizontal distance is accurately represented regardless of the distance from the digital imaging device 100 in the Z-axis direction. Strictly speaking, the coordinate-transformed image Vcc is not a bird's-eye view image,
FIG. 2 is a plan view of the road surface, which always reflects the road surface on a plane parallel to the road surface. Therefore, for example, even if the road surface rises like a small hill or has further undulations, the image Vcc
Indicates the road surface as always a flat surface. However,
Such an error does not impair the accuracy of localization according to the present invention. Because local positioning is
As described above, since a relatively short distance such as 50 meters away is set as the re-distant point of the control object, fluctuations such as undulations of the road surface can be ignored. However, if a complete bird's-eye view image of the road surface, that is, a plan view image of the road surface projected vertically on a horizontal plane perpendicular to the vertical line is required, the gyro may be used without fixing the optical axis Ax of the digital imaging device 100 to the automobile AM. By using a known automatic attitude control device such as that described above, the image Vi may always be obtained in a constant attitude with respect to the horizontal plane. By the way, the following (8)
Based on the expression and the expression (9), the bird's-eye coordinates can be inversely transformed into the oblique coordinates. x = FX / (Zcosθ + Hsinθ) (8) z = F (Hcosθ + Zsinθ) / (Zcosθ−Hsinθ) (9)

【００３２】図１９に、座標変換された鳥瞰画像信号Ｓ
ｃｃが表す輪郭画像Ｖｃｃを示す。車線表示Ｌｍ１、Ｌ
ｍ２、及び、Ｌｍ３がそれぞれに対応するエッジ輪郭線
ＳｃＬ、ＳｃＲ、及び、ＳｃＲ’によって表現されて
る。図８に示す抽出輪郭画像Ｖｒｅと比較すれば分かる
ように、図１９に於いては、輪郭線ＳｃＬ、ＳｃＲ、及
び、ＳｃＲが互いに平行に、実際の道路上の車線のよう
に表されている。つまり、座標変換鳥瞰画像信号Ｓｃｃ
は、対象物の正しい平面寸法の情報を含む。図２に示す
ように、マッチング検出器６０４は座標変換器６０２に
接続されて、鳥瞰画像信号Ｓｃｃに基づいて、各輪郭Ｓ
ｃＬ、ＳｃＲ、及び、ＳｃＲ’に適合する直線或いは円
弧の式を以下のようにして求める。まず、鳥瞰画像信号
Ｓｃｃに含まれる各車線表示の内側の輪郭線ＳｃＬ、Ｓ
ｃＲ、及びＳｃＲ’の各画素データを、対応輪郭線毎に
別個に、以下の第１０式に基づいてハフ（Ｈｏｕｇｈ）
変換する。 ρ ＝ Ｘｃｏｓφ ＋ Ｚｓｉｎφ （１０） ρはＺ−Ｘ座標系に於ける、原点Ｏと画素の間の距離；
φは原点Ｏと画素を結ぶ線とＸ軸との間でなす角度であ
る。そして、第１０式から以下の式が得られる。 Ｘ ＝（ρ − Ｚｓｉｎφ）/ｃｏｓφ （１１） 鳥瞰画像信号Ｓｃｃを走査し、輪郭線データをハフ（Ｈ
ｏｕｇｈ）変換に基づいてパラメータ空間上に変換すれ
ば、各輪郭線毎に１群の曲線が得られる。この一群の曲
線に基づいて、輪郭線が直線か、或いは円弧かを判断す
ることを、図２０及び図２１及び図２２を参照しながら
説明する。先ず図２０には、ハフ変換された線データが
直線である場合の典型的なパターンが示されている。つ
まり、一群の曲線が、一点Ｃｐで交差する。しかしなが
ら、現実問題として、車線表示Ｌｍ及び輪郭線自体完全
な直線ではないので、図２０の様に、完全に１点のみで
交差すると言うことは非常に難しい。しかし、概ね１点
で交差しようとするので、パラメータ空間上の各（画
素）点で、各曲線が交差する頻度Ｆｃを調べ、その頻度
が所定の閾値Ｅｔｈより大きい点があれば、その点を唯
一の交点Ｃｐとする。そして、輪郭線は直線とみなし、
適合する直線の式を求める。FIG. 19 shows a bird's-eye image signal S subjected to coordinate transformation.
9 shows a contour image Vcc represented by cc. Lane indication Lm1, L
m2 and Lm3 are represented by corresponding edge contour lines ScL, ScR, and ScR '. As can be seen from a comparison with the extracted contour image Vre shown in FIG. 8, in FIG. 19, the contour lines ScL, ScR, and ScR are represented in parallel to each other, like a lane on an actual road. . That is, the coordinate transformed bird's-eye image signal Scc
Contains information on the correct planar dimensions of the object. As shown in FIG. 2, the matching detector 604 is connected to the coordinate converter 602, and based on the bird's-eye image signal Scc, each contour S
An equation of a straight line or a circular arc that fits cL, ScR, and ScR ′ is obtained as follows. First, contour lines ScL, S inside each lane display included in the bird's-eye image signal Scc.
Each pixel data of cR and ScR ′ is separately obtained for each corresponding contour line based on the following equation (10).
Convert. ρ = Xcosφ + Zsinφ (10) ρ is the distance between the pixel and the origin O in the ZX coordinate system;
φ is the angle formed between the line connecting the origin O and the pixel and the X axis. Then, the following equation is obtained from the tenth equation. X = (ρ−Z sin φ) / cos φ (11) The bird's-eye image signal Scc is scanned, and the outline data is converted to Huff (H
If the transformation is performed on the parameter space based on the (out) transformation, a group of curves is obtained for each contour line. Determination of whether a contour is a straight line or an arc based on this group of curves will be described with reference to FIGS. 20, 21 and 22. FIG. First, FIG. 20 shows a typical pattern when the Hough-transformed line data is a straight line. That is, a group of curves intersect at one point Cp. However, as a practical matter, since the lane display Lm and the contour line are not perfect straight lines, it is very difficult to completely intersect at only one point as shown in FIG. However, since an attempt is made to intersect at approximately one point, the frequency Fc at which each curve intersects at each (pixel) point in the parameter space is examined. Let it be the only intersection Cp. And the outline is regarded as a straight line,
Find the equation for the straight line that fits.

【００３３】図２１及び図２２には、ハフ変換された線
データが円弧で在る場合の典型的なパターンが表されて
いる。つまり、この場合、図２１に示されるように、全
く交差しないか、図２２に示されるよう一群の曲線は、
互いに、Ｃｐ１、Ｃｐ２、Ｃｐ３、Ｃｐ４、Ｃｐ５、及
び、Ｃｐ６（Ｃｐｎ）と言う複数の交点で交差する。ｎ
は整数である。同様に、各点での交差頻度Ｆｃを求め
て、新たに設定閾値Ｆｔｈ’より高い頻度を有する点が
無ければ、一群の曲線は交差していないとし、輪郭線は
円弧であると見なし、適合する円弧の式を求める。つま
り、これらの式で、自動車ＡＭが現在走行中或いは静止
中の車線、つまり道路の寸法的特徴を知ることができ
る。図２に示すように、車線輪郭抽出器６０６はマッチ
ング検出器６０４に接続されて、マッチング信号Ｓｍを
受け取る。マッチング信号Ｓｍには、前述のように、ノ
イズ成分である輪郭線データＳｃＲ’も含まれている。
それで、車線輪郭抽出器１１が、マッチング信号Ｓｍに
含まれている寸法の特徴データを、自動車の幅、車線
幅、車線分離線Ｌｍ２の分割パターン等の予め主要点デ
ータと比較されて目的車線に適合しない輪郭データＳｃ
Ｒ’は、除外されて、現在の車線に対応する輪郭線Ｓｃ
Ｒ及びＳｃＬのデータのみがマッチング信号Ｓｍとして
出力される。もし、マッチング信号Ｓｍ信号中に、車線
に該当するデータがない場合にはエラー信号Ｓｅｅ（不
図示）が出力される。FIGS. 21 and 22 show typical patterns when the Hough-transformed line data is in the form of a circular arc. That is, in this case, as shown in FIG. 21, no crossing occurs, or a group of curves as shown in FIG.
They cross each other at a plurality of intersections called Cp1, Cp2, Cp3, Cp4, Cp5, and Cp6 (Cpn). n
Is an integer. Similarly, the intersection frequency Fc at each point is obtained, and if there is no new point having a frequency higher than the set threshold value Fth ′, the group of curves is determined not to intersect, and the outline is regarded as a circular arc. Find the formula of the arc to be performed. In other words, the dimensional characteristics of the lane in which the automobile AM is currently traveling or stationary, that is, the road, can be known from these equations. As shown in FIG. 2, the lane contour extractor 606 is connected to the matching detector 604 and receives the matching signal Sm. As described above, the matching signal Sm also includes the contour data ScR ′ which is a noise component.
Then, the lane contour extractor 11 compares the feature data of the dimensions included in the matching signal Sm with the principal point data such as the width of the vehicle, the lane width, and the division pattern of the lane separation line Lm2 in advance, and determines the target lane. Incompatible contour data Sc
R ′ is excluded and the contour line Sc corresponding to the current lane
Only the data of R and ScL are output as the matching signal Sm. If there is no data corresponding to the lane in the matching signal Sm signal, an error signal See (not shown) is output.

【００３４】図１９を参照して、車線輪郭抽出器６０６
によるフィルター動作を説明する。鳥瞰図画像Ｖｃｃ
に、今三本の輪郭線ＳｃＬ、ＳｃＲ、及びＳｃＲ’が含
まれている。上から数えて２画素目までは、左側の二本
輪郭線ＳｃＬ及びＳｃＲが一本の車線表示Ｌｍを規定す
るペアとなされる。しかしながら、第３〜５番目までの
画素に関しては、右側の車線表は、分割タイプので、鳥
瞰画像信号Ｓｃｃは、右隣の車線の輪郭線ＳｃＲ’を抽
出している。この場合、明らかに、二本の輪郭線ＳｃＬ
とＳｃＲ’の間隔は、車線表示にしては広すぎる。しか
し、この時点ではＳｃＬとＳｃＲ’のどちらの輪郭線が
異常なのか分からない。第６番目から１１番目の画素に
関して、明らかに輪郭線ＳｃＬとＳｃＲはペアである。
また、左輪郭線ＳｃＬは、マッチング検出器６０４によ
って、一本の円弧ＳｃＬｍをマッチングされているの
で、第３〜５番目の画素に付いても、車線表示Ｌｍ１に
対応すると見なされる。その結果、隣の車線のＳｃＲ’
の３画素は、誤りと見なされて無視される。そして、正
しいペアである輪郭線ＳｃＬ及びＳｃＲの二本だけが、
抽出されて、それぞれにマッチングした輪郭線ＳｃＬｍ
及びＳｃＲｍが選択されて、その情報と共に車線輪郭信
号Ｓｌｃとして出力される。上述の道路検出器５００に
よる路面判定に加えて、車線輪郭抽出器６０６による処
理の結果、一本の車線を規定しないようなノイズ成分、
例えば路上の傷や汚れに起因するのも、車線輪郭信号Ｓ
ｌｃから除かれていることは明らかである。図２３に、
上述の車線輪郭抽出器６０６による輪郭線ノイズ除去さ
れた車線抽出信号Ｓｌｅにより表される抽出車線輪郭画
像Ｖｌｅを示す。Referring to FIG. 19, lane contour extractor 606
Will be described. Bird's-eye view image Vcc
Contains three contour lines ScL, ScR, and ScR ′. Up to the second pixel counted from the top, the two left contour lines ScL and ScR form a pair that defines one lane display Lm. However, as for the third to fifth pixels, the right lane table is of a split type, and the bird's-eye image signal Scc extracts the contour line ScR 'of the right lane. In this case, obviously, two contour lines ScL
The distance between ScR 'and ScR' is too wide for lane display. However, at this point, it is not known which of the contour lines ScL and ScR 'is abnormal. The contour lines ScL and ScR are clearly a pair for the sixth through eleventh pixels.
Further, since the left contour line ScL is matched with one arc ScLm by the matching detector 604, even the third to fifth pixels are regarded as corresponding to the lane display Lm1. As a result, the next lane ScR '
Are regarded as errors and are ignored. Then, only two of the contour lines ScL and ScR, which are the correct pair,
Contour lines ScLm extracted and matched with each other
And ScRm are selected and output together with the information as a lane contour signal Slc. In addition to the road surface determination by the road detector 500 described above, as a result of the processing by the lane contour extractor 606, a noise component that does not define one lane,
For example, the lane contour signal S
It is clear that it has been removed from lc. In FIG.
The extracted lane contour image Vle represented by the lane extraction signal Sle from which the contour noise has been removed by the above-described lane contour extractor 606 is shown.

【００３５】次に、図２３を参照して、車線内位置検出
器６０８の働きを説明する。車線輪郭抽出器６０６から
の車線輪郭信号Ｓｌｃを受けて、車線内位置検出器６０
８は、左右の車線輪郭に当てはめてた円または、直線の
関係式（ＳｃＬｍ及びＳｃＲｍ）と、Ｚ＝０の直線の交
点ＨＬとＨＲを求める。次に、車線の中央の座標つまり
ＨＬとＨＲの中点の座標（ＨＣ、０）を求める。ここ
で、カメラの位置は（０、０）であるから、デジタル撮
像装置１００を自動車ＡＭの中央に取り付けている場合
には、自動車ＡＭの位置は車線の中央からの横変異量を
−ＨＣとして得ることができる。Next, the operation of the in-lane position detector 608 will be described with reference to FIG. Upon receiving the lane contour signal Slc from the lane contour extractor 606, the in-lane position detector 60
8 finds the intersection points HL and HR of the circle or straight line relational expression (ScLm and ScRm) fitted to the left and right lane contours and the straight line of Z = 0. Next, the coordinates of the center of the lane, that is, the coordinates (HC, 0) of the midpoint between HL and HR are obtained. Here, since the position of the camera is (0, 0), when the digital imaging device 100 is mounted at the center of the car AM, the position of the car AM is determined by setting the lateral displacement amount from the center of the lane to −HC. Obtainable.

【００３６】以下に図２４に示すフローチャートを参照
して、本実施の形態に係る局地的位置把握装置ＬＰの動
作を説明する。ブロック＃１に於いて、デジタル撮像装
置１００から前景を撮像して生成した画像データＳｉを
取り込む。ブロック＃３に於いて、空間周波数分離器２
００がデジタル画像信号Ｓｉから空間低周波数信号ＳＬ
及び空間高周波信号ＳＨを生成する。ブロック＃５於い
て、閾値設定器４０２が空間高周波信号ＳＨ中のエッジ
画素濃度に基づいて閾値Ｅｔｈを決定すると共に輪郭閾
値信号Ｓｔｈを生成する。ブロック＃７に於いて、輪郭
抽出器４０４が輪郭閾値信号Ｓｔｈに基づいて、空間高
周波信号ＳＨから閾値Ｅｔｈに基づいて、車線表示の輪
郭を抽出して、路面輪郭信号Ｓｒｅを生成する。ブロッ
ク＃９に於いて、路面輪郭信号Ｓｒｅ信号の代わりにエ
ラー信号Ｓｅｅが出力されていないかが判断される。エ
ラー信号Ｓｅｅが出力されている場合には、輪郭が抽出
されていないことを意味するので、ＹＥＳと判断されて
ブロック＃１に戻りブロック＃１に戻る。ＮＯの場合
は、次のブロック＃１１に進む。The operation of the local position grasping device LP according to the present embodiment will be described below with reference to the flowchart shown in FIG. In block # 1, image data Si generated by imaging the foreground from the digital imaging device 100 is fetched. In block # 3, spatial frequency separator 2
00 is the spatial low frequency signal SL from the digital image signal Si
And a spatial high-frequency signal SH is generated. In block # 5, the threshold setting unit 402 determines the threshold Eth based on the edge pixel density in the spatial high-frequency signal SH and generates the contour threshold signal Sth. In block # 7, the contour extractor 404 extracts the contour of the lane display from the spatial high-frequency signal SH based on the contour threshold signal Sth and the threshold Eth to generate a road surface contour signal Sre. In block # 9, it is determined whether an error signal See has been output instead of the road contour signal Sre. If the error signal See is output, it means that the contour has not been extracted, so that it is determined as YES and the process returns to the block # 1 and returns to the block # 1. If NO, the process proceeds to the next block # 11.

【００３７】ブロック＃１１に於いて、領域限定器４０
６は路面輪郭信号Ｓｒｅに基づいて、空間高周波信号Ｓ
Ｈ中で輪郭を抽出すべき領域を設定して、領域限定信号
Ｓｒを生成すると共に高周波抽出器２０４に出力する。
これ以降、ブロック＃３に於いて、高周波抽出器２０４
はデジタル画像信号Ｓｉ内で領域限定信号Ｓｒによって
設定された領域内の高周波成分を抽出して空間高周波信
号ＳＨを生成する。ブロック＃１３に於いて、路面輝度
設定器３０２はブロック＃３で生成された空間低周波数
信号ＳＬに対して、路面輝度範囲（Ｂｍａｘ、Ｂｍｉ
ｎ）を設定して、路面輝度信号ＳＢｒを生成する。ブロ
ック＃１５に於いて、路面画像抽出器３０４は、路面輝
度信号ＳＢｒに基づいて、空間低周波数信号ＳＬから道
路面画像を抽出して、路面抽出信号Ｓｒｓを生成する。
ブロック＃１７に於いて、路面領域設定器３０６は、路
面輝度信号ＳＢｒ及び路面抽出信号Ｓｒｓに基づいて、
車線存在可能領域（ＡｅＲ、ＡｅＬ）を示す路面領域信
号Ｓｒｒを生成する。ブロック＃１９に於いて、路面領
域信号Ｓｒｒの代わりにエラー信号Ｓｅｅが出力されて
いないかが判断される。路面領域が検出されていない場
合には、ＹＥＳと判断されてブロック＃１に戻る。ＮＯ
の場合は、次のブロック＃２１に進む。In block # 11, the area limiter 40
6 is a spatial high-frequency signal S based on the road surface contour signal Sre.
A region from which a contour is to be extracted is set in H, a region limited signal Sr is generated, and the signal is output to the high frequency extractor 204.
Thereafter, in block # 3, the high-frequency extractor 204
Extracts a high-frequency component in a region set by the region-limiting signal Sr in the digital image signal Si to generate a spatial high-frequency signal SH. In block # 13, the road surface luminance setting unit 302 applies the road surface luminance range (Bmax, Bmi) to the spatial low-frequency signal SL generated in block # 3.
n) is set to generate the road surface luminance signal SBr. In block # 15, the road surface image extractor 304 extracts a road surface image from the spatial low frequency signal SL based on the road surface luminance signal SBr, and generates a road surface extraction signal Srs.
In block # 17, the road surface area setting unit 306 calculates the road surface luminance signal SBr and the road surface extraction signal Srs,
A road area signal Srr indicating a lane-existing area (AeR, AeL) is generated. In block # 19, it is determined whether or not the error signal See is output instead of the road surface area signal Srr. If the road surface area has not been detected, it is determined to be YES and the process returns to block # 1. NO
In the case of, the process proceeds to the next block # 21.

【００３８】ブロック＃２１に於いて、道路検出器５０
０は路面領域信号Ｓｒｒに基づいて、路面輪郭信号Ｓｒ
ｅが示している抽出輪郭が正しいか判断する。正しくな
い場合には路面判定信号Ｓｊによって輪郭抽出器４０４
を駆動して、路面輪郭信号Ｓｒｅを更新し、正しい場合
にのみ路面輪郭信号Ｓｒｅを路上位置検出装置６００に
出力する。ブロック＃２３に於いて、座標変換器６０２
によって、路面輪郭信号Ｓｒｅの抽出輪郭画像Ｖｒｅを
鳥瞰画像Ｖｃｃに座標変換して鳥瞰画像信号Ｓｃｃを生
成する。ブロック＃２５に於いて、マッチング検出器６
０４により、ハフ変換を利用して、鳥瞰画像信号Ｓｃｃ
中の内側輪郭線を表す式を、直線或いは円弧でマッチン
グする。更にマッチング検出器６０４は、マッチした直
線或いは円弧を表すマッチング信号Ｓｍを生成する。ブ
ロック＃２７に於いて、マッチング信号Ｓｍの代わりに
エラー信号Ｓｅｅが出力されていないかが判断される。
マッチングする直線或いは円弧が無い場合には、ＹＥＳ
と判断されてブロック＃１に戻る。ＮＯの場合は、次の
ブロック＃２９に進む。ブロック＃２９に於いて、車線
輪郭抽出器６０６はマッチング信号Ｓｍに示されるマッ
チした輪郭線の寸法的特徴を、車線の寸法的特徴と比較
する。車線輪郭抽出器６０６は、現在位置している車線
を規定する一組の車線輪郭線を抽出して、車線輪郭信号
Ｓｌｃを生成する。ブロック＃３１に於いて、車線内位
置検出器６０８が車線輪郭信号Ｓｌｃに基づいて現位置
を検出して、位置信号Ｓｐを生成する。尚、ブロック＃
９、＃１９、及び＃２７に於いて、エラー信号Ｓｅｅが
生成されていれば、ブロック＃１に処理を戻しているの
は、同一時刻に抽出された空間高周波信号ＳＨ及び空間
低周波数信号ＳＬに基づいて、各ブロックに於ける処理
を行うことにより、精度の高い車線検出及び位置検出を
行う為である。しかしながら、必要な検出精度によって
は、ブロック＃９、＃１９、及び＃２７を廃止しても、
実用上差し支えない。In block # 21, the road detector 50
0 is a road surface contour signal Sr based on the road surface area signal Srr.
It is determined whether the extraction contour indicated by e is correct. If it is not correct, the contour extractor 404 is used according to the road surface determination signal Sj.
To update the road surface contour signal Sre, and output the road surface contour signal Sre to the on-road position detection device 600 only when it is correct. In block # 23, the coordinate converter 602
Thus, the extracted contour image Vre of the road surface contour signal Sre is coordinate-transformed into a bird's-eye image Vcc to generate a bird's-eye image signal Scc. In block # 25, the matching detector 6
04, the bird's-eye image signal Scc using the Hough transform
The expression representing the inside contour line is matched by a straight line or an arc. Further, the matching detector 604 generates a matching signal Sm representing the matched straight line or arc. In block # 27, it is determined whether or not the error signal See is output instead of the matching signal Sm.
YES if there is no matching line or arc
And the process returns to block # 1. If NO, the process proceeds to the next block # 29. In block # 29, the lane contour extractor 606 compares the dimensional characteristics of the matched contour indicated by the matching signal Sm with the dimensional characteristics of the lane. The lane contour extractor 606 extracts a set of lane contour lines defining the current lane, and generates a lane contour signal Slc. In block # 31, the in-lane position detector 608 detects the current position based on the lane contour signal Slc, and generates a position signal Sp. In addition, block #
In steps # 9, # 19, and # 27, if the error signal See has been generated, the processing that returns to block # 1 is performed by extracting the spatial high-frequency signal SH and spatial low-frequency signal SL extracted at the same time. Based on the above, the lane detection and the position detection with high accuracy are performed by performing the processing in each block. However, depending on the required detection accuracy, even if blocks # 9, # 19, and # 27 are abolished,
No problem in practical use.

【００３９】（実施の形態２）以下、本発明の第二の実
施形態について、図２６から図４５を用いて説明する。
図２６は本実施形態に係る道路領域抽出装置の第一の実
施例を示すブロック図である。この道路領域抽出装置は
道路画像撮影手段１１、輝度ヒストグラム作成手段１
２、道路輝度分離手段１３、道路多角形検出手段１４を
含んで構成されている。まず道路画像撮影手段１１は車
両前方の道路画像を入力するものであって、ＴＶカメラ
が用いられる。このＴＶカメラを車両前方のほぼ中央部
に配置しておくものとすれば、道路画像撮影手段１１よ
り得られる画像の底面中央部Ｒは後述するように道路を
含むものとなる。輝度ヒストグラム作成手段１２はその
入力した道路画像データから図２７に示すように輝度の
ヒストグラムを作成すると共に、画像上での車両位置つ
まり画像底部の中央の位置の輝度を検出するものであ
る。道路輝度分離手段１３はヒストグラムでの画像上で
の車両位置での輝度値を中心に、左右に度数の変化を調
べ、度数の谷を検出することによって道路に相当する輝
度範囲を求め画像上でその範囲内の画素を道路領域候補
として抽出するものである。道路多角形検出手段１４は
道路候補領域として抽出した領域で、画像底部走査線の
中央から左右にその領域の端を検出し、検出した端の位
置から中点を見つけ上方の走査線で同様に端を見つけ、
多角形として道路領域を検出するものである。(Embodiment 2) Hereinafter, a second embodiment of the present invention will be described with reference to FIGS.
FIG. 26 is a block diagram showing a first example of the road area extraction device according to the present embodiment. This road region extracting apparatus includes a road image photographing unit 11, a luminance histogram creating unit 1
2. It includes a road luminance separating means 13 and a road polygon detecting means 14. First, the road image photographing means 11 inputs a road image ahead of the vehicle, and uses a TV camera. Assuming that the TV camera is arranged substantially at the center in front of the vehicle, the bottom center R of the image obtained by the road image photographing means 11 includes a road as described later. The brightness histogram creating means 12 creates a brightness histogram from the input road image data as shown in FIG. 27, and detects the brightness of the vehicle position on the image, that is, the center position at the bottom of the image. The road luminance separating means 13 examines a change in the frequency to the left and right with the luminance value at the vehicle position on the image in the histogram as the center, and obtains a luminance range corresponding to the road by detecting a valley of the frequency. Pixels within the range are extracted as road area candidates. The road polygon detecting means 14 detects the end of the area extracted from the center of the scanning line at the bottom of the image to the left and right in the area extracted as the road candidate area, finds the middle point from the position of the detected end, and similarly uses the upper scanning line. Find the end,
A road area is detected as a polygon.

【００４０】次に、上述した処理の流れを具体的に図２
８のフローチャートを用いて説明する。まずステップＳ
１において、道路画像撮影手段１１からの輝度データを
使用して輝度のヒストグラムを作成する。ステップＳ２
で、画像底部の中央の位置での輝度ｂ₀を使用して、先
ほどの輝度ヒストグラムにおける車両直下の位置を求め
る。まず、左側の谷を検出する。ステップＳ３におい
て、ｂを輝度値パラメータ、ｂ₁をある一定の輝度値と
し、次の互いに重なる範囲ｂ₀−ｂ₁≦ｂ＜ｂ₀ 及びｂ₀
−３ｂ₁／２≦ｂ＜ｂ₀−ｂ ₁／２での夫々の輝度の平均
ｂ_mean１、ｂ_mean２を求める。ステップＳ４において、
ｂ_meanａ＝ｂ_mean２−ｂ_mean１の演算を行い、ステップ
Ｓ５において、ｂ_meanａの符号判定を行う。符号が負か
ら正に変わったら谷が存在すると判定する。もし、符号
が負から正に変わっていなければ、ステップＳ６で、ｂ
₀＝ｂ₀−ｂ₁／２としステップＳ３に戻る。こうして同
様の処理を繰り返すことにより、輝度ヒストグラム上で
左側の谷を検出できる。。Next, the flow of the above-described processing will be described in detail with reference to FIG.
This will be described with reference to the flowchart of FIG. First, step S
1, the luminance data from the road image photographing means 11 is
Use it to create a luminance histogram. Step S2
And the brightness b at the center of the bottom of the image₀Use the destination
The position directly below the vehicle in the brightness histogram
You. First, the left valley is detected. In step S3
Where b is a luminance value parameter, b₁With a certain brightness value
And the next overlapping range b₀-B₁≦ b <b₀ And b₀
-3b₁/ 2 ≦ b <b₀-B ₁Average of each luminance at / 2
b_mean1, b_meanAsk for 2. In step S4,
b_meana = b_mean2-b_meanPerform the operation of 1 and step
In S5, b_meanThe sign determination of a is performed. Whether the sign is negative
If it changes to positive, it is determined that a valley exists. If the sign
If has not changed from negative to positive, in step S6, b
₀= B₀-B₁/ 2 and returns to step S3. Like this
By repeating the same process, the brightness histogram
The valley on the left can be detected. .

【００４１】次に、右側の谷を検出する。まずステップ
Ｓ７において同様にｂ₀をステップＳ２の初期値とし、
ｂ₀＜ｂ≦ｂ₀＋ｂ₁ 及びｂ₀＋ｂ₁／２＜ｂ≦ｂ₀＋３ｂ
₁／２の範囲の夫々の輝度の平均ｂ_mean３、ｂ_mean４を
求める。次にステップＳ８でｂ_meanｂ＝ｂ_mean４−ｂ
_mean３を求める。ステップＳ９でｂ_meanｂの符号判定を
行い、符号が負から正に変わったら谷が存在すると判定
する。もし、符号が負から正に変わっていなければ、ス
テップＳ１０で、ｂ₀＝ｂ₀＋ｂ₁／２とし、ステップＳ
７を繰り返す。こうして同様の処理を繰り返すことによ
り、輝度ヒストグラム上で右側の谷を検出できる。。そ
してステップＳ１１で、谷に囲まれている輝度範囲を使
用して、画像上でその輝度範囲に入っている画素を道路
候補領域として抽出する。ステップＳ１２では、図２９
に示すように画像底部走査線の中央から左右にその領域
の端を検出し、検出した端の位置から中点を見つけその
位置から一定幅上方の走査線の左右から同様に端を順次
見つける。こうして得られた周囲の各点を図示のように
結んで多角形として道路領域を検出する。以上のよう
に、輝度ヒストグラムでの車両直下の輝度値が含まれる
領域を検出する。更に、それに対応した画像上での領域
を使用して、車両直下に対応する画像底辺中央から道路
領域の端を検出することによって、入力画像毎に正確な
道路領域の抽出ができる。Next, the valley on the right side is detected. First, similarly in step S7, b ₀ is set as an initial value of step S2,
_{b 0 <b ≦ b 0 +} b 1 and _{b 0 + b 1/2 <} b ≦ b 0 + 3b
Average of _1/2 in the range of each of the luminance b _mean 3, determine the b _mean 4. Next, in step S8, b _mean b = b _mean 4-b
_{Find mean} 3. In step S9, the sign of b _mean b is determined, and if the sign changes from negative to positive, it is determined that a valley exists. If it is not exactly changed sign from negative in step S10, and _{b 0 = b 0 + b 1} /2, step S
Repeat step 7. By repeating the same processing in this manner, a valley on the right side can be detected on the luminance histogram. . Then, in step S11, using the luminance range surrounded by the valley, a pixel included in the luminance range on the image is extracted as a road candidate area. In step S12, FIG.
As shown in (1), the end of the region is detected from the center of the scanning line at the bottom of the image to the left and right, the midpoint is found from the position of the detected end, and the end is similarly found sequentially from the left and right of the scanning line above the position by a fixed width. The surrounding points thus obtained are connected as shown in the figure to detect a road area as a polygon. As described above, the region including the luminance value immediately below the vehicle in the luminance histogram is detected. Further, by detecting the edge of the road area from the center of the bottom of the image corresponding to immediately below the vehicle by using the area on the image corresponding thereto, an accurate road area can be extracted for each input image.

【００４２】図３０は、本実施形態に係る道路領域抽出
装置の第二の実施例を示す。この道路領域抽出装置は道
路画像撮影手段２１、自車位置道路輝度パターン計測手
段２２、路面輝度パターン道路領域分割手段２３を含ん
で構成されている。道路画像撮影手段２１は車両前方の
道路画像を入力するものであり、ＴＶカメラが用いられ
る。このＴＶカメラを車両前方のほぼ中央部に配置して
おくものとすれば、道路画像撮影手段２１より得られる
画像の底面中央部Ｒは後述するように道路を含むものと
なる。自車位置道路輝度パターン計測手段２２は、その
入力した道路画像データから図３１に示すように画像底
辺の中央から一定の領域Ｓ₀をとってその範囲内の輝度
分布ａを計測するものである。路面輝度パターン道路領
域分割手段２３は、道路画像を分割して図３２に示すよ
うにその個々の輝度分布ｂと自車位置道路輝度パターン
計測手段２２で求めた輝度分布パターンａとを比較する
ことによって、パターンが類似しておれば道路と判断す
る。FIG. 30 shows a second embodiment of the road area extracting apparatus according to the present embodiment. The road area extracting device includes a road image photographing means 21, a vehicle position road luminance pattern measuring means 22, and a road surface luminance pattern road area dividing means 23. The road image photographing means 21 inputs a road image ahead of the vehicle, and uses a TV camera. Assuming that the TV camera is disposed substantially at the center in front of the vehicle, the bottom center R of the image obtained by the road image photographing means 21 includes a road as described later. Vehicle position road luminance pattern measuring means 22, and measures the brightness distribution a in this range takes a certain area S ₀ from the center of the image bottom as shown in FIG. 31 from the input road image data . The road luminance pattern road area dividing means 23 divides the road image and compares the individual luminance distribution b with the luminance distribution pattern a obtained by the own vehicle position road luminance pattern measuring means 22 as shown in FIG. If the patterns are similar, it is determined that the road is a road.

【００４３】以上のように構成された道路領域抽出装置
の動作について、図３３のフローチャートを用いて説明
する。まず、ステップＳ１で道路画像撮影手段２１から
の輝度データを使用して画像底辺中央から一定の範囲の
領域Ｓ₀の輝度の平均μや分散σ2などの輝度分布パター
ンを求め、Ｓ₀内のデータ数をｎとし最大対数尤度を次
のように求める。 １（μ，σ２）＝−（ｎ／２）log2πσ２−ｎ／２ （１２） ステップＳ２において道路画像をＮ×Ｎ（ここの領域の
データ数ｎ）に分割し領域Ｓ₀と異なる領域Ｓｉの輝度
の平均μi や分散σi2などの輝度分布パターンを求め、
最大対数尤度liを計算する。ステップＳ３において最大
対数尤度liが１−α≦li≦１＋α（αは正の定数）であ
ればステップＳ４で道路と判定する。例えば図３２のパ
ターンａ、ｂは輝度値が異なっているが、分布パターン
が類似しているため領域Ｓ１ は道路と判断する。もし
上式を満たさないときはステップＳ５で道路ではないと
判断する。ステップＳ６において、i ≧Ｎ×Ｎならば終
了し、そうでなければ、ステップＳ７でｉ＝ｉ＋１とし
てステップＳ２に戻り、同様の処理を繰り返す。The operation of the road region extracting apparatus configured as described above will be described with reference to the flowchart of FIG. First, determine the intensity distribution pattern, such as the mean μ and variance σ2 of the luminance of the area S ₀ of the predetermined range from the image bottom center using luminance data from the road image capturing means 21 in step S1, the data in the S ₀ The maximum log likelihood is determined as follows, where n is the number. 1 (μ, σ2) = - (n / 2) log2πσ2-n / 2 (12) of the road image in step S2 N × N of the divided areas S ₀ different regions Si to (the number of data n of the individual areas) Find the luminance distribution pattern such as the average luminance μi and variance σi2,
Calculate the maximum log likelihood li. If the maximum log likelihood li is 1−α ≦ li ≦ 1 + α (α is a positive constant) in step S3, the road is determined in step S4. For example, the patterns a and b in FIG. 32 have different luminance values, but the distribution patterns are similar, so that the region S1 is determined to be a road. If the above expression is not satisfied, it is determined in step S5 that the road is not a road. In step S6, if i ≧ N × N, the process ends. Otherwise, i = i + 1 is set in step S7, the process returns to step S2, and the same process is repeated.

【００４４】以上のようにこの実施の形態では、車両直
下近傍の領域の輝度パターンと同様のパターンを持つ領
域を検出することによって、正確に道路領域を抽出でき
る。。又、輝度パターンのＳ₀との尤度から画像全体を
分割することもできる。図３４は本実施形態に係る道路
領域抽出装置の第三の実施例を示す。この道路領域抽出
装置は道路画像撮影手段３１、輝度ヒストグラム作成手
段３２、画素数道路領域抽出手段３３を含んで構成され
ている。まず道路画像撮影手段３１は車両前方の道路画
像を入力するものであり、ＴＶカメラが用いられる。こ
のＴＶカメラを車両前方のほぼ中央部に配置しておくも
のとすれば、道路画像撮影手段３１より得られる画像の
底面中央部は道路を含むものとなる。輝度ヒストグラム
作成手段３２は、その入力した道路画像データから図３
５に示すように輝度のヒストグラムを作成し、車両位置
つまり画像底部の中央の位置の輝度を検出する。本実施
例では、輝度ヒストグラムに於いては車両位置での輝度
より輝度値が大きく、且つカメラの高さや画角や伏角に
よって画像上での道路に対応する画素数がほぼ一定値に
決まることを利用しており、この画素数をｇとする。画
素数道路領域抽出手段３３は道路の画素数に対応する度
数を含む輝度範囲までを道路画素による度数と判断する
ものである。輝度ヒストグラムの道路領域と判定した領
域の輝度範囲に入っている道路画像の画素を抽出し、道
路領域とする。以上のように構成された道路領域抽出装
置１の動作について、図３６のフローチャートを用いて
説明する。As described above, in this embodiment, the road area can be accurately extracted by detecting an area having a pattern similar to the luminance pattern of the area immediately below the vehicle. . Also, the entire image can be divided from the likelihood of the luminance pattern with S ₀ . FIG. 34 shows a third example of the road area extraction device according to the present embodiment. This road area extracting device includes a road image photographing means 31, a luminance histogram creating means 32, and a pixel number road area extracting means 33. First, the road image photographing means 31 inputs a road image ahead of the vehicle, and a TV camera is used. Assuming that the TV camera is arranged substantially at the center in front of the vehicle, the center at the bottom of the image obtained by the road image photographing means 31 includes the road. The brightness histogram creating means 32 converts the input road image data into
A luminance histogram is created as shown in FIG. 5, and the luminance at the vehicle position, that is, the central position at the bottom of the image is detected. In the present embodiment, the luminance histogram has a luminance value larger than the luminance at the vehicle position, and the number of pixels corresponding to the road on the image is determined to be substantially constant depending on the height, angle of view, and inclination of the camera. And the number of pixels is g. The pixel number road area extracting unit 33 determines the frequency up to the luminance range including the frequency corresponding to the number of pixels of the road as the frequency of the road pixel. The pixels of the road image included in the luminance range of the area determined as the road area in the luminance histogram are extracted and set as the road area. The operation of the road region extraction device 1 configured as described above will be described with reference to the flowchart in FIG.

【００４５】まずステップＳ１において、道路画像撮影
手段からの輝度データを使用して輝度のヒストグラムを
作成する。図３５はこの輝度ヒストグラムの一例を示し
ている。ステップＳ２で、画像底部の中央の位置での輝
度ｂ₀を使用し、度数の和ｓを０にする。ステップＳ３
でｂ₀より大きい各輝度での度数ａを使用して度数の和
ｓを求める。ステップＳ４で、ｓがあらかじめ求めてい
た道路領域に対応する画素数ｇを越えていたら道路領域
を抽出したと判断する。もし、ｇより小さければステッ
プＳ５、Ｓ３に戻って次の輝度値ｂ₀＋Δｂの輝度の度
数ａ_iを加算する。ｓがｇを越えればステップＳ５、Ｓ
６に進み、超えたときの輝度値ｂ₁と車両位置での元の
輝度ｂ₀を使用してｂ₀≦ｂｒ≦ｂ₁の輝度ｂｒの画素を
抽出する。そしてステップＳ７において、これらの画素
を道路画像上で見つけて、道路領域とする。以上のよう
に、道路の輝度値は車両直下の輝度値より連続的に明る
くなる性質を使用している。そのために、輝度ヒストグ
ラムで車両直下の輝度を求め、その値からあらかじめ求
めておいた画像上での道路の画素数分の度数を含む輝度
値を求めてこの輝度範囲に入る画素を道路と判断するこ
とによって、正確に道路領域を抽出できる。First, in step S1, a luminance histogram is created using the luminance data from the road image photographing means. FIG. 35 shows an example of this luminance histogram. In step S2, using the brightness b ₀ at the center position of the image bottom, the sum of the frequencies s 0. Step S3
Then, the sum s of the frequencies is obtained using the frequency a at each luminance greater than b ₀ . In step S4, if s exceeds the number g of pixels corresponding to the road area obtained in advance, it is determined that the road area has been extracted. If it is smaller than g, the process returns to steps S5 and S3 to add the luminance frequency a _i of the next luminance value b ₀ + Δb. If s exceeds g, steps S5 and S
The process proceeds to step 6 to extract a pixel having a brightness br of b ₀ ≦ br ≦ b ₁ by using the brightness value b ₁ when the brightness is exceeded and the original brightness b ₀ at the vehicle position. Then, in step S7, these pixels are found on the road image and set as a road area. As described above, the property that the brightness value of the road is continuously brighter than the brightness value immediately below the vehicle is used. For this purpose, the luminance immediately below the vehicle is obtained from the luminance histogram, a luminance value including frequencies corresponding to the number of pixels of the road on the image previously obtained from the value is obtained, and a pixel falling within this luminance range is determined as a road. Thus, the road area can be accurately extracted.

【００４６】図３７に本実施形態に係る道路領域抽出装
置の第四の実施例を示す。この道路領域抽出装置は道路
画像撮影手段４１、輝度ヒストグラム作成手段４２、画
像分割手段４３、道路領域併合手段４４、道路幅検出手
段４５を含んで構成されている。まず道路画像撮影手段
４１は車両前方の道路画像を入力するものであり、ＴＶ
カメラが用いられる。このＴＶカメラを車両前方のほぼ
中央部に配置しておくものとすれば、撮影手段１１より
得られる画像の底面中央部Ｒは後述するように道路を含
むものとなる。輝度ヒストグラム作成手段４２は入力さ
れた道路画像データから図３８に示すように輝度ヒスト
グラムを作成すると共に、画像上での車両位置、つまり
画像底部の中央の位置の輝度を検出するものである。次
に画像分割手段４３は輝度の分布からすべての谷を検出
して図３９のように前記道路画像を分割するものであ
る。道路領域併合手段４４は後述する道路幅検出手段４
５からの道路幅情報を基に、車両直下の分割領域を最初
に横方向の領域を併合し、次いで縦方向の分割領域を併
合していくものである。道路幅検出手段４５は道路領域
併合手段４４から求めた道路領域より画面上の各高さか
ら道路の幅を求めるものである。FIG. 37 shows a fourth embodiment of the road area extracting apparatus according to the present embodiment. This road area extracting device includes a road image photographing means 41, a luminance histogram creating means 42, an image dividing means 43, a road area merging means 44, and a road width detecting means 45. First, the road image photographing means 41 inputs a road image ahead of the vehicle,
A camera is used. Assuming that the TV camera is arranged substantially at the center in front of the vehicle, the bottom center R of the image obtained by the photographing means 11 includes a road as described later. The brightness histogram creating means 42 creates a brightness histogram from the input road image data as shown in FIG. 38, and detects the brightness of the vehicle position on the image, that is, the center position at the bottom of the image. Next, the image dividing means 43 detects all the valleys from the luminance distribution and divides the road image as shown in FIG. The road area merging unit 44 includes a road width detecting unit 4 described later.
Based on the road width information from No. 5, the divided area immediately below the vehicle is first merged with the horizontal area, and then the vertical divided area is merged. The road width detecting means 45 calculates the width of the road from each height on the screen from the road area obtained by the road area merging means 44.

【００４７】以上のように構成された道路領域抽出装置
の動作について図４０及び図４１のフローチャートを用
いて説明する。まずステップＳ１において、道路画像撮
影手段からの輝度データを使用して、図３８に示すよう
に輝度のヒストグラムを作成する。ステップＳ２で、画
像底部の中央の位置での輝度ｂ₀を使用して、先ほどの
輝度ヒストグラムにおける車両直下の位置を求める。ま
ず、左側の谷を検出する。ステップＳ３において、ｂを
輝度値パラメータ、ｂ₁をある一定の輝度値とし、次の
互いに重なる範囲ｂ₀−ｂ₁≦ｂ＜ｂ₀及びｂ₀−３ｂ₁／
２≦ｂ＜ｂ₀−ｂ ₁／２での夫々の輝度の平均ｂ_mean１、
ｂ_mean２を求める。ステップＳ４において、ｂ_meanａ＝
ｂ_mean２−ｂ_mean１を求める。ステップＳ５において、
ｂ_meanａの符号判定を行う。符号が負から正に変わった
ら谷が存在すると判定する。もし、符号が負から正に変
わっていなければ、ステップＳ６で、ｂ₀＝ｂ₀−ｂ ₁／
２としステップＳ３に戻る。こうして同様の処理を繰り
返すことにより、輝度ヒストグラム上で左側の谷を検出
できる。この処理を輝度ヒストグラムの左端まで実行し
て（ステップＳ７）、ステップ８に進む。次に、右側の
谷を検出する。まずステップＳ８において同様にｂ₀を
ステップＳ２の初期値とし、ｂ₀＜ｂ≦ｂ₀＋ｂ₁及びｂ₀
＋ｂ₁／２＜ｂ≦ｂ₀＋３ｂ₁／２の範囲の夫々の輝度の
平均ｂ_mean３、ｂ_mean４を求める。次にステップＳ９で
ｂ _meanｂ＝ｂ_mean４−ｂ_mean３を求める。The road region extracting apparatus configured as described above
The operations of FIG. 40 and FIG.
Will be described. First, in step S1, road image capturing is performed.
Using the luminance data from the shadow means, as shown in FIG.
Create a histogram of the brightness. In step S2, the image
Brightness b at the center of the image bottom₀Using the earlier
A position directly below the vehicle in the luminance histogram is obtained. Ma
Instead, the valley on the left is detected. In step S3, b
Brightness value parameter, b₁Is a certain luminance value, and the next
Range b overlapping each other₀-B₁≦ b <b₀And b₀-3b₁/
2 ≦ b <b₀-B ₁/ B average of each luminance at / 2_mean1,
b_meanAsk for 2. In step S4, b_meana =
b_mean2-b_meanFind 1 In step S5,
b_meanThe sign determination of a is performed. Sign changed from negative to positive
It is determined that a valley exists. If the sign changes from negative to positive
If not, in step S6, b₀= B₀-B ₁/
Set to 2 and return to step S3. The same process is repeated
Returns the left valley on the luminance histogram
it can. Execute this process up to the left end of the luminance histogram.
Then (step S7), the process proceeds to step 8. Then, on the right
Detect valleys. First, similarly in step S8, b₀To
As the initial value of step S2, b₀<B ≦ b₀+ B₁And b₀
+ B₁/ 2 <b ≦ b₀+ 3b₁/ 2 range of each brightness
Average b_mean3, b_meanAsk for 4. Next, in step S9
b _meanb = b_mean4-b_meanAsk for 3.

【００４８】次に図４１に示すステップＳ１０で、ｂ
_meanｂの符号判定を行い、符号が負から正に変わったら
谷が存在すると判定する。もし、符号が負から正に変わ
っていなければ、ステップＳ１１で、ｂ₀＝ｂ₀＋ｂ₁／
２とし、ステップＳ７を繰り返す。こうして同様の処理
を繰り返すことにより、輝度ヒストグラム上で右側の谷
を検出できる。ステップＳ１２で、谷の判定がヒストグ
ラム上の右端まで行われたどうか判定する。もし右端ま
で行っていなければステップＳ１１、Ｓ８を繰り返す。
もし右端まで行っていたら、ステップＳ１３で谷に囲ま
れた領域を見つけて、画像上で対応する領域を抽出す
る。図３９はこうして入力画像を谷に囲まれた領域に分
割したものである。次にステップＳ１４で、自車両直下
に対応する領域を検出し、これを注目領域とする。図３
９では領域Ｓ₀が注目領域となる。そしてステップＳ１
５で、注目領域Ｓ₀の横に接する領域Ｓ₁を併合する。ス
テップＳ１６で前回求めた道路幅ｗｆ（ｈ）を参照して
横幅ｗ（ｈ）を計算する。ステップＳ１７でｗｆ（ｈ）
＞ｗ（ｈ）であればステップＳ１５に戻る。もし、ｗｆ
≦ｗであれば、ステップＳ１４で併合領域の高さｈが所
定の高さｈ₀より大きければ処理を終了する。ここで、
ｈ₀は道路消失線の高さであり、道路が水平であれば道
路画像撮影手段４１の取付け位置によって一定の高さと
なる。もし、ｈ＜ｈ₀であればステップＳ１５で併合領
域の上側に接し下の領域の上部の幅より狭い領域、図３
９ではＳ₂及びＳ₃を併合する。そして高さがｈ₀に達す
れば終了する。以上のように、道路幅に基づいて分割領
域を求め、且つ画像上での道路構成の性質を使用して道
路領域を抽出するので正確な道路領域抽出ができる。
尚、画像は輝度パターンの比較によって分割して、上記
方法で併合して道路領域を抽出することもできる。Next, in step S10 shown in FIG.
The sign of _mean b is determined, and when the sign changes from negative to positive, it is determined that a valley exists. If the sign has not changed from negative to positive, in step S11, b ₀ = b ₀ + b ₁ /
2, and step S7 is repeated. By repeating the same processing in this manner, a valley on the right side can be detected on the luminance histogram. In step S12, it is determined whether or not the valley has been determined to the right end on the histogram. If not, the steps S11 and S8 are repeated.
If it has reached the right end, an area surrounded by valleys is found in step S13, and a corresponding area is extracted on the image. FIG. 39 shows the input image divided into regions surrounded by valleys. Next, in step S14, an area corresponding to the area immediately below the host vehicle is detected, and is set as the attention area. FIG.
9 in the region S ₀ is a target area. And step S1
5, merging region S ₁ adjacent to the side of the attention area S _0. In step S16, the width w (h) is calculated with reference to the previously obtained road width wf (h). Wf (h) in step S17
If> w (h), the process returns to step S15. If wf
If ≦ w, the process ends if the height h of the merged area is larger than the predetermined height h ₀ in step S14. here,
h ₀ is the height of the road vanishing line. If the road is horizontal, the height becomes constant depending on the mounting position of the road image photographing means 41. If h <h ₀ , a region narrower than the upper width of the lower region in contact with the upper side of the merged region in step S15, FIG.
In 9 merges S ₂ and S _3. When the height reaches h ₀ , the process ends. As described above, since the divided area is obtained based on the road width and the road area is extracted using the property of the road configuration on the image, accurate road area extraction can be performed.
The image may be divided by comparing the luminance patterns and merged by the above method to extract the road area.

【００４９】図４２は本実施形態に係る道路方向検出装
置の第五の実施例を示す。この道路方向検出装置は道路
画像撮影手段５１、輝度ヒストグラム作成手段５２、画
像分割手段５３、道路領域併合手段５４、道路幅検出手
段５５、道路領域相関値検出手段５６、道路方向検出手
段５７を含む。まず、道路画像撮影手段５１は車両前方
の道路画像を入力するものであり、ＴＶカメラが用いら
れる。このＴＶカメラを車両前方のほぼ中央部に配置し
ておくものとすれば、撮影手段５１より得られる画像の
底面中央部は後述するように道路を含むものとなる。輝
度ヒストグラム作成手段５２は入力された道路画像デー
タから図３８に示すように輝度ヒストグラムを作成する
と共に、画像上での車両位置、つまり画像底部の中央の
位置の輝度を検出するものである。FIG. 42 shows a fifth embodiment of the road direction detecting apparatus according to the present embodiment. This road direction detecting device includes a road image photographing means 51, a luminance histogram creating means 52, an image dividing means 53, a road area merging means 54, a road width detecting means 55, a road area correlation value detecting means 56, and a road direction detecting means 57. . First, the road image photographing means 51 inputs a road image in front of the vehicle, and uses a TV camera. Assuming that the TV camera is disposed substantially at the center in front of the vehicle, the center of the bottom surface of the image obtained by the photographing means 51 includes a road as described later. The brightness histogram creating means 52 creates a brightness histogram from the input road image data as shown in FIG. 38, and detects the brightness of the vehicle position on the image, that is, the center position at the bottom of the image.

【００５０】次に画像分割手段５３は、輝度の分布から
谷を検出して道路画像を分割するものである。道路領域
併合手段５４は後述する道路幅検出手段５５からの道路
幅情報を基に、車両直下の分割領域を最初に横方向の領
域を併合及び縦方向の分割領域を併合するものである。
道路幅検出手段５５は、道路領域併合手段５４から求め
た道路領域から道路の幅を求める。道路領域相関値検出
手段５６において、図４３に示すように道路幅検出手段
５５からの画像底部における２つの道路端位置と所定の
消失線上の任意の点で作る三角形と道路領域併合手段５
４から求めた道路領域との相関値を求める。道路方向検
出手段５７は、相関値の最も大きなときの消失線上の点
の位置から車両に対する道路の方向を検出する。Next, the image dividing means 53 detects a valley from the luminance distribution and divides the road image. The road area merging means 54 merges the divided areas immediately below the vehicle first with the horizontal areas and the vertical divided areas based on road width information from the road width detecting means 55 described later.
The road width detecting means 55 calculates the width of the road from the road area calculated by the road area merging means 54. 43. In the road area correlation value detecting means 56, as shown in FIG. 43, a triangle formed by two road end positions at the bottom of the image from the road width detecting means 55 and an arbitrary point on a predetermined vanishing line and the road area merging means 5
Then, a correlation value with the road area obtained from step 4 is obtained. The road direction detecting means 57 detects the direction of the road with respect to the vehicle from the position of the point on the vanishing line when the correlation value is the largest.

【００５１】図４２に示すフローチャートを参照して、
以上のように構成された道路方向検出装置の動作につい
て説明する。先ず、ステップＳ１で第四の実施例と同様
の方法で道路領域を抽出する。ステップＳ２において、
所定の消失線上の左端の点ｒ＝０とする。ステップＳ３
で点ｒと道路端とが作る三角形と抽出した道路領域の相
関、即ち一致する画素数を算出する。ステップＳ４でｒ
＝ｒ＋１として消失線上の点を右に１画素動かす。ステ
ップＳ５で、もし右端ｒ_hを越えないならば、ステップ
Ｓ３に戻って同様の処理を繰り返し、もしｒが右端ｒ_h
を越えるならばステップＳ６に進む。ステップＳ６で、
相関値の最も大きな値をとるｒを検出する。そしてこの
値ｒが画像の横の画素数のｒ_h／２よりも大きければ道
路は車両に対して右方向にあると判断する。もし、ｒ＜
ｒ_h／２ならば左方向であると判断する。以上のよう
に、道路端と消失点の作る三角形と抽出道路領域との相
関をとることによって、最大相関値から車両を基準とし
た道路の方向を容易に求めることできる。Referring to the flowchart shown in FIG.
The operation of the road direction detecting device configured as described above will be described. First, at step S1, a road area is extracted in the same manner as in the fourth embodiment. In step S2,
It is assumed that a left end point r = 0 on a predetermined vanishing line. Step S3
Calculates the correlation between the triangle formed by the point r and the road edge and the extracted road area, that is, the number of matching pixels. R in step S4
= R + 1 and the point on the vanishing line is moved to the right by one pixel. In step S5, if not exceed the right end r _h, repeat the same process returns to step S3, if r is the rightmost r _h
If it exceeds, the process proceeds to step S6. In step S6,
The r having the largest correlation value is detected. If the value r is larger than the number of horizontal pixels of the image, r _h / 2, it is determined that the road is rightward with respect to the vehicle. If r <
If r _h / 2, it is determined to be leftward. As described above, by correlating the road edge, the triangle formed by the vanishing point, and the extracted road area, the direction of the road with respect to the vehicle can be easily obtained from the maximum correlation value.

【００５２】[0052]

【発明の効果】以上詳細に説明したように本発明の第一
の実施形態に於いては、空間周波数的に重なりのない低
周波画像と高周波画像から独立して道路領域と道路白線
候補の輪郭点を検出している。そのため高周波画像のみ
から輪郭点を検出する従来例に比べてノイズの影響を受
け難く、白線を高精度で検出することができるという効
果が得られる。更に、第二の実施形態に於いては、画像
データから道路領域を検出し、そして車両直下に対応す
る画像底辺中央から道路領域の多角形を検出することに
よって、入力画像毎に正確な道路領域の抽出ができる。
更に、輝度ヒストグラムでの車両直下の輝度値が含まれ
る領域を検出し、それに対応した画像上での領域を使用
して、車両直下に対応する画像底辺中央から道路領域の
端を検出することによって、入力画像毎に正確な道路領
域の抽出ができる。又車両直下近傍の領域と同様のパタ
ーンを検出することによって道路領域の抽出を行ってい
るため正確に道路領域を抽出できる。そして、輝度ヒス
トグラムで車両直下の輝度を求め、その値からあらかじ
め求めておいた画像上での道路の画素数分の度数を含む
輝度値を求めてこの輝度範囲に入る画素を道路と判断す
ることによって、正確に道路領域を抽出できる。更に、
道路幅や輝度パターンの比較によって分割領域を求め、
且つ画像上での道路構成の性質を使用して道路領域を抽
出するので正確に道路領域を抽出できる。As described above in detail, according to the first embodiment of the present invention, the contours of the road area and the road white line candidate are independent of the low-frequency image and the high-frequency image having no spatial frequency overlap. A point has been detected. Therefore, compared to the conventional example in which the contour point is detected only from the high-frequency image, the effect of noise is less likely to be obtained, and the effect that the white line can be detected with high accuracy can be obtained. Further, in the second embodiment, a road region is detected from image data, and a polygon of the road region is detected from the center of the bottom of the image corresponding directly below the vehicle. Can be extracted.
Further, by detecting a region including a luminance value immediately below the vehicle in the luminance histogram and using the region on the image corresponding thereto, by detecting an end of the road region from the center of the bottom of the image corresponding to immediately below the vehicle. In addition, an accurate road region can be extracted for each input image. Further, since the road area is extracted by detecting the same pattern as the area immediately below the vehicle, the road area can be accurately extracted. Then, the luminance immediately below the vehicle is obtained from the luminance histogram, a luminance value including the frequency corresponding to the number of pixels of the road on the image previously obtained from the value is obtained, and a pixel falling within this luminance range is determined as a road. Thus, the road area can be accurately extracted. Furthermore,
Find the divided area by comparing the road width and brightness pattern,
In addition, since the road region is extracted using the property of the road configuration on the image, the road region can be accurately extracted.

【図面の簡単な説明】[Brief description of the drawings]

【図１】 本発明の第一の実施形態に係る局地的位置把
握装置の構造を示すブロック図である。FIG. 1 is a block diagram showing a structure of a local position grasping device according to a first embodiment of the present invention.

【図２】 図１に示す局地的位置把握装置の要部の詳細
な構造を示すブロック図である。FIG. 2 is a block diagram showing a detailed structure of a main part of the local position grasping device shown in FIG.

【図３】 本発明に係る斜視画像の座標系を示す説明図
である。FIG. 3 is an explanatory diagram showing a coordinate system of a perspective image according to the present invention.

【図４】 本発明に係る鳥瞰画像間の座標系を示す説明
図である。FIG. 4 is an explanatory diagram showing a coordinate system between bird's-eye images according to the present invention.

【図５】 本発明に係る前景斜視画像を示す説明図であ
る。FIG. 5 is an explanatory diagram showing a foreground perspective image according to the present invention.

【図６】 図５に示す前景斜視画像から抽出されたエッ
ジ画像を示す説明図である。FIG. 6 is an explanatory diagram showing an edge image extracted from the foreground perspective image shown in FIG. 5;

【図７】 図５に示すエッジ画像から輪郭を抽出する方
法を示す説明図である。FIG. 7 is an explanatory diagram showing a method of extracting a contour from the edge image shown in FIG.

【図８】 図５に示すエッジ画像から抽出された輪郭を
示す説明図である。FIG. 8 is an explanatory diagram showing a contour extracted from the edge image shown in FIG. 5;

【図９】 図２に示す領域設定器による斜視画像の領域
を限定する方法を示す説明図である。FIG. 9 is an explanatory diagram showing a method of limiting the area of the oblique image by the area setting device shown in FIG. 2;

【図１０】 図９に示す方法にて領域限定された斜視画
像を示す説明図である。FIG. 10 is an explanatory diagram showing a perspective image whose area is limited by the method shown in FIG. 9;

【図１１】 図５に示す前景斜視画像から抽出された輝
度画像を示す説明図である。FIG. 11 is an explanatory diagram showing a luminance image extracted from the foreground perspective image shown in FIG. 5;

【図１２】 図１１に示す輝度画像中の画素についての
輝度値と該輝度値を有する画素数との関係を示す説明図
である。12 is an explanatory diagram illustrating a relationship between a luminance value of a pixel in the luminance image illustrated in FIG. 11 and the number of pixels having the luminance value.

【図１３】 輝度画像中の路面のみを表示する画素の輝
度値と、各画素が対応する路面の撮像距離との関係の実
験値を示す図である。FIG. 13 is a diagram illustrating experimental values of a relationship between a luminance value of a pixel displaying only a road surface in a luminance image and an imaging distance of a road surface corresponding to each pixel.

【図１４】 図２に示す路面輝度設定器による路面輝度
設定方法を示す説明図である。FIG. 14 is an explanatory diagram showing a road surface luminance setting method using the road surface luminance setting device shown in FIG. 2;

【図１５】 図２に示す路面画像抽出器による路面抽出
方法を示す説明図である。FIG. 15 is an explanatory diagram illustrating a road surface extraction method by the road surface image extractor illustrated in FIG. 2;

【図１６】 図１５に示す路面抽出の際に得られる領域
画素に基づいて、路面領域端部を求める方法の一例を示
す説明図である。FIG. 16 is an explanatory diagram showing an example of a method of obtaining a road surface area end based on the area pixels obtained at the time of road surface extraction shown in FIG.

【図１７】 図１６に例示する方法にて直線近似された
路面画像を示す説明図である。FIG. 17 is an explanatory diagram showing a road surface image that has been linearly approximated by the method illustrated in FIG. 16;

【図１８】 図２に示す路面領域設定器による路面領域
設定を示す説明図である。FIG. 18 is an explanatory diagram showing setting of a road surface area by the road surface area setting device shown in FIG. 2;

【図１９】 図２に示す座標変換器により、路面輪郭信
号を座標変換して得られた鳥瞰画像を示す説明図であ
る。19 is an explanatory diagram showing a bird's-eye view image obtained by performing coordinate conversion on a road surface contour signal by the coordinate converter shown in FIG. 2;

【図２０】 図１９に示す鳥瞰画像データＳｃｃをハフ
変換して得られる曲線のパターンの一例を示す説明図で
ある。20 is an explanatory diagram illustrating an example of a curve pattern obtained by Hough transforming the bird's-eye image data Scc illustrated in FIG. 19;

【図２１】 図１９に示す鳥瞰画像データＳｃｃをハフ
変換して得られる曲線のパターンで、図２０に示すのと
異なる例を示す説明図である。21 is an explanatory diagram showing an example different from that shown in FIG. 20 in a curve pattern obtained by Hough transforming the bird's-eye image data Scc shown in FIG. 19;

【図２２】 図１９に示す鳥瞰画像データＳｃｃをハフ
変換して得られる曲線のパターンで、更に図２０及び図
２１に示す例と異なる例を示す説明図である。FIG. 22 is an explanatory diagram showing an example of a curve pattern obtained by Hough transforming the bird's-eye image data Scc shown in FIG. 19, which is different from the examples shown in FIGS. 20 and 21.

【図２３】 図２に示す車線内位置検出器による車線内
位置検出を示す説明図である。FIG. 23 is an explanatory diagram showing detection of an in-lane position by the in-lane position detector shown in FIG. 2;

【図２４】 図１に示す局地的位置把握装置の動作を示
すフローチャートである。FIG. 24 is a flowchart showing an operation of the local location grasping apparatus shown in FIG. 1;

【図２５】 従来の局地的位置把握装置の構造を示すブ
ロック図である。FIG. 25 is a block diagram showing a structure of a conventional local position grasping device.

【図２６】 本発明の第二の実施形態に於ける第一の実
施例に係る道路領域抽出装置を示すブロック図である。FIG. 26 is a block diagram illustrating a road region extraction device according to a first example of the second embodiment of the present invention.

【図２７】 図２６に示す輝度ヒストグラム作成手段に
よる道路画像の輝度ヒストグラムの一例を示す説明図で
ある。FIG. 27 is an explanatory diagram showing an example of a luminance histogram of a road image by the luminance histogram creating means shown in FIG. 26;

【図２８】 図２６に示す道路領域抽出装置の動作を示
すフローチャートである。FIG. 28 is a flowchart showing the operation of the road area extraction device shown in FIG.

【図２９】 図２６に示す道路領域抽出装置による抽出
道路領域から道路端を検出する方法を示す説明図であ
る。FIG. 29 is an explanatory diagram showing a method for detecting a road edge from an extracted road area by the road area extraction device shown in FIG. 26;

【図３０】 本発明の第二の実施形態に於ける第二の実
施例に係る道路領域抽出装置を示すブロック図である。FIG. 30 is a block diagram showing a road region extraction device according to a second example of the second embodiment of the present invention.

【図３１】 図３０に示す道路領域抽出装置により得ら
れた輝度ヒストグラムに於いて、道路領域の占める領域
の一例を示す説明図である。FIG. 31 is an explanatory diagram showing an example of a region occupied by a road region in a luminance histogram obtained by the road region extraction device shown in FIG. 30;

【図３２】 図３０に示す路面輝度パターン道路領域分
割手段により道路画像を分割してた得られた輝度分布と
自車位置道路輝度パターン計測手段にて得られた輝度分
布パターンを示す説明図である。32 is an explanatory diagram showing a luminance distribution obtained by dividing a road image by a road surface luminance pattern road area dividing unit shown in FIG. 30 and a luminance distribution pattern obtained by a vehicle position road luminance pattern measuring unit. is there.

【図３３】 図３０に示す道路領域抽出装置の動作を示
すフローチャートである。FIG. 33 is a flowchart showing the operation of the road area extraction device shown in FIG. 30.

【図３４】 本発明の第二の実施形態に於ける第三の実
施例に係る道路領域抽出装置を示すブロック図である。FIG. 34 is a block diagram illustrating a road region extraction device according to a third example of the second embodiment of the present invention.

【図３５】 図３４に示す輝度ヒストグラム作成手段に
よる道路画像の輝度ヒストグラムの一例を示す説明図で
ある。FIG. 35 is an explanatory diagram showing an example of a luminance histogram of a road image by the luminance histogram creating means shown in FIG. 34;

【図３６】 図３４に示す道路領域抽出装置の動作を示
すフローチャートである。FIG. 36 is a flowchart showing the operation of the road area extraction device shown in FIG. 34.

【図３７】 本発明の第二の実施形態に於ける第四の実
施例に係る道路領域抽出装置を示すブロック図である。FIG. 37 is a block diagram illustrating a road region extraction device according to a fourth example of the second embodiment of the present invention.

【図３８】 図３７に示す輝度ヒストグラム作成手段に
よる道路画像の輝度ヒストグラムの一例を示す説明図で
ある。FIG. 38 is an explanatory diagram showing an example of a luminance histogram of a road image by the luminance histogram creating means shown in FIG. 37;

【図３９】 図３７に示す画像分割手段４３による道路
画像の分割を示す説明図である。39 is an explanatory diagram showing division of a road image by the image dividing means 43 shown in FIG. 37.

【図４０】 図３７に示す道路領域抽出装置の動作を示
すフローチャートの前半部である。40 is the first half of a flowchart showing the operation of the road area extraction device shown in FIG. 37.

【図４１】 図３７に示す道路領域抽出装置の動作を示
すフローチャートの後半部である。FIG. 41 is the second half of the flowchart showing the operation of the road area extraction device shown in FIG. 37;

【図４２】 本発明の第二の実施形態に於ける第五の実
施例に係る道路領域抽出装置を示すブロック図である。FIG. 42 is a block diagram illustrating a road region extraction device according to a fifth example of the second embodiment of the present invention.

【図４３】 図４２に示す道路領域抽出装置により得ら
れた抽出道路領域と、消失線と道路端の作る三角形との
関係の一例を示す説明図である。FIG. 43 is an explanatory diagram showing an example of a relationship between an extracted road area obtained by the road area extracting apparatus shown in FIG. 42 and a vanishing line and a triangle formed by a road edge;

【図４４】 図４２に示す道路領域抽出装置の動作を示
すフローチャートである。FIG. 44 is a flowchart showing the operation of the road area extraction device shown in FIG. 42.

【図４５】 従来の道路領域抽出装置を示すブロック図
である。FIG. 45 is a block diagram showing a conventional road region extraction device.

【符号の説明】[Explanation of symbols]

１１、２１、３１、４１、５１ 道路画像撮影手段 １２、３２、４２、５２ 輝度ヒストグラム作成手段 １３ 道路輝度分離手段 １４ 道路多角形検出手段 ２２ 自車位置道路輝度パターン計測手段 ２３ 路面輝度パターン道路領域分割手段 ３３ 画素数道路領域抽出手段 ４３ 画像分割手段 ４４ 道路領域併合手段 ４５、５５ 道路幅検出手段 ５６ 道路領域相関値検出手段 ５７ 道路方向検出手段 １００ デジタル撮像装置 ２００ 空間周波数分離器 ２０２ 低周波抽出器 ２０４ 高周波抽出機 ３００ 道路面検出器 ３０２ 路面輝度設定器 ３０４ 路面画像抽出器 ３０６ 路面領域設定器 ４００ 道路輪郭検出器 ４０２ 閾値設定器 ４０４ 輪郭抽出器 ４０６ 領域限定器 ５００ 道路検出器 ６００ 局地的位置把握装置 ６０２ 座標変換器 ６０４ マッチング検出器 ６０６ 車線輪郭抽出器 ６０８ 車線内位置検出器 ７００ ＥＣＵ 11, 21, 31, 41, 51 road image photographing means 12, 32, 42, 52 luminance histogram creating means 13 road luminance separating means 14 road polygon detecting means 22 own vehicle position road luminance pattern measuring means 23 road surface luminance pattern road area Dividing means 33 Pixel number road area extracting means 43 Image dividing means 44 Road area merging means 45, 55 Road width detecting means 56 Road area correlation value detecting means 57 Road direction detecting means 100 Digital imaging device 200 Spatial frequency separator 202 Low frequency extraction Device 204 high-frequency extractor 300 road surface detector 302 road surface luminance setting device 304 road surface image extractor 306 road surface region setting device 400 road contour detector 402 threshold value setting device 404 contour extraction device 406 region limiter 500 road detector 600 local Positioning device 602 Coordinate converter 604 Match Detector 606 Lane extractor 608 Position detector in lane 700 ECU

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Continued on the front page (51) Int.Cl. ⁷ Identification code FI Theme coat ゛ (Reference)

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】 車両前方の道路を撮影する道路画像撮影
手段と、 前記道路画像撮影手段からの道路画像データから画像特
性によって画像を分割する画像分割手段と、 後述する道路幅検出手段からの道路幅データと前記画像
分割手段からの分割領域データとを使用して画像上の自
車両位置の分割領域とその左右に隣接する領域を道路幅
分だけ併合し、それを画像の上方の所定の位置まで繰り
返して道路領域を抽出する道路領域併合手段と、 前記道路領域併合手段からの抽出道路領域から画像の各
高さでの道路幅を算出する道路幅検出手段とを具備し、 前記道路幅検出手段からの画像底部における２点の道路
端データ及び所定の消失線上の任意の位置の消失点から
作られる三角形と道路領域併合手段からの抽出道路領域
との相関を取ることによって相関が最大になる消失点を
検出する道路領域相関値検出手段と、 前記道路領域相関値検出手段からの相関値が最大になる
消失点位置から車両前方の道路の方向を検出する道路方
向検出手段とを具備し、 道路端と所定の消失線上の消失点で作る三角形と抽出し
た道路領域との相関を求めることにより車両に対する道
路の方向を検出することを特徴とする道路方向検出装
置。1. Road image photographing means for photographing a road ahead of a vehicle, image dividing means for dividing an image from road image data from the road image photographing means by image characteristics, and a road from road width detecting means to be described later. Using the width data and the divided area data from the image dividing means, the divided area of the own vehicle position on the image and the areas adjacent to the left and right thereof are merged by the road width, and are combined at a predetermined position above the image. Road area merging means for repeatedly extracting a road area, and road width detecting means for calculating a road width at each height of an image from the extracted road area from the road area merging means. By correlating a triangle formed from two road end data at the bottom of the image from the means and a vanishing point at an arbitrary position on a predetermined vanishing line with an extracted road area from the road area merging means. Road area correlation value detection means for detecting a vanishing point at which the correlation becomes maximum, and road direction detection for detecting the direction of the road ahead of the vehicle from the vanishing point position at which the correlation value from the road area correlation value detection means becomes maximum. Means for detecting the direction of the road with respect to the vehicle by determining the correlation between the extracted road area and a triangle formed by a road edge and a vanishing point on a predetermined vanishing line.