JPH07141592A - Road white line detecting device - Google Patents
Road white line detecting deviceInfo
- Publication number
- JPH07141592A JPH07141592A JP5283670A JP28367093A JPH07141592A JP H07141592 A JPH07141592 A JP H07141592A JP 5283670 A JP5283670 A JP 5283670A JP 28367093 A JP28367093 A JP 28367093A JP H07141592 A JPH07141592 A JP H07141592A
- Authority
- JP
- Japan
- Prior art keywords
- white line
- template
- area
- image
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 38
- 238000012544 monitoring process Methods 0.000 claims description 30
- 239000010426 asphalt Substances 0.000 abstract description 21
- 238000000034 method Methods 0.000 description 24
- 230000000052 comparative effect Effects 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、道路白線検出装置に係
り、特に画像センサによる撮像画像から道路上に描かれ
た白線を検出する道路白線検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a road white line detecting device, and more particularly to a road white line detecting device for detecting a white line drawn on a road from an image picked up by an image sensor.
【0002】[0002]
【従来の技術】従来より、車両の自動操縦等を実現する
ための要素技術として、画像センサを用いた道路白線検
出装置が提案されている。例えば本出願人は、特願平4
−265655号において、車両前方道路をカメラによ
り撮像して得られた撮像画像を所定サイズのサーチウィ
ンドウで走査し、予め白線形状に適合するように設定し
ておいたテンプレートとの相関が最も高い領域を白線と
して認識する道路白線検出装置を開示している。2. Description of the Related Art Conventionally, a road white line detecting device using an image sensor has been proposed as an elemental technology for realizing automatic vehicle operation and the like. For example, the applicant of the present invention is Japanese Patent Application No.
In No. 265655, a region having the highest correlation with the template which is set in advance to match the white line shape by scanning a captured image obtained by capturing the road ahead of the vehicle with a camera in a search window of a predetermined size. There is disclosed a road white line detection device that recognizes as a white line.
【0003】この装置は、車両中央に配設したカメラで
白線を撮像した場合、通常は車両左側の白線は右上が
り、車両左側の白線は左上がりに、それぞれアスファル
ト部分より高輝度に撮像されることに鑑み、予め右上が
り、左上がり等に白線が描かれたテンプレートを容易
し、撮像画像中からサーチウィンドウとして切り出した
画像とテンプレートとの相関を演算し、最も高い相関の
得られた走査位置を白線領域として把握するものであ
る。In this device, when a white line is picked up by a camera arranged in the center of the vehicle, the white line on the left side of the vehicle normally goes up to the right and the white line on the left side of the vehicle goes up to the left, respectively, with higher brightness than the asphalt portion. In view of this, it is easy to create a template in which white lines are drawn in advance to the right and to the left, and calculate the correlation between the image cut out as a search window from the captured image and the template, and obtain the scanning position with the highest correlation. Is a white line area.
【0004】ところで、走行路がカーブに差しかかる
と、車両から比較的離間した位置の白線は、車両左側の
白線が左上がりに、又は車両右側の白線が右上がりにな
る場合がある。一方、自動制御等の車両制御に白線検出
の結果を利用するためには、比較的遠方の白線位置を検
出する必要がある。このため、白線検出の際に参照する
テンプレートが固定テンプレートでは実用的な白線検出
を実現することができない。By the way, when the running road approaches a curve, the white line on the left side of the vehicle may rise to the left or the white line on the right side of the vehicle may rise to the right as a white line at a position relatively distant from the vehicle. On the other hand, in order to use the result of the white line detection for vehicle control such as automatic control, it is necessary to detect the position of the white line relatively far away. Therefore, if the template referred to when detecting the white line is a fixed template, practical white line detection cannot be realized.
【0005】そこで、上記装置においては、白線形状が
比較的安定している車両直前部において固定テンプレー
トによる白線検出を行い、その際に撮像画像中テンプレ
ートと最も適合した部分を、より遠方のテンプレートと
することで、順次遠方の白線を検出する手法を採用して
いる。この場合、白線検出に用いるテンプレートの形状
と実際の白線形状とが道路のカーブ如何によって大きく
かけ離れることがなく、車両から離間した位置において
白線位置を検出することが可能となる。Therefore, in the above apparatus, the white line is detected by the fixed template in the front part of the vehicle where the white line shape is relatively stable, and at that time, the portion most suitable for the template in the captured image is set as the farther template. By doing so, a method of sequentially detecting distant white lines is adopted. In this case, the shape of the template used for detecting the white line and the actual shape of the white line do not greatly differ from each other depending on the curve of the road, and the white line position can be detected at a position separated from the vehicle.
【0006】[0006]
【発明が解決しようとする課題】しかし、上記従来の装
置の如く車両直前部から順次テンプレートを選択しなが
ら所定距離離間した位置の白線検出を実現する手法で
は、真に監視すべき位置の白線が検出できるまでに多量
の演算処理を行うことが必要となり、迅速処理の要求に
応えることができない。However, in the method of detecting white lines at positions separated by a predetermined distance while sequentially selecting templates from the front of the vehicle as in the above-mentioned conventional device, the white line at the position to be truly monitored is not detected. It is necessary to perform a large amount of arithmetic processing before it can be detected, and it is not possible to meet the demand for rapid processing.
【0007】また、上記従来の装置は、予め設定したテ
ンプレートと実際の撮像画像との相関を採ることで白線
検出を行うことから、撮像画像の輝度によっては白線位
置を誤検出する場合もある。テンプレートと撮像画像と
の相関値は、両画像の対応する画素の輝度差の絶対値を
累積して求めることから、例えば昼間と夜間とで撮像画
像の平均輝度が変化すると、輝度変化を考慮せずに設定
した固定テンプレートとの関係では、必ずしも適切な整
合が得られるとは限らないからである。Further, since the above-mentioned conventional device detects the white line by taking the correlation between the preset template and the actual captured image, the white line position may be erroneously detected depending on the brightness of the captured image. The correlation value between the template and the captured image is obtained by accumulating the absolute value of the brightness difference between the pixels corresponding to both images, and therefore, for example, when the average brightness of the captured image changes between daytime and nighttime, the brightness change should be considered. This is because the proper matching may not always be obtained in the relationship with the fixed template that has been set without the above.
【0008】この場合、参照する固定テンプレートを数
種の平均輝度について準備し、撮像画像の輝度との関係
で最適なテンプレートを選択する処理を行うことも可能
であるが、テンプレートの記憶容量の増加、テンプレー
ト選択に要する処理時間の長期化等を伴うことになり好
適ではない。In this case, it is possible to prepare a fixed template to be referred to for several kinds of average brightness and perform a process of selecting an optimum template in relation to the brightness of a captured image, but the storage capacity of the template is increased. However, the processing time required for template selection becomes longer, which is not preferable.
【0009】また、得られた撮像画像を輝度により2値
化し、アスファルト部分と白線部分とが基準の輝度とな
るように階調変換を施すことも可能であるが、かかる処
理には一般に複雑な演算が伴い、処理内容の複雑化、処
理時間の長期化等を伴うこととなりやはり好適ではな
い。It is also possible to binarize the obtained picked-up image according to the luminance and perform gradation conversion so that the asphalt portion and the white line portion have the reference luminance, but such processing is generally complicated. This is also not preferable because it involves calculations, which makes the processing contents complicated and prolongs the processing time.
【0010】本発明は、上述の点に鑑みてなされたもの
であり、車両直前のアスファルト領域を低輝度領域とし
て把握し、監視すべき領域を水平に走査した際に低輝度
領域と最も相関の低い領域を白線領域として認識するこ
とにより上記の課題を解決し得る道路白線検出装置を提
供することを目的とする。The present invention has been made in view of the above points, and grasps the asphalt area immediately before the vehicle as a low brightness area, and when the area to be monitored is horizontally scanned, it is most correlated with the low brightness area. An object of the present invention is to provide a road white line detection device that can solve the above problems by recognizing a low area as a white line area.
【0011】[0011]
【課題を解決するための手段】図1は、上記の目的を達
成する道路白線検出装置の原理構成図を示す。すなわち
上記の目的は、図1に示すように、移動体の前方道路を
画像センサM1により撮像し、得られた撮像画像内にサ
ーチウィンドウを設定して撮像画像を走査し、サーチウ
ィンドウ内の画像と所定のテンプレートとの相関に基づ
いて道路上の白線を検出する道路白線検出装置におい
て、移動体直前部であって多分に白線でないと予測され
る低輝度領域の一部を前記テンプレートとして採用する
低輝度テンプレート設定手段M2と、該低輝度テンプレ
ート設定手段M2によって設定されたテンプレートと前
記撮像画像を走査するサーチウィンドウ内の画像との相
関を採る相関演算手段M3と、該相関演算手段M3によ
って最も低い相関が検出された領域を白線として認識す
る白線認識手段M4とを有する道路白線検出装置により
達成される。FIG. 1 is a principle block diagram of a road white line detecting apparatus for achieving the above object. That is, the above-mentioned purpose is, as shown in FIG. 1, an image of the road ahead of a moving body is captured by the image sensor M1, a search window is set in the obtained captured image, the captured image is scanned, and the image in the search window is scanned. In a road white line detection device that detects a white line on a road based on the correlation between the white line on the road based on the correlation between the template and a predetermined template, a part of a low-luminance region that is predicted to be a white line immediately before the moving body is adopted as the template The low-brightness template setting means M2, the correlation calculation means M3 for taking the correlation between the template set by the low-brightness template setting means M2 and the image in the search window for scanning the captured image, and the correlation calculation means M3 This is achieved by a road white line detection device having a white line recognition means M4 for recognizing a region where low correlation is detected as a white line.
【0012】また、上記構成の道路白線検出装置におい
て、前記相関演算手段M3が、前記低輝度テンプレート
設定手段M2が低輝度領域として採用した移動体直前部
より遠方の領域をサーチウィンドウによる走査領域とす
る構成は、遠方の白線検出に有効である。Further, in the road white line detecting apparatus having the above-mentioned structure, the correlation calculating means M3 sets a region far from the immediately preceding portion of the moving body adopted by the low-brightness template setting means M2 as a low-brightness region as a scanning region by a search window. This configuration is effective for detecting a white line in the distance.
【0013】更に、前記白線認識手段M4によって道路
の両側に白線が検出された場合に、これら2本の白線の
中央付近を低輝度領域として設定する低輝度領域設定手
段M5を設け、前記低輝度テンプレート設定手段M2
が、道路白線検出処理実行開始当初は前記移動体直前部
の低輝度領域の一部を、以後前記低輝度領域設定手段M
5によって新たに低輝度領域が設定された場合は当該低
輝度領域の一部をテンプレートとして採用し、またサー
チウィンドウによる走査領域が移動体前方の監視領域に
至るまで、前記相関演算手段M3が、サーチウィンドウ
の走査領域を、前記低輝度テンプレート設定手段M2が
低輝度領域として採用した領域より所定距離遠方に更新
する構成は、遠方に設定した監視領域と車両直前部との
輝度が異なる場合の白線検出に有効である。Further, when white lines on both sides of the road are detected by the white line recognizing means M4, a low brightness area setting means M5 for setting the vicinity of the center of these two white lines as a low brightness area is provided. Template setting means M2
However, at the beginning of the execution of the road white line detection processing, a part of the low brightness area immediately before the moving body is changed, and thereafter, the low brightness area setting means M.
When a new low brightness area is newly set by 5, the correlation calculating means M3 adopts a part of the low brightness area as a template, and the scanning area by the search window reaches the monitoring area in front of the moving body. The configuration in which the scanning area of the search window is updated to be a predetermined distance away from the area adopted as the low-brightness area by the low-brightness template setting means M2 is a white line when the brightness is different between the monitoring area set at a distance and the front part of the vehicle. It is effective for detection.
【0014】[0014]
【作用】本発明に係る道路白線検出装置において、前記
低輝度テンプレート設定手段M2は、前記画像センサM
1による撮像画像中車両の直前部であって多分に白線で
ないと予測される領域の一部をテンプレートとして採用
する。In the road white line detecting apparatus according to the present invention, the low brightness template setting means M2 is the image sensor M.
A part of the region immediately preceding the vehicle in the captured image of 1 and possibly not a white line is adopted as a template.
【0015】この場合移動体の直前部では、走行路が直
進路であろうとカーブであろうと道路上の白線は常に移
動体の両側に位置することとなり、例えば移動体中央の
直前部はアスファルトである可能性が極めて高く、かか
る領域を低輝度領域とすれば、設定されたテンプレート
は確実にアスファルト表面の輝度を写し取ったものとな
る。In this case, in front of the moving body, the white line on the road is always located on both sides of the moving body regardless of whether the traveling road is a straight road or a curve. For example, the front portion in the center of the moving body is asphalt. There is a high possibility that there is a high possibility, and if such a region is set as a low-luminance region, the set template will surely be a copy of the luminance of the asphalt surface.
【0016】従って、前記相関演算手段M3では、アス
ファルト表面の輝度とサーチウィンドウ内の比較画像と
の相関演算が行われる事となり、比較画像がサーチウィ
ンドウ内アスファルト表面から切り出されたものである
場合には高い相関が、比較画像がサーチウィンドウ内の
白線で占められた部位から切り出されたものである場合
には比較的低い相関が得られることになる。Therefore, the correlation calculating means M3 performs the correlation calculation between the brightness of the asphalt surface and the comparative image in the search window, and when the comparative image is cut out from the asphalt surface in the search window. Will have a high correlation, while a relatively low correlation will be obtained if the comparison image is cut out from the area occupied by the white line in the search window.
【0017】このため、前記白線認識手段M4が、最も
相関の低い領域を白線領域として認識することにより、
道路表面の平均輝度の影響を受けることなく、サーチウ
ィンドウの走査領域内における白線位置が精度良く検出
されることになる。Therefore, the white line recognition means M4 recognizes the region having the lowest correlation as the white line region,
The position of the white line in the scanning area of the search window can be accurately detected without being affected by the average brightness of the road surface.
【0018】このように、アスファルト表面の状態をテ
ンプレートとして写し取る構成においては、単に相関が
低い領域を探すだけで白線検出が可能であり、サーチウ
ィンドウ内から切り出した比較画像内の白線形状は問題
とならない。As described above, in the configuration in which the state of the asphalt surface is copied as a template, the white line can be detected by simply searching for a region having a low correlation, and the white line shape in the comparison image cut out from the search window causes a problem. I won't.
【0019】従って、前記相関演算手段M3がサーチウ
ィンドウの走査領域を移動体遠方の所定の監視領域に設
定した場合、前記低輝度テンプレート設定手段M2の設
定したテンプレートとの相関演算により当該監視領域内
における白線が容易に検出される。Therefore, when the correlation calculating means M3 sets the scanning area of the search window to a predetermined monitoring area distant from the moving body, the inside of the monitoring area is calculated by the correlation calculation with the template set by the low brightness template setting means M2. The white line at is easily detected.
【0020】また、前記白線認識手段M4が、サーチウ
ィンドウの走査領域内で道路の両側に白線を検出した場
合、その中間付近はアスファルトである可能性が高い。
この際、前記低輝度テンプレート設定手段M2が当該領
域を低輝度領域として捕らえ、この領域をテンプレート
として写し取ることとすれば、テンプレートは常時サー
チウィンドウの走査領域内で更新されることなる。When the white line recognizing means M4 detects the white lines on both sides of the road within the scanning area of the search window, there is a high possibility that asphalt is in the middle.
At this time, if the low brightness template setting means M2 catches the area as a low brightness area and copies this area as a template, the template is constantly updated in the scanning area of the search window.
【0021】従って、かかる構成に加えて、前記相関演
算手段M3が、サーチウィンドウの走査領域が所定の監
視領域に至るまで、徐々にテンプレートとして写し取っ
た領域より遠方を走査領域として設定する場合には、走
査領域の移動過程でテンプレートがアスファルト領域か
ら外れることがないと共に、最終的には監視領域内から
テンプレートが写し取られることになる。Therefore, in addition to the above configuration, when the correlation calculating means M3 gradually sets the scanning region as a region farther than the region copied as the template until the scanning region of the search window reaches a predetermined monitoring region. The template does not come off the asphalt area during the movement of the scanning area, and the template is finally copied from the monitoring area.
【0022】この場合、テンプレートが監視領域内の低
輝度領域から写し取られているため、移動体の直前部の
明るさと監視領域として設定した遠方部の明るさとが一
時的に異なるような場合でも、その影響を受けることな
く白線検出処理が実行されることとなる。In this case, since the template is copied from the low-brightness area in the monitoring area, even if the brightness of the front part of the moving object and the brightness of the distant part set as the monitoring area are temporarily different. The white line detection processing is executed without being affected by the above.
【0023】[0023]
【実施例】図2は、本発明の一実施例である道路白線検
出装置の全体構成を表すブロック図を示す。同図におい
てカメラ10は、前記した画像センサM1に相当し、A
/D変換装置12を介して画像フレームメモリ14に接
続されている。これにより、カメラ10によって得られ
た1画面分の画像は、ディジタルデータとして画像フレ
ームメモリ14に記憶される。FIG. 2 is a block diagram showing the overall structure of a road white line detecting apparatus according to an embodiment of the present invention. In the figure, the camera 10 corresponds to the above-mentioned image sensor M1, and A
It is connected to the image frame memory 14 via the / D converter 12. Thus, the image for one screen obtained by the camera 10 is stored in the image frame memory 14 as digital data.
【0024】画像フレームメモリ14には、前記した低
輝度テンプレート設定手段M2,白線認識手段M4,低
輝度領域設定手段M5を実現するCPU16が接続され
ている。このCPU16は、画像フレームメモリ14の
所定の部分の画像データを読みだし、各種演算処理を行
うことで、これらの機能を実現する。The image frame memory 14 is connected to the CPU 16 which realizes the low brightness template setting means M2, the white line recognition means M4 and the low brightness area setting means M5. The CPU 16 realizes these functions by reading out image data of a predetermined portion of the image frame memory 14 and performing various arithmetic processes.
【0025】このCPU16には前記した相関演算手段
M3に相当する相関演算装置18が接続されている。相
関演算装置18には、画像フレームメモリ14の画像デ
ータに基づいてCPU16が設定したテンプレートに係
るデータと、CPU16が設定したサーチウィンドウ内
の画像データとが供給される。そして、相関演算装置1
8は、これらのデータに基づいてテンプレートマッチン
グによる相関演算を行う。A correlation calculator 18 corresponding to the above-mentioned correlation calculator M3 is connected to the CPU 16. Data relating to the template set by the CPU 16 based on the image data in the image frame memory 14 and the image data in the search window set by the CPU 16 are supplied to the correlation calculation device 18. Then, the correlation calculation device 1
8 performs correlation calculation by template matching based on these data.
【0026】以下、図3を参照して、テンプレートマッ
チングによる相関演算の手法について簡単に説明する。The method of correlation calculation by template matching will be briefly described below with reference to FIG.
【0027】図3(A)は、テンプレートマッチングに
用いるm×n画素のテンプレートを、図3(B)は、テ
ンプレート内の画像が一部に撮像された撮像画像を示
す。テンプレートマッチングを行う場合、先ず図3
(B)に示す撮像画像中に大まかにサーチウィンドウ
(S)を設定する。そして、このサーチウィンドウの中
からテンプレートと同サイズの画像を比較画像(C)と
して抜き出し、対応する各画素の輝度の差の絶対値の総
和を相関値Dとして求める。FIG. 3A shows a template of m × n pixels used for template matching, and FIG. 3B shows a picked-up image in which a part of the image in the template is picked up. When performing template matching, first see FIG.
A search window (S) is roughly set in the captured image shown in (B). Then, an image of the same size as the template is extracted from this search window as a comparison image (C), and the sum of absolute values of the brightness differences of the corresponding pixels is obtained as a correlation value D.
【0028】この場合、図3(A),(B)に示すよう
にテンプレート内の画像と比較画像とが一致していない
場合には相関値Dが大きく、テンプレート内の画像と比
較画像とが完全に一致した場合には、相関値D=“0”
となる。In this case, as shown in FIGS. 3A and 3B, when the image in the template and the comparison image do not match, the correlation value D is large, and the image in the template and the comparison image are When the values match completely, the correlation value D = “0”
Becomes
【0029】従って、設定されたサーチウィンドウ内で
順番に1画素づつずらして比較画像を設定し、それそれ
テンプレートとの相関値Dを求めた場合、相関値Dが最
小となる位置が最も相関の高い位置であり、その位置を
テンプレート内の画像の存在する位置として特定するこ
とができる。Therefore, when the comparison image is set by shifting one pixel in order within the set search window and the correlation value D with the template is obtained, the position where the correlation value D is the smallest has the highest correlation. It is a high position, and the position can be specified as the position where the image in the template exists.
【0030】このように、テンプレートマッチングによ
る相関演算は、サーチウィンドウ内にテンプレート内の
画像に近似する画像を検出するのに有効な手法である。
尚、本実施例の道路白線検出装置は、かかる原理を利用
して道路上に描かれた白線の位置を検出する装置であ
る。As described above, the correlation calculation by template matching is an effective method for detecting an image close to the image in the template within the search window.
The road white line detection device of the present embodiment is a device that detects the position of the white line drawn on the road by using this principle.
【0031】すなわち、CPU16は相関演算装置18
の相関演算結果に基づいて白線位置を検出し、これを白
線位置出力装置20を介して図示しない所定の車両制御
装置に出力する。つまり、車両には、操舵、アクセル、
ブレーキ等を制御する車両制御装置が搭載されており、
このようにして供給された白線位置についての情報に基
づいて自動操縦が行われる。That is, the CPU 16 has the correlation calculating device 18
The white line position is detected on the basis of the result of the correlation calculation, and this is output to a predetermined vehicle control device (not shown) via the white line position output device 20. In other words, the vehicle has steering, accelerator,
A vehicle control device that controls brakes etc. is installed,
Autopilot is performed based on the information on the white line position supplied in this manner.
【0032】尚、画像フレームメモリ14の出力側に
は、D/A変換装置22を介してCRT24が接続され
ており、画像フレームメモリ14に記憶されている画像
は、逐次CRT24に表示される。A CRT 24 is connected to the output side of the image frame memory 14 via the D / A converter 22, and the images stored in the image frame memory 14 are sequentially displayed on the CRT 24.
【0033】ところで、テンプレートマッチングにより
白線位置を検出する場合、一般には図4(A)に示すよ
うにアスファルト部分を低輝度、白線部分を高輝度に見
立てたテンプレートと、図4(B)の如く得られた撮像
画像から切り出した比較画像とを比較する手法が採られ
ている。By the way, when the white line position is detected by template matching, generally, as shown in FIG. 4 (A), a template in which the asphalt part is assumed to have low brightness and the white line part is assumed to have high brightness, and as shown in FIG. 4 (B). A method of comparing with a comparative image cut out from the obtained captured image is adopted.
【0034】この場合、白線検出の結果は、通常車両の
自動運転等の制御に利用され、実用的な白線検出を実行
するためには、検出した白線位置を制御に反映させるた
めの時間を確保する意味で、ある程度車両から離間した
位置の白線が検出できる必要がある。一方、図4(B)
に示すように、車両から離間した位置の白線は、道路の
カーブの影響で接線方向が変化し、テンプレートと比較
すべき比較画像を切り出した場合、比較画像内で白線形
状が大きく変化する。In this case, the result of the white line detection is normally used for the control such as automatic driving of the vehicle, and in order to execute the practical white line detection, the time for reflecting the detected white line position in the control is secured. In this sense, it is necessary to be able to detect the white line at a position separated from the vehicle to some extent. On the other hand, FIG. 4 (B)
As shown in, the white line at a position separated from the vehicle changes its tangential direction due to the influence of the curve of the road, and when a comparative image to be compared with the template is cut out, the shape of the white line changes greatly in the comparative image.
【0035】このため、従来は、比較的白線形状が安定
している車両近点で固定テンプレートを用いた白線検出
を行い、白線として認識された比較画像を次回のテンプ
レートとして用いると共にサーチウィンドウの走査領域
を、所望の監視領域へ向けて徐々に車両遠方へ離間させ
る手法を採用しており、その結果、白線検出に長期を要
していることは前記した通りである。Therefore, conventionally, the white line detection using the fixed template is performed at the vehicle near point where the white line shape is relatively stable, the comparative image recognized as the white line is used as the next template, and the search window is scanned. As described above, the method of gradually separating the area toward the desired monitoring area away from the vehicle is adopted, and as a result, it takes a long time to detect the white line.
【0036】更に、図4(C)に示すように、車両の置
かれた環境によっては、撮像画像の平均輝度が異なり、
かかる輝度変化が考慮されていない固定テンプレートと
の相関演算においては、白線を含む位置で切り出された
比較画像より、白線を含まない位置から切り出された比
較画像の方が小さな相関値Dが得られる、すなわち高い
相関が得られる場合が生じ得る。Further, as shown in FIG. 4C, the average brightness of the picked-up image differs depending on the environment in which the vehicle is placed.
In the correlation calculation with the fixed template in which such a brightness change is not considered, a smaller correlation value D is obtained in the comparative image cut out from the position not including the white line than in the comparative image cut out at the position including the white line. That is, there may be cases where a high correlation is obtained.
【0037】そこで、本実施例の道路白線検出装置は、
図5に示す如く画像フレームメモリ14内に記憶されて
いる撮像画像から、先ずアスファルトである可能性の高
い車両中央直前の道路表面(図5(a)中、座標(X
t,Yt))をテンプレートとして写し取り、次に監視
領域としてY座標=Yaの位置に定めた走査領域から比
較画像を切り出してテンプレートとの相関値D演算を行
うこととした。Therefore, the road white line detection apparatus of this embodiment is
From the captured image stored in the image frame memory 14 as shown in FIG. 5, first, the road surface immediately before the center of the vehicle, which is highly likely to be asphalt (in FIG. 5 (a), the coordinates (X
t, Yt)) is copied as a template, and then a comparison image is cut out from the scanning area defined at the position of Y coordinate = Ya as the monitoring area, and the correlation value D calculation with the template is performed.
【0038】この場合、テンプレートとして写し取った
アスファルトの状態と相関の低い部位、すなわち比較画
像内に白線が大きな割合を占める部位ほど高い相関値D
が演算されることとなり、CPU16では、図5(d)
に示すように白線位置に相当する部位にピークを有する
相関値D曲線が得られることになる。In this case, a portion having a low correlation with the state of asphalt copied as a template, that is, a portion having a large proportion of white lines in the comparison image has a higher correlation value D.
Is calculated, and in the CPU 16, FIG.
As shown in, a correlation value D curve having a peak at a portion corresponding to the white line position is obtained.
【0039】従って、そのピーク位置のX座標を検出す
れば、その座標値XL,XRを白線位置として捕らえる
ことができる。そして、そのXL,XRは、撮像画像の
平均輝度の変化を受けることがなく、白線位置を誤検出
する可能性が極めて小さく抑制されることになる。Therefore, if the X coordinate of the peak position is detected, the coordinate values XL and XR can be captured as the white line position. Then, XL and XR are not affected by the change in the average luminance of the captured image, and the possibility of erroneously detecting the white line position is suppressed to an extremely small level.
【0040】また、この場合白線位置として検出された
XLとXRとの中央付近は、アスファルトである漫然性
が高い。このため、本実施例においては、次回以降図5
(c)に示すように座標((XR−XL)/2,Ya)
なる点からテンプレートを写しとることとしている。こ
の結果、道路がカーブしている場合においてもテンプレ
ートに写し取られる領域が常にアスファルト領域である
ことを保証しつつ、車両遠方に設定した監視領域内から
テンプレートを得ることが可能となり、より実情に沿っ
た白線検出が実現されることになる。Further, in this case, the vicinity of the center between XL and XR detected as the position of the white line is highly likely to be asphalt. Therefore, in the present embodiment, FIG.
Coordinates ((XR-XL) / 2, Ya) as shown in (c)
The template is copied from the point. As a result, even when the road is curved, it is possible to obtain the template from the monitoring area set far from the vehicle, while guaranteeing that the area to be copied in the template is always the asphalt area. White line detection along the line will be realized.
【0041】図6は、上記機能を実現すべくCPU16
が実行するメインルーチンのフローチャートを示す。同
図に示すように、本ルーチンが起動すると、先ずステッ
プ100においてイニシャル処理が実行される。このイ
ニシャル処理は、図7にそのフローチャートを示すイニ
シャルルーチンにより後述の如く実現される処理であ
り、車両から所定距離離間した位置(Y=Yaの位置)
に設定した監視領域内にテンプレートを写しとるべき低
輝度領域の特定が行われる。FIG. 6 shows the CPU 16 for realizing the above function.
3 shows a flowchart of a main routine executed by the. As shown in the figure, when this routine is started, first in step 100, initial processing is executed. This initial process is a process that is realized as described later by the initial routine whose flowchart is shown in FIG. 7, and is located at a predetermined distance from the vehicle (Y = Ya position).
A low-brightness region in which the template is to be copied is specified in the monitoring region set to.
【0042】次にステップ200では、監視領域内の一
部を写し取ったテンプレートに基づいた白線検出処理を
行う。この白線検出処理は、具体的には図8にフローチ
ャートを示す白線検出ルーチンによって実現され、監視
領域内においてテンプレートと最も相関の低い位置を白
線位置として認識する処理が行われる。Next, at step 200, white line detection processing is performed based on a template obtained by copying a part of the monitoring area. This white line detection processing is specifically realized by a white line detection routine whose flowchart is shown in FIG. 8, and processing for recognizing a position in the monitoring region having the lowest correlation with the template as a white line position is performed.
【0043】これらの処理を終えたら、ステップ300
では上記ステップ200において白線として認識された
領域が、真に白線であるかの判定を行う。この白線判定
処理は、図9にそのフローチャートを示す白線判定ルー
チンにより実現され、後述の如く、白線として認識され
た2位置が車線幅との関係で適正な位置関係にあるかを
判別することによりその判定がなされる。After completing these processes, step 300
Then, it is determined whether the area recognized as the white line in step 200 is a true white line. This white line determination processing is realized by a white line determination routine whose flowchart is shown in FIG. 9, and by determining whether or not the two positions recognized as white lines are in an appropriate positional relationship with the lane width, as will be described later. The judgment is made.
【0044】そして、適正に白線が検出されている場合
は、監視領域内から写し取ったテンプレートが適切に機
能していると判断し、以後上記ステップ200、及び3
00を繰り返し実行して白線検出を継続的に実行する。
一方、白線を見失ったと判定された場合は、確実に低輝
度領域をテンプレートに写し取るべく再度上記ステップ
100に示すイニシャル処理を実行する。If the white line is properly detected, it is determined that the template copied from the monitoring area is functioning properly, and the steps 200 and 3 are performed thereafter.
00 is repeatedly executed to continuously execute white line detection.
On the other hand, if it is determined that the white line has been lost, the initial process shown in step 100 is executed again to surely copy the low-luminance region to the template.
【0045】以下、上記ステップ100〜300の具体
的内容について説明する。The specific contents of steps 100 to 300 will be described below.
【0046】上記ステップ100に相当するイニシャル
処理ルーチン(図7)が起動すると、先ずステップ10
2においてテンプレートの設定を行う。この場合、アス
ファルトである漫然性の高い領域を低輝度領域と擬制し
てテンプレートとする他に有効な手段がないため、画像
フレームメモリ14が記憶する画像中、車両中央直前部
に相当する座標(Xt,Yt)から(図5(a)参照)
m×n画素の画像を切り出してメモリへ格納する。尚、
本ルーチンにおいては、このステップ102が前記した
低輝度テンプレート設定手段M2に相当する。When the initial processing routine (FIG. 7) corresponding to step 100 is started, first step 10
In step 2, the template is set. In this case, since there is no effective means other than simulating the asphalt area having a high degree of ambiguity as a low-brightness area and using it as a template, the coordinates (corresponding to the portion just before the vehicle center in the image stored in the image frame memory 14 ( From Xt, Yt) (see FIG. 5 (a))
An image of m × n pixels is cut out and stored in a memory. still,
In this routine, this step 102 corresponds to the low brightness template setting means M2.
【0047】かかる処理を終えたら、ステップ104へ
進んで車両左側に描かれた白線位置を検出すべく初期値
の設定を行う。ここでは、サーチウィンドウの走査領域
を直接所望の監視領域に相当するY=Yaに設定する構
成を採用しており、m×n画素からなる比較画像の左上
座標(x,y)を(Xf/2,Ya)に設定する。ここ
で本実施例においては、撮像画像がXf×Yf画素で構
成されており、Xf/2は、撮像画像の中央位置に相当
する。When this processing is completed, the routine proceeds to step 104, where initial values are set to detect the position of the white line drawn on the left side of the vehicle. Here, a configuration is adopted in which the scanning area of the search window is directly set to Y = Ya corresponding to the desired monitoring area, and the upper left coordinates (x, y) of the comparison image composed of m × n pixels are set to (Xf / 2, Ya). Here, in the present embodiment, the captured image is composed of Xf × Yf pixels, and Xf / 2 corresponds to the center position of the captured image.
【0048】また、本ステップ104では、上記の処理
と共に、後に演算するテンプレートと座標(x,y)を
左上とする比較画像との相関値Dx,yの最大値を格納
するDbuf、Dbufが検出された位置のX座標xを
格納するXbufをそれぞれ“0”にクリアし、所定の
状況下でインクリメントされるカウンタiに“1”を、
比較画像内に白線が検出された際に“1”をセットする
フラグflagに“0”を、車両左側の白線を検出中で
あることを示すべくフラグdirに“0”をセットする
処理を実行する。Further, in this step 104, Dbuf and Dbuf storing the maximum value of the correlation value Dx, y between the template to be calculated later and the comparison image with the upper left coordinate (x, y) are detected in the step 104. The Xbuf that stores the X coordinate x of the set position is cleared to "0", and the counter i that is incremented under a predetermined condition is set to "1".
A process of setting "0" to the flag flag that sets "1" when a white line is detected in the comparative image and "0" to the flag dir to indicate that the white line on the left side of the vehicle is being detected is executed. To do.
【0049】ステップ106は、相関演算装置18と共
に前記した相関演算手段M3を実現するステップであ
り、テンプレートマッチングにより相関値Dx,yを計
算・記憶する処理を行う。Step 106 is a step of realizing the above-described correlation calculating means M3 together with the correlation calculating device 18, and performs a process of calculating / storing the correlation value Dx, y by template matching.
【0050】また、ステップ108は、flagが
“0”であるかを判別するステップであり、後述の原理
に従って、サーチウィンドウから切り出した比較画像中
に白線が検出されたと判断されてflag=“1”とさ
れるまでは条件が成立すると判別される。Further, step 108 is a step for judging whether the flag is "0", and it is judged that a white line is detected in the comparison image cut out from the search window according to the principle described later, and flag = "1". It is determined that the condition is satisfied until "."
【0051】この場合、ステップ110が実行されるこ
とになる。このステップ11は、相関値Dx,yが所定
の判定値Kth以上か否かを判別するステップである。
つまり、現在テンプレートとして用いているのは、車両
中央直前部のアスファルト領域であり、比較画像内に白
線が占める割合が増加するにつれて相関値Dx,yの値
が大きくなる。In this case, step 110 will be executed. This step 11 is a step of determining whether or not the correlation value Dx, y is greater than or equal to a predetermined determination value Kth.
In other words, what is currently used as the template is the asphalt area immediately in front of the center of the vehicle, and the correlation value Dx, y increases as the proportion of white lines in the comparison image increases.
【0052】従って、Kthを適当な値に設定しておく
ことにより、Dx,y≧Kthの成立性から比較画面中
に白線が存在するか否かを判断することができ、上記ス
テップ110は、かかる観点よりサーチウィンドウ内で
比較画像を走査した結果白線を検出するに至ったか否か
を判別する処理を実行しているものである。Therefore, by setting Kth to an appropriate value, it is possible to judge whether or not a white line is present in the comparison screen based on the establishment of Dx, y ≧ Kth. From this point of view, the process of determining whether or not a white line has been detected as a result of scanning the comparative image in the search window is executed.
【0053】そして、かかる条件が不成立とされている
間はステップ112、114がジャンプされ、一方条件
成立が判別された場合は、ステップ112でその際の相
関値Dx,yをDbufに、その際の比較画像の左上座
標(x,y)をXbufに格納し、更に続くステップ1
14でflag=“1”とする処理を実行する。このた
め、以後本ステップが起動された場合は、上記ステップ
108の条件は不成立と判別されることとなる。While the condition is not satisfied, steps 112 and 114 are jumped. On the other hand, when it is determined that the condition is satisfied, in step 112, the correlation value Dx, y at that time is set to Dbuf. The upper left coordinates (x, y) of the comparison image of S.
In step S14, the flag is set to "1". Therefore, when this step is activated thereafter, it is determined that the condition of step 108 is not satisfied.
【0054】ステップ116は、車両に対して何れの側
の白線検出を実行しているのかを判別するためのステッ
プで、上記したフラグdirが“0”か否かによって判
断する。今回は、上記ステップ104において設定した
後dirの値は変更されていないためdir=“0”と
判断され、以後ステップ118の処理が実行される。Step 116 is a step for judging which side of the vehicle the white line is being detected, and it is judged by whether or not the above-mentioned flag dir is "0". This time, since the value of dir has not been changed after the setting in step 104, it is determined that dir = "0", and the process of step 118 is executed thereafter.
【0055】ステップ118は、比較画像のX座標値x
を設定するステップである。本ルーチンでは、テンプレ
ートマッチングを行うにあたり比較座標を1画素づつ走
査することとしており、本ステップ118では、今回の
X座標値xから1画素減じたx−1を新たなxとする。Step 118 is the X coordinate value x of the comparison image.
Is the step of setting. In this routine, the comparison coordinates are scanned pixel by pixel when performing template matching, and in this step 118, x-1 obtained by subtracting 1 pixel from the current X coordinate value x is set as a new x.
【0056】かかる処理を終えたら、上記ステップ10
6へ戻り、再び相関値Dx,yを計算・記憶し、ステッ
プ108へ進む。上記したように今回はflagには
“1”がセットされているため、以後ステップ120へ
進み、カウンタiが10に達しているかを判別する。When the above processing is completed, the above step 10
6, the correlation value Dx, y is calculated and stored again, and the process proceeds to step 108. As described above, since the flag is set to "1" this time, the process proceeds to step 120 and it is determined whether the counter i has reached 10.
【0057】このカウンタは、上記ステップ110にお
いて始めてDx,y≧Kthが成立すると判別された
際、すなわち比較画像中に始めて白線が検出されたと認
識された際の相関値D演算を初回とし、以後何回相関値
Dを演算したかをカウントするカウンタである。This counter sets the correlation value D as the first operation when it is determined that Dx, y ≧ Kth is satisfied for the first time in step 110, that is, when the white line is detected for the first time in the comparison image. It is a counter that counts how many times the correlation value D is calculated.
【0058】本ルーチンにおいては、カメラ10の画素
サイズとの関係上、路上に描かれる白線は撮像画像中5
〜6画素で納まることから、i=10まで比較画像像の
走査を実行することとしており、上記ステップ120
は、実質的には走査の続行性を判断するステップであ
る。In this routine, the white line drawn on the road is 5 in the picked-up image due to the pixel size of the camera 10.
Since the number of pixels is within 6 pixels, the comparison image image is scanned until i = 10.
Is a step of substantially determining the continuity of scanning.
【0059】かかる処理を行うことにより、例えば撮像
画像中に、白線の更に外側に高輝度の建造物等が撮像さ
れている場合においても、その建造物等を白線として誤
認することがなく、結果として白線検出精度の向上が図
られることになる。By performing such processing, even when a high-intensity building or the like is imaged outside the white line in the captured image, for example, the building or the like is not mistakenly recognized as a white line, and the result is obtained. As a result, the accuracy of white line detection can be improved.
【0060】そして、上記ステップ120においてi>
10が不成立であると判別される場合は、ステップ12
2でiをインクリメントした後ステップ124へ進み、
今回の相関値Dx,yが前回までの最大値を格納してあ
るDbufの値より大きいかをみる。Then, in step 120, i>
If 10 is not established, step 12
After incrementing i by 2, proceed to step 124,
It is checked whether the correlation value Dx, y of this time is larger than the value of Dbuf storing the maximum value up to the previous time.
【0061】ここでDx,y>Dbufが成立する場合
は、Dbufを新たな相関値Dx,yに更新すべきであ
り、ステップ126においてDbuf、Xbufの更新
が行われる。一方、Dx,y>Dbufが不成立である
場合は、Dbufを更新する必要がなく、この場合はス
テップ126がジャンプされて上記ステップ116へ至
る。この結果、Dbufには常に演算された相関値D
x,yのうち最大の値が格納され、またXbufには最
大の相関値Dx,yを示した比較画像のX座標値xが格
納されることになる。If Dx, y> Dbuf is satisfied, Dbuf should be updated to a new correlation value Dx, y, and in step 126, Dbuf and Xbuf are updated. On the other hand, if Dx, y> Dbuf is not satisfied, it is not necessary to update Dbuf, and in this case, step 126 is jumped to step 116. As a result, the calculated correlation value D is always stored in Dbuf.
The maximum value of x and y is stored, and Xbuf stores the X coordinate value x of the comparative image showing the maximum correlation value Dx and y.
【0062】一方、上記ステップ120においてi>1
0が成立した場合は、左側白線の検出が終了したと判断
し、右側白線の検出を行うべくステップ128へ進む。
ステップ128ではdirに“1”がセットされている
か否かが判別される。今回が左側白線の検出終了直後で
あればdirにはまだ“0”がセットされているため条
件は不成立と判断され、以後ステップ130が実行され
る。On the other hand, in step 120, i> 1
If 0 is established, it is determined that the detection of the left white line is completed, and the process proceeds to step 128 to detect the right white line.
At step 128, it is judged if dir is set to "1". If this time is immediately after the detection of the left white line, "0" is still set in dir, so that it is determined that the condition is not satisfied, and step 130 is executed thereafter.
【0063】ステップ130は、白線位置出力装置20
に向けて、Xbufの値を左側白線位置XLとして、D
bufの値を左側白線の相関値DLとしてそれぞれ出力
するステップである。Step 130 is the white line position output device 20.
The value of Xbuf toward the left white line position XL, and D
In this step, the value of buf is output as the correlation value DL of the left white line.
【0064】ステップ130の処理を終えたら、ステッ
プ132へ進んで右側白線を検出するための初期値設定
を行う。本ステップでは、上記ステップ104と同様に
検出開始時の比較画像の座標(x,y)を(Xf/2,
Ya)とし、Dbuf=“0”、Xbuf=“0”、i
=“1”、flag=“0”とする一方、右側白線の検
出であることを表示すべくdir=“1”とする。When the processing of step 130 is completed, the routine proceeds to step 132, where the initial value setting for detecting the right white line is performed. In this step, similarly to step 104, the coordinates (x, y) of the comparison image at the start of detection are set to (Xf / 2,
Ya), Dbuf = “0”, Xbuf = “0”, i
= “1” and flag = “0” are set, while dir = “1” is set to display that the right white line is detected.
【0065】以後、上記した左側白線の検出処理と同様
に上記ステップ106〜116が実行されるが、今回は
dir=“1”であるため、ステップ116ではdir
=“0”が不成立と判別される。このため右側白線検出
時にはステップ116に続いてステップ134が実行さ
れ、X座標値xが1画素づつインクリメントされて比較
画像の走査が実現されることになる。Thereafter, steps 106 to 116 are executed similarly to the above-described left-side white line detection processing, but since dir = "1" is set this time, dir is set in step 116.
= “0” is determined not to be established. Therefore, when the right white line is detected, step 134 is executed after step 116, the X coordinate value x is incremented by one pixel, and scanning of the comparison image is realized.
【0066】そして、車両右側において、Dx,y≧K
thを成立させる相関値Dx,yが計算され、その後i
>10が成立するまで上記ステップ106〜126の処
理が繰り返し実行され、i>10の成立を条件にステッ
プ128が実行される。Then, on the right side of the vehicle, Dx, y ≧ K
The correlation value Dx, y that holds th is calculated, and then i
The above steps 106 to 126 are repeatedly executed until> 10 is satisfied, and step 128 is executed on condition that i> 10 is satisfied.
【0067】今回は、dir=“1”であるからステッ
プ128の条件が成立し、以後ステップ136において
Xbufの値を左側白線位置XLとして、Dbufの値
を左側白線の相関値DLとしてそれぞれ出力して本ルー
チンを終了する。Since dir = "1" is satisfied this time, the condition of step 128 is satisfied, and thereafter, in step 136, the value of Xbuf is output as the left white line position XL and the value of Dbuf is output as the correlation value DL of the left white line. This routine ends.
【0068】このように、図7に示すイニシャル処理ル
ーチンは、車両中央直前の領域から写し取ったテンプレ
ートを基にして監視領域(Y=Yaの領域)内における
左右白線位置を検出するルーチンである。この意味で、
図7中、白線位置を表すXL,XRの値を決めるステッ
プ124,126,130,136は、本実施例におい
て前記した白線認識手段M4を実現するステップであ
る。As described above, the initial processing routine shown in FIG. 7 is a routine for detecting the positions of the left and right white lines in the monitoring area (area Y = Ya) based on the template copied from the area immediately in front of the center of the vehicle. In this sense
In FIG. 7, steps 124, 126, 130 and 136 for determining the values of XL and XR representing the white line position are steps for realizing the white line recognition means M4 described above in the present embodiment.
【0069】ところで、上記したイニシャル処理ルーチ
ンの手法で白線検出を行う場合、白線位置は最も相関の
悪い位置として把握されるため撮像画像の平均輝度変化
の影響を受けることがない。この意味では、CPU16
がイニシャル処理ルーチンを繰り返し実行する構成で
も、従来の手法による場合に比べて誤検出がなく、かつ
処理速度の速い白線検出処理が実現できることになる。By the way, when the white line is detected by the above-mentioned method of the initial processing routine, the white line position is grasped as the position having the worst correlation, so that it is not affected by the average luminance change of the picked-up image. In this sense, the CPU 16
Even with the configuration in which the initial processing routine is repeatedly executed, it is possible to realize the white line detection processing which is free from erroneous detection and has a high processing speed as compared with the case of the conventional method.
【0070】しかし、例えば車両がトンネルに突入する
直前の状況においては、監視領域として設定したY=Y
aの領域とテンプレートとして切り出すべく設定した車
両中央直前部とでは、路面の輝度が異なる事態が生ず
る。この場合、テンプレートの平均輝度と監視領域内の
アスファルトの平均輝度とは明らかに異なり、白線位置
の誤検出を引き起こす場合がある。However, for example, in the situation immediately before the vehicle enters the tunnel, Y = Y set as the monitoring area
A situation occurs in which the brightness of the road surface is different between the region a and the vehicle center immediately before being set to be cut out as a template. In this case, the average brightness of the template and the average brightness of the asphalt in the monitoring area are clearly different from each other, which may cause erroneous detection of the white line position.
【0071】図8に示す白線検出ルーチンは、かかる弊
害を除去して白線検出精度の向上を図るべくCPU16
が実行するルーチンである。尚、図8において上記図7
に示す処理と同一の処理を実行するステップには同一の
符号を付し、その説明を省略する。In the white line detection routine shown in FIG. 8, the CPU 16 is arranged to eliminate such an adverse effect and improve the white line detection accuracy.
Is a routine executed by. In addition, in FIG.
Steps that execute the same processing as the processing shown in are denoted by the same reference numerals, and description thereof will be omitted.
【0072】すなわち、本ルーチンは、起動直後に実行
されるステップ202において、上記イニシャル処理ル
ーチンで検出されたXLとXRの間の座標(XL+X
R)/2と、監視領域のY座標に相当するYaとをそれ
ぞれ右上のX座標、Y座標とするm×n画素の画像をテ
ンプレートとしてメモリに格納する点、ステップ20
4,206において、左右白線の検出に対する比較画像
の初期X座標を、(XL+XR)/2に設定する点に特
徴を有するものである。That is, in this routine, which is executed immediately after starting, in step 202, the coordinates (XL + X) between XL and XR detected in the initial processing routine are detected.
R) / 2 and Ya corresponding to the Y coordinate of the monitoring area are stored in the memory as an image template of m × n pixels having the upper right X coordinate and Y coordinate, respectively, step 20
4, 206, the initial X coordinate of the comparison image for the detection of the left and right white lines is set to (XL + XR) / 2.
【0073】この意味で、本実施例においては、テンプ
レートの設定座標を変更する機能を発揮する上記ステッ
プ202が、前記した低輝度テンプレート設定手段M
2、及び低基礎領域設定手段M5を実現している。In this sense, in this embodiment, the step 202, which has the function of changing the setting coordinates of the template, is the low brightness template setting means M described above.
2 and the low basic area setting means M5 are realized.
【0074】以下、これらの初期設定に対して白線位置
を検出すべく実行する処理の内容については、上記図7
に示すイニシャルルーチンと全く同様である。この場
合、比較画像として切り出す画像とテンプレートとして
切り出す画像とが、共にY=Yaの監視領域内に存在す
ることとなり、両者の環境は事実上同一であると擬制で
きることから、相関演算の結果に誤差が生ずる余地がな
く、高い精度で白線検出を実行することができる。The contents of the processing executed to detect the white line position for these initial settings will be described below with reference to FIG.
It is exactly the same as the initial routine shown in. In this case, both the image cut out as the comparison image and the image cut out as the template exist within the monitoring area of Y = Ya, and it is possible to assume that the environments of both are virtually the same, so there is an error in the result of the correlation calculation. The white line detection can be performed with high accuracy without any margin.
【0075】尚、本実施例においては、イニシャル処理
ルーチンで、車両中央直前の領域からテンプレートを切
り出す一方、そのテンプレートを用いて直接車両から所
定距離離間した位置(Y=Yaの位置)の白線検出を行
う構成としたが、テンプレートを切り出した位置から監
視領域まで徐々にサーチウィンドウの走査領域を離間さ
せる処理を行う構成としてもよい。In this embodiment, in the initial processing routine, the template is cut out from the area immediately in front of the center of the vehicle, and the template is used to detect the white line at a position (Y = Ya) directly away from the vehicle by a predetermined distance. However, it is also possible to perform a process of gradually separating the scanning region of the search window from the position where the template is cut out to the monitoring region.
【0076】例えば車両直前の領域をY=Ycとし、Y
bをYaとYcとの中間点として、当初Y=Ycの位置
でテンプレートを切り出し、そのテンプレートに基づい
てY=Ybの位置で白線検出を行い、その結果得られた
XL,XRに対して((XL+XR)/2,Yb)を左
上座標とする新たなテンプレートを切り出し、このテン
プレートを基準としてY=Yaの領域で白線検出を行う
までをイニシャル処理ルーチンで実行する構成としても
よい。For example, let Y = Yc be the area immediately before the vehicle, and Y
Initially, a template is cut out at a position of Y = Yc, where b is an intermediate point between Ya and Yc, white line detection is performed at a position of Y = Yb based on the template, and XL and XR obtained as a result (( A new template having the upper left coordinates of (XL + XR) / 2, Yb) may be cut out, and the initial processing routine may be performed until white line detection is performed in the region of Y = Ya with this template as a reference.
【0077】この場合、イニシャル処理ルーチン内で行
われるY=Ya領域での白線検出が初期座標を((XL
+XR)/2,Ya)とする比較画像により行われるこ
ととなり、カーブの影響で(Xf/2、Ya)が2本の
白線外になるような場合にも、その影響を受けることな
く適切な白線検出を実現することができる。In this case, the white line detection in the Y = Ya area performed in the initial processing routine determines the initial coordinates ((XL
+ XR) / 2, Ya), and even when (Xf / 2, Ya) is outside the two white lines due to the influence of the curve, it is appropriate without being affected by the influence. White line detection can be realized.
【0078】図9は、上記図8に示す白線検出ルーチン
により白線として検出された位置が、真に道路上に描か
れた白線であるかを判定する白線判定ルーチンのフロー
チャートである。撮像画像中に白線以外の高輝度物体が
撮像された場合は、その物体を白線として認識する可能
性があることから、検出精度の信頼性を向上させるべく
実行されるものである。FIG. 9 is a flowchart of a white line determination routine for determining whether the position detected as the white line by the white line detection routine shown in FIG. 8 is a white line drawn on the road. When a high-luminance object other than the white line is imaged in the captured image, the object may be recognized as a white line, and therefore the detection accuracy is improved.
【0079】すなわち、図9に示すルーチンが起動する
と、先ずステップ302において検出された左右の白線
間距離Wx=|XR−XL|の演算を行う。そして、ス
テップ304で、そのWxが所定の範囲内であるか、す
なわち一般的な車線幅を想定して定めた上限値WH と下
限値WL との関係でWH >Wx>WL の関係が成立して
いるかを見る。That is, when the routine shown in FIG. 9 is started, first, the distance Wx between the left and right white lines detected in step 302 is calculated as Wx = | XR-XL |. Then, in step 304, whether Wx is within a predetermined range, that is, W H >Wx> W L in the relationship between the upper limit value W H and the lower limit value W L determined by assuming a general lane width, See if a relationship is established.
【0080】そして、上記条件が成立している場合には
白線の検出が成功していると判断してステップ306へ
進んで上記白線検出処理(ステップ200)へ帰還す
る。一方、上記条件が不成立である場合は、白線を見失
ったと判断し、ステップ308へ進んで以後最初から白
線検出を実行するために上記イニシャル処理(ステップ
100)へ帰還する処理を行う。If the above conditions are satisfied, it is determined that the white line has been successfully detected, and the process proceeds to step 306 to return to the white line detection processing (step 200). On the other hand, if the above conditions are not satisfied, it is determined that the white line has been lost, and the process proceeds to step 308 to thereafter return to the initial process (step 100) to execute the white line detection from the beginning.
【0081】このように、本実施例の道路白線検出装置
においては、白線位置検出処理の実行開始当初は車両中
央直前部からテンプレートを切り出し、最終的には所望
の監視領域の中央付近からテンプレートを切り出して白
線検出を行うため、撮像画像の平均輝度の変化によって
白線位置の検出精度が悪化することがなく、また、監視
領域を遠方に設定しているにも関わらず速い処理速度を
実現することができるという効果を有している。As described above, in the road white line detection apparatus of this embodiment, the template is cut out from the portion just before the center of the vehicle at the beginning of execution of the white line position detection processing, and finally the template is extracted from the vicinity of the center of the desired monitoring area. Since white line detection is performed by cutting out, white line position detection accuracy does not deteriorate due to changes in the average brightness of the captured image, and high processing speed is achieved despite the monitoring area being set far. It has the effect that
【0082】なお、上記実施例においては、テンプレー
ト、及び比較画像としてとしてm×n画素のサイズを設
定しているが、最も相関の悪い位置を白線として検出す
れば足りることに鑑みた場合、必ずしも高さ方向は重要
ではなく、白線幅とほぼ等幅のm画素さえ確保されてい
ればm×1画素のサイズとすることも可能である。この
場合、テンプレートマッチングによる相関演算に要する
処理時間が短縮されることとなり、上記実施例に比べて
更なる高速化を実現することができる。In the above embodiment, the size of m × n pixels is set as the template and the comparison image. However, considering that it is sufficient to detect the position with the worst correlation as the white line, it is not always necessary. The height direction is not important, and it is possible to set the size to m × 1 pixel as long as m pixels of approximately the same width as the white line width are secured. In this case, the processing time required for the correlation calculation based on the template matching is shortened, and it is possible to realize a higher speed as compared with the above embodiment.
【0083】[0083]
【発明の効果】上述の如く、請求項1記載の発明によれ
ば、相関演算手段がサーチウィンドウ内の画像と相関を
とるべく参照するテンプレートが、移動体直前の低輝度
領域を写し取ったものであり、そのテンプレートと最も
相関の悪い領域を白線領域とする構成であるため、白線
の検出精度が、撮像画像の平均輝度の影響を受けること
がなく、昼間であっても夜間であっても常に適切な精度
で道路上に描かれた白線を検出することができる。As described above, according to the first aspect of the present invention, the template referred to by the correlation calculating means in order to correlate with the image in the search window is a copy of the low brightness area immediately before the moving body. Yes, since the region with the least correlation with the template is the white line region, the white line detection accuracy is not affected by the average brightness of the captured image, and it is always in the daytime or nighttime. The white line drawn on the road can be detected with appropriate accuracy.
【0084】また、請求項2記載の発明によれば、低輝
度テンプレート設定手段が移動体直前部分をテンプレー
トとして写し取るのに対して、相関演算手段が移動体か
ら所定離間した監視領域サーチウィンドウの走査領域と
して設定するため、撮像画像の平均輝度の影響を排除し
つつ、移動体遠方における白線を精度良く迅速に検出す
ることができる。According to the second aspect of the present invention, the low-brightness template setting means copies the portion immediately before the moving body as a template, while the correlation calculating means scans the monitoring area search window which is separated from the moving body by a predetermined distance. Since it is set as a region, it is possible to accurately and quickly detect a white line in the distance of the moving body while eliminating the influence of the average brightness of the captured image.
【0085】更に、請求項3記載の発明によれば、相関
演算手段がサーチウィンドウの走査領域として設定する
領域及びテンプレートが写し取られる低輝度領域が、徐
々に移動体直前部から所望の監視領域にむけて移動体か
ら離間する。この際、低輝度領域は、検出された2本の
白線の中央付近に設定され、常にアスファルトの領域内
に収められたまま監視領域まで離間する。Further, according to the third aspect of the present invention, the area set as the scanning area of the search window by the correlation calculating means and the low-brightness area on which the template is copied gradually become the desired monitoring area from immediately in front of the moving body. Away from the moving body. At this time, the low-brightness area is set near the center of the two detected white lines, and is always kept within the asphalt area and separated from the monitoring area.
【0086】このため道路が直進路であろうとカーブで
あろうと、テンプレートには常にアスファルト表面の低
輝度領域が写し取られ、かつ本発明の道路白線検出装置
においては、その低輝度領域の両側においてテンプレー
トとの相関演算を行うことで白線検出を行うことができ
る。Therefore, regardless of whether the road is a straight road or a curve, the template always shows a low-intensity region of the asphalt surface, and in the road white line detection apparatus of the present invention, both sides of the low-intensity region are detected. White line detection can be performed by performing a correlation calculation with the template.
【0087】このため、例えば監視領域がトンネル内に
入った場合等、監視領域と移動体直前領域とで道路の平
均輝度が異なる場合においても、その平均輝度の差異が
白線の検出精度に影響を与えることがなく、広い走行状
況下で、正確かつ迅速な白線検出を実現することができ
るという特長を有している。Therefore, even if the average brightness of the road differs between the monitoring area and the area immediately before the moving body, for example, when the monitoring area enters a tunnel, the difference in the average brightness affects the detection accuracy of the white line. The feature is that it is possible to realize accurate and speedy white line detection under a wide traveling condition without giving a white line.
【図1】本発明に係る道路白線検出装置の原理構成図で
ある。FIG. 1 is a principle configuration diagram of a road white line detection device according to the present invention.
【図2】本発明の一実施例である道路白線検出装置の全
体構成を表すブロック図である。FIG. 2 is a block diagram showing an overall configuration of a road white line detection device that is an embodiment of the present invention.
【図3】テンプレートマッチングによる相関演算の原理
を説明するための図である。FIG. 3 is a diagram for explaining the principle of correlation calculation by template matching.
【図4】従来の装置による道路白線検出方法を説明する
ための図である。FIG. 4 is a diagram for explaining a road white line detection method by a conventional device.
【図5】本実施例装置による道路白線検出方法を説明す
るための図である。FIG. 5 is a diagram for explaining a road white line detection method by the device of this embodiment.
【図6】本実施例において実行するメインルーチンの一
例のフローチャートである。FIG. 6 is a flowchart of an example of a main routine executed in this embodiment.
【図7】本実施例において実行するイニシャル処理ルー
チンの一例のフローチャートである。FIG. 7 is a flowchart of an example of an initial processing routine executed in this embodiment.
【図8】本実施例において実行する白線検出処理ルーチ
ンの一例のフローチャートである。FIG. 8 is a flowchart of an example of a white line detection processing routine executed in this embodiment.
【図9】本実施例において実行する白線判定ルーチンの
一例のフローチャートである。FIG. 9 is a flowchart of an example of a white line determination routine executed in this embodiment.
M1 画像センサ M2 低輝度テンプレート設定手段 M3 相関演算手段 M4 白線認識手段 M5 低輝度領域設定手段 10 カメラ 14 画像フレームメモリ 16 CPU 18 相関演算装置 M1 image sensor M2 low brightness template setting means M3 correlation calculation means M4 white line recognition means M5 low brightness area setting means 10 camera 14 image frame memory 16 CPU 18 correlation calculation device
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06T 1/00 ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI technical display location G06T 1/00
Claims (3)
像し、得られた撮像画像内にサーチウィンドウを設定し
て撮像画像を走査し、サーチウィンドウ内の画像と所定
のテンプレートとの相関に基づいて道路上の白線を検出
する道路白線検出装置において、 移動体直前部であって多分に白線でないと予測される低
輝度領域の一部を前記テンプレートとして採用する低輝
度テンプレート設定手段と、 該低輝度テンプレート設定手段によって設定されたテン
プレートと前記撮像画像を走査するサーチウィンドウ内
の画像との相関を採る相関演算手段と、 該相関演算手段によって最も低い相関が検出された領域
を白線として認識する白線認識手段とを有することを特
徴とする道路白線検出装置。1. A front road of a moving body is imaged by an image sensor, a search window is set in the obtained image to scan the image, and based on the correlation between the image in the search window and a predetermined template. In a road white line detection device for detecting a white line on a road by means of a low brightness template setting means for adopting as a template a part of a low brightness region immediately preceding a moving body and presumably not a white line, Correlation calculation means for taking a correlation between the template set by the brightness template setting means and the image in the search window for scanning the captured image, and a white line for recognizing the area in which the lowest correlation is detected by the correlation calculation means as a white line. A road white line detection device comprising: a recognition means.
レート設定手段が低輝度領域として採用した移動体直前
部より遠方の領域をサーチウィンドウによる走査領域と
することを特徴とする請求項1記載の道路白線検出装
置。2. The correlation calculation means sets an area farther than a front part of a moving body adopted as a low brightness area by the low brightness template setting means as a scanning area by a search window. Road white line detection device.
白線が検出された場合に、これら2本の白線の中央付近
を低輝度領域として設定する低輝度領域設定手段を有
し、 前記低輝度テンプレート設定手段は、道路白線検出処理
実行開始当初は前記移動体直前部の低輝度領域の一部
を、以後前記低輝度領域設定手段によって新たに低輝度
領域が設定された場合は当該低輝度領域の一部をテンプ
レートとして採用し、 前記相関演算手段は、サーチウィンドウによる走査領域
が移動体前方の監視領域に至るまで、サーチウィンドウ
による走査領域を、前記低輝度テンプレート設定手段が
低輝度領域として採用した領域より所定距離遠方に更新
することを特徴とする請求項1記載の道路白線検出装
置。3. When the white line recognizing means detects white lines on both sides of a road, the white line recognizing means has a low brightness area setting means for setting a vicinity of the center of these two white lines as a low brightness area, and the low brightness template. The setting means, at the beginning of the road white line detection processing execution, a part of the low brightness area immediately before the moving body, and when a low brightness area is newly set by the low brightness area setting means thereafter, the low brightness area Part of the template is adopted as the template, and the correlation calculating means adopts the scan area by the search window as the low brightness area until the scan area by the search window reaches the monitoring area in front of the moving body. The road white line detection device according to claim 1, wherein the road white line detection device updates the distance from the area by a predetermined distance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28367093A JP3345995B2 (en) | 1993-11-12 | 1993-11-12 | Road white line detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28367093A JP3345995B2 (en) | 1993-11-12 | 1993-11-12 | Road white line detector |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07141592A true JPH07141592A (en) | 1995-06-02 |
JP3345995B2 JP3345995B2 (en) | 2002-11-18 |
Family
ID=17668548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28367093A Expired - Fee Related JP3345995B2 (en) | 1993-11-12 | 1993-11-12 | Road white line detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3345995B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5922036A (en) * | 1996-05-28 | 1999-07-13 | Matsushita Electric Industrial Co., Ltd. | Lane detection sensor and navigation system employing the same |
JP2000306097A (en) * | 1999-04-19 | 2000-11-02 | Honda Motor Co Ltd | Road area decision device |
KR100330034B1 (en) * | 2000-03-31 | 2002-03-27 | 곽정소 | Apparatus of Lane Display |
KR100405702B1 (en) * | 2001-03-13 | 2003-11-14 | 현대자동차주식회사 | Detection method of multiple local maxima using correlation in signal processing system |
JP2007052645A (en) * | 2005-08-18 | 2007-03-01 | Fujitsu Ltd | Road marking recognition device and system |
JP2007071579A (en) * | 2005-09-05 | 2007-03-22 | Xanavi Informatics Corp | On-vehicle navigation device and system |
WO2014203658A1 (en) * | 2013-06-21 | 2014-12-24 | コニカミノルタ株式会社 | Distance measurement device and distance measurement method |
-
1993
- 1993-11-12 JP JP28367093A patent/JP3345995B2/en not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5922036A (en) * | 1996-05-28 | 1999-07-13 | Matsushita Electric Industrial Co., Ltd. | Lane detection sensor and navigation system employing the same |
JP2000306097A (en) * | 1999-04-19 | 2000-11-02 | Honda Motor Co Ltd | Road area decision device |
KR100330034B1 (en) * | 2000-03-31 | 2002-03-27 | 곽정소 | Apparatus of Lane Display |
KR100405702B1 (en) * | 2001-03-13 | 2003-11-14 | 현대자동차주식회사 | Detection method of multiple local maxima using correlation in signal processing system |
JP2007052645A (en) * | 2005-08-18 | 2007-03-01 | Fujitsu Ltd | Road marking recognition device and system |
US8184859B2 (en) | 2005-08-18 | 2012-05-22 | Fujitsu Limited | Road marking recognition apparatus and method |
JP2007071579A (en) * | 2005-09-05 | 2007-03-22 | Xanavi Informatics Corp | On-vehicle navigation device and system |
WO2014203658A1 (en) * | 2013-06-21 | 2014-12-24 | コニカミノルタ株式会社 | Distance measurement device and distance measurement method |
Also Published As
Publication number | Publication date |
---|---|
JP3345995B2 (en) | 2002-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2000293670A (en) | Method and device for automatically recognizing road sign of video picture and storage medium storing program for automatically recognizing road sign | |
JPH0728975A (en) | Road environment recognizing device | |
JP2000357233A (en) | Body recognition device | |
JP2007179386A (en) | Method and apparatus for recognizing white line | |
JPH08329393A (en) | Preceding vehicle detector | |
JP2007220013A (en) | Device for detecting white line for vehicle | |
JP3656056B2 (en) | Interrupting vehicle detection device and method | |
JPH07141592A (en) | Road white line detecting device | |
JP2010061375A (en) | Apparatus and program for recognizing object | |
JP2004118757A (en) | Detector for traveling lane on road surface | |
JP2003076987A (en) | Preceding vehicle recognizing device | |
JP2007253699A (en) | Optical axis deviation sensing device | |
JPH11345392A (en) | Device and method for detecting obstacle | |
JPH1097699A (en) | Obstacle detecting device for vehicle | |
JP3757500B2 (en) | Leading vehicle following device | |
US20220309805A1 (en) | Apparatus, method, and computer program for detecting lane boundary | |
JP2003317106A (en) | Travel path recognition device | |
JP2004185425A (en) | Lane mark recognition method and device | |
JP3146807B2 (en) | Road white line detector | |
JP2003252149A (en) | Lane recognition image processing device, and program for performing the processing | |
JP2007141167A (en) | Lane detector, lane detection method, and lane detection program | |
JPH04137014A (en) | Traveling path terminal detector for mobile vehicle | |
JPH0719893A (en) | Curvature of-road detector | |
JPH07239996A (en) | Course recognition device | |
JP3094758B2 (en) | Image sensors for vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070906 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090906 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |