JPH07141592A - Road white line detecting device - Google Patents
Road white line detecting deviceInfo
- Publication number
- JPH07141592A JPH07141592A JP5283670A JP28367093A JPH07141592A JP H07141592 A JPH07141592 A JP H07141592A JP 5283670 A JP5283670 A JP 5283670A JP 28367093 A JP28367093 A JP 28367093A JP H07141592 A JPH07141592 A JP H07141592A
- Authority
- JP
- Japan
- Prior art keywords
- white line
- template
- area
- image
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 38
- 238000012544 monitoring process Methods 0.000 claims description 30
- 239000010426 asphalt Substances 0.000 abstract description 21
- 238000000034 method Methods 0.000 description 24
- 230000000052 comparative effect Effects 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、道路白線検出装置に係
り、特に画像センサによる撮像画像から道路上に描かれ
た白線を検出する道路白線検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a road white line detecting device, and more particularly to a road white line detecting device for detecting a white line drawn on a road from an image picked up by an image sensor.
【０００２】[0002]
【従来の技術】従来より、車両の自動操縦等を実現する
ための要素技術として、画像センサを用いた道路白線検
出装置が提案されている。例えば本出願人は、特願平４
−２６５６５５号において、車両前方道路をカメラによ
り撮像して得られた撮像画像を所定サイズのサーチウィ
ンドウで走査し、予め白線形状に適合するように設定し
ておいたテンプレートとの相関が最も高い領域を白線と
して認識する道路白線検出装置を開示している。2. Description of the Related Art Conventionally, a road white line detecting device using an image sensor has been proposed as an elemental technology for realizing automatic vehicle operation and the like. For example, the applicant of the present invention is Japanese Patent Application No.
In No. 265655, a region having the highest correlation with the template which is set in advance to match the white line shape by scanning a captured image obtained by capturing the road ahead of the vehicle with a camera in a search window of a predetermined size. There is disclosed a road white line detection device that recognizes as a white line.
【０００３】この装置は、車両中央に配設したカメラで
白線を撮像した場合、通常は車両左側の白線は右上が
り、車両左側の白線は左上がりに、それぞれアスファル
ト部分より高輝度に撮像されることに鑑み、予め右上が
り、左上がり等に白線が描かれたテンプレートを容易
し、撮像画像中からサーチウィンドウとして切り出した
画像とテンプレートとの相関を演算し、最も高い相関の
得られた走査位置を白線領域として把握するものであ
る。In this device, when a white line is picked up by a camera arranged in the center of the vehicle, the white line on the left side of the vehicle normally goes up to the right and the white line on the left side of the vehicle goes up to the left, respectively, with higher brightness than the asphalt portion. In view of this, it is easy to create a template in which white lines are drawn in advance to the right and to the left, and calculate the correlation between the image cut out as a search window from the captured image and the template, and obtain the scanning position with the highest correlation. Is a white line area.
【０００４】ところで、走行路がカーブに差しかかる
と、車両から比較的離間した位置の白線は、車両左側の
白線が左上がりに、又は車両右側の白線が右上がりにな
る場合がある。一方、自動制御等の車両制御に白線検出
の結果を利用するためには、比較的遠方の白線位置を検
出する必要がある。このため、白線検出の際に参照する
テンプレートが固定テンプレートでは実用的な白線検出
を実現することができない。By the way, when the running road approaches a curve, the white line on the left side of the vehicle may rise to the left or the white line on the right side of the vehicle may rise to the right as a white line at a position relatively distant from the vehicle. On the other hand, in order to use the result of the white line detection for vehicle control such as automatic control, it is necessary to detect the position of the white line relatively far away. Therefore, if the template referred to when detecting the white line is a fixed template, practical white line detection cannot be realized.
【０００５】そこで、上記装置においては、白線形状が
比較的安定している車両直前部において固定テンプレー
トによる白線検出を行い、その際に撮像画像中テンプレ
ートと最も適合した部分を、より遠方のテンプレートと
することで、順次遠方の白線を検出する手法を採用して
いる。この場合、白線検出に用いるテンプレートの形状
と実際の白線形状とが道路のカーブ如何によって大きく
かけ離れることがなく、車両から離間した位置において
白線位置を検出することが可能となる。Therefore, in the above apparatus, the white line is detected by the fixed template in the front part of the vehicle where the white line shape is relatively stable, and at that time, the portion most suitable for the template in the captured image is set as the farther template. By doing so, a method of sequentially detecting distant white lines is adopted. In this case, the shape of the template used for detecting the white line and the actual shape of the white line do not greatly differ from each other depending on the curve of the road, and the white line position can be detected at a position separated from the vehicle.
【０００６】[0006]
【発明が解決しようとする課題】しかし、上記従来の装
置の如く車両直前部から順次テンプレートを選択しなが
ら所定距離離間した位置の白線検出を実現する手法で
は、真に監視すべき位置の白線が検出できるまでに多量
の演算処理を行うことが必要となり、迅速処理の要求に
応えることができない。However, in the method of detecting white lines at positions separated by a predetermined distance while sequentially selecting templates from the front of the vehicle as in the above-mentioned conventional device, the white line at the position to be truly monitored is not detected. It is necessary to perform a large amount of arithmetic processing before it can be detected, and it is not possible to meet the demand for rapid processing.
【０００７】また、上記従来の装置は、予め設定したテ
ンプレートと実際の撮像画像との相関を採ることで白線
検出を行うことから、撮像画像の輝度によっては白線位
置を誤検出する場合もある。テンプレートと撮像画像と
の相関値は、両画像の対応する画素の輝度差の絶対値を
累積して求めることから、例えば昼間と夜間とで撮像画
像の平均輝度が変化すると、輝度変化を考慮せずに設定
した固定テンプレートとの関係では、必ずしも適切な整
合が得られるとは限らないからである。Further, since the above-mentioned conventional device detects the white line by taking the correlation between the preset template and the actual captured image, the white line position may be erroneously detected depending on the brightness of the captured image. The correlation value between the template and the captured image is obtained by accumulating the absolute value of the brightness difference between the pixels corresponding to both images, and therefore, for example, when the average brightness of the captured image changes between daytime and nighttime, the brightness change should be considered. This is because the proper matching may not always be obtained in the relationship with the fixed template that has been set without the above.
【０００８】この場合、参照する固定テンプレートを数
種の平均輝度について準備し、撮像画像の輝度との関係
で最適なテンプレートを選択する処理を行うことも可能
であるが、テンプレートの記憶容量の増加、テンプレー
ト選択に要する処理時間の長期化等を伴うことになり好
適ではない。In this case, it is possible to prepare a fixed template to be referred to for several kinds of average brightness and perform a process of selecting an optimum template in relation to the brightness of a captured image, but the storage capacity of the template is increased. However, the processing time required for template selection becomes longer, which is not preferable.
【０００９】また、得られた撮像画像を輝度により２値
化し、アスファルト部分と白線部分とが基準の輝度とな
るように階調変換を施すことも可能であるが、かかる処
理には一般に複雑な演算が伴い、処理内容の複雑化、処
理時間の長期化等を伴うこととなりやはり好適ではな
い。It is also possible to binarize the obtained picked-up image according to the luminance and perform gradation conversion so that the asphalt portion and the white line portion have the reference luminance, but such processing is generally complicated. This is also not preferable because it involves calculations, which makes the processing contents complicated and prolongs the processing time.
【００１０】本発明は、上述の点に鑑みてなされたもの
であり、車両直前のアスファルト領域を低輝度領域とし
て把握し、監視すべき領域を水平に走査した際に低輝度
領域と最も相関の低い領域を白線領域として認識するこ
とにより上記の課題を解決し得る道路白線検出装置を提
供することを目的とする。The present invention has been made in view of the above points, and grasps the asphalt area immediately before the vehicle as a low brightness area, and when the area to be monitored is horizontally scanned, it is most correlated with the low brightness area. An object of the present invention is to provide a road white line detection device that can solve the above problems by recognizing a low area as a white line area.
【００１１】[0011]
【課題を解決するための手段】図１は、上記の目的を達
成する道路白線検出装置の原理構成図を示す。すなわち
上記の目的は、図１に示すように、移動体の前方道路を
画像センサＭ１により撮像し、得られた撮像画像内にサ
ーチウィンドウを設定して撮像画像を走査し、サーチウ
ィンドウ内の画像と所定のテンプレートとの相関に基づ
いて道路上の白線を検出する道路白線検出装置におい
て、移動体直前部であって多分に白線でないと予測され
る低輝度領域の一部を前記テンプレートとして採用する
低輝度テンプレート設定手段Ｍ２と、該低輝度テンプレ
ート設定手段Ｍ２によって設定されたテンプレートと前
記撮像画像を走査するサーチウィンドウ内の画像との相
関を採る相関演算手段Ｍ３と、該相関演算手段Ｍ３によ
って最も低い相関が検出された領域を白線として認識す
る白線認識手段Ｍ４とを有する道路白線検出装置により
達成される。FIG. 1 is a principle block diagram of a road white line detecting apparatus for achieving the above object. That is, the above-mentioned purpose is, as shown in FIG. 1, an image of the road ahead of a moving body is captured by the image sensor M1, a search window is set in the obtained captured image, the captured image is scanned, and the image in the search window is scanned. In a road white line detection device that detects a white line on a road based on the correlation between the white line on the road based on the correlation between the template and a predetermined template, a part of a low-luminance region that is predicted to be a white line immediately before the moving body is adopted as the template The low-brightness template setting means M2, the correlation calculation means M3 for taking the correlation between the template set by the low-brightness template setting means M2 and the image in the search window for scanning the captured image, and the correlation calculation means M3 This is achieved by a road white line detection device having a white line recognition means M4 for recognizing a region where low correlation is detected as a white line.
【００１２】また、上記構成の道路白線検出装置におい
て、前記相関演算手段Ｍ３が、前記低輝度テンプレート
設定手段Ｍ２が低輝度領域として採用した移動体直前部
より遠方の領域をサーチウィンドウによる走査領域とす
る構成は、遠方の白線検出に有効である。Further, in the road white line detecting apparatus having the above-mentioned structure, the correlation calculating means M3 sets a region far from the immediately preceding portion of the moving body adopted by the low-brightness template setting means M2 as a low-brightness region as a scanning region by a search window. This configuration is effective for detecting a white line in the distance.
【００１３】更に、前記白線認識手段Ｍ４によって道路
の両側に白線が検出された場合に、これら２本の白線の
中央付近を低輝度領域として設定する低輝度領域設定手
段Ｍ５を設け、前記低輝度テンプレート設定手段Ｍ２
が、道路白線検出処理実行開始当初は前記移動体直前部
の低輝度領域の一部を、以後前記低輝度領域設定手段Ｍ
５によって新たに低輝度領域が設定された場合は当該低
輝度領域の一部をテンプレートとして採用し、またサー
チウィンドウによる走査領域が移動体前方の監視領域に
至るまで、前記相関演算手段Ｍ３が、サーチウィンドウ
の走査領域を、前記低輝度テンプレート設定手段Ｍ２が
低輝度領域として採用した領域より所定距離遠方に更新
する構成は、遠方に設定した監視領域と車両直前部との
輝度が異なる場合の白線検出に有効である。Further, when white lines on both sides of the road are detected by the white line recognizing means M4, a low brightness area setting means M5 for setting the vicinity of the center of these two white lines as a low brightness area is provided. Template setting means M2
However, at the beginning of the execution of the road white line detection processing, a part of the low brightness area immediately before the moving body is changed, and thereafter, the low brightness area setting means M.
When a new low brightness area is newly set by 5, the correlation calculating means M3 adopts a part of the low brightness area as a template, and the scanning area by the search window reaches the monitoring area in front of the moving body. The configuration in which the scanning area of the search window is updated to be a predetermined distance away from the area adopted as the low-brightness area by the low-brightness template setting means M2 is a white line when the brightness is different between the monitoring area set at a distance and the front part of the vehicle. It is effective for detection.
【００１４】[0014]
【作用】本発明に係る道路白線検出装置において、前記
低輝度テンプレート設定手段Ｍ２は、前記画像センサＭ
１による撮像画像中車両の直前部であって多分に白線で
ないと予測される領域の一部をテンプレートとして採用
する。In the road white line detecting apparatus according to the present invention, the low brightness template setting means M2 is the image sensor M.
A part of the region immediately preceding the vehicle in the captured image of 1 and possibly not a white line is adopted as a template.
【００１５】この場合移動体の直前部では、走行路が直
進路であろうとカーブであろうと道路上の白線は常に移
動体の両側に位置することとなり、例えば移動体中央の
直前部はアスファルトである可能性が極めて高く、かか
る領域を低輝度領域とすれば、設定されたテンプレート
は確実にアスファルト表面の輝度を写し取ったものとな
る。In this case, in front of the moving body, the white line on the road is always located on both sides of the moving body regardless of whether the traveling road is a straight road or a curve. For example, the front portion in the center of the moving body is asphalt. There is a high possibility that there is a high possibility, and if such a region is set as a low-luminance region, the set template will surely be a copy of the luminance of the asphalt surface.
【００１６】従って、前記相関演算手段Ｍ３では、アス
ファルト表面の輝度とサーチウィンドウ内の比較画像と
の相関演算が行われる事となり、比較画像がサーチウィ
ンドウ内アスファルト表面から切り出されたものである
場合には高い相関が、比較画像がサーチウィンドウ内の
白線で占められた部位から切り出されたものである場合
には比較的低い相関が得られることになる。Therefore, the correlation calculating means M3 performs the correlation calculation between the brightness of the asphalt surface and the comparative image in the search window, and when the comparative image is cut out from the asphalt surface in the search window. Will have a high correlation, while a relatively low correlation will be obtained if the comparison image is cut out from the area occupied by the white line in the search window.
【００１７】このため、前記白線認識手段Ｍ４が、最も
相関の低い領域を白線領域として認識することにより、
道路表面の平均輝度の影響を受けることなく、サーチウ
ィンドウの走査領域内における白線位置が精度良く検出
されることになる。Therefore, the white line recognition means M4 recognizes the region having the lowest correlation as the white line region,
The position of the white line in the scanning area of the search window can be accurately detected without being affected by the average brightness of the road surface.
【００１８】このように、アスファルト表面の状態をテ
ンプレートとして写し取る構成においては、単に相関が
低い領域を探すだけで白線検出が可能であり、サーチウ
ィンドウ内から切り出した比較画像内の白線形状は問題
とならない。As described above, in the configuration in which the state of the asphalt surface is copied as a template, the white line can be detected by simply searching for a region having a low correlation, and the white line shape in the comparison image cut out from the search window causes a problem. I won't.
【００１９】従って、前記相関演算手段Ｍ３がサーチウ
ィンドウの走査領域を移動体遠方の所定の監視領域に設
定した場合、前記低輝度テンプレート設定手段Ｍ２の設
定したテンプレートとの相関演算により当該監視領域内
における白線が容易に検出される。Therefore, when the correlation calculating means M3 sets the scanning area of the search window to a predetermined monitoring area distant from the moving body, the inside of the monitoring area is calculated by the correlation calculation with the template set by the low brightness template setting means M2. The white line at is easily detected.
【００２０】また、前記白線認識手段Ｍ４が、サーチウ
ィンドウの走査領域内で道路の両側に白線を検出した場
合、その中間付近はアスファルトである可能性が高い。
この際、前記低輝度テンプレート設定手段Ｍ２が当該領
域を低輝度領域として捕らえ、この領域をテンプレート
として写し取ることとすれば、テンプレートは常時サー
チウィンドウの走査領域内で更新されることなる。When the white line recognizing means M4 detects the white lines on both sides of the road within the scanning area of the search window, there is a high possibility that asphalt is in the middle.
At this time, if the low brightness template setting means M2 catches the area as a low brightness area and copies this area as a template, the template is constantly updated in the scanning area of the search window.
【００２１】従って、かかる構成に加えて、前記相関演
算手段Ｍ３が、サーチウィンドウの走査領域が所定の監
視領域に至るまで、徐々にテンプレートとして写し取っ
た領域より遠方を走査領域として設定する場合には、走
査領域の移動過程でテンプレートがアスファルト領域か
ら外れることがないと共に、最終的には監視領域内から
テンプレートが写し取られることになる。Therefore, in addition to the above configuration, when the correlation calculating means M3 gradually sets the scanning region as a region farther than the region copied as the template until the scanning region of the search window reaches a predetermined monitoring region. The template does not come off the asphalt area during the movement of the scanning area, and the template is finally copied from the monitoring area.
【００２２】この場合、テンプレートが監視領域内の低
輝度領域から写し取られているため、移動体の直前部の
明るさと監視領域として設定した遠方部の明るさとが一
時的に異なるような場合でも、その影響を受けることな
く白線検出処理が実行されることとなる。In this case, since the template is copied from the low-brightness area in the monitoring area, even if the brightness of the front part of the moving object and the brightness of the distant part set as the monitoring area are temporarily different. The white line detection processing is executed without being affected by the above.
【００２３】[0023]
【実施例】図２は、本発明の一実施例である道路白線検
出装置の全体構成を表すブロック図を示す。同図におい
てカメラ１０は、前記した画像センサＭ１に相当し、Ａ
／Ｄ変換装置１２を介して画像フレームメモリ１４に接
続されている。これにより、カメラ１０によって得られ
た１画面分の画像は、ディジタルデータとして画像フレ
ームメモリ１４に記憶される。FIG. 2 is a block diagram showing the overall structure of a road white line detecting apparatus according to an embodiment of the present invention. In the figure, the camera 10 corresponds to the above-mentioned image sensor M1, and A
It is connected to the image frame memory 14 via the / D converter 12. Thus, the image for one screen obtained by the camera 10 is stored in the image frame memory 14 as digital data.
【００２４】画像フレームメモリ１４には、前記した低
輝度テンプレート設定手段Ｍ２，白線認識手段Ｍ４，低
輝度領域設定手段Ｍ５を実現するＣＰＵ１６が接続され
ている。このＣＰＵ１６は、画像フレームメモリ１４の
所定の部分の画像データを読みだし、各種演算処理を行
うことで、これらの機能を実現する。The image frame memory 14 is connected to the CPU 16 which realizes the low brightness template setting means M2, the white line recognition means M4 and the low brightness area setting means M5. The CPU 16 realizes these functions by reading out image data of a predetermined portion of the image frame memory 14 and performing various arithmetic processes.
【００２５】このＣＰＵ１６には前記した相関演算手段
Ｍ３に相当する相関演算装置１８が接続されている。相
関演算装置１８には、画像フレームメモリ１４の画像デ
ータに基づいてＣＰＵ１６が設定したテンプレートに係
るデータと、ＣＰＵ１６が設定したサーチウィンドウ内
の画像データとが供給される。そして、相関演算装置１
８は、これらのデータに基づいてテンプレートマッチン
グによる相関演算を行う。A correlation calculator 18 corresponding to the above-mentioned correlation calculator M3 is connected to the CPU 16. Data relating to the template set by the CPU 16 based on the image data in the image frame memory 14 and the image data in the search window set by the CPU 16 are supplied to the correlation calculation device 18. Then, the correlation calculation device 1
8 performs correlation calculation by template matching based on these data.
【００２６】以下、図３を参照して、テンプレートマッ
チングによる相関演算の手法について簡単に説明する。The method of correlation calculation by template matching will be briefly described below with reference to FIG.
【００２７】図３（Ａ）は、テンプレートマッチングに
用いるｍ×ｎ画素のテンプレートを、図３（Ｂ）は、テ
ンプレート内の画像が一部に撮像された撮像画像を示
す。テンプレートマッチングを行う場合、先ず図３
（Ｂ）に示す撮像画像中に大まかにサーチウィンドウ
（Ｓ）を設定する。そして、このサーチウィンドウの中
からテンプレートと同サイズの画像を比較画像（Ｃ）と
して抜き出し、対応する各画素の輝度の差の絶対値の総
和を相関値Ｄとして求める。FIG. 3A shows a template of m × n pixels used for template matching, and FIG. 3B shows a picked-up image in which a part of the image in the template is picked up. When performing template matching, first see FIG.
A search window (S) is roughly set in the captured image shown in (B). Then, an image of the same size as the template is extracted from this search window as a comparison image (C), and the sum of absolute values of the brightness differences of the corresponding pixels is obtained as a correlation value D.
【００２８】この場合、図３（Ａ），（Ｂ）に示すよう
にテンプレート内の画像と比較画像とが一致していない
場合には相関値Ｄが大きく、テンプレート内の画像と比
較画像とが完全に一致した場合には、相関値Ｄ＝“０”
となる。In this case, as shown in FIGS. 3A and 3B, when the image in the template and the comparison image do not match, the correlation value D is large, and the image in the template and the comparison image are When the values match completely, the correlation value D = “0”
Becomes
【００２９】従って、設定されたサーチウィンドウ内で
順番に１画素づつずらして比較画像を設定し、それそれ
テンプレートとの相関値Ｄを求めた場合、相関値Ｄが最
小となる位置が最も相関の高い位置であり、その位置を
テンプレート内の画像の存在する位置として特定するこ
とができる。Therefore, when the comparison image is set by shifting one pixel in order within the set search window and the correlation value D with the template is obtained, the position where the correlation value D is the smallest has the highest correlation. It is a high position, and the position can be specified as the position where the image in the template exists.
【００３０】このように、テンプレートマッチングによ
る相関演算は、サーチウィンドウ内にテンプレート内の
画像に近似する画像を検出するのに有効な手法である。
尚、本実施例の道路白線検出装置は、かかる原理を利用
して道路上に描かれた白線の位置を検出する装置であ
る。As described above, the correlation calculation by template matching is an effective method for detecting an image close to the image in the template within the search window.
The road white line detection device of the present embodiment is a device that detects the position of the white line drawn on the road by using this principle.
【００３１】すなわち、ＣＰＵ１６は相関演算装置１８
の相関演算結果に基づいて白線位置を検出し、これを白
線位置出力装置２０を介して図示しない所定の車両制御
装置に出力する。つまり、車両には、操舵、アクセル、
ブレーキ等を制御する車両制御装置が搭載されており、
このようにして供給された白線位置についての情報に基
づいて自動操縦が行われる。That is, the CPU 16 has the correlation calculating device 18
The white line position is detected on the basis of the result of the correlation calculation, and this is output to a predetermined vehicle control device (not shown) via the white line position output device 20. In other words, the vehicle has steering, accelerator,
A vehicle control device that controls brakes etc. is installed,
Autopilot is performed based on the information on the white line position supplied in this manner.
【００３２】尚、画像フレームメモリ１４の出力側に
は、Ｄ／Ａ変換装置２２を介してＣＲＴ２４が接続され
ており、画像フレームメモリ１４に記憶されている画像
は、逐次ＣＲＴ２４に表示される。A CRT 24 is connected to the output side of the image frame memory 14 via the D / A converter 22, and the images stored in the image frame memory 14 are sequentially displayed on the CRT 24.
【００３３】ところで、テンプレートマッチングにより
白線位置を検出する場合、一般には図４（Ａ）に示すよ
うにアスファルト部分を低輝度、白線部分を高輝度に見
立てたテンプレートと、図４（Ｂ）の如く得られた撮像
画像から切り出した比較画像とを比較する手法が採られ
ている。By the way, when the white line position is detected by template matching, generally, as shown in FIG. 4 (A), a template in which the asphalt part is assumed to have low brightness and the white line part is assumed to have high brightness, and as shown in FIG. 4 (B). A method of comparing with a comparative image cut out from the obtained captured image is adopted.
【００３４】この場合、白線検出の結果は、通常車両の
自動運転等の制御に利用され、実用的な白線検出を実行
するためには、検出した白線位置を制御に反映させるた
めの時間を確保する意味で、ある程度車両から離間した
位置の白線が検出できる必要がある。一方、図４（Ｂ）
に示すように、車両から離間した位置の白線は、道路の
カーブの影響で接線方向が変化し、テンプレートと比較
すべき比較画像を切り出した場合、比較画像内で白線形
状が大きく変化する。In this case, the result of the white line detection is normally used for the control such as automatic driving of the vehicle, and in order to execute the practical white line detection, the time for reflecting the detected white line position in the control is secured. In this sense, it is necessary to be able to detect the white line at a position separated from the vehicle to some extent. On the other hand, FIG. 4 (B)
As shown in, the white line at a position separated from the vehicle changes its tangential direction due to the influence of the curve of the road, and when a comparative image to be compared with the template is cut out, the shape of the white line changes greatly in the comparative image.
【００３５】このため、従来は、比較的白線形状が安定
している車両近点で固定テンプレートを用いた白線検出
を行い、白線として認識された比較画像を次回のテンプ
レートとして用いると共にサーチウィンドウの走査領域
を、所望の監視領域へ向けて徐々に車両遠方へ離間させ
る手法を採用しており、その結果、白線検出に長期を要
していることは前記した通りである。Therefore, conventionally, the white line detection using the fixed template is performed at the vehicle near point where the white line shape is relatively stable, the comparative image recognized as the white line is used as the next template, and the search window is scanned. As described above, the method of gradually separating the area toward the desired monitoring area away from the vehicle is adopted, and as a result, it takes a long time to detect the white line.
【００３６】更に、図４（Ｃ）に示すように、車両の置
かれた環境によっては、撮像画像の平均輝度が異なり、
かかる輝度変化が考慮されていない固定テンプレートと
の相関演算においては、白線を含む位置で切り出された
比較画像より、白線を含まない位置から切り出された比
較画像の方が小さな相関値Ｄが得られる、すなわち高い
相関が得られる場合が生じ得る。Further, as shown in FIG. 4C, the average brightness of the picked-up image differs depending on the environment in which the vehicle is placed.
In the correlation calculation with the fixed template in which such a brightness change is not considered, a smaller correlation value D is obtained in the comparative image cut out from the position not including the white line than in the comparative image cut out at the position including the white line. That is, there may be cases where a high correlation is obtained.
【００３７】そこで、本実施例の道路白線検出装置は、
図５に示す如く画像フレームメモリ１４内に記憶されて
いる撮像画像から、先ずアスファルトである可能性の高
い車両中央直前の道路表面（図５（ａ）中、座標（Ｘ
ｔ，Ｙｔ））をテンプレートとして写し取り、次に監視
領域としてＹ座標＝Ｙａの位置に定めた走査領域から比
較画像を切り出してテンプレートとの相関値Ｄ演算を行
うこととした。Therefore, the road white line detection apparatus of this embodiment is
From the captured image stored in the image frame memory 14 as shown in FIG. 5, first, the road surface immediately before the center of the vehicle, which is highly likely to be asphalt (in FIG. 5 (a), the coordinates (X
t, Yt)) is copied as a template, and then a comparison image is cut out from the scanning area defined at the position of Y coordinate = Ya as the monitoring area, and the correlation value D calculation with the template is performed.
【００３８】この場合、テンプレートとして写し取った
アスファルトの状態と相関の低い部位、すなわち比較画
像内に白線が大きな割合を占める部位ほど高い相関値Ｄ
が演算されることとなり、ＣＰＵ１６では、図５（ｄ）
に示すように白線位置に相当する部位にピークを有する
相関値Ｄ曲線が得られることになる。In this case, a portion having a low correlation with the state of asphalt copied as a template, that is, a portion having a large proportion of white lines in the comparison image has a higher correlation value D.
Is calculated, and in the CPU 16, FIG.
As shown in, a correlation value D curve having a peak at a portion corresponding to the white line position is obtained.
【００３９】従って、そのピーク位置のＸ座標を検出す
れば、その座標値ＸＬ，ＸＲを白線位置として捕らえる
ことができる。そして、そのＸＬ，ＸＲは、撮像画像の
平均輝度の変化を受けることがなく、白線位置を誤検出
する可能性が極めて小さく抑制されることになる。Therefore, if the X coordinate of the peak position is detected, the coordinate values XL and XR can be captured as the white line position. Then, XL and XR are not affected by the change in the average luminance of the captured image, and the possibility of erroneously detecting the white line position is suppressed to an extremely small level.
【００４０】また、この場合白線位置として検出された
ＸＬとＸＲとの中央付近は、アスファルトである漫然性
が高い。このため、本実施例においては、次回以降図５
（ｃ）に示すように座標（（ＸＲ−ＸＬ）／２，Ｙａ）
なる点からテンプレートを写しとることとしている。こ
の結果、道路がカーブしている場合においてもテンプレ
ートに写し取られる領域が常にアスファルト領域である
ことを保証しつつ、車両遠方に設定した監視領域内から
テンプレートを得ることが可能となり、より実情に沿っ
た白線検出が実現されることになる。Further, in this case, the vicinity of the center between XL and XR detected as the position of the white line is highly likely to be asphalt. Therefore, in the present embodiment, FIG.
Coordinates ((XR-XL) / 2, Ya) as shown in (c)
The template is copied from the point. As a result, even when the road is curved, it is possible to obtain the template from the monitoring area set far from the vehicle, while guaranteeing that the area to be copied in the template is always the asphalt area. White line detection along the line will be realized.
【００４１】図６は、上記機能を実現すべくＣＰＵ１６
が実行するメインルーチンのフローチャートを示す。同
図に示すように、本ルーチンが起動すると、先ずステッ
プ１００においてイニシャル処理が実行される。このイ
ニシャル処理は、図７にそのフローチャートを示すイニ
シャルルーチンにより後述の如く実現される処理であ
り、車両から所定距離離間した位置（Ｙ＝Ｙａの位置）
に設定した監視領域内にテンプレートを写しとるべき低
輝度領域の特定が行われる。FIG. 6 shows the CPU 16 for realizing the above function.
3 shows a flowchart of a main routine executed by the. As shown in the figure, when this routine is started, first in step 100, initial processing is executed. This initial process is a process that is realized as described later by the initial routine whose flowchart is shown in FIG. 7, and is located at a predetermined distance from the vehicle (Y = Ya position).
A low-brightness region in which the template is to be copied is specified in the monitoring region set to.
【００４２】次にステップ２００では、監視領域内の一
部を写し取ったテンプレートに基づいた白線検出処理を
行う。この白線検出処理は、具体的には図８にフローチ
ャートを示す白線検出ルーチンによって実現され、監視
領域内においてテンプレートと最も相関の低い位置を白
線位置として認識する処理が行われる。Next, at step 200, white line detection processing is performed based on a template obtained by copying a part of the monitoring area. This white line detection processing is specifically realized by a white line detection routine whose flowchart is shown in FIG. 8, and processing for recognizing a position in the monitoring region having the lowest correlation with the template as a white line position is performed.
【００４３】これらの処理を終えたら、ステップ３００
では上記ステップ２００において白線として認識された
領域が、真に白線であるかの判定を行う。この白線判定
処理は、図９にそのフローチャートを示す白線判定ルー
チンにより実現され、後述の如く、白線として認識され
た２位置が車線幅との関係で適正な位置関係にあるかを
判別することによりその判定がなされる。After completing these processes, step 300
Then, it is determined whether the area recognized as the white line in step 200 is a true white line. This white line determination processing is realized by a white line determination routine whose flowchart is shown in FIG. 9, and by determining whether or not the two positions recognized as white lines are in an appropriate positional relationship with the lane width, as will be described later. The judgment is made.
【００４４】そして、適正に白線が検出されている場合
は、監視領域内から写し取ったテンプレートが適切に機
能していると判断し、以後上記ステップ２００、及び３
００を繰り返し実行して白線検出を継続的に実行する。
一方、白線を見失ったと判定された場合は、確実に低輝
度領域をテンプレートに写し取るべく再度上記ステップ
１００に示すイニシャル処理を実行する。If the white line is properly detected, it is determined that the template copied from the monitoring area is functioning properly, and the steps 200 and 3 are performed thereafter.
00 is repeatedly executed to continuously execute white line detection.
On the other hand, if it is determined that the white line has been lost, the initial process shown in step 100 is executed again to surely copy the low-luminance region to the template.
【００４５】以下、上記ステップ１００〜３００の具体
的内容について説明する。The specific contents of steps 100 to 300 will be described below.
【００４６】上記ステップ１００に相当するイニシャル
処理ルーチン（図７）が起動すると、先ずステップ１０
２においてテンプレートの設定を行う。この場合、アス
ファルトである漫然性の高い領域を低輝度領域と擬制し
てテンプレートとする他に有効な手段がないため、画像
フレームメモリ１４が記憶する画像中、車両中央直前部
に相当する座標（Ｘｔ，Ｙｔ）から（図５（ａ）参照）
ｍ×ｎ画素の画像を切り出してメモリへ格納する。尚、
本ルーチンにおいては、このステップ１０２が前記した
低輝度テンプレート設定手段Ｍ２に相当する。When the initial processing routine (FIG. 7) corresponding to step 100 is started, first step 10
In step 2, the template is set. In this case, since there is no effective means other than simulating the asphalt area having a high degree of ambiguity as a low-brightness area and using it as a template, the coordinates (corresponding to the portion just before the vehicle center in the image stored in the image frame memory 14 ( From Xt, Yt) (see FIG. 5 (a))
An image of m × n pixels is cut out and stored in a memory. still,
In this routine, this step 102 corresponds to the low brightness template setting means M2.
【００４７】かかる処理を終えたら、ステップ１０４へ
進んで車両左側に描かれた白線位置を検出すべく初期値
の設定を行う。ここでは、サーチウィンドウの走査領域
を直接所望の監視領域に相当するＹ＝Ｙａに設定する構
成を採用しており、ｍ×ｎ画素からなる比較画像の左上
座標（ｘ，ｙ）を（Ｘｆ／２，Ｙａ）に設定する。ここ
で本実施例においては、撮像画像がＸｆ×Ｙｆ画素で構
成されており、Ｘｆ／２は、撮像画像の中央位置に相当
する。When this processing is completed, the routine proceeds to step 104, where initial values are set to detect the position of the white line drawn on the left side of the vehicle. Here, a configuration is adopted in which the scanning area of the search window is directly set to Y = Ya corresponding to the desired monitoring area, and the upper left coordinates (x, y) of the comparison image composed of m × n pixels are set to (Xf / 2, Ya). Here, in the present embodiment, the captured image is composed of Xf × Yf pixels, and Xf / 2 corresponds to the center position of the captured image.
【００４８】また、本ステップ１０４では、上記の処理
と共に、後に演算するテンプレートと座標（ｘ，ｙ）を
左上とする比較画像との相関値Ｄｘ，ｙの最大値を格納
するＤｂｕｆ、Ｄｂｕｆが検出された位置のＸ座標ｘを
格納するＸｂｕｆをそれぞれ“０”にクリアし、所定の
状況下でインクリメントされるカウンタｉに“１”を、
比較画像内に白線が検出された際に“１”をセットする
フラグｆｌａｇに“０”を、車両左側の白線を検出中で
あることを示すべくフラグｄｉｒに“０”をセットする
処理を実行する。Further, in this step 104, Dbuf and Dbuf storing the maximum value of the correlation value Dx, y between the template to be calculated later and the comparison image with the upper left coordinate (x, y) are detected in the step 104. The Xbuf that stores the X coordinate x of the set position is cleared to "0", and the counter i that is incremented under a predetermined condition is set to "1".
A process of setting "0" to the flag flag that sets "1" when a white line is detected in the comparative image and "0" to the flag dir to indicate that the white line on the left side of the vehicle is being detected is executed. To do.
【００４９】ステップ１０６は、相関演算装置１８と共
に前記した相関演算手段Ｍ３を実現するステップであ
り、テンプレートマッチングにより相関値Ｄｘ，ｙを計
算・記憶する処理を行う。Step 106 is a step of realizing the above-described correlation calculating means M3 together with the correlation calculating device 18, and performs a process of calculating / storing the correlation value Dx, y by template matching.
【００５０】また、ステップ１０８は、ｆｌａｇが
“０”であるかを判別するステップであり、後述の原理
に従って、サーチウィンドウから切り出した比較画像中
に白線が検出されたと判断されてｆｌａｇ＝“１”とさ
れるまでは条件が成立すると判別される。Further, step 108 is a step for judging whether the flag is "0", and it is judged that a white line is detected in the comparison image cut out from the search window according to the principle described later, and flag = "1". It is determined that the condition is satisfied until "."
【００５１】この場合、ステップ１１０が実行されるこ
とになる。このステップ１１は、相関値Ｄｘ，ｙが所定
の判定値Ｋｔｈ以上か否かを判別するステップである。
つまり、現在テンプレートとして用いているのは、車両
中央直前部のアスファルト領域であり、比較画像内に白
線が占める割合が増加するにつれて相関値Ｄｘ，ｙの値
が大きくなる。In this case, step 110 will be executed. This step 11 is a step of determining whether or not the correlation value Dx, y is greater than or equal to a predetermined determination value Kth.
In other words, what is currently used as the template is the asphalt area immediately in front of the center of the vehicle, and the correlation value Dx, y increases as the proportion of white lines in the comparison image increases.
【００５２】従って、Ｋｔｈを適当な値に設定しておく
ことにより、Ｄｘ，ｙ≧Ｋｔｈの成立性から比較画面中
に白線が存在するか否かを判断することができ、上記ス
テップ１１０は、かかる観点よりサーチウィンドウ内で
比較画像を走査した結果白線を検出するに至ったか否か
を判別する処理を実行しているものである。Therefore, by setting Kth to an appropriate value, it is possible to judge whether or not a white line is present in the comparison screen based on the establishment of Dx, y ≧ Kth. From this point of view, the process of determining whether or not a white line has been detected as a result of scanning the comparative image in the search window is executed.
【００５３】そして、かかる条件が不成立とされている
間はステップ１１２、１１４がジャンプされ、一方条件
成立が判別された場合は、ステップ１１２でその際の相
関値Ｄｘ，ｙをＤｂｕｆに、その際の比較画像の左上座
標（ｘ，ｙ）をＸｂｕｆに格納し、更に続くステップ１
１４でｆｌａｇ＝“１”とする処理を実行する。このた
め、以後本ステップが起動された場合は、上記ステップ
１０８の条件は不成立と判別されることとなる。While the condition is not satisfied, steps 112 and 114 are jumped. On the other hand, when it is determined that the condition is satisfied, in step 112, the correlation value Dx, y at that time is set to Dbuf. The upper left coordinates (x, y) of the comparison image of S.
In step S14, the flag is set to "1". Therefore, when this step is activated thereafter, it is determined that the condition of step 108 is not satisfied.
【００５４】ステップ１１６は、車両に対して何れの側
の白線検出を実行しているのかを判別するためのステッ
プで、上記したフラグｄｉｒが“０”か否かによって判
断する。今回は、上記ステップ１０４において設定した
後ｄｉｒの値は変更されていないためｄｉｒ＝“０”と
判断され、以後ステップ１１８の処理が実行される。Step 116 is a step for judging which side of the vehicle the white line is being detected, and it is judged by whether or not the above-mentioned flag dir is "0". This time, since the value of dir has not been changed after the setting in step 104, it is determined that dir = "0", and the process of step 118 is executed thereafter.
【００５５】ステップ１１８は、比較画像のＸ座標値ｘ
を設定するステップである。本ルーチンでは、テンプレ
ートマッチングを行うにあたり比較座標を１画素づつ走
査することとしており、本ステップ１１８では、今回の
Ｘ座標値ｘから１画素減じたｘ−１を新たなｘとする。Step 118 is the X coordinate value x of the comparison image.
Is the step of setting. In this routine, the comparison coordinates are scanned pixel by pixel when performing template matching, and in this step 118, x-1 obtained by subtracting 1 pixel from the current X coordinate value x is set as a new x.
【００５６】かかる処理を終えたら、上記ステップ１０
６へ戻り、再び相関値Ｄｘ，ｙを計算・記憶し、ステッ
プ１０８へ進む。上記したように今回はｆｌａｇには
“１”がセットされているため、以後ステップ１２０へ
進み、カウンタｉが１０に達しているかを判別する。When the above processing is completed, the above step 10
6, the correlation value Dx, y is calculated and stored again, and the process proceeds to step 108. As described above, since the flag is set to "1" this time, the process proceeds to step 120 and it is determined whether the counter i has reached 10.
【００５７】このカウンタは、上記ステップ１１０にお
いて始めてＤｘ，ｙ≧Ｋｔｈが成立すると判別された
際、すなわち比較画像中に始めて白線が検出されたと認
識された際の相関値Ｄ演算を初回とし、以後何回相関値
Ｄを演算したかをカウントするカウンタである。This counter sets the correlation value D as the first operation when it is determined that Dx, y ≧ Kth is satisfied for the first time in step 110, that is, when the white line is detected for the first time in the comparison image. It is a counter that counts how many times the correlation value D is calculated.
【００５８】本ルーチンにおいては、カメラ１０の画素
サイズとの関係上、路上に描かれる白線は撮像画像中５
〜６画素で納まることから、ｉ＝１０まで比較画像像の
走査を実行することとしており、上記ステップ１２０
は、実質的には走査の続行性を判断するステップであ
る。In this routine, the white line drawn on the road is 5 in the picked-up image due to the pixel size of the camera 10.
Since the number of pixels is within 6 pixels, the comparison image image is scanned until i = 10.
Is a step of substantially determining the continuity of scanning.
【００５９】かかる処理を行うことにより、例えば撮像
画像中に、白線の更に外側に高輝度の建造物等が撮像さ
れている場合においても、その建造物等を白線として誤
認することがなく、結果として白線検出精度の向上が図
られることになる。By performing such processing, even when a high-intensity building or the like is imaged outside the white line in the captured image, for example, the building or the like is not mistakenly recognized as a white line, and the result is obtained. As a result, the accuracy of white line detection can be improved.
【００６０】そして、上記ステップ１２０においてｉ＞
１０が不成立であると判別される場合は、ステップ１２
２でｉをインクリメントした後ステップ１２４へ進み、
今回の相関値Ｄｘ，ｙが前回までの最大値を格納してあ
るＤｂｕｆの値より大きいかをみる。Then, in step 120, i>
If 10 is not established, step 12
After incrementing i by 2, proceed to step 124,
It is checked whether the correlation value Dx, y of this time is larger than the value of Dbuf storing the maximum value up to the previous time.
【００６１】ここでＤｘ，ｙ＞Ｄｂｕｆが成立する場合
は、Ｄｂｕｆを新たな相関値Ｄｘ，ｙに更新すべきであ
り、ステップ１２６においてＤｂｕｆ、Ｘｂｕｆの更新
が行われる。一方、Ｄｘ，ｙ＞Ｄｂｕｆが不成立である
場合は、Ｄｂｕｆを更新する必要がなく、この場合はス
テップ１２６がジャンプされて上記ステップ１１６へ至
る。この結果、Ｄｂｕｆには常に演算された相関値Ｄ
ｘ，ｙのうち最大の値が格納され、またＸｂｕｆには最
大の相関値Ｄｘ，ｙを示した比較画像のＸ座標値ｘが格
納されることになる。If Dx, y> Dbuf is satisfied, Dbuf should be updated to a new correlation value Dx, y, and in step 126, Dbuf and Xbuf are updated. On the other hand, if Dx, y> Dbuf is not satisfied, it is not necessary to update Dbuf, and in this case, step 126 is jumped to step 116. As a result, the calculated correlation value D is always stored in Dbuf.
The maximum value of x and y is stored, and Xbuf stores the X coordinate value x of the comparative image showing the maximum correlation value Dx and y.
【００６２】一方、上記ステップ１２０においてｉ＞１
０が成立した場合は、左側白線の検出が終了したと判断
し、右側白線の検出を行うべくステップ１２８へ進む。
ステップ１２８ではｄｉｒに“１”がセットされている
か否かが判別される。今回が左側白線の検出終了直後で
あればｄｉｒにはまだ“０”がセットされているため条
件は不成立と判断され、以後ステップ１３０が実行され
る。On the other hand, in step 120, i> 1
If 0 is established, it is determined that the detection of the left white line is completed, and the process proceeds to step 128 to detect the right white line.
At step 128, it is judged if dir is set to "1". If this time is immediately after the detection of the left white line, "0" is still set in dir, so that it is determined that the condition is not satisfied, and step 130 is executed thereafter.
【００６３】ステップ１３０は、白線位置出力装置２０
に向けて、Ｘｂｕｆの値を左側白線位置ＸＬとして、Ｄ
ｂｕｆの値を左側白線の相関値ＤＬとしてそれぞれ出力
するステップである。Step 130 is the white line position output device 20.
The value of Xbuf toward the left white line position XL, and D
In this step, the value of buf is output as the correlation value DL of the left white line.
【００６４】ステップ１３０の処理を終えたら、ステッ
プ１３２へ進んで右側白線を検出するための初期値設定
を行う。本ステップでは、上記ステップ１０４と同様に
検出開始時の比較画像の座標（ｘ，ｙ）を（Ｘｆ／２，
Ｙａ）とし、Ｄｂｕｆ＝“０”、Ｘｂｕｆ＝“０”、ｉ
＝“１”、ｆｌａｇ＝“０”とする一方、右側白線の検
出であることを表示すべくｄｉｒ＝“１”とする。When the processing of step 130 is completed, the routine proceeds to step 132, where the initial value setting for detecting the right white line is performed. In this step, similarly to step 104, the coordinates (x, y) of the comparison image at the start of detection are set to (Xf / 2,
Ya), Dbuf = “0”, Xbuf = “0”, i
= “1” and flag = “0” are set, while dir = “1” is set to display that the right white line is detected.
【００６５】以後、上記した左側白線の検出処理と同様
に上記ステップ１０６〜１１６が実行されるが、今回は
ｄｉｒ＝“１”であるため、ステップ１１６ではｄｉｒ
＝“０”が不成立と判別される。このため右側白線検出
時にはステップ１１６に続いてステップ１３４が実行さ
れ、Ｘ座標値ｘが１画素づつインクリメントされて比較
画像の走査が実現されることになる。Thereafter, steps 106 to 116 are executed similarly to the above-described left-side white line detection processing, but since dir = "1" is set this time, dir is set in step 116.
= “0” is determined not to be established. Therefore, when the right white line is detected, step 134 is executed after step 116, the X coordinate value x is incremented by one pixel, and scanning of the comparison image is realized.
【００６６】そして、車両右側において、Ｄｘ，ｙ≧Ｋ
ｔｈを成立させる相関値Ｄｘ，ｙが計算され、その後ｉ
＞１０が成立するまで上記ステップ１０６〜１２６の処
理が繰り返し実行され、ｉ＞１０の成立を条件にステッ
プ１２８が実行される。Then, on the right side of the vehicle, Dx, y ≧ K
The correlation value Dx, y that holds th is calculated, and then i
The above steps 106 to 126 are repeatedly executed until> 10 is satisfied, and step 128 is executed on condition that i> 10 is satisfied.
【００６７】今回は、ｄｉｒ＝“１”であるからステッ
プ１２８の条件が成立し、以後ステップ１３６において
Ｘｂｕｆの値を左側白線位置ＸＬとして、Ｄｂｕｆの値
を左側白線の相関値ＤＬとしてそれぞれ出力して本ルー
チンを終了する。Since dir = "1" is satisfied this time, the condition of step 128 is satisfied, and thereafter, in step 136, the value of Xbuf is output as the left white line position XL and the value of Dbuf is output as the correlation value DL of the left white line. This routine ends.
【００６８】このように、図７に示すイニシャル処理ル
ーチンは、車両中央直前の領域から写し取ったテンプレ
ートを基にして監視領域（Ｙ＝Ｙａの領域）内における
左右白線位置を検出するルーチンである。この意味で、
図７中、白線位置を表すＸＬ，ＸＲの値を決めるステッ
プ１２４，１２６，１３０，１３６は、本実施例におい
て前記した白線認識手段Ｍ４を実現するステップであ
る。As described above, the initial processing routine shown in FIG. 7 is a routine for detecting the positions of the left and right white lines in the monitoring area (area Y = Ya) based on the template copied from the area immediately in front of the center of the vehicle. In this sense
In FIG. 7, steps 124, 126, 130 and 136 for determining the values of XL and XR representing the white line position are steps for realizing the white line recognition means M4 described above in the present embodiment.
【００６９】ところで、上記したイニシャル処理ルーチ
ンの手法で白線検出を行う場合、白線位置は最も相関の
悪い位置として把握されるため撮像画像の平均輝度変化
の影響を受けることがない。この意味では、ＣＰＵ１６
がイニシャル処理ルーチンを繰り返し実行する構成で
も、従来の手法による場合に比べて誤検出がなく、かつ
処理速度の速い白線検出処理が実現できることになる。By the way, when the white line is detected by the above-mentioned method of the initial processing routine, the white line position is grasped as the position having the worst correlation, so that it is not affected by the average luminance change of the picked-up image. In this sense, the CPU 16
Even with the configuration in which the initial processing routine is repeatedly executed, it is possible to realize the white line detection processing which is free from erroneous detection and has a high processing speed as compared with the case of the conventional method.
【００７０】しかし、例えば車両がトンネルに突入する
直前の状況においては、監視領域として設定したＹ＝Ｙ
ａの領域とテンプレートとして切り出すべく設定した車
両中央直前部とでは、路面の輝度が異なる事態が生ず
る。この場合、テンプレートの平均輝度と監視領域内の
アスファルトの平均輝度とは明らかに異なり、白線位置
の誤検出を引き起こす場合がある。However, for example, in the situation immediately before the vehicle enters the tunnel, Y = Y set as the monitoring area
A situation occurs in which the brightness of the road surface is different between the region a and the vehicle center immediately before being set to be cut out as a template. In this case, the average brightness of the template and the average brightness of the asphalt in the monitoring area are clearly different from each other, which may cause erroneous detection of the white line position.
【００７１】図８に示す白線検出ルーチンは、かかる弊
害を除去して白線検出精度の向上を図るべくＣＰＵ１６
が実行するルーチンである。尚、図８において上記図７
に示す処理と同一の処理を実行するステップには同一の
符号を付し、その説明を省略する。In the white line detection routine shown in FIG. 8, the CPU 16 is arranged to eliminate such an adverse effect and improve the white line detection accuracy.
Is a routine executed by. In addition, in FIG.
Steps that execute the same processing as the processing shown in are denoted by the same reference numerals, and description thereof will be omitted.
【００７２】すなわち、本ルーチンは、起動直後に実行
されるステップ２０２において、上記イニシャル処理ル
ーチンで検出されたＸＬとＸＲの間の座標（ＸＬ＋Ｘ
Ｒ）／２と、監視領域のＹ座標に相当するＹａとをそれ
ぞれ右上のＸ座標、Ｙ座標とするｍ×ｎ画素の画像をテ
ンプレートとしてメモリに格納する点、ステップ２０
４，２０６において、左右白線の検出に対する比較画像
の初期Ｘ座標を、（ＸＬ＋ＸＲ）／２に設定する点に特
徴を有するものである。That is, in this routine, which is executed immediately after starting, in step 202, the coordinates (XL + X) between XL and XR detected in the initial processing routine are detected.
R) / 2 and Ya corresponding to the Y coordinate of the monitoring area are stored in the memory as an image template of m × n pixels having the upper right X coordinate and Y coordinate, respectively, step 20
4, 206, the initial X coordinate of the comparison image for the detection of the left and right white lines is set to (XL + XR) / 2.
【００７３】この意味で、本実施例においては、テンプ
レートの設定座標を変更する機能を発揮する上記ステッ
プ２０２が、前記した低輝度テンプレート設定手段Ｍ
２、及び低基礎領域設定手段Ｍ５を実現している。In this sense, in this embodiment, the step 202, which has the function of changing the setting coordinates of the template, is the low brightness template setting means M described above.
2 and the low basic area setting means M5 are realized.
【００７４】以下、これらの初期設定に対して白線位置
を検出すべく実行する処理の内容については、上記図７
に示すイニシャルルーチンと全く同様である。この場
合、比較画像として切り出す画像とテンプレートとして
切り出す画像とが、共にＹ＝Ｙａの監視領域内に存在す
ることとなり、両者の環境は事実上同一であると擬制で
きることから、相関演算の結果に誤差が生ずる余地がな
く、高い精度で白線検出を実行することができる。The contents of the processing executed to detect the white line position for these initial settings will be described below with reference to FIG.
It is exactly the same as the initial routine shown in. In this case, both the image cut out as the comparison image and the image cut out as the template exist within the monitoring area of Y = Ya, and it is possible to assume that the environments of both are virtually the same, so there is an error in the result of the correlation calculation. The white line detection can be performed with high accuracy without any margin.
【００７５】尚、本実施例においては、イニシャル処理
ルーチンで、車両中央直前の領域からテンプレートを切
り出す一方、そのテンプレートを用いて直接車両から所
定距離離間した位置（Ｙ＝Ｙａの位置）の白線検出を行
う構成としたが、テンプレートを切り出した位置から監
視領域まで徐々にサーチウィンドウの走査領域を離間さ
せる処理を行う構成としてもよい。In this embodiment, in the initial processing routine, the template is cut out from the area immediately in front of the center of the vehicle, and the template is used to detect the white line at a position (Y = Ya) directly away from the vehicle by a predetermined distance. However, it is also possible to perform a process of gradually separating the scanning region of the search window from the position where the template is cut out to the monitoring region.
【００７６】例えば車両直前の領域をＹ＝Ｙｃとし、Ｙ
ｂをＹａとＹｃとの中間点として、当初Ｙ＝Ｙｃの位置
でテンプレートを切り出し、そのテンプレートに基づい
てＹ＝Ｙｂの位置で白線検出を行い、その結果得られた
ＸＬ，ＸＲに対して（（ＸＬ＋ＸＲ）／２，Ｙｂ）を左
上座標とする新たなテンプレートを切り出し、このテン
プレートを基準としてＹ＝Ｙａの領域で白線検出を行う
までをイニシャル処理ルーチンで実行する構成としても
よい。For example, let Y = Yc be the area immediately before the vehicle, and Y
Initially, a template is cut out at a position of Y = Yc, where b is an intermediate point between Ya and Yc, white line detection is performed at a position of Y = Yb based on the template, and XL and XR obtained as a result (( A new template having the upper left coordinates of (XL + XR) / 2, Yb) may be cut out, and the initial processing routine may be performed until white line detection is performed in the region of Y = Ya with this template as a reference.
【００７７】この場合、イニシャル処理ルーチン内で行
われるＹ＝Ｙａ領域での白線検出が初期座標を（（ＸＬ
＋ＸＲ）／２，Ｙａ）とする比較画像により行われるこ
ととなり、カーブの影響で（Ｘｆ／２、Ｙａ）が２本の
白線外になるような場合にも、その影響を受けることな
く適切な白線検出を実現することができる。In this case, the white line detection in the Y = Ya area performed in the initial processing routine determines the initial coordinates ((XL
+ XR) / 2, Ya), and even when (Xf / 2, Ya) is outside the two white lines due to the influence of the curve, it is appropriate without being affected by the influence. White line detection can be realized.
【００７８】図９は、上記図８に示す白線検出ルーチン
により白線として検出された位置が、真に道路上に描か
れた白線であるかを判定する白線判定ルーチンのフロー
チャートである。撮像画像中に白線以外の高輝度物体が
撮像された場合は、その物体を白線として認識する可能
性があることから、検出精度の信頼性を向上させるべく
実行されるものである。FIG. 9 is a flowchart of a white line determination routine for determining whether the position detected as the white line by the white line detection routine shown in FIG. 8 is a white line drawn on the road. When a high-luminance object other than the white line is imaged in the captured image, the object may be recognized as a white line, and therefore the detection accuracy is improved.
【００７９】すなわち、図９に示すルーチンが起動する
と、先ずステップ３０２において検出された左右の白線
間距離Ｗｘ＝｜ＸＲ−ＸＬ｜の演算を行う。そして、ス
テップ３０４で、そのＷｘが所定の範囲内であるか、す
なわち一般的な車線幅を想定して定めた上限値ＷH と下
限値ＷL との関係でＷH ＞Ｗｘ＞ＷL の関係が成立して
いるかを見る。That is, when the routine shown in FIG. 9 is started, first, the distance Wx between the left and right white lines detected in step 302 is calculated as Wx = | XR-XL |. Then, in step 304, whether Wx is within a predetermined range, that is, W H >Wx> W L in the relationship between the upper limit value W H and the lower limit value W L determined by assuming a general lane width, See if a relationship is established.
【００８０】そして、上記条件が成立している場合には
白線の検出が成功していると判断してステップ３０６へ
進んで上記白線検出処理（ステップ２００）へ帰還す
る。一方、上記条件が不成立である場合は、白線を見失
ったと判断し、ステップ３０８へ進んで以後最初から白
線検出を実行するために上記イニシャル処理（ステップ
１００）へ帰還する処理を行う。If the above conditions are satisfied, it is determined that the white line has been successfully detected, and the process proceeds to step 306 to return to the white line detection processing (step 200). On the other hand, if the above conditions are not satisfied, it is determined that the white line has been lost, and the process proceeds to step 308 to thereafter return to the initial process (step 100) to execute the white line detection from the beginning.
【００８１】このように、本実施例の道路白線検出装置
においては、白線位置検出処理の実行開始当初は車両中
央直前部からテンプレートを切り出し、最終的には所望
の監視領域の中央付近からテンプレートを切り出して白
線検出を行うため、撮像画像の平均輝度の変化によって
白線位置の検出精度が悪化することがなく、また、監視
領域を遠方に設定しているにも関わらず速い処理速度を
実現することができるという効果を有している。As described above, in the road white line detection apparatus of this embodiment, the template is cut out from the portion just before the center of the vehicle at the beginning of execution of the white line position detection processing, and finally the template is extracted from the vicinity of the center of the desired monitoring area. Since white line detection is performed by cutting out, white line position detection accuracy does not deteriorate due to changes in the average brightness of the captured image, and high processing speed is achieved despite the monitoring area being set far. It has the effect that
【００８２】なお、上記実施例においては、テンプレー
ト、及び比較画像としてとしてｍ×ｎ画素のサイズを設
定しているが、最も相関の悪い位置を白線として検出す
れば足りることに鑑みた場合、必ずしも高さ方向は重要
ではなく、白線幅とほぼ等幅のｍ画素さえ確保されてい
ればｍ×１画素のサイズとすることも可能である。この
場合、テンプレートマッチングによる相関演算に要する
処理時間が短縮されることとなり、上記実施例に比べて
更なる高速化を実現することができる。In the above embodiment, the size of m × n pixels is set as the template and the comparison image. However, considering that it is sufficient to detect the position with the worst correlation as the white line, it is not always necessary. The height direction is not important, and it is possible to set the size to m × 1 pixel as long as m pixels of approximately the same width as the white line width are secured. In this case, the processing time required for the correlation calculation based on the template matching is shortened, and it is possible to realize a higher speed as compared with the above embodiment.
【００８３】[0083]
【発明の効果】上述の如く、請求項１記載の発明によれ
ば、相関演算手段がサーチウィンドウ内の画像と相関を
とるべく参照するテンプレートが、移動体直前の低輝度
領域を写し取ったものであり、そのテンプレートと最も
相関の悪い領域を白線領域とする構成であるため、白線
の検出精度が、撮像画像の平均輝度の影響を受けること
がなく、昼間であっても夜間であっても常に適切な精度
で道路上に描かれた白線を検出することができる。As described above, according to the first aspect of the present invention, the template referred to by the correlation calculating means in order to correlate with the image in the search window is a copy of the low brightness area immediately before the moving body. Yes, since the region with the least correlation with the template is the white line region, the white line detection accuracy is not affected by the average brightness of the captured image, and it is always in the daytime or nighttime. The white line drawn on the road can be detected with appropriate accuracy.
【００８４】また、請求項２記載の発明によれば、低輝
度テンプレート設定手段が移動体直前部分をテンプレー
トとして写し取るのに対して、相関演算手段が移動体か
ら所定離間した監視領域サーチウィンドウの走査領域と
して設定するため、撮像画像の平均輝度の影響を排除し
つつ、移動体遠方における白線を精度良く迅速に検出す
ることができる。According to the second aspect of the present invention, the low-brightness template setting means copies the portion immediately before the moving body as a template, while the correlation calculating means scans the monitoring area search window which is separated from the moving body by a predetermined distance. Since it is set as a region, it is possible to accurately and quickly detect a white line in the distance of the moving body while eliminating the influence of the average brightness of the captured image.
【００８５】更に、請求項３記載の発明によれば、相関
演算手段がサーチウィンドウの走査領域として設定する
領域及びテンプレートが写し取られる低輝度領域が、徐
々に移動体直前部から所望の監視領域にむけて移動体か
ら離間する。この際、低輝度領域は、検出された２本の
白線の中央付近に設定され、常にアスファルトの領域内
に収められたまま監視領域まで離間する。Further, according to the third aspect of the present invention, the area set as the scanning area of the search window by the correlation calculating means and the low-brightness area on which the template is copied gradually become the desired monitoring area from immediately in front of the moving body. Away from the moving body. At this time, the low-brightness area is set near the center of the two detected white lines, and is always kept within the asphalt area and separated from the monitoring area.
【００８６】このため道路が直進路であろうとカーブで
あろうと、テンプレートには常にアスファルト表面の低
輝度領域が写し取られ、かつ本発明の道路白線検出装置
においては、その低輝度領域の両側においてテンプレー
トとの相関演算を行うことで白線検出を行うことができ
る。Therefore, regardless of whether the road is a straight road or a curve, the template always shows a low-intensity region of the asphalt surface, and in the road white line detection apparatus of the present invention, both sides of the low-intensity region are detected. White line detection can be performed by performing a correlation calculation with the template.
【００８７】このため、例えば監視領域がトンネル内に
入った場合等、監視領域と移動体直前領域とで道路の平
均輝度が異なる場合においても、その平均輝度の差異が
白線の検出精度に影響を与えることがなく、広い走行状
況下で、正確かつ迅速な白線検出を実現することができ
るという特長を有している。Therefore, even if the average brightness of the road differs between the monitoring area and the area immediately before the moving body, for example, when the monitoring area enters a tunnel, the difference in the average brightness affects the detection accuracy of the white line. The feature is that it is possible to realize accurate and speedy white line detection under a wide traveling condition without giving a white line.
【図１】本発明に係る道路白線検出装置の原理構成図で
ある。FIG. 1 is a principle configuration diagram of a road white line detection device according to the present invention.
【図２】本発明の一実施例である道路白線検出装置の全
体構成を表すブロック図である。FIG. 2 is a block diagram showing an overall configuration of a road white line detection device that is an embodiment of the present invention.
【図３】テンプレートマッチングによる相関演算の原理
を説明するための図である。FIG. 3 is a diagram for explaining the principle of correlation calculation by template matching.
【図４】従来の装置による道路白線検出方法を説明する
ための図である。FIG. 4 is a diagram for explaining a road white line detection method by a conventional device.
【図５】本実施例装置による道路白線検出方法を説明す
るための図である。FIG. 5 is a diagram for explaining a road white line detection method by the device of this embodiment.
【図６】本実施例において実行するメインルーチンの一
例のフローチャートである。FIG. 6 is a flowchart of an example of a main routine executed in this embodiment.
【図７】本実施例において実行するイニシャル処理ルー
チンの一例のフローチャートである。FIG. 7 is a flowchart of an example of an initial processing routine executed in this embodiment.
【図８】本実施例において実行する白線検出処理ルーチ
ンの一例のフローチャートである。FIG. 8 is a flowchart of an example of a white line detection processing routine executed in this embodiment.
【図９】本実施例において実行する白線判定ルーチンの
一例のフローチャートである。FIG. 9 is a flowchart of an example of a white line determination routine executed in this embodiment.
Ｍ１ 画像センサ Ｍ２ 低輝度テンプレート設定手段 Ｍ３ 相関演算手段 Ｍ４ 白線認識手段 Ｍ５ 低輝度領域設定手段 １０ カメラ １４ 画像フレームメモリ １６ ＣＰＵ １８ 相関演算装置 M1 image sensor M2 low brightness template setting means M3 correlation calculation means M4 white line recognition means M5 low brightness area setting means 10 camera 14 image frame memory 16 CPU 18 correlation calculation device
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 1/00 ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI technical display location G06T 1/00
Claims (3)
像し、得られた撮像画像内にサーチウィンドウを設定し
て撮像画像を走査し、サーチウィンドウ内の画像と所定
のテンプレートとの相関に基づいて道路上の白線を検出
する道路白線検出装置において、 移動体直前部であって多分に白線でないと予測される低
輝度領域の一部を前記テンプレートとして採用する低輝
度テンプレート設定手段と、 該低輝度テンプレート設定手段によって設定されたテン
プレートと前記撮像画像を走査するサーチウィンドウ内
の画像との相関を採る相関演算手段と、 該相関演算手段によって最も低い相関が検出された領域
を白線として認識する白線認識手段とを有することを特
徴とする道路白線検出装置。1. A front road of a moving body is imaged by an image sensor, a search window is set in the obtained image to scan the image, and based on the correlation between the image in the search window and a predetermined template. In a road white line detection device for detecting a white line on a road by means of a low brightness template setting means for adopting as a template a part of a low brightness region immediately preceding a moving body and presumably not a white line, Correlation calculation means for taking a correlation between the template set by the brightness template setting means and the image in the search window for scanning the captured image, and a white line for recognizing the area in which the lowest correlation is detected by the correlation calculation means as a white line. A road white line detection device comprising: a recognition means.
レート設定手段が低輝度領域として採用した移動体直前
部より遠方の領域をサーチウィンドウによる走査領域と
することを特徴とする請求項１記載の道路白線検出装
置。2. The correlation calculation means sets an area farther than a front part of a moving body adopted as a low brightness area by the low brightness template setting means as a scanning area by a search window. Road white line detection device.
白線が検出された場合に、これら２本の白線の中央付近
を低輝度領域として設定する低輝度領域設定手段を有
し、 前記低輝度テンプレート設定手段は、道路白線検出処理
実行開始当初は前記移動体直前部の低輝度領域の一部
を、以後前記低輝度領域設定手段によって新たに低輝度
領域が設定された場合は当該低輝度領域の一部をテンプ
レートとして採用し、 前記相関演算手段は、サーチウィンドウによる走査領域
が移動体前方の監視領域に至るまで、サーチウィンドウ
による走査領域を、前記低輝度テンプレート設定手段が
低輝度領域として採用した領域より所定距離遠方に更新
することを特徴とする請求項１記載の道路白線検出装
置。3. When the white line recognizing means detects white lines on both sides of a road, the white line recognizing means has a low brightness area setting means for setting a vicinity of the center of these two white lines as a low brightness area, and the low brightness template. The setting means, at the beginning of the road white line detection processing execution, a part of the low brightness area immediately before the moving body, and when a low brightness area is newly set by the low brightness area setting means thereafter, the low brightness area Part of the template is adopted as the template, and the correlation calculating means adopts the scan area by the search window as the low brightness area until the scan area by the search window reaches the monitoring area in front of the moving body. The road white line detection device according to claim 1, wherein the road white line detection device updates the distance from the area by a predetermined distance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28367093A JP3345995B2 (en) | 1993-11-12 | 1993-11-12 | Road white line detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28367093A JP3345995B2 (en) | 1993-11-12 | 1993-11-12 | Road white line detector |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07141592A true JPH07141592A (en) | 1995-06-02 |
| JP3345995B2 JP3345995B2 (en) | 2002-11-18 |
Family
ID=17668548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28367093A Expired - Fee Related JP3345995B2 (en) | 1993-11-12 | 1993-11-12 | Road white line detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3345995B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5922036A (en) * | 1996-05-28 | 1999-07-13 | Matsushita Electric Industrial Co., Ltd. | Lane detection sensor and navigation system employing the same |
| JP2000306097A (en) * | 1999-04-19 | 2000-11-02 | Honda Motor Co Ltd | Road area decision device |
| KR100330034B1 (en) * | 2000-03-31 | 2002-03-27 | 곽정소 | Apparatus of Lane Display |
| KR100405702B1 (en) * | 2001-03-13 | 2003-11-14 | 현대자동차주식회사 | Detection method of multiple local maxima using correlation in signal processing system |
| JP2007052645A (en) * | 2005-08-18 | 2007-03-01 | Fujitsu Ltd | Road marking recognition device and system |
| JP2007071579A (en) * | 2005-09-05 | 2007-03-22 | Xanavi Informatics Corp | On-vehicle navigation device and system |
| WO2014203658A1 (en) * | 2013-06-21 | 2014-12-24 | コニカミノルタ株式会社 | Distance measurement device and distance measurement method |
-
1993
- 1993-11-12 JP JP28367093A patent/JP3345995B2/en not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5922036A (en) * | 1996-05-28 | 1999-07-13 | Matsushita Electric Industrial Co., Ltd. | Lane detection sensor and navigation system employing the same |
| JP2000306097A (en) * | 1999-04-19 | 2000-11-02 | Honda Motor Co Ltd | Road area decision device |
| KR100330034B1 (en) * | 2000-03-31 | 2002-03-27 | 곽정소 | Apparatus of Lane Display |
| KR100405702B1 (en) * | 2001-03-13 | 2003-11-14 | 현대자동차주식회사 | Detection method of multiple local maxima using correlation in signal processing system |
| JP2007052645A (en) * | 2005-08-18 | 2007-03-01 | Fujitsu Ltd | Road marking recognition device and system |
| US8184859B2 (en) | 2005-08-18 | 2012-05-22 | Fujitsu Limited | Road marking recognition apparatus and method |
| JP2007071579A (en) * | 2005-09-05 | 2007-03-22 | Xanavi Informatics Corp | On-vehicle navigation device and system |
| WO2014203658A1 (en) * | 2013-06-21 | 2014-12-24 | コニカミノルタ株式会社 | Distance measurement device and distance measurement method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3345995B2 (en) | 2002-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000293670A (en) | Method and device for automatically recognizing road sign of video picture and storage medium storing program for automatically recognizing road sign | |
| JPH0728975A (en) | Road environment recognizing device | |
| JP2000357233A (en) | Body recognition device | |
| JP2007179386A (en) | Method and apparatus for recognizing white line | |
| JPH08329393A (en) | Preceding vehicle detector | |
| JP2007220013A (en) | Device for detecting white line for vehicle | |
| JP3656056B2 (en) | Interrupting vehicle detection device and method | |
| JPH07141592A (en) | Road white line detecting device | |
| JP2010061375A (en) | Apparatus and program for recognizing object | |
| JP2004118757A (en) | Detector for traveling lane on road surface | |
| JP2003076987A (en) | Preceding vehicle recognizing device | |
| JP2007253699A (en) | Optical axis deviation sensing device | |
| JPH11345392A (en) | Device and method for detecting obstacle | |
| JPH1097699A (en) | Obstacle detecting device for vehicle | |
| JP3757500B2 (en) | Leading vehicle following device | |
| US20220309805A1 (en) | Apparatus, method, and computer program for detecting lane boundary | |
| JP2003317106A (en) | Travel path recognition device | |
| JP2004185425A (en) | Lane mark recognition method and device | |
| JP3146807B2 (en) | Road white line detector | |
| JP2003252149A (en) | Lane recognition image processing device, and program for performing the processing | |
| JP2007141167A (en) | Lane detector, lane detection method, and lane detection program | |
| JPH04137014A (en) | Traveling path terminal detector for mobile vehicle | |
| JPH0719893A (en) | Curvature of-road detector | |
| JPH07239996A (en) | Course recognition device | |
| JP3094758B2 (en) | Image sensors for vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070906 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090906 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |