JPH07200782A - Line recognition method by image processing - Google Patents
Line recognition method by image processingInfo
- Publication number
- JPH07200782A JPH07200782A JP5348628A JP34862893A JPH07200782A JP H07200782 A JPH07200782 A JP H07200782A JP 5348628 A JP5348628 A JP 5348628A JP 34862893 A JP34862893 A JP 34862893A JP H07200782 A JPH07200782 A JP H07200782A
- Authority
- JP
- Japan
- Prior art keywords
- line
- lines
- white
- image
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000002372 labelling Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、道路面上に施されたラ
イン（白線）を認識する画像処理によるライン認識方法
に関し、特にビデオカメラによって得られた画像を処理
して、路面上の白線を識別する画像処理によるライン認
識方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a line recognition method by image processing for recognizing a line (white line) formed on a road surface, and more particularly to a white line on a road surface by processing an image obtained by a video camera. The present invention relates to a line recognition method by image processing for identifying a.
【０００２】[0002]
【従来の技術】自動車や二輪車等の車輛にビデオカメラ
を搭載し、画像処理によって路面上の白線を検出するこ
とは、車輛の自動運転や、走行中のレーンはみ出し警
報、および路上の障害物検出時の検出範囲の決定等を行
う際に必要となるものである。2. Description of the Related Art Mounting a video camera on a vehicle such as an automobile or a motorcycle and detecting a white line on the road surface by image processing is an automatic driving of the vehicle, a lane sticking out warning during traveling, and an obstacle detection on the road. It is necessary when determining the detection range at the time.
【０００３】画像処理によるラインの認識に際しては、
従来より、白線の認識に必要な画像処理量をできるだけ
少なくすることによって、処理速度を向上できるもので
あることが要求されており、既に各種のものが提案され
ている。When recognizing a line by image processing,
Conventionally, it has been required that the processing speed can be improved by reducing the image processing amount necessary for recognizing the white line as much as possible, and various types have already been proposed.
【０００４】例えば、車輛の進行方向の前方を撮像した
画像情報のうち、車線端が撮像されている所定の領域を
決定し、決定された領域における明度分布をフィルタに
よって強調し、強調された明度分布に基づいて所定の領
域における車線端を検出するものが、特開平３−１９４
６６９号公報によって開示されている。For example, of image information obtained by imaging the front of the vehicle in the traveling direction, a predetermined area in which the lane edge is imaged is determined, the brightness distribution in the determined area is emphasized by a filter, and the emphasized brightness is determined. Japanese Patent Laid-Open No. 3-194 discloses a method of detecting a lane edge in a predetermined area based on a distribution.
669 publication.
【０００５】また、所定範囲の道路の画像全体の輝度の
平均値を算出するとともに、画像中の輝度の最大値を検
出して、この平均値と最大値とに基づいてしきい値を算
出し、画像の輝度をこのしきい値によって二値化して、
この二値化された結果に基づいて画像中のラインを判定
するものが、特開平４−１５２４０６号号公報によって
開示されている。Further, the average value of the brightness of the entire image of the road in the predetermined range is calculated, the maximum value of the brightness in the image is detected, and the threshold value is calculated based on the average value and the maximum value. , The image brightness is binarized by this threshold,
A method of determining a line in an image based on the binarized result is disclosed in Japanese Patent Application Laid-Open No. 4-152406.
【０００６】また、所定範囲の道路を撮影した結果につ
いてカメラから輝度信号を出力し、この輝度信号を所定
のしきい値を用いて二値化して得られたデータを順次処
理して、データの変化状態からラインのエッジ部を検出
し、このエッジ検出処理結果に基づいて順次ライン位置
を検出するものが、特開平４−１５８４１０号公報によ
って開示されている。In addition, a luminance signal is output from the camera with respect to the result of photographing a road in a predetermined range, and the data obtained by binarizing the luminance signal using a predetermined threshold value is sequentially processed to obtain the data of the data. Japanese Unexamined Patent Publication No. 4-158410 discloses a method in which an edge portion of a line is detected from a changed state and a line position is sequentially detected based on the edge detection processing result.
【０００７】また、所定範囲の道路を撮影した結果につ
いてカメラから輝度信号を出力し、この輝度信号を所定
のしきい値を用いて二値化して得られるデータを、画像
データの並びに対応して順次処理し、データの変化状態
からラインの左右エッジを検出し、得られた左右エッジ
数をそれぞれカウントして比較し、エッジ数の少ない方
をカメラの撮影範囲の端部でラインが検出されたものと
して、エッジ検出結果を補正して、当該補正処理結果に
基づいてライン位置を決定するものが、特開平４−１５
８４１１号公報によって開示されている。Further, a luminance signal is output from the camera with respect to the result of photographing a road in a predetermined range, and the data obtained by binarizing the luminance signal using a predetermined threshold is used to correspond to the image data list. Sequential processing was performed to detect the left and right edges of the line from the change state of the data, and the obtained number of left and right edges were counted and compared, and the line with the smaller number of edges was detected at the end of the shooting range of the camera. Japanese Patent Laid-Open No. 4-15 / 1992 discloses a method of correcting the edge detection result and determining the line position based on the correction processing result.
It is disclosed by Japanese Patent No. 8411.
【０００８】また、所定範囲の道路から繰り返し得られ
た画像における、一回ごとの画像全体の輝度の平均値と
最大値の両方に基づいてしきい値を算出するとともに、
前回以前のしきい値を記憶し、得られた画像を記憶され
ているしきい値を用いて二値化した結果に基づいて画像
中のライン部分を判定して、このライン判定によってラ
イン部分が検出できた場合には、記憶されているしきい
値を今回の処理によって得られたしきい値に入れ替える
ものが、特開平４−１５８４１２号公報に開示されてい
る。In addition, the threshold value is calculated based on both the average value and the maximum value of the brightness of the entire image in each image repeatedly obtained from the road in the predetermined range.
The threshold value before the last time is stored, the line portion in the image is determined based on the binarized result of the obtained image, and the line portion is determined by this line determination. Japanese Patent Laid-Open No. 4-158412 discloses a method in which, when it can be detected, the stored threshold value is replaced with the threshold value obtained by this processing.
【０００９】さらに、画像の明度データを微分して白線
の輪郭線を抽出する輪郭線抽出法と、基準とする白線の
画像をテンプレート画像として、対象画像データ内の画
像ブロックとの相関計算を行って、相関最大となる領域
によって白線を検出するテンプレートマッチング法とに
基づく評価実験結果が、「コンピュータビジョンによる
自動運転システム−走行誘導用白線の認識：自動車技術
協会学術講演会前刷集９２４の４０」に記載されてい
る。Further, the contour line extraction method for differentiating the lightness data of the image to extract the contour line of the white line and the correlation calculation with the image block in the target image data using the image of the reference white line as the template image are performed. The result of the evaluation experiment based on the template matching method for detecting the white line by the region having the maximum correlation is "Automatic Driving System by Computer Vision-Recognizing White Line for Driving Guidance: Automotive Technology Association Academic Lecture Preprints 924-40. "It is described in.
【００１０】[0010]
【発明が解決しようとする課題】次に、上述した各画像
処理によって道路上の白線を検出する方法のうち、次の
ような手法を採用した場合の問題点を検討する。図７
は、従来の、および本発明が適用される画像処理装置の
システム構成を示したものであって、符号１００はシス
テムを搭載する車輛、符号１１０は路面を撮像するカメ
ラ、そして符号１２０は車輛搭載用の画像処理装置であ
る。また、図８はカメラによって得られた前方道路面の
画像、図９は前方道路面の画像から白線領域候補として
抽出された画像である。図１０は画像処理におけるラベ
リング処理を、図１１は２つのラベルから直線式を求め
る処理を、図１２は直線のペアから白線か否かをチェッ
クする処理を、図１３は最終的に白線を近似する直線の
導出処理を、それぞれ行うための説明図である。Next, of the methods for detecting the white line on the road by the above-mentioned image processing, the problems when the following method is adopted will be examined. Figure 7
FIG. 1 shows a system configuration of a conventional image processing apparatus to which the present invention is applied, where reference numeral 100 is a vehicle in which the system is mounted, reference numeral 110 is a camera for imaging a road surface, and reference numeral 120 is a vehicle. Is an image processing device for a computer. Further, FIG. 8 is an image of the front road surface obtained by the camera, and FIG. 9 is an image extracted as a white line area candidate from the image of the front road surface. 10 is a labeling process in image processing, FIG. 11 is a process for obtaining a straight line expression from two labels, FIG. 12 is a process for checking whether or not a straight line is a white line, and FIG. It is explanatory drawing for performing the derivation | leading-out process of each straight line.
【００１１】この場合における白線らしきものの抽出
は、図８に示されたようなカメラによる画像から、次の
処理によって、白線の特徴を検出することによって行わ
れたものである。 道路上の白線は、他の部分と比較して輝度が高く、
その端部において輝度変化が大きい。 白線の幅は一定である。In this case, the white line-like thing is extracted by detecting the characteristic of the white line by the following processing from the image by the camera as shown in FIG. The white line on the road has higher brightness than other parts,
The brightness change is large at the end. The width of the white line is constant.
【００１２】図９に示された白線領域候補抽出画像につ
いて、繋がっている画素はこれを１つのかたまりとして
取り扱うことによって、まず、画素のかたまりを認識
し、図１０に示すように、それぞれのかたまりに番号
（ラベル）を付して、それぞれについて、「重心点」
「長さ」「主軸方向の傾き」「その他の特徴」等の特徴
量を求める。Regarding the white line area candidate extraction image shown in FIG. 9, the connected pixels are treated as one block, so that the block of pixels is first recognized, and as shown in FIG. 10, each block is recognized. A number (label) is attached to each item, and the "center of gravity" for each
Characteristic amounts such as “length”, “inclination in the main axis direction”, and “other characteristics” are obtained.
【００１３】そして、求められたラベルの特徴量から、
最小２乗法によって、図１１に示すように、二つのラベ
ルを結ぶ近似直線式（曲線でもよい）を求める。この直
線式は、すべてのラベルに対して可能な２つのラベルの
組み合わせ数だけ求める。つまり、ラベル数がｎ個の場
合、 nＣ2 個の直線式を求める。Then, from the obtained feature quantity of the label,
As shown in FIG. 11, an approximate linear equation (a curved line may be used) that connects two labels is obtained by the method of least squares. This straight line formula finds only the number of possible combinations of two labels for all labels. That is, when the number of labels is n, n C 2 linear expressions are obtained.
【００１４】ここで、「 nＣ2 」は、 nＣ2 ＝ｎ（ｎ−
１）／２である。Here, " n C 2 " is n C 2 = n (n-
1) / 2.
【００１５】図１２に示すように、求められた直線式の
中から、例えばＬ1,Ｌ2 の２個選んで、左右の白線にみ
あう直線式の組み合わせか否かをチェックする。このよ
うな処理を繰り返すことによって、図１３に示すよう
に、最終的に左右の白線に近似した直線式Ｌm,Ｌn を求
める。左右の白線にみあうか否かの判断は、次の諸点か
ら行うことができる。As shown in FIG. 12, for example , two L 1 and L 2 are selected from the obtained linear expressions, and it is checked whether or not the combination of the linear expressions matching the left and right white lines. By repeating such processing, as shown in FIG. 13, finally, the linear expressions L m and L n that approximate the left and right white lines are obtained. The judgment as to whether or not the white lines on the right and left sides meet can be made from the following points.
【００１６】 両直線を画像上の座標から実空間上の
座標に変換したとき、その両直線がほぼ平行であるこ
と。 両直線間の距離が定められた範囲内であること（左
右白線間の距離はある範囲内にある）。When the two straight lines are converted from the coordinates on the image into the coordinates on the real space, the straight lines should be substantially parallel to each other. The distance between both straight lines is within the defined range (the distance between the left and right white lines is within a certain range).
【００１７】いま、直線式が nＣ2 個の場合、 nc2Ｃ2
とおりの直線式ペアについてチェックを行うことが必要
である。If there are n C 2 linear equations, n c 2 C 2
It is necessary to check the following linear pairs.
【００１８】ここで、 nc2Ｃ2 ＝｛n (n−1)／2 ｝・
〔｛n(n −1)／2 ｝−1 〕／2＝ n(n −1)( n −2)(n
＋1)／8Here, n c 2 C 2 = {n (n-1) / 2} ·
[{N (n-1) / 2} -1] / 2 = n (n-1) (n-2) (n
+1) / 8
【００１９】この際、求められたラベル数が少ないとき
は問題ないが、これが多いと、最終的に直線式の導出
と、２つの直線のチェック数が非常に多くなる。白線領
域候補抽出の段階で白線だけが取り出せればよいが、こ
れは困難であり、ある程度、他の部分が取り出されるこ
とを避けられない。従って、通常はラベル数が多く、そ
のため処理量が非常に多くなって、処理時間が長くなる
という不都合が生じていた。At this time, there is no problem when the number of the obtained labels is small, but when the number of the labels is large, the number of checks of the linear equation and the number of the two straight lines are finally increased very much. Only the white line needs to be extracted at the stage of extracting the white line region candidate, but this is difficult and it is inevitable that other parts are extracted to some extent. Therefore, the number of labels is usually large, so that the processing amount becomes very large and the processing time becomes long.
【００２０】[0020]
【発明の目的】本発明は、かかる従来例の有する不都合
を改善し、とくに、ビデオカメラによって得られた画像
を処理して路面上の白線を識別するライン認識方法にお
いて、ライン認識に必要な画像処理量をできるだけ少な
くして画像処理の処理速度の向上を図った画像処理によ
るライン認識方法を提供することを、その目的とする。It is an object of the present invention to improve the disadvantages of the prior art, and more particularly, in a line recognition method for processing an image obtained by a video camera to identify a white line on a road surface, an image required for line recognition. It is an object of the present invention to provide a line recognition method by image processing in which the processing amount is reduced as much as possible to improve the processing speed of image processing.
【００２１】[0021]
【課題を解決するための手段】本発明では、．前方道
路面の画像から白線候補領域を抽出してラベリングを行
い、二つのラベルを結ぶ近似直線群中の二直線の組み合
わせについて道路面の左右の白線にみあうか否かのチェ
ックを行って、白線に近似できるとき、この直線の組み
合わせを左右の白線として認識するライン認識方式にお
いて、各ラベルの形状的特徴として長さを算出して、長
さの長いラベルについて単独で近似直線を求めたのち、
この近似直線と他の近似直線との組み合わせについて、
道路面の左右の白線にみあうか否かをチェックする処理
を先に行って、白線に近似できるとき、この直線の組み
合わせを左右の白線として認識する。SUMMARY OF THE INVENTION In the present invention ,. White line candidate areas are extracted from the image of the road surface in front and labeled, and the white line on the left and right of the road surface is checked for the combination of two straight lines in the approximate straight line group connecting the two labels. When it can be approximated to, in the line recognition method that recognizes this combination of straight lines as the left and right white lines, the length is calculated as the shape feature of each label, and the approximate straight line is obtained independently for the long label,
Regarding the combination of this approximate straight line and other approximate straight lines,
The process of checking whether or not the white lines on the left and right of the road surface are matched is performed first, and when the lines can be approximated to the white lines, the combination of the straight lines is recognized as the left and right white lines.
【００２２】．上記の場合に、長いラベルについて
の近似直線と他の近似直線との画像座標を実空間座標に
変換して、この実空間座標上の両直線の平行度と両直線
間の距離を算出し、これらが所定範囲内にあることを判
定することによって、この両直線が道路面の左右の白線
にみあうか否かをチェックする。.. In the above case, the image coordinates of the approximate straight line for the long label and other approximate straight lines are converted into real space coordinates, and the parallelism of both straight lines on this real space coordinate and the distance between both straight lines are calculated, By determining that these are within the predetermined range, it is checked whether or not these straight lines meet the white lines on the left and right of the road surface.
【００２３】これによって、前述した目的を達成しよう
とするものである。This is intended to achieve the above-mentioned object.
【００２４】[0024]
【作用】図１は、本発明方式の原理を説明するものであ
って、（ａ）は長さの長いラベルについて単独で直線式
を求める処理を示し、二つのラベルから直線式を求める
場合に、長さの長いラベルについては単独でも直線（Ｌ
n ）を抽出することを示している。（ｂ）は直線のペア
から白線か否かのチェックを行う処理において、長いラ
ベルがある場合には、ある直線（Ｌ1 ）と、長いラベル
の直線（Ｌn ）とのペアについてチェックを行うことを
示している。FIG. 1 illustrates the principle of the method of the present invention, in which (a) shows a process for independently obtaining a linear equation for a long label, and when a linear equation is obtained from two labels. , For long labels, stand alone
n ) is extracted. (B) In the process of checking whether a straight line pair is a white line or not, if there is a long label, a pair of a certain straight line (L 1 ) and a long label straight line (L n ) is checked. It is shown that.
【００２５】本発明においては、ラベリング処理におい
て、各ラベルの特徴量として長さを求め、所定の長さ以
上のラベルについて、そのラベル単独での直線近似式を
求め、この直線式と、他のもう１つの直線式との組み合
わせについて、左右白線にみあうか否かをチェックす
る。このようにすることにより、長いラベルが１個で、
他の直線が nＣ2 個であった場合、チェック数は、 nＣ
2 ＝ｎ（ｎ−１）／２で済むことになる。In the present invention, in the labeling process, the length is obtained as a feature amount of each label, and for a label having a predetermined length or more, a linear approximation formula for the label alone is obtained, and this linear formula and other Check whether or not the left and right white lines match with another straight line combination. By doing this, one long label
If other straight lines are n C 2 , the number of checks is n C
2 = n (n-1) / 2 will suffice.
【００２６】通常、白線は、片側が連続した１本の白線
であって、他方が断続線からなる場合が多い。（ただ
し、片側三車線以上の道路における、両端以外のレーン
は、両側が断続線となる。）In general, the white line is often one continuous white line on one side and an intermittent line on the other side. (However, on roads with three or more lanes on each side, lanes other than both ends are interrupted on both sides.)
【００２７】そこで、白線領域候補抽出処理によって得
られた画像中、長さが長いラベルに対応するものは、連
続した１本の白線である可能性が非常に高い。従って、
これと、他の直線式との組み合わせについて、左右の白
線にみあうか否かをチェックすれば、所要のライン検出
を行える可能性が非常に高くなる。このようにすること
によって、処理量を大幅に減少させることができ、高速
処理を実現することができるようになる。Therefore, in the image obtained by the white line area candidate extraction processing, it is very likely that one label corresponding to a long label is one continuous white line. Therefore,
By checking whether or not the white lines on the left and right match the combination of this and another linear type, it is very likely that the required line detection can be performed. By doing so, the amount of processing can be greatly reduced, and high-speed processing can be realized.
【００２８】例えば、ラベル数ｎが３０の場合、従来方
式による処理量は、３０×２９×２８×３１／８＝９４
３９５であるのに対し、本発明方式では、３０×２９／
２＝４３５となって、１／２１７となる。For example, when the number of labels n is 30, the processing amount by the conventional method is 30 × 29 × 28 × 31/8 = 94.
395, whereas in the method of the present invention, 30 × 29 /
2 = 435, which is 1/217.
【００２９】[0029]
【実施例】以下、本発明の実施例を、図２ないし図６に
基づいて説明する。本実施例は、前方道路面の画像から
白線候補領域を抽出してラベリングを行い、２つのラベ
ルを結ぶ近似直線群中の２直線の組み合わせについて道
路面の左右の白線にみあうか否かのチェックを行って、
白線に近似できるとき、この直線の組み合わせを左右の
白線として認識するライン認識方式において、各ラベル
の形状的特徴として長さを算出して、長さの長いラベル
について単独で近似直線（Ｌn ）を求めたのち、この近
似直線と他の近似直線（Ｌ1 ）との組み合わせについ
て、道路面の左右の白線にみあうか否かをチェックする
処理を先に行って、白線に近似できるとき、この直線の
組み合わせを左右の白線として認識するという概略構成
を備えている。以下、これをさらに詳述する。Embodiments of the present invention will be described below with reference to FIGS. In the present embodiment, a white line candidate area is extracted from the image of the road surface in front and labeled, and it is checked whether or not a combination of two straight lines in an approximate straight line group connecting two labels is present on the left and right white lines of the road surface. Go to
When a line can be approximated to a white line, in the line recognition method that recognizes the combination of straight lines as the left and right white lines, the length is calculated as the shape feature of each label, and an approximate straight line (L n ) is independently calculated for a long label. After calculating, the combination of this approximation line and another approximation line (L 1 ) is first checked to see if it matches the white lines on the left and right of the road surface. It has a schematic structure in which a combination of straight lines is recognized as left and right white lines. This will be described in more detail below.
【００３０】図２は、本発明方式の一実施例を示す処理
フローである。図７に示されたシステムにおいて、画像
処理装置１２０はビデオカメラ１１０からの前方道路面
の画像を取り込み（ステップＳ１）、前処理として２値
化処理（ステップＳ２）と、垂直エッジ抽出（ステップ
Ｓ３）を行ったのち、白線候補領域を抽出し（ステップ
Ｓ４）、ラベリングを行って（ステップＳ５）、各ラベ
ルの特徴量を算出する（ステップＳ６）。FIG. 2 is a processing flow showing an embodiment of the method of the present invention. In the system shown in FIG. 7, the image processing device 120 takes in an image of the road surface ahead from the video camera 110 (step S1), performs binarization processing (step S2) as preprocessing, and extracts vertical edges (step S3). ), A white line candidate area is extracted (step S4), labeling is performed (step S5), and the feature amount of each label is calculated (step S6).
【００３１】次に、長いラベルがあるか否かをチェック
して（ステップＳ７）、長いラベルがあった場合は、そ
の長いラベル単独で、最小２乗近似によって、直線式を
算出する（ステップＳ８）。さらに２つのラベルから最
小２乗近似で直線式を算出して（ステップＳ９）、長い
ラベルがあったときは（ステップＳ１０）、長いラベル
の直線と他の直線とのペアで、白線の近似直線であるか
否かをチェックする（ステップＳ１１）。Next, it is checked whether or not there is a long label (step S7), and if there is a long label, the long label alone is used to calculate a linear expression by least-squares approximation (step S8). ). Further, a linear expression is calculated from the two labels by least-squares approximation (step S9), and when there is a long label (step S10), a straight line with a long label and another straight line are approximated by a white line. Is checked (step S11).
【００３２】そして、白線に近似できる直線ペアを検出
できた（ステップＳ１２）ときは、白線の認識成功とし
て処理を終了する（ステップＳ１３）。もしも長いラベ
ルがなかった場合、または白線に近似できる直線ペアを
検出できなかったときは、短いラベルによる直線どうし
の組み合わせで、白線の近似直線であるか否かをチェッ
クし（ステップＳ１４）、白線近似直線のペアを検出で
きた（ステップＳ１５）ときは、認識成功として処理を
終了し（ステップＳ１６）、検出できなかったときは認
識失敗として処理を終了する（ステップＳ１７）。When a straight line pair that can be approximated to the white line is detected (step S12), the white line is recognized successfully and the process is terminated (step S13). If there is no long label or if a straight line pair that can be approximated to a white line cannot be detected, it is checked whether or not the straight line is an approximate straight line of white lines by combining straight lines with short labels (step S14). If a pair of approximate straight lines can be detected (step S15), the process is terminated as recognition success (step S16), and if not detected, the process is terminated as recognition failure (step S17).
【００３３】上記の実施例では、長いラベルによる直線
式と、他の直線式との組み合わせのチェックによって検
出できなかったときは、短いラベルどおしの直線式の組
み合わせのチェックを行うようにしているが、このよう
な方法によらずに、長いラベルによるチェックで検出で
きなかったときは、検出失敗として処理を終了するよう
にしてもよい。In the above embodiment, when the combination of the long label and the other linear expression cannot be detected, the combination of the short labels and the linear expression is checked. However, instead of such a method, if the check cannot be detected by the long label check, the process may be terminated as a detection failure.
【００３４】例えば、処理速度に重点をおいて、必ずし
も毎回、白線を検出しなくてもよいようなシステムの場
合には、長いラベルでのチェックだけで終了するように
してもよい。この場合でも、先に述べたように、長いラ
ベルの場合にはそれが白線の一方である可能性は非常に
高いので、これによって検出できなくて、短いラベルど
うしの組み合わせで検出できる可能性はそれほど高くな
いからである。For example, in the case of a system in which it is not necessary to detect the white line each time, with emphasis on the processing speed, the check may be completed with only a long label. Even in this case, as mentioned above, in the case of a long label, it is very likely that it is one of the white lines, so it is not possible to detect by this, and it is possible to detect with a combination of short labels. Because it is not so expensive.
【００３５】また以上の説明においては、ラベルの長さ
についての特徴を利用したが、例えばラベルの面積また
はラベルの主軸の方向のような特徴を用いるようにして
もよい。すなわち、面積の大きいもの、または主軸の方
向が揃っているラベルの組み合わせによる直線を基準と
する方法をとることも可能である。Further, in the above description, the feature about the length of the label is used, but the feature such as the area of the label or the direction of the main axis of the label may be used. That is, it is possible to adopt a method in which a straight line having a large area or a combination of labels whose main axis directions are aligned is used as a reference.
【００３６】図３は、ラベルの主軸の方向を説明するも
のであって、符号１３０はラベルを示している。このラ
ベル１３０の重心Ｇを通る直線のうち、ラベル１３０に
よって切り取られる線分の長さが最も長くなる直線が主
軸である。図中においては、水平線と角度θで交わる直
線が、主軸を形成している。FIG. 3 illustrates the direction of the main axis of the label, and reference numeral 130 indicates the label. Of the straight lines passing through the center of gravity G of the label 130, the straight line having the longest length of the line segment cut by the label 130 is the main axis. In the figure, a straight line that intersects the horizontal line at an angle θ forms the main axis.
【００３７】図４は、実空間座標を説明するものであっ
て、１４０は路面を撮像するカメラを示し、Ｈはカメラ
の高さ、τはカメラの伏角である。実空間座標では、路
面の座標は、Ｙ＝０となる。FIG. 4 is a diagram for explaining the real space coordinates, where 140 is a camera for imaging the road surface, H is the height of the camera, and τ is the dip angle of the camera. In real space coordinates, the road surface coordinates are Y = 0.
【００３８】図５は、画像上における座標を説明するも
のであって、Ｘsize, Ｙsizeはそれぞれ、ｘ軸，ｙ軸の
画素数である。また図中において、Ｌは直線式ｙ＝ａｘ
＋ｂで表される直線を示している。FIG. 5 explains the coordinates on the image, and X size and Y size are the numbers of pixels on the x axis and the y axis, respectively. Further, in the figure, L is a linear expression y = ax
A straight line represented by + b is shown.
【００３９】画像上における座標と、実空間の座標との
間においては、次の関係式が成立する。 ｘ＝(Xsize／２) ＋Sx・fX／( Hsinτ＋Zcosτ) …(1) ｙ＝(Ysize／２) −Sy・f(Zsinτ−Hcosτ) ／( Hsinτ＋Zcosτ) …(2) ここで、ｆはカメラ１４０のレンズの焦点距離、Ｓx は
カメラ１４０の撮像素子面のｘ軸上の距離と素子数との
変換係数、Ｓy はカメラ１４０の撮像素子面のｙ軸上の
距離と素子数との変換係数である。なお、画像上におけ
る座標は、画素単位の座標である。The following relational expression holds between the coordinates on the image and the coordinates in the real space. x = (X size / 2) + Sx · fX / (Hsinτ + Zcosτ)… (1) y ＝ (Y size / 2) −Sy ・ f (Zsinτ−Hcosτ) / (Hsinτ + Zcosτ)… (2) where f is the camera 140 is the focal length of the lens, Sx is a conversion coefficient between the distance on the x-axis of the image sensor surface of the camera 140 and the number of elements, and Sy is a conversion coefficient between the distance on the y-axis of the image sensor surface of the camera 140 and the number of elements. Is. The coordinates on the image are the coordinates in pixel units.
【００４０】この場合、画像上における直線ｙ＝ａｘ＋
ｂは、(1),(2) 式の関係から、実空間の直線In this case, the straight line y = ax + on the image
b is a straight line in the real space from the relationship of equations (1) and (2).
【数１】 に変換できる。[Equation 1] Can be converted to.
【００４１】図６は、２直線の傾きと距離を説明するも
のである。２つの直線のペアが、左右白線の近似直線に
みあうか否かのチェックは、次のようにして行うことが
できる。FIG. 6 illustrates the inclination and distance of two straight lines. The check as to whether or not the pair of two straight lines match the approximate straight lines of the left and right white lines can be performed as follows.
【００４２】いま、画像座標上の２直線を実空間座標に
変換したものを、 Ｚ＝ＡＸ＋Ｂ1 Ｚ＝ＡＸ＋Ｂ2 とすると、左右の白線は、ほぼ平行であるから、２直線
の平行度をチェックするためには、２直線の傾きＡ1,Ａ
2 がほぼ等しいか否かをチェックすればよい。これに
は、次式による判定を行えばよい。 ｜Ａ1 −Ａ2 ｜／Ａ1 ＜ｔｈ ここで、ｔｈは所定のしきい値である。Now, assuming that two straight lines on the image coordinates are converted into real space coordinates as Z = AX + B 1 Z = AX + B 2 , the white lines on the left and right are almost parallel, so the parallelism of the two straight lines is checked. To do this, the slope of the two straight lines A 1, A
You just have to check if 2 is almost equal. This can be determined by the following formula. | A 1 −A 2 | / A 1 <th where th is a predetermined threshold value.
【００４３】このようにして２直線の傾きがほぼ等しい
ことをチェックしたのち、２直線間の距離ｌを求める。
図６に示すように、傾きの等しい２直線Ｚ＝ＡＸ＋
Ｂ1 ，Ｚ＝ＡＸ＋Ｂ2 の間の距離ｌは、Ｂ1 ＞ Ｂ2 と
してAfter checking that the slopes of the two straight lines are substantially equal in this way, the distance l between the two straight lines is obtained.
As shown in FIG. 6, two straight lines Z = AX + having the same slope
The distance l between B 1 and Z = AX + B 2 is B 1 > B 2.
【数２】 となる。[Equation 2] Becomes
【００４４】いま、この２直線が左右の白線を近似する
直線であれば、この距離ｌが、現実にある白線間の距離
の範囲内になると考えられる。すなわち、距離ｌは次の
条件を満たしている。ｗ1 ≦ｌ≦ｗ2ここで、ｗ1 は左
右白線間距離の最低値のしきい値、ｗ2 は左右白線間距
離の最高値のしきい値である。Now, if these two straight lines are straight lines approximating the left and right white lines, it is considered that this distance 1 is within the range of the distance between the white lines actually present. That is, the distance 1 satisfies the following condition. w 1 ≦ l ≦ w 2 where w 1 is the minimum threshold value of the distance between the left and right white lines, and w 2 is the maximum threshold value of the distance between the left and right white lines.
【００４５】[0045]
【発明の効果】以上説明したように、本発明によれば、
ビデオカメラによって得られた画像を処理して、路面上
の白線を識別する画像処理において、白線の認識に必要
な画像処理量を少なくすることができるので、処理速度
を向上することが可能になるという、従来にない優れた
画像処理におけるライン認識方法を提供することができ
る。As described above, according to the present invention,
In the image processing for processing the image obtained by the video camera to identify the white line on the road surface, the image processing amount necessary for recognizing the white line can be reduced, so that the processing speed can be improved. That is, it is possible to provide an unprecedented excellent line recognition method in image processing.
【図１】本発明の原理的手法を示す説明図で、図１
（Ａ）は長さの長いラベルについて単独で直線式を求め
る場合の処理を、図１（Ｂ）は直線のペアから白線か否
かのチェックを行う場合の処理を各々示す。FIG. 1 is an explanatory diagram showing the principle method of the present invention.
FIG. 1A shows a process for obtaining a straight line expression independently for a long label, and FIG. 1B shows a process for checking whether or not a straight line pair is a white line.
【図２】本発明の一実施例を示す処理フローである。FIG. 2 is a processing flow showing an embodiment of the present invention.
【図３】ラベルの主軸の方向を説明する図である。FIG. 3 is a diagram illustrating a direction of a main axis of a label.
【図４】実空間座標を説明する図である。FIG. 4 is a diagram illustrating real space coordinates.
【図５】画像上での座標を説明する図である。FIG. 5 is a diagram illustrating coordinates on an image.
【図６】二直線の傾きと距離を説明する図である。FIG. 6 is a diagram illustrating the inclination and distance of two straight lines.
【図７】画像処理装置のシステム構成を示す図である。FIG. 7 is a diagram showing a system configuration of an image processing apparatus.
【図８】カメラによって得られた前方道路面の画像を示
す図である。FIG. 8 is a diagram showing an image of a road surface ahead obtained by a camera.
【図９】前方道路面の画像から白線領域候補として抽出
された画像を示す図である。FIG. 9 is a diagram showing an image extracted as a white line area candidate from an image of a road surface ahead.
【図１０】ラベリング処理を説明する図である。FIG. 10 is a diagram illustrating a labeling process.
【図１１】二つのラベルから直線式を求める処理を説明
する図である。FIG. 11 is a diagram illustrating a process of obtaining a linear expression from two labels.
【図１２】直線のペアから白線か否かをチェックする処
理を説明する図である。FIG. 12 is a diagram illustrating a process of checking whether a straight line pair is a white line.
【図１３】最終的に白線を近似する直線の導出処理を説
明する図である。FIG. 13 is a diagram illustrating a derivation process of a straight line that finally approximates a white line.
Ｌ1 近似直線 Ｌn 近似直線L 1 approximate straight line L n approximate straight line
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｃ // Ｇ０５Ｄ 1/02 Ｋ ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical indication H04N 7/18 C // G05D 1/02 K
Claims (2)
出してラベリングを行い、２つのラベルを結ぶ近似直線
群中の二直線の組み合わせについて道路面の左右の白線
にみあうか否かのチェックを行って、白線に近似できる
と判断された場合に、該直線の組み合わせを左右の白線
として認識する画像処理によるライン認識方法におい
て、 前記各ラベルの形状的特徴点としての長さを算出して、
該長さの長いラベルについて単独で近似直線（Ｌn ）を
求めたのち、該近似直線と他の近似直線（Ｌ1）との組
み合わせについて前記道路面の左右の白線にみあうか否
かをチェックする処理を予め行うと共に、その後に白線
に近似できるか否かの判断を行うことを特徴とする画像
処理によるライン認識方法。1. A white line candidate area is extracted from an image of a road surface ahead and labeled, and it is checked whether or not a combination of two straight lines in an approximate straight line group connecting two labels is present on the left and right white lines of the road surface. In the line recognition method by image processing for recognizing the combination of the straight lines as the left and right white lines when it is determined that the label can be approximated to the white line, the length as the geometric feature point of each label is calculated. ,
After obtaining an approximate straight line (L n ) independently for the long label, it is checked whether or not a combination of the approximate straight line and another approximate straight line (L 1 ) is present on the left and right white lines of the road surface. A line recognition method by image processing, characterized in that the above-mentioned processing is performed in advance, and then whether or not the white line can be approximated is determined.
n ）と他の近似直線（Ｌ1 ）との画像座標を実空間座標
に変換すると共に、該実空間座標上の両直線の平行度と
両直線間の距離とを算出し、これらが所定範囲内にある
ことを判定することによって、該両直線が道路面の左右
の白線にみあうか否かをチェックすることを特徴とした
請求項１記載の画像処理によるライン認識方法。2. An approximate straight line (L
n ) and the other approximate straight line (L 1 ) are converted into real space coordinates, the parallelism of both straight lines in the real space coordinates and the distance between the straight lines are calculated, and these are within a predetermined range. 2. The line recognition method by image processing according to claim 1, wherein it is checked whether or not the two straight lines are on the left and right white lines on the road surface by determining that they are inside.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5348628A JPH07200782A (en) | 1993-12-27 | 1993-12-27 | Line recognition method by image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5348628A JPH07200782A (en) | 1993-12-27 | 1993-12-27 | Line recognition method by image processing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07200782A true JPH07200782A (en) | 1995-08-04 |
Family
ID=18398277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5348628A Withdrawn JPH07200782A (en) | 1993-12-27 | 1993-12-27 | Line recognition method by image processing |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07200782A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007200005A (en) * | 2006-01-26 | 2007-08-09 | Honda Motor Co Ltd | Operation support device |
| JP2009237901A (en) * | 2008-03-27 | 2009-10-15 | Zenrin Co Ltd | Method of creating road marker map |
| JP2011248638A (en) * | 2010-05-27 | 2011-12-08 | Nissan Motor Co Ltd | Road environment information acquiring apparatus and method of the same |
-
1993
- 1993-12-27 JP JP5348628A patent/JPH07200782A/en not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007200005A (en) * | 2006-01-26 | 2007-08-09 | Honda Motor Co Ltd | Operation support device |
| JP4621600B2 (en) * | 2006-01-26 | 2011-01-26 | 本田技研工業株式会社 | Driving assistance device |
| JP2009237901A (en) * | 2008-03-27 | 2009-10-15 | Zenrin Co Ltd | Method of creating road marker map |
| JP2011248638A (en) * | 2010-05-27 | 2011-12-08 | Nissan Motor Co Ltd | Road environment information acquiring apparatus and method of the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5341437A (en) | Method of determining the configuration of a path for motor vehicle | |
| JP2917661B2 (en) | Traffic flow measurement processing method and device | |
| Piccioli et al. | Robust road sign detection and recognition from image sequences | |
| JP2000357233A (en) | Body recognition device | |
| JP2007179386A (en) | Method and apparatus for recognizing white line | |
| CN114639078A (en) | Vehicle type recognition method, device and system | |
| CN110088807B (en) | Separation line identification device | |
| JPH1186185A (en) | Vehicle-type discriminating device | |
| WO2019149213A1 (en) | Image-based road cone recognition method and apparatus, storage medium, and vehicle | |
| JP3807651B2 (en) | White line recognition device | |
| JPH11213284A (en) | Vehicle kind discrimination device | |
| JPH07244717A (en) | Travel environment recognition device for vehicle | |
| JPH07200782A (en) | Line recognition method by image processing | |
| JP2798349B2 (en) | Vehicle position detection device | |
| JPH1166226A (en) | License plate recognizing device for vehicle | |
| JPH07162846A (en) | Follow-up recognizing device for object | |
| JP4106163B2 (en) | Obstacle detection apparatus and method | |
| JP3287166B2 (en) | Distance measuring device | |
| JPH0997335A (en) | Vehicle recognition device and traffic flow measuring instrument | |
| JP2001108434A (en) | Method and apparatus for measuring distance | |
| JPH0757200A (en) | Method and device for recognizing travel course | |
| JP2883131B2 (en) | Driving lane identification method | |
| JPH09198512A (en) | Vehicle recognition device | |
| JP3517999B2 (en) | Vehicle recognition device | |
| JPH0520593A (en) | Travelling lane recognizing device and precedence automobile recognizing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20010306 |