JPH0290380A - Running path discriminating method - Google Patents

Abstract

PURPOSE:To execute discrimination at high speed by extracting a first straight line corresponding to one running path end on image data obtained by bringing a running path to image pickup, and extracting a second straight line corresponding to an other running part end, based on its position, horizontal line position and running road width information. CONSTITUTION:Image data of a running path which is inputted by a camera 1 is stored temporarily in an image memory 3. Subsequently, a straight line group corresponding to the feature of an image is obtained by a DDA arithmetic part 5 through a pre-processing part 4, filtering, sorting and clustering are performed and a first straight line corresponding to one running path end is extracted by a straight line extracting/selecting part 9. Also, based on the horizontal line position calculated on the image data, based on position information of the camera 1, the position of a first straight line and running road width information which is set in advance, a second straight line corresponding to the other running path end is extracted. A discriminating part 10 discriminates the shape of the running path, based on the first straight line and the second straight line, and the shape of the running path can be recognized at high speed.

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像処理によって走行路の形状を認識するに際
して、その走行路端を容易に判別できるようにした走行
路判別方法に関するものである。DETAILED DESCRIPTION OF THE INVENTION [Industrial Application Field] The present invention relates to a traveling road discrimination method that allows the edges of the traveling road to be easily determined when the shape of the traveling road is recognized by image processing.

〔従来の技術〕[Conventional technology]

走行路の形状を認識するに際しては、その端部（走行路
端）を判別することが必要になる。このためには、ＴＶ
左カメラどによって得られたブタを画像処理し、走行路
端に対応した線分を抽出することか必要になり、その一
方法としてＨｏｕｇｈ変換を用いたものがある（例えば
特開昭６２−２４３１０号、同６２−７０９１６号など
）。これによれば、画像データとして得られた画像上の
各特徴点に対してＨｏｕｇｈ変換を行なうことにより、
特徴点の分布の特徴に対応した直線群を求めることがで
きる。In order to recognize the shape of a travel road, it is necessary to determine its end (traveling road edge). For this purpose, TV
It is necessary to process the image of the pig obtained by the left camera and extract the line segment corresponding to the edge of the road, and one method is to use Hough transformation (for example, Japanese Patent Laid-Open No. 62-24310 No. 62-70916, etc.). According to this, by performing Hough transformation on each feature point on an image obtained as image data,
It is possible to obtain a group of straight lines corresponding to the characteristics of the distribution of feature points.

〔発明が解決しようとする課題〕[Problem to be solved by the invention]

しかしなから、上記の画像処理により得られる直線群は
極めて多数の直線から構成されるので、どの直線が走行
路端に対応しているのかを判別することは容易でない。However, since the straight line group obtained by the above image processing is composed of an extremely large number of straight lines, it is not easy to determine which straight line corresponds to the edge of the road.

特に、自動車などの走行制御に応用しようとするときに
は、走行路端に対応する直線は短時間で抽出しなければ
ならないか、従来のものではこれは困難なことであった
。In particular, when applying this method to travel control of automobiles, it is necessary to extract straight lines corresponding to the edges of the road in a short period of time, which is difficult to do with conventional methods.

本発明は上記の問題点を克服するためになされたもので
、画像処理により得られた多数の直線から、走行路端に
対応する一対の直線を容易にかつ高速に抽出することの
できる走行路判別方法を提供することを目的とする。The present invention has been made to overcome the above-mentioned problems, and is capable of easily and quickly extracting a pair of straight lines corresponding to the edge of the traveling road from a large number of straight lines obtained through image processing. The purpose is to provide a discrimination method.

〔課題を解決するための手段〕[Means to solve the problem]

本発明に係る走行路判別方法は、走行路をカメラで撮像
して得られた画像データに含まれる特徴点からその形状
を判別する走行路判別方法において、特徴点の並びに近
似した直線群を求める第１のステップと、あらかじめ設
定されたカメラ位置情報にもとづき画像データ上で地平
線位置を演算する第２のステップと、画像データ上で一
方の走行路端に対応して現われる特徴点の並びに近似し
た第１の直線を上記の直線群の中から抽出する第３のス
テップと、画像上の地平線位置と第１の直線の位置とあ
らかじめ設定された走行路幅情報にもとづき、画像上で
の他方の走行路端に対応して現れる特徴点の並びに近似
した第２の直線を、地平線位置と第１の直線の交点近傍
を通りかつ第１の直線の位置と走行路幅情報に対応した
距離だけ離れた直線群の中から抽出する第４のステップ
とを備え、第１および第２の直線にもとづいて走行路の
形状を判別することを特徴とする。A driving path determination method according to the present invention is a driving path determination method in which the shape of a driving path is determined from characteristic points included in image data obtained by imaging the driving path with a camera, and an arrangement of feature points and a group of approximate straight lines are determined. The first step is calculating the horizon position on the image data based on preset camera position information, and the second step is calculating the horizon position on the image data based on the camera position information set in advance. A third step of extracting the first straight line from the above straight line group, and a third step of extracting the other straight line on the image based on the horizon position on the image, the position of the first straight line, and preset driving road width information. A second straight line approximated by the arrangement of feature points that appear corresponding to the edge of the driving road passes through the vicinity of the intersection of the horizon position and the first straight line and is separated by a distance corresponding to the position of the first straight line and the driving road width information. and a fourth step of extracting from a group of straight lines, and the shape of the traveling path is determined based on the first and second straight lines.

〔作用〕[Effect]

本発明においては、画像処理により得られた多数の直線
の中から一方の走行路端に対応するものを決定し、地平
線および走行路（道路）幅との対応関係から他方の走行
路端に対応する直線を予測し、その予測にもとづいて上
記他方の走行路端に対応する直線を抽出している。この
ため、一対の直線を効率よく見出すことが可能になる。In the present invention, from among a large number of straight lines obtained through image processing, one that corresponds to one running road edge is determined, and the one corresponding to the other running road edge is determined based on the correspondence with the horizon line and the running road (road) width. The straight line corresponding to the other road edge is extracted based on the prediction. Therefore, it becomes possible to efficiently find a pair of straight lines.

〔実施例〕〔Example〕

以下、添付図面を参照して本発明の詳細な説明する。 Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

第１図は本発明の基本概念を示している。まず、走行車
両に搭載されたカメラにより取り込まれる情景が、例え
ば第１図（ａ）のようになっているとする。すなわち、
走行路端５１を境界とする走行路左端にはガードレール
５２、右側にはあぜ道５３があり、地平線５４の上には
山脈５５が存在している。このような情景を原画像とし
て撮像し、微分して得られるエツジ化データをドツト５
６で表現すると、例えば第１図（ｂ）のようになる。FIG. 1 shows the basic concept of the invention. First, assume that a scene captured by a camera mounted on a traveling vehicle is, for example, as shown in FIG. 1(a). That is,
There is a guardrail 52 at the left end of the running road with the running road edge 51 as the boundary, a furrow road 53 on the right side, and a mountain range 55 above the horizon 54. Such a scene is captured as an original image, and the edge data obtained by differentiation is used as a dot 5.
6, it becomes, for example, as shown in FIG. 1(b).

そこで、このドツト５６に対して後述のＨｏｕｇｈ変換
を施して線分抽出処理を行なっていくと、第１図（Ｃ）
のような直線Ｌ　−ＬＳＩ Ω１、Ω２などを含む直線群が得られる。Therefore, when performing Hough transformation to be described later on this dot 56 and performing line segment extraction processing, as shown in Fig. 1(C).
A straight line group including the straight lines L-LSI Ω1, Ω2, etc. is obtained.

このＨｏｕｇｈ変換の結果に対し、後述のフィルタリン
グ処理、ソーティング処理およびクラスタリング処理を
行なうと、画像データ（ドツト５６）の最も特徴的な並
びに近似した直線を代表値として求めることができる。By performing filtering processing, sorting processing and clustering processing, which will be described later, on the result of this Hough transformation, it is possible to obtain the most characteristic and approximate straight line of the image data (dots 56) as representative values.

いま、右側の走行路端５１に対応する直線Ω１が最大の
代表値に対応しているとすると、この直線ｐ１は第１図
（ｄ）のように描かれ、これは地平線位置Ｈとこれに平
行な下側平行ラインＨとに交叉することになる。Now, assuming that the straight line Ω1 corresponding to the right side road edge 51 corresponds to the maximum representative value, this straight line p1 is drawn as shown in FIG. It intersects the parallel lower parallel line H.

ここで、地平線位置Ｈはカメラの設置位置等（カメラ位
置情報）から計算することができ、下側平行ラインＨに
おける走行路端５１の間隔もν カメラの設置位置や走行路幅等（走行路幅情報）から計
算することができるので、他方の走行路端５］は第１図
（ｄ）の直線Ｌ　　、Ｌ　　のいずれかＲ にあることが理論的に求まる。そこで、前述の代表値を
調べてみると左側の直線がこれに対応していることかわ
かり、第２の直線ρ２を第１図（ｅ）のように求めるこ
とができる。Here, the horizon position H can be calculated from the camera installation position, etc. (camera position information), and the distance between the running road edges 51 on the lower parallel line H is also ν. Since it can be calculated from the width information), it can be theoretically determined that the other running road edge 5] lies on either straight line R of straight lines L and L shown in FIG. 1(d). Therefore, by examining the aforementioned representative values, it can be seen that the straight line on the left side corresponds to this, and the second straight line ρ2 can be determined as shown in FIG. 1(e).

次に、本発明の実施例を順次説明していく。Next, embodiments of the present invention will be sequentially described.

第２図は本発明の実施例か適用可能な走行路判別装置を
、機能実現手段の結合として表現した概念図である。図
示の通り、カメラ１で取り込まれた走行路の画像データ
はＡ／Ｄ変換部２でディジタルデータに変換され、画像
メモリ３に一時的に格納される。画像メモリ３から読み
出された画像データは前処理部４に与えられ、ここで微
分によるエツジ検出、ルックアップテーブル（ＬＵＴ）
による閾値処理、領域設定、座標変換などが行なわれる
。ＤＤＡ演算部５はいわゆるディジタル微分解析（Ｄｉ
ｇｉｔａｌ　Ｄｉｆｆｅｒｅｎｔｉａｌ　Ａｎａｌｙｓ
ｉｓ　）を行なうもので、Ｒｏｕｇｈ変換がパイプライ
ン方式でなされる。そして、このＲｏｕｇｈ変換によっ
て画像の特徴に対応する直線群が得られる。FIG. 2 is a conceptual diagram illustrating a driving route discriminating device to which an embodiment of the present invention can be applied, as a combination of function realizing means. As shown in the figure, the image data of the driving route captured by the camera 1 is converted into digital data by the A/D converter 2 and temporarily stored in the image memory 3. The image data read out from the image memory 3 is given to the preprocessing unit 4, where it is subjected to edge detection by differentiation and look-up table (LUT).
Threshold processing, area setting, coordinate transformation, etc. are performed. The DDA calculation unit 5 performs so-called digital differential analysis (Di
Digital Differential Analyzes
is), and Rough conversion is performed in a pipeline manner. Then, through this Rough transformation, a group of straight lines corresponding to the features of the image is obtained.

Ｈｏｕｇｈ変換により得られた直線群に関するデータは
近傍フィルタリング部６に与えられ、ここで例えば８近
傍フイルタリング処理が施された後に、ピークソーティ
ング部７に与えられ、さらにクラスタリング部８におけ
るクラスタリング処理によって代表値が選ばれ、これが
直線抽出／選定部９に送られる。抽出および選定された
直線に関するデータは判別部１０に送られ、ここで走行
路の形状が判別される。判別出力は外部の装置（図示せ
ず）に送られると共に、モニタ制御部１１にも送られ、
走行路の画像と共にモニタ１２で表示される。なお、上
記の機能実現手段の動作はコントローラ１３で制御され
る。また、初期設定部１４は走行路幅のデータ、カメラ
位置のデータなどを初期設定するために用いられる。The data related to the straight line group obtained by Hough transformation is given to the neighborhood filtering section 6, where it is subjected to, for example, 8 neighborhood filtering processing, and then given to the peak sorting section 7, and furthermore, it is given to the peak sorting section 7 by the clustering processing in the clustering section 8 to A value is selected and sent to the straight line extraction/selection section 9. The data regarding the extracted and selected straight lines is sent to the determining section 10, where the shape of the traveling path is determined. The determination output is sent to an external device (not shown) and also to the monitor control unit 11,
It is displayed on the monitor 12 together with the image of the running route. Note that the operation of the above function realizing means is controlled by the controller 13. Further, the initial setting section 14 is used to initialize data on the driving road width, data on the camera position, and the like.

次に、上記装置に適用された実施例方法を順次に説明す
る。Next, embodiment methods applied to the above apparatus will be sequentially explained.

第３図は処理の流れを全体的に示すフローチャートであ
る。ます、処理の開始に際しては初期設定が行なわれる
（ステップ２０１）。この初期設定には走行路幅ＷＲの
設定の他、カメラ１の俯角θ　、カメラ１のレンズ焦点
距離ｆ１カメラ１の取付高さＨｃが含まれる。これを第
４図および第５図により説明する。FIG. 3 is a flowchart showing the overall process flow. First, when starting the process, initial settings are performed (step 201). In addition to setting the traveling road width WR, this initial setting includes the depression angle θ of the camera 1, the lens focal length f1 of the camera 1, and the mounting height Hc of the camera 1. This will be explained with reference to FIGS. 4 and 5.

第４図（ａ）に示すように、走行路３１上に走行車両３
２が存在しているとし、走行車両３２にはカメラ１が固
設されているとする。すると、カメラ１の俯角θ。およ
び取付高さＨｅは構造上あらかしめ既知の値として設定
できる。また、レンズ焦点距離ｆについてもカメラ１の
構造から既知の値として設定できる。なお、第４図（ｂ
）は同図（ａ）の光学系の位置関係を拡大して示したち
ノテする。一方、走行路幅ＷＲについては第５図に示す
ものか設定される。上記のデータが設定されると、第５
図に示すような画像下端部での走行路幅ｗｒを求めるこ
とができる。すなわち、画像上の走行路幅ｗｒは ｗｒ＝（ＷＲ’　　・　ｆ） ／ｆ（Ｌ　　　　＋Ｈ−ｔａｎ　　θ　　）ｃｏｓ　　
θ　　）ｌｏｗ　　　　　　ｃ　　　　　　　　　　ｏ
　　　　　　　　　　。As shown in FIG. 4(a), a traveling vehicle 3 is placed on a traveling path 31.
2 exists, and it is assumed that the camera 1 is fixedly installed on the traveling vehicle 32. Then, the depression angle θ of camera 1. The mounting height He can be set as a known value based on the structure. Further, the lens focal length f can also be set as a known value based on the structure of the camera 1. In addition, Fig. 4 (b
) is an enlarged view of the positional relationship of the optical system in figure (a). On the other hand, the traveling road width WR is set as shown in FIG. Once the above data is set, the fifth
The running road width wr at the lower end of the image as shown in the figure can be determined. That is, the running road width wr on the image is wr=(WR'・f)/f(L+H-tan θ)cos
θ )low co
.

・・・　（１） となる。ここで、画像下端部ｙ　　に写る距離ｏｗ Ｌ　　は第４図（ｂ）において ｌｏｗ ”ｌｏｗ ＝Ｈ／ｊａｎ　　（θ　＋ｔａｎ　　　（ｙ　　　／ｆ
）’１ｃ　　　　　　ｏ　　　　　　　ｌｏｗ・・・（
２） として求まり、カメラの向きと道の向きが傾いている場
合を考慮した道幅ＷＲ’　は、第５図（ｂ）おいて傾き
角ψから Ｗ　Ｒ’　＝　Ｗ　Ｒ／　ｓ　ｉ　ｎψ　　　　　　　
−（３）として求まる。... (1) becomes. Here, the distance ow L reflected at the lower end y of the image is low "low = H/jan (θ + tan (y /f) in FIG. 4(b).
)'1c o low...(
2) The road width WR', which takes into account the case where the direction of the camera and the direction of the road are inclined, is calculated from the inclination angle ψ in Fig. 5(b) as follows: WR' = WR/ sin ψ
−(3).

次に、第３図のステップ２０２として、画像上での地平
線の算出かなされる。この地平線位置Ｈは第４図（ｂ）
において、 Ｈ＝ｆ−ｔａｎ　θ。　　　　　　　　　−（４）とし
て算出される。Next, in step 202 in FIG. 3, the horizon on the image is calculated. This horizon position H is shown in Figure 4(b)
In, H=f-tan θ. −(4).

以上のような前段階の処理か終了したら、画像データを
人力し、走行路を判別する処理を繰り返して実行する。After completing the above-mentioned pre-processing, the image data is manually input and the process of determining the driving route is repeatedly executed.

すなわち、まず第３図のステップ２０５において画像デ
ータをディジタルデータとして第２図の画像メモリ３か
ら入力し、前処理部４で所定の前処理を行なう。ここで
は、例えば５ｏｂｅ　Ｉなどのエツジ検出を行ない、こ
のエツジ化データについて第２図のＤＤＡ演算部５でＨ
ｏｕｇｈ変換を行なう。このＨｏｕｇｈ変換は直列接続
された複数のＤＤＡ演算回路（図示せず）を用いてパイ
プライン方式で行なうことができるが、その処理の概要
は例えば、米国特許第３０６９６５４号や本出願人によ
る特願昭６３１１２２４３号に示されている。すなわち
、エツジ画像におけるあるエツジ点を通る直線を考え、
その直線に対して所定の原点から垂線を引く。そして、
この垂線の長さをρ、この垂線と画像上の座標の横軸と
のなす角をθとして上記θの値を変えていくと、そのエ
ツジ点を通る直線群が、Ｈｏｕｇｈ曲線と呼ばれるサイ
ンカーブに変換され、ρ、θ平面上に描かれていく。こ
のＨｏ　ｕ　ｇｈ凸曲線各エツジ点ごとに異なり、画像
上で同一直線上に並ぶようなエツジ点については、ρ、
θ平面でひとつの交点を有しているので、このρ−θ平
面上でのＨｏｕｇｈ曲線の重なり具合いを調べることで
、エツジ点の並びに近似した直線ｐをρ、θの値で求め
ることができる。That is, first, in step 205 in FIG. 3, image data is input as digital data from the image memory 3 in FIG. 2, and preprocessing section 4 performs predetermined preprocessing. Here, edges such as 5obe I are detected, and this edge data is processed by the DDA calculation section 5 in FIG.
Perform ough conversion. This Hough conversion can be performed in a pipeline method using a plurality of serially connected DDA calculation circuits (not shown), but the outline of the process can be found in, for example, US Pat. No. 3,069,654 and the patent application filed by the applicant. It is shown in Sho 63112243. In other words, consider a straight line that passes through a certain edge point in an edge image,
A perpendicular line is drawn from a predetermined origin to the straight line. and,
If the length of this perpendicular is ρ, and the angle between this perpendicular and the horizontal axis of the coordinates on the image is θ, and the value of θ is changed, a group of straight lines passing through the edge points will form a sine curve called a Hough curve. and is drawn on the ρ, θ plane. This Ho u gh convex curve is different for each edge point, and for edge points that line up on the same straight line on the image, ρ,
Since there is one point of intersection on the θ plane, by examining the degree of overlap of the Hough curves on this ρ-θ plane, the arrangement of edge points and the approximate straight line p can be found using the values of ρ and θ. .

これを、第６図面の簡単な説明する。This will be briefly explained in the sixth drawing.

いま、ｘ−ｙ平面（画像平面）上のエツジが、第６図（
ａ）に示すようにＥＰ　　、ＥＰｌ。Now, the edges on the x-y plane (image plane) are shown in Figure 6 (
EP, EPl as shown in a).

ＥＰ２の３点であったとする。すると、各エツジＥＰｏ
−ＥＰ２のそれぞれにつき１本づつのＨｏ　ｕ　ｇｈ凸
曲線サインカーブ）がρ−θ平面で描かれ、しかもエツ
ジＥ　Ｐ　ｏとＥＰ、による２本のＨｏｕｇｈ曲線は（
ρ　、θ　）で交点をもち、エツジＥＰ　　とＥ　Ｐ　
２による２本のＨｏｕｇｈ曲線は（ρ　、θ　）で交点
をもつ。そこで、第６図（ｂ）のようにＥＰｏ〜ＥＰ１
４の１５個のエツジが並んでいたとすると、各エツジに
ついて各１本づつのＨｏｕｇｈ曲線がρ−θ平面で描か
れることになる。そして、エツジＥＰｏ−ＥＰ８の９本
のＨｏｕｇｈ曲線については（ρ　、θ　）でＣＣ 交叉し、エツジＥＰ　　−ＥＰ、０の３本のＨｏｕｇｈ
曲線については（ρ　、θ　）で交叉ｂ し、エツジＥＰ　　−ＥＰｌ４の５本のＨｏ　ｕ　ｇ　
ｈ曲線については（ρ　、θ　）で交叉する。Assume that there are 3 points for EP2. Then, each edge EPo
- One Hough convex curve sine curve for each of EP2) is drawn on the ρ-θ plane, and the two Hough curves due to edges EP o and EP are (
ρ, θ), and the edges EP and EP
The two Hough curves according to 2 have an intersection at (ρ, θ). Therefore, as shown in FIG. 6(b), EPo~EP1
If 15 edges of 4 are lined up, one Hough curve will be drawn for each edge on the ρ-θ plane. Then, the nine Hough curves of edge EPo-EP8 cross CC at (ρ, θ), and the three Hough curves of edge EPo-EP, 0
The curve intersects at (ρ, θ), and the five edges EP-EPl4 are
The h curve intersects at (ρ, θ).

ａ 上記の説明から明らかなように、Ｒｏｕｇｈ曲線の交点
の頻度か高い点（ρ、θ）から、エツジの並びに近似し
た直線を求められ、画像におけるデータの特徴的な並び
を認識することができることになる。a As is clear from the above explanation, it is possible to find a straight line that approximates the edge arrangement from the points (ρ, θ) with a high frequency of intersections of the Rough curves, and to recognize the characteristic arrangement of data in an image. become.

次に、第３図のステップ２１０に対応するフィルタリン
グ処理を第７図により説明する。Next, the filtering process corresponding to step 210 in FIG. 3 will be explained with reference to FIG.

第７図はρ、θ座標におけるカウント値（各エツジ点に
より生じたＨｏｕｇｈ曲線の重なり具合い）を示してい
る。ここで８近傍のフィルタリング処理は、ある（ρ、
、θ、）におけるカウント１　　　　　　　ｊ 値　Ｃ０，について、その近傍の８つのカウントｌＪ 値と比較することで行なう。すなわち、（ρ、−１゜θ
、　）〜（ｐ、　、θ、　）のカウント値を、＋−１１
＋ｌ　　　Ｊ＋１ Ｃ１、〜Ｃ１、とじたときに、Ｃ１、 ｌ−１，，１−１１＋１．Ｊ＋１　　　　　　　　　１
．３かいずれのカウント値よりも大であるときに、これ
をピークとして抽出する。従って、例えば第７図の符号
Ｆ１で示す範囲では（ρ　、θ　）＝７はピークとして
抽出されるが、符号Ｆ２で示す（ρ　、θ６）＝６はピ
ークとして抽出されない。FIG. 7 shows count values at the ρ and θ coordinates (the extent to which Hough curves generated by each edge point overlap). Here, the 8-neighborhood filtering process is (ρ,
This is done by comparing the count 1 j value C0, at , θ, ) with eight count lJ values in its vicinity. That is, (ρ, −1°θ
, ) ~ (p, , θ, ) count value +-11
+l J+1 C1, ~C1, when closed, C1, l-1,,1-11+1. J+1 1
．． When the count value is greater than any of the three count values, this is extracted as a peak. Therefore, for example, in the range indicated by F1 in FIG. 7, (ρ, θ)=7 is extracted as a peak, but (ρ, θ6)=6, indicated by F2, is not extracted as a peak.

フィルタリング処理の次には、ソーティング処理がなさ
れる。これは、上記のカウント値Ｃの大きい順にデータ
を並びかえるもので、ソフトウェアにより実現してもよ
く、専用のハードウェアにより実現してもよい。After the filtering process, a sorting process is performed. This is to rearrange the data in descending order of the count value C described above, and may be realized by software or by dedicated hardware.

以上のソーティング処理が終了したら、次にクラスタリ
ング処理による代表値の選定がなされる（第３図のステ
ップ２１３）。これを第８図ないし第１０図により説明
する。After the above sorting process is completed, representative values are selected by clustering process (step 213 in FIG. 3). This will be explained with reference to FIGS. 8 to 10.

第８図はソーティングされたデータを示している。ここ
で、カウント値Ｃ，Ｃ，Ｃ２，・・・ロー Ｃについては、ソーティング処理によってＣ＞Ｃ＞Ｃ＞
・・・〉Ｃとなっている。り０　　１　　２　　　　　
ｎ−１ ラスクリング処理にあたっては、第９図のフローチャー
トの如くまずに＝０．ｉ−１に設定しくステップ５０１
）、ステップ５０２〜５１５の処理が繰り返される。そ
こで、上記ｉ、ｋを用いてこの処理を一般的に説明する
と、次のようになる。FIG. 8 shows the sorted data. Here, for the count values C, C, C2, . . . low C, C>C>C> by the sorting process.
...>C. R0 1 2
n-1 In the rusk ring process, firstly, as shown in the flowchart of FIG. Step 501: Set to i-1.
), the processing of steps 502 to 515 is repeated. Therefore, a general explanation of this process using the above i and k will be as follows.

まずステップ５０２において、ｉ＞ｋとなっているｉ番
目の直線がすでに他の直線の仲間になっているか否かが
調べられ、仲間となっていないときに ρ　−Δρ≦ρ・　≦ρに＋Δρ に１ θ　−Δθ≦θ、≦θに十Δθ ｋ　　　　　　　　　　」 が調べられる（ステップ５０４）。そして、上記の関係
が成立するときのみｉ番目の直線はに番目の直線の仲間
とされる（ステップ５０５）。次に、ｉに１が加算され
（ステップ５０７）、データが有りのときのみ（ステッ
プ５０８）ｉ番目のカウント値Ｃ１か最大のものに比べ
て小さすぎないか調べられる（ステップ５１０）。これ
は、カウント値があまり小さいものは処理の必要性が乏
しいからである。First, in step 502, it is checked whether the i-th straight line with i>k is already a member of another straight line, and if it is not a member, ρ −Δρ≦ρ・≦ρ +Δρ 1 θ −Δθ≦θ, ≦θ 1 Δθ k ” is checked (step 504). Then, only when the above relationship is established, the i-th straight line is determined to be a member of the i-th straight line (step 505). Next, 1 is added to i (step 507), and only when data is present (step 508), it is checked whether the i-th count value C1 is too small compared to the maximum value (step 510). This is because if the count value is too small, there is little need for processing.

小さすぎな、・いときは再びステップ５０２の処理こ戻
るが、小さすぎるときはｋに１が加算され（ステップ５
１１）、別のクラスタリングがステップ５１３から始め
られる。すなわち、ｋ番目の直線がすでに他の直線の仲
間になっているか否かが調べられ（ステップ５１３）、
仲間となっているときにはステップ５１１でｋに１が加
算されて再びステップ５１３が実行される。仲間となっ
ていないときは、ｋ番目の次のｉ　　（＝に＋１）番目
について（ステップ５１５）、再びステップ５０２か実
行される。If it is too small, the process returns to step 502, but if it is too small, 1 is added to k (step 5).
11), another clustering is started from step 513. That is, it is checked whether the kth straight line is already a member of another straight line (step 513),
If they are friends, 1 is added to k in step 511, and step 513 is executed again. If they are not friends, step 502 is executed again for the i (=+1)th after the kth (step 515).

上記の処理によってクラスタリングを行なった具体例を
第１０図に示す。同図において、第１の代表値はｐ　＝
　２００　［ｄｏｔｓ）　、θ−４５（ｄｅｇ）であり
、第２の代表値はρ＝　２４０　［ｄｏｔｓ）　、θ＝
１２３［ｄｅｇ］であることがわかる。A specific example of clustering performed by the above process is shown in FIG. In the same figure, the first representative value is p =
200 [dots), θ-45 (deg), and the second representative value is ρ=240 [dots), θ=
It can be seen that it is 123 [deg].

上記の処理の後には、第３図にステップ２１４゜２１６
で示す理論値にもとづく直線抽出および選定がなされる
。第１１図および第１２図はそのフローチャートである
。第１の直線、１！１の抽出は、第１１図のフローチャ
ートに示すように、まず第Ｎ（＝１）番目の代表値の直
線が第１の直線ρ１として取り出され（ステップ５５１
）、この直線□ に対して右側と左側の直線ｇ　１ｇ　　の理論値２ｒ　
　　　２　　ｇ が調べられる（ステップ５５２，５５４）。ここで、第
１の直線をΩ＝（ρ　、θ　）とすると、右側の直線β
　＝（ρ　、θ　）の理論値ρ２．。After the above processing, steps 214 and 216 are shown in FIG.
Straight lines are extracted and selected based on the theoretical values shown in . FIGS. 11 and 12 are flowcharts thereof. To extract the first straight line, 1!1, as shown in the flowchart of FIG.
), the theoretical value 2r of the straight line g 1g on the right and left side of this straight line □
2 g is examined (steps 552, 554). Here, if the first straight line is Ω=(ρ, θ), then the right straight line β
= Theoretical value of (ρ, θ) ρ2. .

２ｒ　　　　　　２ｒ　　　　２ｒ θ２．は ρ　＝Ｈ−５ｉｎθ２ｒ ２ｒ　　　　　。2r 2r 2r θ2. teeth ρ=H-5inθ2r 2r.

θ２ｒ＝ｔａｎ（〔（ρ１／ｃｏｓθ１）＋ｗｒ）〕　
ｌ／Ｈｌ　　　　　　　　・・・　（５）として求めら
れ、左側の直線ρ　　＝（ρ２Ω　　　２β′ θ　　）の理論値ρ　　、θ　　は ２ｇ　　　　　　２Ω　　２ρ ０２０＝Ｈ’５ｆｎ０２Ω θ　２　、＝ｔａｎ−’ｌ［”（ρ　　　／ｃｏｓ　　
　θ　　　）ｗｒ）／Ｈ）　　　　　　・・・（６）と
して求められる。そして、上記直線Ω１に対応する代表
値以外の代表値に理論値式（５）、（６）と近いものが
あるまで（ステップ５５７）、上記の操作が繰り返され
る（ステップ５５８）。θ2r=tan([(ρ1/cosθ1)+wr)]
l/Hl... (5) The theoretical values ρ, θ of the left straight line ρ = (ρ2Ω 2β' θ) are 2g 2Ω 2ρ 020=H'5fn02Ω θ 2 , =tan-'l["( ρ/cos
θ )wr)/H) ...(6). Then, the above operation is repeated (step 558) until there is a representative value other than the representative value corresponding to the straight line Ω1 that is close to the theoretical value equations (5) and (6) (step 557).

ここで、第１の直線Ω１が第１図（Ｃ）のようになって
いるとすると、理論値は走行路画像幅ｗｒと地平線位置
Ｈの関係から求められるが、この理論値に対応する代表
値の直線がステップ５６０の処理結果として第１図（Ｃ
）中のＬ２であったとする。このときには、これを第２
の直線Ω２の候補直線として直線確定操作を行なう（ス
テップ５６１）。Here, if the first straight line Ω1 is as shown in FIG. A straight line of values is shown in FIG. 1 (C
) is assumed to be L2. At this time, change this to the second
A straight line determination operation is performed as a candidate straight line for the straight line Ω2 (step 561).

ステップ５６１の処理の詳細は、第１２図のようになっ
ている。まず、第２の直線Ω２の候補直線のグループを
作る（ステップ５７１）。このグループの作り方として
は、代表値のうち所定範囲内のものをまとめる方式や、
Ｈｏｕｇｈ変換の際の分割数を補間する方式などがある
が、いずれにせよ理論値に近い直線Ｌ２の他、最終的に
選定される第２の直線ｇ２を含んだグループが作られる
（第１図（ｃ）参照）。次に、第１図（ｂ）のエツジ点
５６か各候補直線の下に何個あるかをカウントしくステ
ップ５７２）、最もカウント数の大きいものを最終的な
第２の直線Ω２とする。このようにして、直線Ｌ　　、
Ｌａなどに惑わされることなく、本来の第２の直線Ω２
を選定できる。The details of the process in step 561 are shown in FIG. First, a group of candidate straight lines for the second straight line Ω2 is created (step 571). This group can be created by grouping representative values within a predetermined range,
There are methods to interpolate the number of divisions during Hough transformation, but in any case, a group is created that includes the second straight line g2 that is finally selected in addition to the straight line L2 that is close to the theoretical value (see Figure 1). (see (c)). Next, the number of edge points 56 in FIG. 1(b) below each candidate straight line is counted (step 572), and the one with the largest count is determined as the final second straight line Ω2. In this way, the straight line L,
The original second straight line Ω2 without being confused by La etc.
can be selected.

以上の処理が終了したら、最後に走行路の形状判別を行
なう（第３図のステップ２１７）。When the above processing is completed, the shape of the travel path is finally determined (step 217 in FIG. 3).

〔発明の効果〕〔Effect of the invention〕

以上、詳細に説明した通り本発明によれば、画像処理に
より得られた多数の直線の中から一方の走行路端に対応
するものを決定し、地平線および走行路（道路）幅との
対応関係から他方の走行路端に対応する直線を予測し、
その予測にもとづいて上記他方の走行路端に対応する直
線を抽出している。このため、一対の直線を効率よく見
出すことが可能になり、画像処理により得られた多数の
直線から、走行路端に対応する一対の直線を容易にかつ
高速に抽出することができる。As described above in detail, according to the present invention, one of the many straight lines obtained by image processing that corresponds to one running road edge is determined, and the corresponding relationship with the horizon and the running road (road) width is determined. Predict the straight line corresponding to the other road edge from
Based on the prediction, a straight line corresponding to the other road edge is extracted. Therefore, it becomes possible to efficiently find a pair of straight lines, and it is possible to easily and quickly extract a pair of straight lines corresponding to the road edge from a large number of straight lines obtained by image processing.

【図面の簡単な説明】[Brief explanation of drawings]

第１図は、本発明の基本概念の説明図、第２図は、実施
例を適用した装置における機能実現手段の概念図、第３
図は、全体的な処理を示すフロチャート、第４図は、カ
メラの取付位置の説明図、第５図は、走行路における車
両の状態と画像の関係の説明図、第６図は、Ｈｏｕｇｈ
変換の説明図、第７図は、フィルタリング処理の説明図
、第８図は、Ｈｏｕｇｈ変換とソーティング処理の結果
の説明図、第９図は、クラスタリング処理の説明図、第
１０図は、クラスタリング処理の結果の具体例の説明図
、第１１図は、直線の抽出および選定のフローチャート
、第１２図は、直線確定操作のフローチャートである。 １・・・カメラ、２・・・Ａ／Ｄ変換部、３・・・画像
メモリ、５・・・ＤＤＡ演算部、６・・・近傍フィルタ
リング部、７・・・ピークソーティング部、８・・・ク
ラスタリング部、９・・・直線抽出／選定部、１０・・
・判別部、１１・・・モニタ制御部、１２・・・モニタ
、１３・・・コントローラ、１４・・・初期設定部、ｇ
ｌ・・・第１の直線、ρ２・・・第２の直線。 特許出願人　　本田技研工業株式会社 代理人弁理士　　　長谷用　　芳　　樹直羽ｉ徊敢８Ｊ
σ振友 直雇Ｕ礒定株伴 第 ν 図FIG. 1 is an explanatory diagram of the basic concept of the present invention, FIG. 2 is a conceptual diagram of a function realizing means in a device to which the embodiment is applied, and FIG.
The figure is a flowchart showing the overall process, Figure 4 is an explanatory diagram of the mounting position of the camera, Figure 5 is an explanatory diagram of the relationship between the vehicle condition on the road and the image, and Figure 6 is the Hough
FIG. 7 is an explanatory diagram of the filtering process. FIG. 8 is an explanatory diagram of the results of Hough transformation and sorting process. FIG. 9 is an explanatory diagram of the clustering process. FIG. 10 is an explanatory diagram of the clustering process. FIG. 11 is a flowchart for extracting and selecting a straight line, and FIG. 12 is a flowchart for determining a straight line. DESCRIPTION OF SYMBOLS 1... Camera, 2... A/D conversion part, 3... Image memory, 5... DDA calculation part, 6... Neighborhood filtering part, 7... Peak sorting part, 8...・Clustering section, 9...Line extraction/selection section, 10...
- Discrimination unit, 11... Monitor control unit, 12... Monitor, 13... Controller, 14... Initial setting unit, g
l...first straight line, ρ2...second straight line. Patent Applicant: Honda Motor Co., Ltd. Representative Patent Attorney Yoshi Hase Itsuki Naoha i Wandering 8J
σShinyou direct employmentUiso fixed stock number ν

Claims (1)

【特許請求の範囲】 １、走行路をカメラで撮像して得られた画像データから
その走行路の形状を判別する走行路判別方法において、 前記画像データに含まれる特徴点の並びに近似した直線
群を求める第１のステップと、 あらかじめ設定されたカメラ位置情報にもとづき前記画
像データ上で地平線位置を演算する第２のステップと、 前記画像データ上で一方の走行路端に対応して現われる
特徴点の並びに近似した第１の直線を前記直線群から抽
出する第３のステップと、 前記地平線位置と前記第１の直線の位置とあらかじめ設
定された走行路幅情報にもとづき、前記画像データ上で
の他方の走行路端に対応して現れる特徴点の並びに近似
した第２の直線を、前記地平線位置と前記第１の直線の
交点近傍を通りかつ前記第１の直線の位置と前記走行路
幅情報に対応した距離だけ離れた直線群の中から抽出す
る第４のステップとを備え、 前記第１および第２の直線にもとづいて走行路の形状を
判別することを特徴とする走行路判別方法。 ２、前記第４のステップは、前記画像データ上の前記第
１の直線の位置と前記走行路幅情報に対応した距離だけ
等しく離れた左右の２つの直線群の中から前記第２の直
線を抽出することを特徴とする請求項１記載の走行路判
別方法。[Scope of Claims] 1. A driving path discrimination method for determining the shape of a driving path from image data obtained by imaging the driving path with a camera, comprising: a group of straight lines approximated by the arrangement of feature points included in the image data; a first step of calculating the horizon position on the image data based on preset camera position information; and a second step of calculating a horizon position on the image data based on preset camera position information; and a feature point appearing on the image data corresponding to one of the road edges. a third step of extracting an approximated first straight line from the straight line group; A second straight line approximated by the arrangement of feature points appearing corresponding to the other running road edge passes through the vicinity of the intersection of the horizon position and the first straight line, and the position of the first straight line and the running road width information a fourth step of extracting from a group of straight lines separated by a distance corresponding to the distance, and determining the shape of the traveling route based on the first and second straight lines. 2. The fourth step is to select the second straight line from among two groups of left and right straight lines that are equally separated by a distance corresponding to the position of the first straight line on the image data and the traveling road width information. 2. The driving route determination method according to claim 1, further comprising the step of extracting.