JP2611326B2 - Road recognition device for vehicles - Google Patents
Road recognition device for vehiclesInfo
- Publication number
- JP2611326B2 JP2611326B2 JP63094959A JP9495988A JP2611326B2 JP 2611326 B2 JP2611326 B2 JP 2611326B2 JP 63094959 A JP63094959 A JP 63094959A JP 9495988 A JP9495988 A JP 9495988A JP 2611326 B2 JP2611326 B2 JP 2611326B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- area
- image
- vehicle
- dimensional coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
- Controls For Constant Speed Travelling (AREA)
Description
【発明の詳細な説明】 発明の目的 ［産業上の利用分野］ 本発明は、車両周囲の車外の画像から道路を認識する
車両用道路認識装置に関する。Description: Object of the Invention [Industrial application field] The present invention relates to a vehicle road recognition device that recognizes a road from an image outside the vehicle around the vehicle.
［従来の技術］ 車載のテレビカメラ等の撮像手段を用いて車両前後方
向の視野を撮像し、その画像に含まれる各種情報を取り
出して利用する装置がいくつか提案されている。例え
ば、特開昭59−127200号公報には、画像から道路標識を
認識する「車載交通標識報知装置」が開示されている。
また、軍用の車両として、平坦な領域を検出して自動走
行する無人戦車等の開発も行なわれている。2. Description of the Related Art There have been proposed some devices that capture an image of a field of view in the front-rear direction of a vehicle using an image capturing unit such as a TV camera mounted on a vehicle, and extract and use various information included in the image. For example, JP-A-59-127200 discloses an "in-vehicle traffic sign notification device" that recognizes a road sign from an image.
Further, as a military vehicle, an unmanned tank that detects a flat area and automatically travels has been developed.
［発明が解決しようとする課題］ しかしながら、道路標識等は走行している車両に対し
て常に一定の位置関係を有するとは限らないため、道路
標識を直接認識しようとすることは極めて困難であると
いう問題があった。従って、こうした技術を現実化する
ためには、走行する車両に対してほぼ一定の位置関係を
有する対象を特定し、これを確実に認識する装置が不可
欠である。かかる対象としては、道路が好適と考えられ
るが、３次元の実空間における道路の形状を正確に認識
する装置は従来提案されていない。[Problems to be Solved by the Invention] However, since a road sign or the like does not always have a fixed positional relationship with a running vehicle, it is extremely difficult to directly recognize a road sign. There was a problem. Therefore, in order to realize such a technology, a device that specifies an object having a substantially fixed positional relationship with a running vehicle and that reliably recognizes the object is indispensable. As such an object, a road is considered to be suitable. However, a device for accurately recognizing a road shape in a three-dimensional real space has not been proposed.
また、一般車両の自動走行、例えば先行車を追尾する
ような自動走行では、撮像した２次元画像から平坦な領
域を単に認識したり２次元平面における道路像を単純に
認識するだけでは不十分であり、走行用の道路の３次元
形状を正しく認識する必要がある。こうした視点から
も、実空間における道路の形状を正確に認識する装置が
必要となる。Further, in the automatic driving of a general vehicle, for example, in the automatic driving of following a preceding vehicle, it is not sufficient to simply recognize a flat area from a captured two-dimensional image or simply recognize a road image in a two-dimensional plane. Yes, it is necessary to correctly recognize the three-dimensional shape of the road for traveling. From such a viewpoint, a device that accurately recognizes the shape of the road in the real space is required.
本発明は、上記要請に応えるものであり、車外の画像
から道路領域を抽出して道路の実空間における形状を好
適に認識することを目的とする。The present invention satisfies the above-mentioned demands, and has an object to extract a road region from an image outside a vehicle and to appropriately recognize a shape of the road in a real space.
発明の構成 かかる目的を達成する本発明の構成について以下説明
する。Configuration of the Invention The configuration of the present invention that achieves the above object will be described below.
［問題点を解決するための手段］ 本発明の車両用道路認識装置は、第１図に例示するよ
うに、 車両M1周囲の車外を撮像する撮像手段M2と、 該撮像手段M2によって撮像された２次元画像から、道
路領域を認識する道路領域認識手段M3と、 該道路領域認識手段M3にて認識された道路領域の境界
を表す２次元座標を、上記撮像手段M2により撮像された
道路の実位置を表す３次元座標に変換する座標変換手段
M4と、 該座標変換手段M4にて生成された３次元座標が、実際
の道路が有する形態上の特性から導かれる関係式を満た
すように、該３次元座標を補正して該３次元座標にて表
される領域の形状を修正する座標補正手段M5と、 を備えたことを要旨とする。[Means for Solving the Problems] As shown in FIG. 1, the vehicle road recognizing device of the present invention has an image pickup means M2 for picking up an image outside the vehicle M1 and an image picked up by the image pickup means M2. From the two-dimensional image, road area recognition means M3 for recognizing the road area, and two-dimensional coordinates representing the boundary of the road area recognized by the road area recognition means M3 are stored in the actual image of the road imaged by the imaging means M2. Coordinate conversion means for converting to three-dimensional coordinates representing a position
M3 and the three-dimensional coordinates generated by the coordinate conversion means M4 are corrected to the three-dimensional coordinates so that the relational expression derived from the morphological characteristics of the actual road is satisfied. And a coordinate correcting means M5 for correcting the shape of the region represented by
ここで、道路領域の認識を行なう手段M3は、例えば撮
像された画像に対して種々の画像処理等を施して画像に
存在するいくつかの領域を抽出し、これらの領域の中か
ら道路領域に相当する領域を選択する構成や、道路とし
て指定された領域の色彩を記憶しその色彩の領域を追跡
する構成等、画像認識の種々の手法を実現するものとし
て構成することができる。Here, the means M3 for recognizing the road area extracts various areas existing in the image by, for example, performing various image processing on the captured image, and from these areas to the road area. It can be configured to realize various methods of image recognition, such as a configuration for selecting a corresponding area or a configuration for storing the color of an area designated as a road and tracking the color area.
座標を変換する手段M4は、撮像手段M2の配設位置等に
基づいて決まる所定の演算式を用いて、道路領域の境界
を表す２次元座標を、撮像手段M2により撮像された道路
の実位置を表す３次元座標に変換するものである。The means for converting coordinates M4 calculates the two-dimensional coordinates representing the boundary of the road area by using a predetermined arithmetic expression determined based on the arrangement position of the imaging means M2, etc., and calculates the actual position of the road imaged by the imaging means M2. Is converted into three-dimensional coordinates.
また、座標を補正する手段M5は、実際の道路が有する
形態上の特性から導かれる関係式を満たすように、座標
変換手段M4にて生成された３次元座標を補正するもので
ある。なお、実際の道路が有する形態上の特性とは、道
路幅が所定の区間では一定であるとか、交差点や分岐を
除けば道路の両縁は滑らかな直線もしくは曲線で構成さ
れるとか、交差点・分岐点の道路形状は予め知られた一
定の形状となるといった特性である。The coordinate correcting means M5 corrects the three-dimensional coordinates generated by the coordinate converting means M4 so as to satisfy a relational expression derived from the morphological characteristics of the actual road. Note that the morphological characteristics of an actual road include that the road width is constant in a predetermined section, that both edges of the road are formed of smooth straight lines or curves except for intersections and branches, and that intersections and intersections have different shapes. The road shape at the branch point has such a characteristic that it has a known shape in advance.
［作用］ 上記構成を有する本発明の車両用道路認識装置は、撮
像手段M2により撮像された車両M1周囲の車外の２次元画
像から、道路領域認識手段M3により道路領域を認識す
る。[Operation] The vehicle road recognition device of the present invention having the above configuration recognizes a road area by the road area recognition means M3 from a two-dimensional image outside the vehicle around the vehicle M1 captured by the imaging means M2.
そして、座標変換手段M4が、道路領域認識手段M3にて
認識された道路領域の境界を表す２次元座標を、撮像手
段M2により撮像された道路の実位置を表す３次元座標に
変換し、座標補正手段M5が、この３次元座標を、実際の
道路が有する形態上の特性から導かれる関係式を満たす
ように補正することにより、該３次元座標にて表される
領域、即ち認識すべき道路の形状を修正する。Then, the coordinate conversion means M4 converts the two-dimensional coordinates representing the boundary of the road area recognized by the road area recognition means M3 into three-dimensional coordinates representing the actual position of the road imaged by the imaging means M2, The correction means M5 corrects the three-dimensional coordinates so as to satisfy a relational expression derived from the morphological characteristics of the actual road, thereby obtaining an area represented by the three-dimensional coordinates, that is, a road to be recognized. Modify the shape of.
この結果、本発明の車両用道路認識装置は、例えば道
路の勾配の変化や交差点等の存在等による道路領域の形
態のずれを修正し、道路の実空間における形状を認識す
る。As a result, the vehicular road recognition device of the present invention corrects the form of the road area due to a change in the gradient of the road or the presence of an intersection or the like, and recognizes the shape of the road in the real space.
［実施例］ 以上説明した本発明の構成・作用を一層明らかにする
ために、以下本発明の車両用道路認識装置の好適な実施
例について説明する。第２図は本発明一実施例としての
車両用道路認識装置の概略構成図、第３図は同じくその
画像処理装置を中心に概略構成を示すブロック図であ
る。Embodiment In order to further clarify the configuration and operation of the present invention described above, a preferred embodiment of the vehicle road recognition device of the present invention will be described below. FIG. 2 is a schematic configuration diagram of a vehicle road recognition device as one embodiment of the present invention, and FIG. 3 is a block diagram showing a schematic configuration mainly of the image processing device.
図示するように、この車両用道路認識装置は、車両１
の前方を撮像するCCDを用いたフルカラーのテレビカメ
ラ３と、テレビカメラ３により撮像された画像を処理す
る画像処理装置５と、処理された後の画像を乗員に視認
し得るよう映し出すカラーモニタ７とから構成されてい
る。画像処理装置５は、周知のCPU11,ROM12,RAM13,画像
メモリ（以下、VRAMと呼ぶ）15等から算術論理演算回路
として構成されている。この画像処理装置５には、これ
らCPU11等のほか、バス17を介してこれらに相互に接続
された画像信号入力ポート18,入力回路19,CRTC20、更に
はテレビカメラ３からのRGB信号を各色毎にディジタル
信号に変換するA/D変換器22等を備えている。As shown in FIG.
A full-color television camera 3 using a CCD for imaging the front of the vehicle, an image processing device 5 for processing an image captured by the television camera 3, and a color monitor 7 for displaying the processed image so that an occupant can view it. It is composed of The image processing device 5 is configured as an arithmetic and logic operation circuit including a well-known CPU 11, a ROM 12, a RAM 13, an image memory (hereinafter, referred to as a VRAM) 15, and the like. The image processing apparatus 5 includes, in addition to the CPU 11 and the like, an image signal input port 18, an input circuit 19, and a CRTC 20 connected to each other via a bus 17, and further, an RGB signal from the television camera 3 for each color. And an A / D converter 22 for converting into a digital signal.
入力回路19には、確認用スイッチ25が接続されてい
る。このスイッチ25は、後述する道路認識処理におい
て、乗員による最終的な判断を求める際に使用される。
CPU11は、入力回路19を介してこのスイッチ25が操作さ
れた否かを随時読み取ることができる。画像信号入力ポ
ート18は、A/D変換器22に接続されており、テレビカメ
ラ３からの画像信号を逐次読み込んで、VRAM15の所定の
領域に展開する。従って、CPU11は、このVRAM15の所定
アドレスをアクセスすることにより、車外の画像を自由
に処理することができる。CRTC20は、カラーモニタ７に
接続されており、CPU11からの指示を受けて、VRAM15内
の所定の領域に展開された画像処理後の画像データを読
み出し、これをカラーモニタ７に表示する。A confirmation switch 25 is connected to the input circuit 19. The switch 25 is used when a final determination by the occupant is requested in a road recognition process described later.
The CPU 11 can read through the input circuit 19 at any time whether or not the switch 25 has been operated. The image signal input port 18 is connected to the A / D converter 22 and sequentially reads the image signal from the television camera 3 and develops the image signal in a predetermined area of the VRAM 15. Therefore, the CPU 11 can freely process the image outside the vehicle by accessing the predetermined address of the VRAM 15. The CRTC 20 is connected to the color monitor 7, and receives an instruction from the CPU 11, reads out image data after image processing developed in a predetermined area in the VRAM 15, and displays the image data on the color monitor 7.
以上の構成を有する本実施例の車両用道路認識装置に
おける道路認識処理について説明する。本実施例の装置
は、第４図（Ａ），（Ｂ）に示す道路認識処理ルーチン
を実行する。電源投入後、まず、画像信号入力ポート18
によりテレビカメラ３が撮像する車外の画像を入力する
処理を行なう（ステップ100）。入力された画像データ
は、上述した通り、VRAM15の所定の領域に展開される。
取り込んだ画像の一例を第５図（Ａ）に示す。続いて、
取り込んだ画像データに対して、例えばラプラシアンオ
ペレータ等の周知の空間フィルタを施すことにより二値
化し、撮像した画像からエッジを抽出する処理を行なう
（ステップ110）。エッジ抽出により、画像は、エッジ
とそれ以外の部分とに二値化される。エッジの抽出を行
なった後、エッジの拡大・縮小の処理を行なうことによ
り、本来生じるはずのエッジが画像取り込みの過程で欠
落しているような部位をつなぎ合わせる処理を行なう
（ステップ120）。こうしたエッジ抽出・処理の結果の
一例を第５図（Ｂ）に示す。Road recognition processing in the vehicle road recognition device of the present embodiment having the above configuration will be described. The apparatus of the present embodiment executes a road recognition processing routine shown in FIGS. 4 (A) and 4 (B). After turning on the power, first enter the image signal input port 18
Performs a process of inputting an image outside the vehicle captured by the television camera 3 (step 100). The input image data is developed in a predetermined area of the VRAM 15 as described above.
An example of the captured image is shown in FIG. continue,
The captured image data is binarized by applying a well-known spatial filter such as a Laplacian operator, and a process of extracting edges from the captured image is performed (step 110). By edge extraction, the image is binarized into edges and other parts. After edge extraction, edge enlargement / reduction processing is performed to perform processing for connecting portions where edges that should have occurred are missing in the process of capturing images (step 120). FIG. 5B shows an example of the result of such edge extraction and processing.
エッジの修復を行なった後、エッジで囲まれた部分を
ひとつの領域として取り出す処理を行なう（第４図
（Ａ）ステップ130）。エッジで囲まれた領域の取り出
しは、道路が存在する確率の高さを考慮して、画面の下
部に存在する領域から順に行ない、エッジを時計方向回
りにトレースすることにより、その領域の面積の算出を
併せて行なう。続いて、こうして抽出された領域が道路
に相当するか否かについて判断する。本実施例では、抽
出された領域について、ステップ130で算出されたその
面積が画面全体の1/10以上であり（ステップ140）、か
つその領域の存在する位置が道路に対応した位置である
と判断されたとき（ステップ150）、その領域を道路に
相当する領域と判断する。画面全体に対して道路が占め
るべき面積は、車両１のどの部位にテレビカメラ３が設
けられているか、またその仰角や倍率、あるいは道路の
勾配変化等により異なり、判断の基準となる割合は、実
験的に定められる。また、領域の位置についての判断
は、本実施例では、その領域が画面の最下部から中央部
にかけて存在するか否かにより行なう。テレビカメラ３
を車両１の前部に設けた場合、道路は通常この位置に撮
像されるからである。After the edge is repaired, a process of extracting a portion surrounded by the edge as one region is performed (step 130 in FIG. 4A). The extraction of the area surrounded by the edge is performed in order from the area existing at the bottom of the screen in consideration of the probability of the existence of the road, and by tracing the edge clockwise, the area of the area is extracted. The calculation is also performed. Subsequently, it is determined whether or not the extracted region corresponds to a road. In this embodiment, regarding the extracted area, the area calculated in step 130 is equal to or more than 1/10 of the entire screen (step 140), and the position where the area exists is a position corresponding to the road. When it is determined (step 150), the area is determined to be an area corresponding to a road. The area that should be occupied by the road with respect to the entire screen depends on which part of the vehicle 1 is provided with the television camera 3 and its elevation angle, magnification, or change in the gradient of the road. Determined experimentally. In this embodiment, the determination of the position of the region is made based on whether or not the region exists from the bottom to the center of the screen. TV camera 3
Is provided at the front of the vehicle 1, the road is usually imaged at this position.
抽出した領域が道路に相当しなければ、画面に存在す
る領域を総て抽出・判断したか否かを判断し（ステップ
160）、全領域の判断が済んでいなければステップ130の
処理に戻って次の領域についての判断を続行する。一
方、全領域についての判断が終了した場合には（ステッ
プ160）、ステップ100に戻って新たな画像の入力から再
度実行する。If the extracted area does not correspond to a road, it is determined whether all the areas existing on the screen have been extracted and determined (step
160) If the determination of all the areas has not been completed, the process returns to step 130 to continue the determination of the next area. On the other hand, when the determination for all the regions is completed (step 160), the process returns to step 100 to execute again from input of a new image.
ステップ130ないし150の処理により、抽出した領域が
道路であると判断された場合には、カラーモニタ７にこ
れを表示する処理を行なう（ステップ170）。この場合
には、道路として抽出した領域に視認性の高い処理（例
えば、黄色の彩色やその領域の点滅）を施し、撮像した
原画像に重ね併せて表示すれば、一目でこれを認識する
ことができ好適である。この例を、第５図（Ｃ）に示
す。図において、ハッチングされた領域は、カラーモニ
タ７上では、黄色に彩色されている。When it is determined that the extracted area is a road by the processing of steps 130 to 150, processing for displaying this on the color monitor 7 is performed (step 170). In this case, a high-visibility process (for example, yellow coloring or blinking of the area) is applied to the area extracted as a road, and displayed superimposed on the captured original image, so that it can be recognized at a glance. Is preferred. This example is shown in FIG. 5 (C). In the figure, the hatched area is colored yellow on the color monitor 7.
こうしてカラーモニタ７に示した領域を道路領域とし
て最終的に判断してよいか否かを、確認用スイッチ25の
操作により判定する（ステップ180）。一定期間内に確
認用スイッチ25が操作されれば、カラーモニタ７上に表
示した領域を道路と判断してよいとして、この領域の属
性、本実施例では道路幅Ｌとその色彩とを、RAM13の所
定のエリアに格納する（ステップ190）。In this manner, it is determined whether the area shown on the color monitor 7 can be finally determined as the road area by operating the confirmation switch 25 (step 180). If the confirmation switch 25 is operated within a certain period, the area displayed on the color monitor 7 may be determined to be a road. The attributes of this area, in this embodiment, the road width L and its color, are stored in the RAM 13. (Step 190).
以上の処理により、道路の初期認識が終了したとし
て、ステップ200以下、道路領域の属性を用いた道路の
認識を継続する。まず、初期認識処理におけるステップ
100,110,120と同様、テレビカメラ３の撮像した画像の
入力（ステップ200），エッジの抽出（ステップ210），
エッジの修復（ステップ220）を行ない、続いてRAM13に
記憶した属性のひとつである道路幅Ｌを用いて検出点の
設定を行なう（ステップ230）。検出点SPは、第６図
（Ａ），（Ｂ）に示すように、道路幅Ｌの1/2の点とし
て設定される。道路は、カープに差し掛かったりすれば
その形状は変化するが、画面最下部を占める幅には大き
な変化はないことに着目して、このように検出点SPを設
定し、この検出点SPの存在する領域から、領域の抽出を
開始するのである。検出点SPは、抽出した領域が道路と
認識できなければ、次々と上方の領域に移動されて新た
な領域の抽出が行なわれるが、検出点SPが画面の最上部
に至った場合には（ステップ240）、その画像では道路
領域の認識ができなかったとして、再び画像の入力（ス
テップ200）から上述した処理を繰り返す。With the above processing, it is determined that the initial recognition of the road has been completed, and the recognition of the road using the attributes of the road area is continued from step 200 onward. First, the steps in the initial recognition process
As in the case of 100, 110, and 120, input of an image captured by the television camera 3 (step 200), extraction of edges (step 210),
The edge is repaired (step 220), and subsequently, a detection point is set using the road width L which is one of the attributes stored in the RAM 13 (step 230). The detection point SP is set as a half point of the road width L as shown in FIGS. 6 (A) and 6 (B). The road changes its shape when approaching the carp, but focuses on the fact that there is no significant change in the width occupying the bottom of the screen. The extraction of the area is started from the area to be processed. If the extracted area cannot be recognized as a road, the detected point SP is successively moved to an upper area and a new area is extracted. If the detected point SP reaches the top of the screen, ( In step 240), it is determined that the road area cannot be recognized in the image, and the above-described processing is repeated again from the input of the image (step 200).
検出点SPが画面の上部まで至っていなければ、その検
出点SPが存在する領域を抽出し（ステップ250）、その
領域の面積が画面全体の1/10以上あるか否かの判断を行
なう（ステップ260）。面積が道路に相当する大きさ以
下であれば、検出点SPの設定（ステップ230）から上述
した処理を繰り返す。If the detection point SP does not reach the upper part of the screen, an area where the detection point SP exists is extracted (step 250), and it is determined whether or not the area of the area is 1/10 or more of the entire screen (step 250). Step 260). If the area is equal to or smaller than the size corresponding to the road, the above-described processing is repeated from the setting of the detection point SP (step 230).
抽出した領域の面積が画面の1/10以上の割合を占めて
いれば、次にその領域の属性のひとつである色彩につい
て判断する（ステップ270）。その領域の色彩がステッ
プ190においてRAM13に記憶した道路の色彩と同一とみな
すことができれば、その領域は道路であると判断し、こ
の領域が画面中央部まで連続しているか否かの判断（連
続性の判断）を行なう（ステップ280）。連続性が満足
されていれば、その領域は道路領域と認識して良いか
ら、後述するステップ400以下に移行する。こうして認
識された道路領域の一例を第５図（Ｄ）に示す。If the area of the extracted area occupies 1/10 or more of the screen, the color which is one of the attributes of the area is determined (step 270). If the color of the area can be regarded as the same as the color of the road stored in the RAM 13 in step 190, it is determined that the area is a road, and it is determined whether or not this area is continuous to the center of the screen (continuous). Sex determination) (step 280). If the continuity is satisfied, the area can be recognized as a road area, and the process proceeds to step 400 and later described later. An example of the road area thus recognized is shown in FIG.
現実の路上で撮像する場合には、道路に映じた陸橋や
建物、電柱等の影によりエッジを生じて道路領域が分断
されたていたり、あるいは横断歩道やセンタライン等の
白いラインによりエッジが生じて領域が分断されていた
りすることがある。こうした例を第５図（Ｅ）に示す。When imaging on a real road, the road area is divided by the shadow of an overpass, building, telephone pole, etc. reflected on the road, or the edge is generated by a white line such as a pedestrian crossing or center line. Sometimes the area is divided. Such an example is shown in FIG.
道路領域が分断されている場合には、道路に相当する
面積と色彩とを有すると判断された領域でも画面中央部
まで連続していないことがある。そこで、連続性がない
と判断された場合（ステップ280）には、分断された領
域の上部もしくは下部に検出点SPを移動して領域の抽出
を行ない（ステップ300）、その領域と先に道路と判定
された領域との色彩を比較する処理を行なう（ステップ
310）。両領域の色彩が同一とみなせる場合には両領域
を結合し（ステップ320）、再び連続性の判断を行なう
（ステップ280）。結合してもその領域が画面中央部ま
で連続していない場合には、更にその領域の上下の領域
が同一色とみなすことができないか判断を続け、同一の
色彩の領域がもはやないか、連続性の判断が満たされる
まで繰り返す（ステップ280,300,310,320）。連続性が
満たされないまま同一色の領域が存在しなくなった場合
には、再び画像入力処理（ステップ200）から、上述し
た処理（ステップ200ないし320）を繰り返す。When the road area is divided, even the area determined to have the area and the color corresponding to the road may not be continuous to the center of the screen. Therefore, when it is determined that there is no continuity (step 280), the detection point SP is moved to the upper or lower part of the divided area to extract the area (step 300), and the area and the road ahead are extracted. To compare the color with the area determined to be
310). If the colors of the two areas can be regarded as the same, the two areas are combined (step 320), and the continuity is determined again (step 280). If the area is not continuous to the center of the screen even after combining, it is further determined whether the area above and below the area cannot be regarded as the same color. Repeat until the sex determination is satisfied (steps 280, 300, 310, 320). If the region of the same color does not exist without the continuity being satisfied, the above-described processing (steps 200 to 320) is repeated from the image input processing (step 200).
連続性が満足された場合（ステップ280）には、得ら
れた道路領域の形状に基づいて、認識した道路が直線道
路か否かの判断を行なう（ステップ400）。直線道路か
否かの判断は、認識した道路領域の左右端が直線とみな
せるか否かにより容易に判断することができる。直線道
路でなければ次式（１），（２），（３）により、一方
直線道路の場合には次式（１），（４），（５）によ
り、各々認識した道路領域の座標について座標変換を行
なう（ステップ410,420）。If the continuity is satisfied (step 280), it is determined whether the recognized road is a straight road based on the obtained shape of the road area (step 400). The determination as to whether or not the road is a straight road can be easily made based on whether or not the left and right ends of the recognized road area can be regarded as straight lines. If the road is not a straight road, the following equations (1), (2), and (3) are used. On the other hand, if the road is a straight road, the coordinates of the recognized road area are calculated by the following equations (1), (4), and (5). Coordinate conversion is performed (steps 410 and 420).
道路領域の認識のなされた画像は、テレビカメラ３の
視野に存在した３次元空間を２次元平面に展開したもの
である。この平面を以下イメージ平面と呼ぶが、その座
標を（x,y）と表すものとし、実空間の座標を（X,Y,Z）
と表すものとする。このとき、両座標間には、第７図に
示すように、テレビカメラ３の路面からの高さをＨと
し、テレビカメラ３からイメージ平面までの距離をｆと
すると、次式（１）の関係が存在する。The image in which the road area is recognized is obtained by developing a three-dimensional space existing in the visual field of the television camera 3 into a two-dimensional plane. This plane is hereinafter referred to as an image plane, and its coordinates are represented by (x, y), and the coordinates of the real space are represented by (X, Y, Z)
It is assumed that At this time, as shown in FIG. 7, assuming that the height of the TV camera 3 from the road surface is H and the distance from the TV camera 3 to the image plane is f between the two coordinates, as shown in FIG. A relationship exists.
そこで、この式（１）に従って、イメージ平面から実
空間への座標変換を行ない、道路の座標、即ち道路左端
や右端等の座標（X,Y,Z）を求めることができる。但
し、かかる変換は、テレビカメラ３によりとらえられた
道路が勾配変化等を含まない２次元平面であると仮定し
た場合に、正しく成立するものである。 Therefore, the coordinates of the road, that is, the coordinates (X, Y, Z) of the left end and the right end of the road can be obtained by performing coordinate conversion from the image plane to the real space according to the equation (1). However, such a conversion is correctly established when it is assumed that the road captured by the television camera 3 is a two-dimensional plane that does not include a gradient change or the like.
こうして求めた道路の座標（X,Y,Z）に基づいて、道
路に対する車両の相対位置や道路の左右端の方程式が算
出される。道路が曲率R1,R2であるような場合（第８図
参照）、あるいは車両１に対して角θをなす直線道路で
ある場合（第９図参照）、その左端，右端を実空間上で
表す方程式は、次式（２），（３）及び式（４），
（５）となる。尚、各式W1,W2は各々道路左右端に対す
る車両１の距離を示す。Based on the road coordinates (X, Y, Z) thus obtained, the relative position of the vehicle with respect to the road and the equations at the left and right ends of the road are calculated. When the road has curvatures R1 and R2 (see FIG. 8), or when the road is a straight road making an angle θ with respect to the vehicle 1 (see FIG. 9), the left end and the right end are represented in real space. The equations are given by the following equations (2), (3) and (4),
(5). The expressions W1 and W2 indicate the distance of the vehicle 1 to the left and right ends of the road, respectively.
曲線道路の場合 ・道路の左端 Z2＋（Ｘ＋R1＋W1）２＝R12 H2x2−2xyH（R1＋W1） −（2R1W1−W12）y2＝−f2H2 …（２） ・道路の右端 Z2＋（Ｘ＋R2＋W2）２＝R22 H2x2−2xyH（R2＋W2） −（2R2W2−W22）y2＝−f2H2 …（３） 直線道路の場合 ・道路の左端 ・道路の右端 こうして求めた道路左右端の方程式と撮像された画像
から抽出された道路領域の左右端の座標とを比較し（ス
テップ430）、両者が一致しない場合には、位置補正を
行なう（ステップ440）。両者が一致しないのは、 （Ａ）道路が勾配変化を伴う登り坂または下り坂を含ん
でおり、平面近似ができない場合、 （Ｂ）画像信号に含まれるノイズにより誤差が生じてい
る場合、 （Ｃ）交差点や分岐点を含んでいる場合、 等である。こうした場合には、正確な道路の位置を認識
できないことが考えられる。そこで、この場合には、道
路幅が一定という条件やそれまでに処理した画面の道路
位置の情報を用いて、道路位置の補正を行なうのであ
る。例えば上記（Ａ）のケースでは、第10図に示すよう
に、勾配変化がない場合の道路左右端Rl,Rrに対して、
撮像された画像上の道路領域の左右端Fl,Frはずれを生
じる。このため、イメージ平面上でのｙの値が変化し、
実空間における座標にもずれを生じる。こうした場合に
は、道路幅Ｗが一定であるという条件を用い、次式
（６）が成立するように座標ｙを補正する。Leftmost case-road curve road Z 2 + (X + R1 + W1) 2 = R1 2 H 2 x 2 -2xyH (R1 + W1) - (2R1W1-W1 2) y 2 = -f 2 H 2 ... (2) · right edge of the road Z 2 + (X + R 2 + W 2) 2 = R 2 2 H 2 x 2 −2xyH (R 2 + W 2) − (2R 2 W 2 −W 2 2 ) y 2 = −f 2 H 2 … (3) For a straight road ・ The left end of the road ・ Right edge of road The equation of the left and right ends of the road thus obtained is compared with the coordinates of the left and right ends of the road area extracted from the captured image (step 430). If they do not match, the position is corrected (step 440). The two do not match: (A) when the road includes an uphill or downhill with a gradient change and plane approximation cannot be performed; (B) when an error occurs due to noise included in the image signal; C) When an intersection or a branch point is included, etc. In such a case, it is conceivable that an accurate road position cannot be recognized. Therefore, in this case, the road position is corrected using the condition that the road width is constant and the road position information on the screen processed up to that time. For example, in the case of the above (A), as shown in FIG. 10, with respect to the right and left ends Rl and Rr of the road where there is no gradient change,
The left and right ends Fl and Fr of the road area on the captured image are shifted. Therefore, the value of y on the image plane changes,
A shift also occurs in the coordinates in the real space. In such a case, using the condition that the road width W is constant, the coordinates y are corrected so that the following equation (6) is satisfied.
Ｗ＝X2−X1＝x1・H/y1−x2・H/y2 …（６） 尚、道路幅方向は通常画面に対して平行であるから、
この場合には、y1＝y2である。また、上記（Ｂ）のケー
スでは、道路の左右端は滑らかな直線もしくは曲線であ
るとの近似を利用して平滑化を行なう。更に、上記
（Ｃ）の場合には、道路領域の認識により得られた道路
領域の形状から交差点や分岐点を含んでいるか否かを判
断し、含んでいると判断された場合には、予め記憶した
交差点等の形状の情報を重ね合わせることにより補正す
ることができる。W = X2−X1 = x1 · H / y1−x2 · H / y2 (6) Since the road width direction is parallel to the normal screen,
In this case, y1 = y2. In the case (B), the left and right ends of the road are smoothed using an approximation of being a smooth straight line or curve. Further, in the case of (C) above, it is determined whether or not an intersection or a branch point is included from the shape of the road area obtained by the recognition of the road area. The correction can be performed by superimposing the stored information on the shape of the intersection and the like.
こうして位置の補正を施した後、あるいはステップ43
0の判断において式と画像データとが一致している場
合、以上の処理により得られた実空間の道路の座標に基
づいて道路の俯瞰図と車両の位置とを求め（ステップ45
0）、これをカラーモニタ７に表示する（ステップ46
0）。俯瞰図の一例を第11図に示す。After the position is corrected in this manner, or in step 43
If the expression and the image data match in the judgment of 0, the overhead view of the road and the position of the vehicle are obtained based on the coordinates of the road in the real space obtained by the above processing (step 45).
0), which is displayed on the color monitor 7 (step 46).
0). An example of a bird's-eye view is shown in FIG.
以上のように構成された本実施例の車両用道路認識装
置によれば、車両１前部に設けられたテレビカメラ３に
よって撮像された画像に基づいて、道路に相当する領域
を抽出した後、この領域の幅、色彩といった属性を記憶
し、以後この属性により、道路領域の抽出の修正、ここ
では領域の結合を行なう。従って、本実施例の道路認識
装置は、極めて正確かつ継続して道路を認識することが
でき、更に、こうして認識された道路に基づき、道路の
実空間における形状を勾配変化等を補正して正確に求め
ることができる。本実施例では、こうして求めた道路の
形状をモニタ７上に俯瞰図として、車両１の位置と共に
表示することができる。従って、車両乗員は、この情報
を利用することができ、車両運転上の安全性を一層向上
させることができる。According to the vehicle road recognition device of the present embodiment configured as described above, after extracting an area corresponding to a road based on an image captured by the television camera 3 provided in the front of the vehicle 1, Attributes such as the width and color of the area are stored, and the extraction of the road area is corrected based on the attribute, and the areas are combined here. Therefore, the road recognition device of the present embodiment can recognize roads extremely accurately and continuously, and further corrects the shape of the road in the real space based on the road thus recognized by correcting a gradient change or the like. Can be sought. In this embodiment, the shape of the road thus determined can be displayed on the monitor 7 as an overhead view together with the position of the vehicle 1. Therefore, the vehicle occupant can use this information, and can further improve the safety in driving the vehicle.
こうして得られた道路３次元形状および車両の道路に
対する位置関係は、図示しないキープレーン走行装置
等、種々の装置で利用することができる。かかる装置に
用いれば、運転の自動化、半自動化、あるいは追突等の
事故防止等を実現することもできる。また、道路側に識
別のための装置を敷設する必要がないことから、現実に
道路認識装置を車載することが容易となる。The three-dimensional shape of the road and the positional relationship of the vehicle with respect to the road thus obtained can be used by various devices such as a key plane traveling device (not shown). When used in such an apparatus, it is also possible to realize automatic or semi-automated driving, accident prevention such as rear-end collision, and the like. Further, since it is not necessary to lay a device for identification on the road side, it becomes easy to actually mount the road recognition device on the vehicle.
以上本発明の実施例について説明したが、本発明はこ
うした実施例に何等限定されるものではなく、例えば認
識した３次元形状を用いて先行車の追尾やキープレーン
走行を実現する構成、車両の後尾の画像も処理して道路
を認識しこれを基に車両前後の道路を俯瞰図表示する装
置、あるいは道路の属性として領域の荒さ（テクスチ
ァ）を用いたもの等、本発明の要旨を逸脱しない範囲に
おいて、種々なる態様で実施し得ることは勿論である。Although the embodiments of the present invention have been described above, the present invention is not limited to such embodiments at all. For example, a configuration for realizing tracking of a preceding vehicle and key plane traveling using a recognized three-dimensional shape, a vehicle It does not deviate from the gist of the present invention, such as a device that also processes the tail image and recognizes the road and displays a bird's-eye view of the road before and after the vehicle based on the road, or a device that uses the roughness of the area (texture) as the attribute of the road. Of course, it can be implemented in various ways within the scope.
発明の効果 以上詳述したように、本発明の車両用道路認識装置に
よれば、２次元画像内に存在する道路領域を認識し、こ
の認識された道路領域の境界を表す２次元座標から、道
路の実位置を表す３次元座標を求め、更に、この３次元
座標を、実際の道路が有する形態上の特性から導かれる
関係式を満たすよう補正することにより、この３次元座
標にて表される領域の形状、即ち認識すべき道路の３次
元形状を正確に求めている。この結果、認識した道路を
出力すること、例えば俯瞰図等として表示することがで
き、乗員に道路情報を提供して安全運転に資することが
できる。また、道路側に識別用の装置を敷設する必要が
ないことから、現実に道路認識装置を車載することが容
易となる。Effects of the Invention As described in detail above, according to the vehicle road recognition device of the present invention, a road region existing in a two-dimensional image is recognized, and two-dimensional coordinates representing the boundary of the recognized road region are used. The three-dimensional coordinates representing the actual position of the road are obtained, and the three-dimensional coordinates are corrected so as to satisfy a relational expression derived from the morphological characteristics of the actual road. The shape of the region to be recognized, that is, the three-dimensional shape of the road to be recognized, is accurately obtained. As a result, the recognized road can be output, for example, displayed as a bird's-eye view, and the road information can be provided to the occupant to contribute to safe driving. Further, since it is not necessary to lay a device for identification on the road side, it becomes easy to actually mount the road recognition device on a vehicle.
また、本発明の車両用道路認識装置と組み合わせるこ
とにより、例えば道路の３次元形状から勾配変化を認識
して定速走行制御に用いる構成や、自動追尾走行あるい
はキープレーン走行等を行なう構成等を実現することが
でき、これらの装置の処理の高精度化を図ることができ
る。こうした装置を現実化することは、車両運転上の安
全性の向上に資することができ、極めて有益である。Further, by combining with the vehicle road recognition device of the present invention, for example, a configuration for recognizing a gradient change from the three-dimensional shape of the road and using it for constant speed traveling control, a configuration for performing automatic tracking traveling or key plane traveling, and the like. This makes it possible to increase the accuracy of the processing of these devices. The realization of such a device can contribute to the improvement of driving safety of a vehicle and is extremely useful.
第１図は本発明の基本的構成を例示するブロック図、第
２図は本発明一実施例としての車両用道路認識装置の概
略構成図、第３図は同じくそのブロック図、第４図
（Ａ），（Ｂ）は実施例の画像処理装置が実行する道路
認識処理ルーチンを示すフローチャート、第５図
（Ａ），（Ｂ），（Ｃ），（Ｄ），（Ｅ）は各々道路認
識処理により処理された画像を例示する説明図、第６図
（Ａ），（Ｂ）は検出点SP設定の様子を示す説明図、第
７図はイメージ平面と実空間との関係を示す概念図、第
８図は曲線道路での座標変換の手法を示す説明図、第９
図は直線道路での座標変換の手法を示す説明図、第10図
は勾配変化のある道路の認識の様子を示す説明図、第11
図は本実施例において得られた俯瞰図の一例を示す説明
図、である。 １……車両 ３……テレビカメラ ５……画像処理装置 ７……カラーモニタ 15……VRAM SP……検出点 GS……探索領域FIG. 1 is a block diagram illustrating a basic configuration of the present invention, FIG. 2 is a schematic configuration diagram of a vehicle road recognizing device as one embodiment of the present invention, FIG. 3 is a block diagram of the same, and FIG. 5A and 5B are flowcharts showing a road recognition processing routine executed by the image processing apparatus according to the embodiment, and FIGS. 5A, 5B, 5C, 5D, and 5E each show road recognition. FIGS. 6A and 6B are explanatory diagrams illustrating an example of an image processed by the processing, FIGS. 6A and 6B are explanatory diagrams illustrating a state of detection point SP setting, and FIG. 7 is a conceptual diagram illustrating a relationship between an image plane and a real space , FIG. 8 is an explanatory view showing a coordinate conversion method on a curved road, and FIG.
FIG. 10 is an explanatory diagram showing a method of coordinate transformation on a straight road. FIG. 10 is an explanatory diagram showing a state of recognizing a road having a gradient change.
The figure is an explanatory view showing an example of an overhead view obtained in the present embodiment. 1 vehicle 3 television camera 5 image processing device 7 color monitor 15 VRAM SP detection point GS search area
Claims (1)
域を認識する道路領域認識手段と、 該道路領域認識手段にて認識された道路領域の境界を表
す２次元座標を、上記撮像手段により撮像された道路の
実位置を表す３次元座標に変換する座標変換手段と、 該座標変換手段にて生成された３次元座標が、実際の道
路が有する形態上の特性から導かれる関係式を満たすよ
うに、該３次元座標を補正して該３次元座標にて表され
る領域の形状を修正する座標補正手段と、 を備えた車両用道路認識装置。1. An image pickup means for picking up an image of the outside of a vehicle around a vehicle, a road area recognition means for recognizing a road area from a two-dimensional image picked up by the image pickup means, and a road recognized by the road area recognition means. Coordinate conversion means for converting the two-dimensional coordinates representing the boundary of the area into three-dimensional coordinates representing the actual position of the road imaged by the imaging means, and the three-dimensional coordinates generated by the coordinate conversion means A coordinate correcting unit that corrects the three-dimensional coordinates so as to satisfy a relational expression derived from the morphological characteristics of the road and corrects the shape of the area represented by the three-dimensional coordinates. Road recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63094959A JP2611326B2 (en) | 1988-04-18 | 1988-04-18 | Road recognition device for vehicles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63094959A JP2611326B2 (en) | 1988-04-18 | 1988-04-18 | Road recognition device for vehicles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01265399A JPH01265399A (en) | 1989-10-23 |
| JP2611326B2 true JP2611326B2 (en) | 1997-05-21 |
Family
ID=14124467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63094959A Expired - Fee Related JP2611326B2 (en) | 1988-04-18 | 1988-04-18 | Road recognition device for vehicles |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2611326B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0785392A (en) * | 1993-09-20 | 1995-03-31 | Mitsubishi Motors Corp | Vehicle running controller |
| JP4777195B2 (en) * | 2006-09-11 | 2011-09-21 | 川崎重工業株式会社 | Driving support device, vehicle, and driving support method |
| JP4777196B2 (en) * | 2006-09-11 | 2011-09-21 | 川崎重工業株式会社 | Driving assistance device |
| JP5441549B2 (en) * | 2009-07-29 | 2014-03-12 | 日立オートモティブシステムズ株式会社 | Road shape recognition device |
| JP2015096411A (en) * | 2013-10-11 | 2015-05-21 | 本田技研工業株式会社 | Parking support system |
-
1988
- 1988-04-18 JP JP63094959A patent/JP2611326B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH01265399A (en) | 1989-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6519262B2 (en) | Three-dimensional object detection device, three-dimensional object detection method, three-dimensional object detection program, and mobile device control system | |
| US9355322B2 (en) | Road environment recognition device | |
| US20230184560A1 (en) | Visual interface display method and apparatus, electronic device, and storage medium | |
| CN103731652A (en) | Movement surface line recognition apparatus, movement surface line recognition method and movement member equipment control system | |
| JP3381351B2 (en) | Ambient situation display device for vehicles | |
| JP5188429B2 (en) | Environment recognition device | |
| EP3859390A1 (en) | Method and system for rendering a representation of an evinronment of a vehicle | |
| JP3328711B2 (en) | Vehicle height measuring device and vehicle monitoring system using the same | |
| JP5544595B2 (en) | Map image processing apparatus, map image processing method, and computer program | |
| CN109522779B (en) | Image processing apparatus and method | |
| JP2611326B2 (en) | Road recognition device for vehicles | |
| JP6683245B2 (en) | Image processing device, image processing method, image processing program, object recognition device, and device control system | |
| JPH0981734A (en) | Image processor | |
| JP2715442B2 (en) | Traveling vehicle recognition device | |
| JP2002150302A (en) | Road surface recognition device | |
| JPH07302325A (en) | On-vehicle image recognizing device | |
| JPH07271978A (en) | Image processor | |
| JP2000099896A (en) | Traveling path detecting device and vehicle traveling controller and recording medium | |
| JP4574157B2 (en) | Information display device and information display method | |
| JP4106163B2 (en) | Obstacle detection apparatus and method | |
| JP2611325B2 (en) | Road recognition device for vehicles | |
| JP7392506B2 (en) | Image transmission system, image processing system and image transmission program | |
| JPH0757200A (en) | Method and device for recognizing travel course | |
| JP5466342B1 (en) | Road environment recognition device | |
| JP2007140828A (en) | Sign recognition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |