JP3437671B2 - Landmark recognition device and landmark recognition method - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、道路標識、信号機、及
び電柱等の如き、道路脇に立っているランドマークを画
像中から抽出し、認識するランドマーク認識装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a landmark recognition device for extracting and recognizing landmarks such as road signs, traffic lights, utility poles, etc. standing on the side of a road from an image.

【０００２】[0002]

【従来の技術】人工衛星（ＧＰＳ衛星）から送られてく
る信号や、車載の内界センサ（車両自身に装備され、自
身の状態を検知したり、制御したりするためのセンサ
で、タコジェネレータやポテンショメータ、エンコーダ
等の如きもの）で得た移動距離や操舵角等の情報を用い
て、自己位置を計測するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓ
ｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）はナビゲーションシ
ステム等として良く知られており、近年、広く用いられ
ている。2. Description of the Related Art A signal sent from an artificial satellite (GPS satellite) or an internal sensor installed in a vehicle (a sensor mounted on the vehicle itself for detecting and controlling its own state. GPS (Global Pos) that measures its own position by using information such as moving distance and steering angle obtained by a computer, potentiometer, encoder, etc.)
The Lighting System is well known as a navigation system and has been widely used in recent years.

【０００３】しかし、このような車載用のナビゲーショ
ンシステムに用いられるＧＰＳ衛星を用いる自己位置計
測手法は、細かい補正を施さない限り、精度が低く、得
られた計測結果には２００ｍ程度の計測誤差が生じる。
そして、細かい補正を施すにはシステムが大掛かりとな
り、大幅なコストアップにもなるため、通常、この種の
装置では２００ｍ程度の計測誤差を含むことを前提とし
たシステムとなっている。このため、人間が車を運転す
る場合の経路案内程度には十分使えるが、車を自動運転
する際の位置確認には、計測精度を高めるための他の手
法が必要である。However, the self-position measuring method using GPS satellites used in such a vehicle-mounted navigation system is low in accuracy unless fine correction is made, and the obtained measurement result has a measurement error of about 200 m. Occurs.
Since a system requires a large amount of correction to make a fine correction, and the cost is greatly increased, the system of this type is usually designed to include a measurement error of about 200 m. For this reason, it can be used enough for route guidance when a person drives a vehicle, but other methods for improving measurement accuracy are necessary for position confirmation when the vehicle is automatically driven.

【０００４】また、ＧＰＳ衛星を用いる方式では、地下
道や屋内あるいはトンネル内等のような電波の届かない
場所での利用ができないという問題も抱える。一方、車
を自動運転制御するような用途に利用する場合には、い
かなる状況下においても精度の高い位置計測、位置同定
が必要である。そこで、このような用途に対しても利用
できるようにした位置計測同定技術として、外界の映像
をとらえ、この映像から画像認識により特徴的な風景を
認識して、位置を知るようにした技術が提案されてい
る。The system using GPS satellites also has a problem that it cannot be used in places where radio waves do not reach, such as underpasses, indoors, or in tunnels. On the other hand, when the vehicle is used for automatic driving control, highly accurate position measurement and position identification are required under any circumstances. Therefore, as a position measurement and identification technology that can be used for such purposes, there is a technology that captures an image of the outside world and recognizes a characteristic landscape from this image by image recognition to know the position. Proposed.

【０００５】すなわち、この技術は自律走行車両等の移
動体が走行路を走行するにあたり、撮像装置例えば、Ｔ
Ｖカメラで進行方向の画像を撮像し、風景をとらえて、
その風景の特徴から位置を知るようにするものであり、
風景は場所々々に応じた特徴があるので、その風景的特
徴、すなわち、ランドマークを手掛かりにすることで、
位置を知ろうというものである。That is, according to this technique, when a moving body such as an autonomous vehicle travels on a traveling path, an imaging device such as T
Take an image of the direction of travel with a V camera, capture the scenery,
The location is known from the characteristics of the scenery,
Since the scenery has characteristics depending on each place, by using that scenery characteristic, that is, the landmark, as a clue,
It is to know the position.

【０００６】この技術においては、ＴＶカメラから得た
画像を処理して、テクスチャー情報・色情報・形状情報
等を抽出し、ランドマークが存在する領域を画像中から
切り出す。次いで、切り出された領域内で予め登録して
おいた道路標識、信号機、電柱等ランドマークのモデル
と照合し、識別を行なう。このような処理を施すこと
で、その土地々々の固有の風景を基準とした位置の同定
ができる。In this technique, an image obtained from a TV camera is processed to extract texture information, color information, shape information, etc., and a region where a landmark exists is cut out from the image. Then, the model is compared with the landmarks such as road signs, traffic lights, telephone poles, etc., which have been registered in advance in the cut-out area, to perform identification. By performing such processing, it is possible to identify the position based on the unique landscape of each land.

【０００７】[0007]

【発明が解決しようとする課題】ところで、このような
外界の映像をとらえ、この映像から画像認識により特徴
的な風景を認識し、照合することにより、位置を知るよ
うにした技術の場合、つぎのような問題がある。By the way, in the case of a technique in which an image of such an external world is captured, a characteristic landscape is recognized from this image by image recognition, and the position is known by collation, the following is given. There is such a problem.

【０００８】すなわち、自律走行車両等の移動体が走行
路を走行しながら自己に搭載したＴＶカメラにより、逐
次とらえる外界の自然画像を入力映像として用いること
から、画像の内容が複雑であり、特に屋外の場合、樹
木、建物、歩行者、及び車両等が存在して、背景が非常
に複雑で込み入っているという点である。また、天候の
変動（晴天、曇天、雨天）等により、同一の場所で撮像
した場合でも画像の色情報が異なってしまい、また、樹
木の成長や風等により、背景の形状情報やテクスチャー
情報（模様等）も時々刻々変化してしまうという点であ
る。That is, since a moving body such as an autonomous vehicle uses a TV camera mounted therein while traveling on a traveling road, a natural image of the outside world, which is successively captured, is used as an input image, so that the content of the image is complicated, particularly In the case of outdoors, there are trees, buildings, pedestrians, vehicles, etc., and the background is very complicated and complicated. Also, due to changes in the weather (clear, cloudy, rainy weather, etc.), the color information of the image will differ even when taken at the same place, and due to the growth of trees and wind, background shape information and texture information ( (Patterns etc.) also change every moment.

【０００９】このため、ＴＶカメラによりとらえた画像
を、２次元画像処理によりランドマークの存在領域を切
り出そうとした場合に、誤ったランドマーク領域候補が
多数出現したり、正しい存在領域が見落とされたりし、
ランドマーク領域を安定的に切り出すことが困難であ
る。Therefore, when an attempt is made to cut out a landmark existing region from an image captured by a TV camera by two-dimensional image processing, many erroneous landmark region candidates will appear or a correct existing region will be overlooked. Sometimes,
It is difficult to stably cut out the landmark area.

【００１０】また、画像上に撮像されるランドマークの
サイズは、ランドマークとカメラ間の距離により変化す
る。そして、従来の技術においては、ランドマークとカ
メラとの間の距離は考慮していないため、ランドマーク
サイズが特定できないことになる。このため、従来の手
法ではサイズを様々に変化させて照合を行なう等の処理
をしなければならず、この照合処理に多大な計算量を必
要とするという問題点があった。The size of the landmark imaged on the image changes depending on the distance between the landmark and the camera. In the conventional technique, the distance between the landmark and the camera is not taken into consideration, so the landmark size cannot be specified. For this reason, in the conventional method, it is necessary to perform collation by changing the size in various ways, and this collation requires a large amount of calculation.

【００１１】そこで、この発明の目的とするところは、
画像中のランドマーク領域を複雑で変動の激しい画像内
から安定的に切り出すことができて、しかも、少ない計
算量でランドマークの照合処理を実施でき、効率良く短
時間で照合処理を実施できるようにしたランドマーク認
識装置を提供することにある。Therefore, the object of the present invention is to
The landmark area in the image can be stably cut out from the complicated and highly variable image, and the landmark matching processing can be performed with a small amount of calculation, so that the matching processing can be efficiently performed in a short time. To provide the landmark recognition device.

【００１２】[0012]

【課題を解決するための手段】上記目的を達成するた
め、本発明はつぎのように構成する。すなわち、基準と
なる面上に立つランドマークの存在する３次元空間内を
視野としてこの視野中の画像を少なくとも視差のある一
対の識別処理対象画像として取得する画像入力手段と、
実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、前
記画像入力手段から得られる識別処理対象画像を画像の
持つ視差の情報を利用することにより、３次元空間中で
設定した投影面へそれぞれ投影し、画像データに変換す
る変換手段と、この変換手段より得られた画像データを
蓄積する領域メモリと、この領域メモリのそれぞれのデ
ータの中からランドマークが前記基準となる面と接触し
ている部分を抽出し、その部分の当該領域メモリ中の位
置から、もとの画像に逆変換した際の前記識別処理対象
画像中でのランドマーク存在領域を知り、そのランドマ
ーク存在領域を探索領域として求める探索空間算出手段
と、前記識別処理対象画像における前記探索空間算出手
段の求めた探索領域に該当する領域内の画像と、この探
索領域の位置に配置した際の寸法に正規化し、かつ、当
該探索領域内に投影した前記基準のランドマークの像情
報およびその特徴情報とを照合し、一致する度合いから
ランドマーク種別を識別する認識手段とを具備して構成
した。In order to achieve the above object, the present invention is configured as follows. That is, image input means for taking a field of view in a three-dimensional space in which a landmark standing on a reference plane is present, and acquiring an image in the field of view as a pair of identification processing target images having at least parallax,
By using the landmark information holding means that holds the characteristic information of the reference landmark including the images of the actual various landmarks, and the parallax information that the image has the identification processing target image obtained from the image input means, A conversion means for projecting onto a projection plane set in a three-dimensional space and converting it into image data, an area memory for accumulating the image data obtained by this conversion means, and a land from the respective data in this area memory The area where the mark is in contact with the reference surface is extracted, and the position of the area in the area memory is converted into the original image. And a search space calculation unit that obtains the landmark existing region as a search region, and a search region that is obtained by the search space calculation unit in the identification processing target image. The image in the area corresponding to, and normalized to the dimensions when placed in the position of the search area, and, collate the image information of the reference landmark projected in the search area and its characteristic information, A recognition means for identifying the landmark type from the degree of coincidence is provided.

【００１３】[0013]

【作用】この発明は、“目標とするランドマークは道路
上に細長く立っているものである”という知識を利用し
て画像中のランドマーク領域を複雑で変動の激しい画像
内から安定に切り出し、さらに、ランドマークまでの距
離を用いてランドマークサイズを特定することにより、
少ない計算量で照合処理が実現でき、ランドマーク認識
を効率良く実施するもので、ランドマークは単純な形状
であり、しかも、道路上に細長く立っているものである
という前提を利用している。そして、画像中に埋もれる
ランドマークの像を、高さの方向に分布するこれらの情
報を利用することにより、複雑で変動の激しい画像内か
らランドマーク像の含まれる領域を安定に切り出し、ま
た、実際の各種ランドマークの像を含む照合のための情
報を用意して、これを基準となるランドマークとして用
い、正規化して画像中に投影し、これと上記切り出した
画像とを照合して両者の重なる部分での一致度を調べ、
複数種ある照合基準のランドマークから一致度の高いも
のを選定してこれを画像中の上記領域におけるランドマ
ークの種別として認識する。The present invention utilizes the knowledge that "the target landmark is an elongated object standing on the road" and stably cuts out the landmark region in the image from the complicated and rapidly changing image. Furthermore, by specifying the landmark size using the distance to the landmark,
The collation process can be realized with a small amount of calculation, the landmark recognition is efficiently performed, and the assumption is that the landmark has a simple shape and that it stands on the road in a slender shape. Then, the image of the landmark buried in the image, by utilizing these pieces of information distributed in the height direction, it is possible to stably cut out the area including the landmark image from within the complicated and rapidly changing image, and Prepare information for collation including images of various actual landmarks, use this as a reference landmark, normalize and project it into the image, collate this with the image cut out, and both Check the degree of coincidence in the overlapping part of
A landmark with a high degree of coincidence is selected from a plurality of landmarks of the matching reference, and this is recognized as the landmark type in the area in the image.

【００１４】本発明のランドマーク認識装置は、３次元
空間中で連続的に変化する平面または曲面の道路領域等
の測定面領域を有する画像を視差のある一対の画像とし
て入力する立体像撮像用の撮像手段（ＴＶカメラ）と、
この入力された画像を３次元空間中で設定した投影面へ
それぞれ変換する変換部と、この変換部より得られた投
影面におけるそれぞれの投影データを蓄積する領域メモ
リと、この領域メモリのそれぞれの投影データの中から
ランドマークが道路面と接触している部分を抽出し、そ
の領域メモリ中の位置から画像に逆変換した際の画像中
のランドマーク探索領域を算出する探索空間算出部と、
探索領域中で画像と照合の基準となる各種ランドマーク
のモデルとを照合し、ランドマークを識別する認識部と
を有しており、撮像手段が、３次元空間中で連続的に変
化する平面または曲面の道路領域などの測定領域を有す
る視差のある一対の画像を入力すると、この画像を変換
部は３次元空間中で設定した投影面にそれぞれ投影し、
領域メモリには、この変換部より得られた投影面におけ
るそれぞれの投影データを蓄積する。探索空間算出部
は、領域メモリ中でランドマークが道路面と接触してい
る位置を抽出し、画像中に逆変換した際の画像中のラン
ドマーク探索領域を算出する。そして、認識部は、画像
中の探索空間において対象物モデルと画像との間の照合
を行い、ランドマークの種別を識別する。対象物管理部
は対象物モデルを検索して、予め対象物モデルに蓄積し
てある対象物の情報を認識部に出力する。The landmark recognition apparatus of the present invention is for stereoscopic image pickup in which an image having a measurement surface area such as a flat or curved road area that continuously changes in a three-dimensional space is input as a pair of images with parallax. Image pickup means (TV camera) of
A conversion unit that converts each of the input images into a projection surface set in a three-dimensional space, an area memory that stores each projection data on the projection surface obtained by the conversion unit, and each of the area memories. A search space calculation unit that calculates the landmark search area in the image when the landmark is in contact with the road surface from the projection data and is inversely converted into the image from the position in the area memory,
The image pickup means includes a recognition unit that matches an image with a model of various landmarks serving as a reference for matching in the search area to identify the landmark, and the imaging unit continuously changes in a three-dimensional space. Alternatively, when a pair of parallax images having a measurement region such as a curved road region is input, the conversion unit projects each of the images on a projection plane set in the three-dimensional space,
In the area memory, each projection data on the projection plane obtained by this conversion unit is stored. The search space calculation unit extracts the position where the landmark is in contact with the road surface in the region memory and calculates the landmark search region in the image when the image is inversely transformed into the image. Then, the recognition unit performs matching between the object model and the image in the search space in the image to identify the type of landmark. The object management unit searches for the object model and outputs the information of the object accumulated in the object model in advance to the recognition unit.

【００１５】以上のように、道路標識、信号、電柱等道
路面上に立ち上がっているランドマークの存在位置を、
３次元空間中に設定した道路面に画像を投影することで
求めるため、２次元の画像処理のみでは問題となる天候
の変動等にともなう画像の変化の影響が少ない。特に道
路面上に立ち上がっている対象物の領域をランドマーク
を探索する画像領域候補として選ぶため、探索すべき候
補領域の数を絞ることができる。また、３次元空間中の
投影面の情報からランドマークまでの距離が獲得できる
ため、画像中で撮像されているランドマークのサイズが
算出できる。このため、ランドマークを識別するのに必
要なモデルとの照合処理の回数を減らすことができる。As described above, the existence positions of the landmarks standing on the road surface such as road signs, signals, telephone poles,
Since the image is obtained by projecting the image on the road surface set in the three-dimensional space, the two-dimensional image processing alone does not significantly affect the change in the image due to the change in the weather. In particular, since the area of the target object standing on the road surface is selected as the image area candidate for searching the landmark, the number of candidate areas to be searched can be narrowed down. Further, since the distance to the landmark can be obtained from the information on the projection plane in the three-dimensional space, the size of the landmark imaged in the image can be calculated. Therefore, it is possible to reduce the number of times of the matching process with the model necessary for identifying the landmark.

【００１６】[0016]

【実施例】以下、本発明の一実施例を図面に従い説明す
る。本実施例は、道路標識、信号機、及び電柱等、道路
脇に垂直に立っている細長い形状の対象物をランドマー
クとしてカメラ画像中から抽出し、認識することを想定
している。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. In the present embodiment, it is assumed that a long and slender object such as a road sign, a traffic signal, and a utility pole standing vertically beside the road is extracted as a landmark from the camera image and recognized.

【００１７】図１は本発明によるランドマーク認識装置
の概略的構成例を示すブロック図であり、ＴＶカメラ１
ａ、ＴＶカメラ１ｂ、画像メモリ２ａ、画像メモリ２
ｂ、変換部３、面パラメータ４、領域メモリ５、探索空
間算出部６、認識部７、対象物モデル管理部８、対象物
モデル記憶部９から構成されている。FIG. 1 is a block diagram showing a schematic configuration example of a landmark recognition apparatus according to the present invention.
a, TV camera 1b, image memory 2a, image memory 2
b, a conversion unit 3, a surface parameter 4, an area memory 5, a search space calculation unit 6, a recognition unit 7, an object model management unit 8, and an object model storage unit 9.

【００１８】これらのうち、ＴＶカメラ１ａとＴＶカメ
ラ１ｂは同一視野の風景を視差のある像、すなわち、左
右像としてとらえるためのステレオ撮像装置（ステレオ
カメラ）を構成しており、これらＴＶカメラ１ａ、ＴＶ
カメラ１ｂはカラーＴＶカメラであって互いのカメラ光
軸が平行になるように近接し並設配置されている。ここ
では、ＴＶカメラ１ａにて例えば左像、ＴＶカメラ１ｂ
にて例えば右像を時系列的に得るようにしてある。Of these, the TV camera 1a and the TV camera 1b constitute a stereo image pickup device (stereo camera) for capturing a scene of the same field of view as an image with parallax, that is, a left and right image. , TV
The cameras 1b are color TV cameras and are arranged in close proximity to each other so that their optical axes are parallel to each other. Here, for example, the left image of the TV camera 1a, the TV camera 1b
For example, the right image is obtained in time series.

【００１９】画像メモリ２ａ，２ｂはそれぞれ対応する
ＴＶカメラ１ａ，１ｂより入力されたカラー画像を保持
するためのものであり、変換部３は、画像メモリ２ａ，
２ｂに蓄積されている画像を３次元空間中に予め設定し
ておいた座標系において、面パラメータ記憶部４に記憶
されたデータを用いて生成した面上に投影し、領域メモ
リ５に投影結果を書き込む処理をするものである。The image memories 2a and 2b are for holding the color images input from the corresponding TV cameras 1a and 1b, respectively, and the conversion unit 3 includes the image memories 2a and 1b.
The image stored in 2b is projected on the surface generated by using the data stored in the surface parameter storage unit 4 in the coordinate system preset in the three-dimensional space, and the projection result is stored in the area memory 5. Is to write.

【００２０】面パラメータ記憶部４に記憶されている面
パラメータは画像メモリ２ａ，２ｂ上の画像を投影する
平面Ｐを与えるに必要なパラメータであり、カメラ位置
やカメラの光学的特性等を含め、システムで定まるパラ
メータであって、これは実際にシステムを動作させてみ
て最適値を探し、この最適値を面パラメータとする。The surface parameters stored in the surface parameter storage unit 4 are parameters necessary for giving a plane P on which the images on the image memories 2a and 2b are projected, and include the camera position and the optical characteristics of the camera. This is a parameter that is determined by the system. This is the parameter that is determined by actually operating the system to find the optimum value.

【００２１】領域メモリ５は、変換部３が画像メモリ２
ａ，２ｂに蓄積されている画像を３次元空間中に予め設
定しておいた座標系において、面パラメータ記憶部４に
記憶してある面パラメータのデータを用いて生成した平
面Ｐ上に投影した結果の情報を保持するものである。In the area memory 5, the conversion unit 3 uses the image memory 2
The images accumulated in a and 2b are projected onto the plane P generated using the surface parameter data stored in the surface parameter storage unit 4 in the coordinate system preset in the three-dimensional space. It holds the result information.

【００２２】探索空間算出部６は領域メモリ５上を走査
して、ランドマークが道路面上に立ち上がっている部分
を抽出し、その領域メモリ５上の位置から、画像メモリ
２ａ，２ｂ中の位置を逆射影により求め、ランドマーク
の探索空間を算出する機能を有する。The search space calculation unit 6 scans the area memory 5 to extract the portion where the landmark stands on the road surface, and from the position on the area memory 5 to the position in the image memories 2a and 2b. Has a function of obtaining a landmark search space by inverse projection.

【００２３】また、認識部７は対象物管理部８を通し
て、対象物モデルに格納されたデータを取り出し、探索
空間算出部６で求めた画像メモリ２ａ，２ｂの画像領域
中で、画像データと照合し、ランドマークの識別を行な
うといった機能を有する。Further, the recognition section 7 takes out the data stored in the object model through the object management section 8 and collates it with the image data in the image areas of the image memories 2a and 2b obtained by the search space calculation section 6. However, it has a function of identifying landmarks.

【００２４】つぎに上記構成の本装置の作用を説明す
る。ＴＶカメラ１ａとＴＶカメラ１ｂは同一視野の風景
を視差のあるカラー像、すなわち、立体視のためのカラ
ー左右像としてとらえ、それぞれ画像を時系列的に出力
する。Next, the operation of the present apparatus having the above configuration will be described. The TV camera 1a and the TV camera 1b perceive a landscape of the same field of view as a color image with a parallax, that is, a color left and right image for stereoscopic viewing, and output the images in time series.

【００２５】ＴＶカメラ１ａ，１ｂより入力されたカラ
ー画像はそれぞれ対応して設けられている画像メモリ２
ａ，２ｂに蓄積される。そして、変換部３は、画像メモ
リ２ａ，２ｂに蓄積されている画像を３次元空間中に予
め設定しておいた座標系において、面パラメータ記憶部
４に記憶してある面パラメータのデータを用いて生成し
た平面Ｐ上に投影し、その投影結果を領域メモリ５に書
き込む。The color images inputted from the TV cameras 1a and 1b are respectively provided in the image memory 2 provided correspondingly.
It is stored in a and 2b. Then, the conversion unit 3 uses the surface parameter data stored in the surface parameter storage unit 4 in the coordinate system in which the images stored in the image memories 2a and 2b are preset in the three-dimensional space. It is projected on the plane P generated by the above, and the projection result is written in the area memory 5.

【００２６】探索空間算出部６はこの領域メモリ５上を
走査して、ランドマークが道路面上に立ち上がっている
部分を抽出し、その抽出した部分の位置する領域メモリ
５上の位置を求めると共に、この求めた領域メモリ５上
の位置から、画像メモリ２ａ中の位置を逆射影により求
め、ランドマークの探索空間（ランドマークを探索しよ
うとする対象となる画像メモリ空間の領域）を算出す
る。The search space calculation unit 6 scans the area memory 5 to extract the portion where the landmark stands on the road surface, and finds the position on the area memory 5 where the extracted portion is located. From the obtained position on the area memory 5, the position in the image memory 2a is obtained by inverse projection, and the landmark search space (the area of the image memory space to be searched for the landmark) is calculated.

【００２７】認識部７では対象物管理部８を通して、対
象物モデル記憶部９に格納された各対象物モデルのデー
タを取り出し、探索空間算出部６で求めた探索空間に該
当する画像メモリ１ａ，１ｂの画像領域中で、これら画
像メモリ１ａ，１ｂ内の画像データと照合し、ランドマ
ークの識別を行なう。In the recognition unit 7, the data of each object model stored in the object model storage unit 9 is taken out through the object management unit 8 and the image memory 1a corresponding to the search space obtained by the search space calculation unit 6 is obtained. In the image area of 1b, the image data in the image memories 1a and 1b are collated to identify the landmark.

【００２８】本システムの概要は以上の通りである。こ
こで、本システムを構成している上記各構成要素の機能
や動作について、もう少し詳細に触れておく。上記各構
成要素のうち、変換部３は上述したように、画像メモリ
２ａ，２ｂの画像を、面パラメータ記憶部４に記憶され
ているデータを用いて算出した平面Ｐ上に投影するが、
ここで用いている投影手法について、図４を参照して説
明する。The outline of this system is as described above. Here, the function and operation of each of the above-described constituent elements of the system will be described in more detail. Of the above components, the conversion unit 3 projects the images in the image memories 2a and 2b on the plane P calculated using the data stored in the surface parameter storage unit 4, as described above.
The projection method used here will be described with reference to FIG.

【００２９】［変換部３の投影手法］変換部３による画
像メモリ２ａ，２ｂの画像の平面Ｐ上への投影手法はつ
ぎの通りである。[Projection Method of Converter 3] The method of projecting the images of the image memories 2a and 2b on the plane P by the converter 3 is as follows.

【００３０】図４に示すように、今、ステレオカメラ
（ＴＶカメラ１ａ，１ｂ）の座標系をＯ−Ｘ，Ｙ，Ｚ、
左画像中心をＯ_l 、右画像中心をＯ_r 、ステレオカメラ
における左および右カメラ１ａ，１ｂの焦点位置をそれ
ぞれＣ_l ，Ｃ_r 、そして、左および右画像面上の点ｑ
_l ，ｑ_r を平面Ｐ上へ投影した点をＱ_l ，Ｑ_r 、左右画
像上の画像中心を原点とする座標系をそれぞれ、ｘ_l −
ｙ_l ，ｘ_r −ｙ_r とする。As shown in FIG. 4, the stereo camera (TV cameras 1a and 1b) coordinate systems are now OX, Y, Z, and
The left image center is O _l , the right image center is O _r , the focus positions of the left and right cameras 1a and 1b in the stereo camera are C _l and C _r , respectively, and a point q on the left and right image planes.
A coordinate system in which points _l and q _r are projected on the plane P is Q _l and Q _r , and the image center on the left and right images is the origin is x _l −
_Let y _l , x _r −y _r .

【００３１】また、左右画像中心Ｏ_l ，Ｏ_r をそれぞれ
起点としてｘ_l ，ｘ_r 軸上で長さが画像面のｘ軸方向の
画素サイズに相当するベクトルをそれぞれｎ_lx，ｎ_rxと
し、そして、Ｏ_l ，Ｏ_r をそれぞれ起点とし、ｙ_l ，ｙ
_r 軸上で長さが画像面のｙ軸方向の画素サイズに相当す
るベクトルをｎ_ly，ｎ_ryとする。Further, the left and right image center O _l, O _r x the starting each _l, x _r of the image plane length on the axis x-axis direction of the respective n _lx the corresponding vector pixel size, n _rx, Then, with O _l and O _r as the starting points, respectively, y _l and y
Vectors whose length on the _r- axis corresponds to the pixel size in the y-axis direction on the image plane are n _ly and n _ry .

【００３２】また、点ｑ_l ，ｑ_r の画像面上の位置をそ
れぞれ（ｋ_lx，ｋ_ly）、（ｋ_rx，ｋ_ry）とする。そし
て、点ｑ_l ，ｑ_r を平面Ｐ上へ投影した点Ｑ_l ，Ｑ_r の
ステレオカメラ座標系での位置を以下の式より求める。
まず、点ｑ_l に対しては次の関係が成り立つ。The positions of the points q _l and q _{r on} the image plane are (k _lx , k _ly ) and (k _rx , k _ry ), respectively. Then, the positions in the stereo camera coordinate system of the points Q _l and Q _r , which are the points q _l and q _r projected onto the plane P, are determined by the following formula.
First, the following relation holds for the point q _l .

【００３３】[0033]

【数１】 ステレオカメラのキャリブレーションにより[Equation 1] Calibration of the stereo camera

【００３４】[0034]

【数２】 は既知であるとすると、点Ｑ_l と点ｑ_l を結ぶ直線の方
程式は x=ｘ_ol＋ｋ_lxｘ_nlx ＋ｋ_lyｘ_nly ＋t(ｘ_cl−ｘ_ol−ｋ_lx
ｘ_nlx −ｋ_lyｘ_nly ） y=ｙ_ol＋ｋ_lxｙ_nlx ＋ｋ_lyｙ_nly ＋t(ｙ_cl−ｙ_ol−ｋ_lx
ｙ_nlx −ｋ_lyｙ_nly ） z=ｚ_ol＋ｋ_lxｚ_nlx ＋ｋ_lyｚ_nly ＋t(ｚ_cl−ｚ_ol−ｋ_lx
ｚ_nlx −ｋ_lyｚ_nly ） として表される。このｘ，ｙ，ｚを平面式Ｐ：ａｘ＋ｂ
ｙ＋ｃｚ＋ｄ＝０に代入し、ｔを求めることにより、点
ｑ_l の平面Ｐ上での投影点Ｑ_l の位置（Ｑ_lx，Ｑ_ly，Ｑ
_lz）を算出することができる。点ｑ_r に対しても同様に
次の関係が成り立つ。[Equation 2] Is known, the equation of the straight line connecting the points Q _l and q _l is x = x _ol + k _lx x _nlx + k _ly x _nly + t (x _cl −x _ol −k _lx
x _nlx −k _ly x _nly ) y = y _ol + k _lx y _nlx + k _ly y _nly + t (y _cl −y _ol −k _lx
y _nlx −k _ly y _nly ) z = z _ol + k _lx z _nlx + k _ly z _nly + t (z _cl −z _ol −k _lx
z _nlx −k _ly z _nly ). This x, y, z is expressed by the plane formula P: ax + b
By substituting y + cz + d = 0 into t and finding t, the position (Q _lx , Q _ly , Q) of the projection point Q _l on the plane P of the point q _l is obtained.
_lz ) can be calculated. Similarly, the following relation holds for the point q _r .

【００３５】[0035]

【数３】 ステレオカメラのキャリブレーションにより[Equation 3] Calibration of the stereo camera

【００３６】[0036]

【数４】 は既知であるとすると、点Ｑ_r と点ｑ_r を結ぶ直線の方
程式は x=ｘ_or＋ｋ_rxｘ_nrx ＋ｋ_ryｘ_nry ＋t(ｘ_cr−ｘ_or−ｋ_rx
ｘ_nrx −ｋ_ryｘ_nry ） y=ｙ_or＋ｋ_rxｙ_nrx ＋ｋ_ryｙ_nry ＋t(ｙ_cr−ｙ_or−ｋ_rx
ｙ_nrx −ｋ_ryｙ_nry ） z=ｚ_or＋ｋ_rxｚ_nrx ＋ｋ_ryｚ_nry ＋t(ｚ_cr−ｚ_or−ｋ_rx
ｚ_nrx −ｋ_ryｚ_nry ） として表される。このｘ，ｙ，ｚを平面式Ｐ：ａｘ＋ｂ
ｙ＋ｃｚ＋ｄ＝０に代入し、ｔを求めることにより、点
ｑ_r の平面Ｐ上での投影点Ｑ_r の位置（Ｑ_rx，Ｑ_ry，Ｑ
_rz）を算出することができる。なお、平面式Ｐ：ａｘ＋
ｂｙ＋ｃｚ＋ｄ＝０において、ａ，ｂ，ｃが面パラメー
タである。[Equation 4] Is known, the equation of the straight line connecting the points Q _r and q _r is x = x _or + k _rx x _nrx + k _ry x _nry + t (x _cr −x _or −k _rx
x _nrx −k _ry x _nry ) y = y _or + k _rx y _nrx + k _ry y _nry + t (y _cr −y _or −k _rx
y _nrx −k _ry y _nry ) z = z _or + k _rx z _nrx + k _ry z _nry + t (z _cr −z _or −k _rx
z _nrx −k _ry z _nry ). This x, y, z is expressed by the plane formula P: ax + b
By substituting y + cz + d = 0 into t and finding t, the position (Q _rx , Q _ry , Q _r) of the projection point Q _r on the plane P of the point q _r is obtained.
_rz ) can be calculated. In addition, plane expression P: ax +
When by + cz + d = 0, a, b, and c are surface parameters.

【００３７】以上の処理により、変換部３は画像メモリ
２ａに格納されている左画像上の点ｑ_l を、面パラメー
タより求めた平面Ｐ上での点Ｑ_l へ投影し、また、画像
メモリ２ｂに格納されている右画像上の点ｑ_r を上記平
面Ｐ上の点Ｑ_r へ投影する。Through the above processing, the conversion unit 3 projects the point q _l on the left image stored in the image memory 2a onto the point Q _l on the plane P obtained from the surface parameters, and also the image memory The point q _r on the right image stored in 2b is projected onto the point Q _r on the plane P.

【００３８】このようにして変換部３は、画像メモリ２
ａ，２ｂの画像の平面Ｐ上への投影を行なう。 ［領域メモリ５の説明］つぎに領域メモリ５について説
明する。領域メモリ５は、図５（ａ）に示すようなｍ×
ｎの２次元配列である。そして、これは画像メモリ２
ａ，２ｂの記憶画像の画素配列より少ない配列である。
そして、領域メモリ５における各メモリ位置には図５
（ｂ）に示すように、ｘ，ｙ，ｚ座標値、左，右画像の
Ｒ値、左，右画像のＧ値、左，右画像のＢ値、左，右画
像の近傍エッジ密度、左，右画像の近傍テクスチャー情
報、点ｑ_l の画像中の画素位置（ｘ_l ，ｙ_l ）、点ｑ_r
の画像中の画素位置（ｘ_r ，ｙ_r ）などの情報が格納さ
れる構成である。In this way, the conversion unit 3 operates the image memory 2
The images of a and 2b are projected onto the plane P. [Description of Area Memory 5] Next, the area memory 5 will be described. The area memory 5 has m × m as shown in FIG.
It is a two-dimensional array of n. And this is the image memory 2
This is an array smaller than the pixel arrays of the stored images of a and 2b.
Then, in each memory position in the area memory 5,
As shown in (b), x, y, z coordinate values, R values of left and right images, G values of left and right images, B values of left and right images, neighboring edge densities of left and right images, left , Neighborhood texture information of the right image, pixel position (x _l , y _l ) in the image of point q _l , point q _r
The information such as the pixel position (x _r , y _r ) in the image is stored.

【００３９】領域メモリ５の配列はｍ×ｎであり、これ
は画像メモリの一画面の画素数の配列に１対１で対応し
ているわけではないことから、上記情報の格納はつぎの
ようにして行なう。The array of the area memory 5 is m × n, and this does not correspond to the array of the number of pixels of one screen of the image memory on a one-to-one basis. Therefore, the above information is stored as follows. Do it.

【００４０】道路領域の探索範囲をＸ_min ＜Ｘ＜Ｘ
_max 、Ｙ_min ＜Ｙ＜Ｙ_max とすると、Ｘ_min からＸ_max
までをｍ等分に、またＹ_min からＹ_max までをｎ等分に
サンプリングして変換部３の結果をこの領域メモリ５に
書き込む。つまり、領域メモリ５上の（ｉ，ｊ）には射
影点Ｑ_l ，Ｑ_r のＸ座標値、Ｙ座標値がThe search range of the road region is X _min <X <X
_{If max} and Y _min <Y <Y _max , then X _min to X _max
Are sampled into m equal parts, and from Y _min to Y _max are sampled into n equal parts, and the result of the conversion unit 3 is written in the area memory 5. That is, the X coordinate value and the Y coordinate value of the projection points Q _l and Q _r are stored in (i, j) on the area memory 5.

【００４１】[0041]

【数５】 の範囲内にあるものを書き込むようにする。この結果、
図６に示すように、平面Ｐ上の点Ｑが領域メモリ５の要
素（ｉ，ｊ）に対応付けられるとき、この領域メモリ５
には図５（ｂ）に示すデータが（ｉ，ｊ）に書き込まれ
ることになる。ただし、点Ｑは左画像上の点ｑ_l 、右画
像上の点ｑ_r が同時に投影される点である。[Equation 5] Be sure to write anything within the range. As a result,
As shown in FIG. 6, when the point Q on the plane P is associated with the element (i, j) of the area memory 5, this area memory 5
The data shown in FIG. 5B will be written in (i, j). However, the point Q is a point on which the point q _l on the left image and the point q _r on the right image are simultaneously projected.

【００４２】このようにして、平面Ｐ上の点Ｑが領域メ
モリ５の要素（ｉ，ｊ）に対応つけられるとき、領域メ
モリ５にはその（ｉ，ｊ）の位置に、点Ｑの（ｘ，ｙ，
ｚ）座標値、点ｑ_l ，ｑ_r のカラー情報（ＲＧＢ値）、
点ｑ_l ，ｑ_r 近傍のエッジ密度、点ｑ_l ，ｑ_r 近傍のテ
クスチャー情報、点ｑ_l ，ｑ_r の左右画像中の画素位置
（ｘ_l ，ｙ_l ），（ｘ_r ，ｙ_r ）がそれぞれ蓄積される
ことになる。In this way, when the point Q on the plane P is associated with the element (i, j) of the area memory 5, the area memory 5 is located at the position (i, j) of the point Q ( x, y,
z) coordinate values, color information (RGB values) of points q _l , q _r ,
Point q _l, q _r near the edge density, a point q _l, texture information of the vicinity q _r, the point q _l, pixel position in the left and right images of _{q r (x l, y l} ), (x r, y r) Will be accumulated respectively.

【００４３】上述したように、変換部３は画像メモリ２
ａ，２ｂに格納された左画像及び右画像の全画素ｑ_l ，
ｑ_r に対して、平面Ｐ上の投影位置Ｑ_l ，Ｑ_r を求め、
上記探索範囲に含まれるもののみを選択した後、領域メ
モリ５の対応する位置のメモリ内に、図５（ｂ）に示す
如き内容のデータを書き込む結果、領域メモリ５内には
画像メモリ２ａ，２ｂに格納された画像のうちの、上記
探索範囲に含まれる投影位置Ｑ_l ，Ｑ_r の画像について
のみのＲ値，Ｇ値，Ｂ値、近傍エッジ密度、近傍テクス
チャー情報、画素位置情報、座標値が保持されることに
なる。As described above, the conversion unit 3 uses the image memory 2
all pixels q _{l of} the left and right images stored in a and 2b,
For q _r , the projection positions Q _l , Q _r on the plane P are obtained,
After selecting only those included in the search range, as a result of writing the data having the content shown in FIG. 5B into the memory at the corresponding position of the area memory 5, the area memory 5 stores the image memory 2a, Of the images stored in 2b, R values, G values, B values, near edge densities, near texture information, pixel position information, and coordinates only for the images at projection positions Q _l and Q _r included in the search range. The value will be retained.

【００４４】［探索空間算出部６］探索空間算出部６は
領域メモリ５に蓄積されたデータからランドマークが道
路面と接触している位置を求め、画像上の撮像位置に逆
変換した後、ランドマークを探索する画像中の領域位置
を算出する。[Search space calculation unit 6] The search space calculation unit 6 obtains the position where the landmark is in contact with the road surface from the data stored in the area memory 5, and after inversely converting it to the image pickup position on the image, Calculate the area position in the image to search for a landmark.

【００４５】すなわち、探索空間算出部６はまず、領域
メモリ５を走査して、データが書き込まれていない位置
のメモリについては、その周囲の位置のメモリに記憶さ
れいるデータを用いて線形補間によりデータを求めてこ
れを記憶させることで補間する。この際、図５（ａ）に
示す各メモリ位置に補間により記憶させるデータは、
（Ｘ，Ｙ，Ｚ）座標値を除き、左画像に対するものは左
画像同士、右画像に対するものは右画像同士で補間する
ようにする。That is, the search space calculating section 6 first scans the area memory 5 and, for the memory at the position where no data is written, by linear interpolation using the data stored in the memory at the peripheral position. Interpolation is performed by obtaining data and storing it. At this time, the data stored by interpolation at each memory position shown in FIG.
Except for the (X, Y, Z) coordinate values, left images are interpolated between left images, and right images are interpolated between right images.

【００４６】次いで、探索空間算出部６は画像のＲＧＢ
値より求めた色情報、近傍のエッジ密度、及び近傍のテ
クスチャー情報が左画像と右画像で異なっている領域を
領域メモリ５上で抽出する。すなわち、領域メモリ５に
対しての上記補間が済んだ後に、探索空間算出部６は領
域メモリ５を走査して色情報、近傍のエッジ密度、及び
近傍のテクスチャー情報が左画像と右画像で異なってい
る領域を領域メモリ５上で抽出する。そして、これより
ランドマークの像における道路平面から上に立ち上がっ
ている点を見付ける。そして、これよりランドマークの
像の平面投影記述を得る。Next, the search space calculation unit 6 determines the RGB of the image.
An area in which the color information obtained from the values, the edge density in the vicinity, and the texture information in the vicinity are different between the left image and the right image is extracted on the area memory 5. That is, after the above interpolation for the area memory 5 is completed, the search space calculation unit 6 scans the area memory 5 and the color information, the edge density in the vicinity, and the texture information in the vicinity differ between the left image and the right image. The area which is present is extracted on the area memory 5. Then, from this point, find a point rising above the road plane in the landmark image. Then, the plane projection description of the landmark image is obtained from this.

【００４７】すなわち、図７に示すように、道路平面か
ら上に立ち上がっている点Ａはそれぞれ異なる点として
平面Ｐ上に射影される。このため、領域メモリ５の各要
素（ｉ，ｊ）に書き込まれている左右画像の色情報、エ
ッジ情報、テクスチャー情報が異なる領域は、道路平面
から上に立ち上がっている部分であると判定できる。That is, as shown in FIG. 7, points A rising from the road plane are projected on the plane P as different points. Therefore, it is possible to determine that the areas in which the color information, the edge information, and the texture information of the left and right images written in the respective elements (i, j) of the area memory 5 are different are the portions rising from the road plane.

【００４８】図８（ａ）に示すように、道路面８１から
立ち上がっているランドマーク８２を道路平面上に投影
すると、図８（ｂ）に符号８２ａを付して示すように、
道路面８１と接触しているランドマーク８２の根元Ａか
らＴＶカメラ１から見て前方方向に倒れ込んだ形で当該
ランドマーク８２の像が投影される。As shown in FIG. 8A, when the landmark 82 rising from the road surface 81 is projected on the road plane, as shown by reference numeral 82a in FIG. 8B,
An image of the landmark 82 is projected from the root A of the landmark 82 that is in contact with the road surface 81 in a form in which the landmark 82 falls forward as viewed from the TV camera 1.

【００４９】このため、領域メモリ５上で求めた色情
報、近傍のエッジ密度、及び近傍のテクスチャー情報が
左右画像で異なっている領域もカメラを中心にして、放
射状に倒れ込んだ領域となる。カメラの前方Ｈ（Ｈはラ
ンドマークの高さ寸法）、左右Ｗ／２（Ｗはランドマー
クの最大幅寸法）の範囲において、これらの領域をプロ
ットし、平面投影記述を作成する。Therefore, an area in which the color information obtained on the area memory 5, the edge density in the vicinity, and the texture information in the vicinity are different between the left and right images is also an area that is radially collapsed around the camera. These areas are plotted in a range of front H of the camera (H is the height of the landmark) and left and right W / 2 (W is the maximum width of the landmark) to create a plane projection description.

【００５０】道路９１の両端に標識９２と電柱９３が立
っている図９（ａ）の如き画像の場合、標識９２及び電
柱９３がそれぞれ道路面と接触している点Ｂ、Ｃから放
射状に倒れ込んだ形で図９（ｂ）の如き平面投影記述が
得られる。In the case of an image as shown in FIG. 9A in which a sign 92 and a utility pole 93 are standing on both ends of a road 91, the sign 92 and the utility pole 93 fall radially from points B and C where the sign 92 and the utility pole 93 are in contact with the road surface, respectively. The plane projection description as shown in FIG.

【００５１】このような平面投影記述を得たならば、つ
ぎに探索空間算出部６は、この平面投影記述について、
カメラの位置を中心として放射状にこの平面投影記述を
走査し、倒れ込んだ形の投影領域の根元にあたる点Ｂ，
Ｃの当該平面投影記述上の位置の座標（ｘ_b ，ｙ_b ），
（ｘ_c ，ｙ_c ）を求める。When such a plane projection description is obtained, the search space calculation unit 6 then obtains
This plane projection description is scanned radially centering on the position of the camera, and the point B, which is the base of the collapsed projection area,
The coordinates of the position of C on the plane projection description (x _b , y _b ),
Find (x _c , y _c ).

【００５２】次いで、探索空間算出部６は領域メモリ５
を走査して、この領域メモリ５における当該座標（ｘ
_b ，ｙ_b ），（ｘ_c ，ｙ_c ）位置対応のアドレス（メモ
リ位置）をそれぞれ求め、それらのアドレスに格納され
ている左画像中の画素位置データおよび右画像中の画素
位置データから、画像上でのランドマークが道路面から
立ち上がっている根元の点の左右画像中での画素位置
（ｉｘ_b ，ｉｙ_b ），（ｉｘ_c ，ｉｙ_c ）を求める。Next, the search space calculation unit 6 determines the area memory 5
To scan the coordinate (x
_b , y _b ), (x _c , y _c ) The addresses (memory positions) corresponding to the positions are respectively obtained, and from the pixel position data in the left image and the pixel position data in the right image stored at these addresses, Pixel positions (ix _b , iy _b ) and (ix _c , iy _c ) in the left and right images of the root point where the landmark on the image stands up from the road surface are obtained.

【００５３】画像メモリ２ａ，２ｂにおける左右画像中
で、ランドマークはこれらの点よりも上方にあるため、
図１０に示すように（ｉｘ_b ，ｉｙ_b ），（ｉｘ_c ，ｉ
ｙ_c）を最下部とする探索領域を設定する。図１０にお
いて、ウインドウの横幅ｗｄ、Since the landmarks are above these points in the left and right images in the image memories 2a and 2b,
As shown in FIG. 10, (ix _b , iy _b ), (ix _c , i
y _c ) is set as the lowermost search area. In FIG. 10, the width wd of the window,

【００５４】[0054]

【数６】 [Equation 6]

【００５５】より定める。ここで、ＷＳは対象物モデル
記憶部９に格納されているランドマークの中で横幅が最
大であるランドマークの幅である。図９に示すように、
対象物モデル記憶部９に登録されているランドマークが
道路標識と電柱である場合、この中で横幅が最も広い方
のランドマークの幅をＷＳとして用いる。Determined from Here, WS is the width of the landmark having the largest width among the landmarks stored in the object model storage unit 9. As shown in FIG.
When the landmarks registered in the object model storage unit 9 are road signs and utility poles, the width of the landmark having the widest width is used as WS.

【００５６】また、カメラからランドマークまでの距離
をｄとすると、この距離ｄは図９における道路標識の場
合、平面投影記述での道路標識の根元の座標値（ｘ_b ，
ｙ_b）からIf the distance from the camera to the landmark is d, this distance d is, in the case of the road sign in FIG. 9, the coordinate value of the root of the road sign in the plane projection description (x _b ,
from y _b )

【００５７】[0057]

【数７】 として求めることができる。ｆはカメラの焦点距離であ
る。カメラからランドマークまでの距離ｄだけカメラ位
置から離した位置にランドマークの根元があり、ここよ
り上方の上記求めた探索領域内が目指すランドマークの
探索領域となる。これで探索領域の設定ができる。[Equation 7] Can be asked as f is the focal length of the camera. There is the root of the landmark at a position separated from the camera position by the distance d from the camera to the landmark, and the above-obtained search area above this is the desired search area for the landmark. The search area can now be set.

【００５８】但し、これは図１０に示す画像のように、
遮蔽物に隠されることなく、ランドマーク１０１ａ，１
０１ｂの道路面１０２との接触位置が画像中ではっきり
確認できる場合の探索領域の設定方式であるが、図１２
（ａ）に示すように、ランドマーク１２１の道路１２２
との接触点Ａがガードレール１２３等により隠されてい
るような場合もある。However, this is like the image shown in FIG.
The landmarks 101a, 1 are not hidden by the shield.
This is a search area setting method when the contact position of 01b with the road surface 102 can be clearly confirmed in the image.
As shown in (a), the road 122 of the landmark 121.
In some cases, the contact point A with is hidden by the guardrail 123 or the like.

【００５９】このような場合、上述の手法により求めた
平面投影記述（図１２の（ｂ）図）上の倒れ込んだ形状
の根元の点Ｂは、標識が道路面と接触している真の根元
位置Ａと異なってくる。In such a case, the point B of the root of the collapsed shape on the plane projection description (FIG. 12 (b)) obtained by the above method is the true root where the sign is in contact with the road surface. It is different from position A.

【００６０】このため、このようなケースでは探索空間
設定部６は、標識の立っている位置と道路端との間の距
離ｄを用いて点Ｂを真の位置Ａに変換する。この変換は
つぎのようにして行なう。まず、図１２の（ｂ）図に示
すように、移動車Ｖから倒れ込んだ標識形状の中心線方
向へ引いた直線ＶＫを求める。Therefore, in such a case, the search space setting unit 6 converts the point B into the true position A using the distance d between the position where the sign is standing and the road edge. This conversion is performed as follows. First, as shown in FIG. 12B, a straight line VK drawn from the moving vehicle V in the direction of the center line of the marker shape that has fallen down is obtained.

【００６１】次いで、点Ｂから道路端に平行に、距離ｄ
だけ外側に離れた直線ｌ_n を求め、この直線ｌ_n と上記
直線ＶＫとの交点Ａを、標識が倒れ込んでいる真の根元
の点とする。Next, parallel to the road edge from point B, the distance d
A straight line l _n distant only by the outside is obtained, and an intersection point A between the straight line l _n and the straight line VK is set as a true root point at which the marker falls.

【００６２】道路端と標識の間の距離ｄは走行経路にお
いて予め求めておく。通常、距離ｄは走行経路において
ほぼ固定していると考えられるが、不定な場合には、走
行地図上に個々にその情報を記述しておく。The distance d between the road edge and the sign is obtained in advance on the traveling route. Normally, it is considered that the distance d is almost fixed on the traveling route, but when it is indefinite, the information is individually described on the traveling map.

【００６３】このようにして、図１２の（ｂ）図の平面
投影記述のように、道路端にガードレールのような帯状
の障害物が検出された場合には、以上の手法で平面投影
記述上で求めた倒れ込んだ形状のランドマークにおける
根元の点への変換を行なう。In this way, when a belt-shaped obstacle such as a guardrail is detected at the road edge as in the plane projection description of FIG. 12B, the plane projection description is performed by the above method. Convert to the root point in the collapsed landmark obtained in.

【００６４】そして、この変換後の根元の点より上方の
上記求めた探索領域内が、目指すランドマークの探索領
域となる。これで根元が遮蔽物により遮蔽されたランド
マークについても根元の位置を特定して探索領域の設定
を行なうことが可能になる。Then, the inside of the above-obtained search area above the converted root point becomes the search area for the desired landmark. This makes it possible to specify the position of the root of a landmark whose base is shielded by a shield and set the search area.

【００６５】［認識部７］認識部７による画像中のラン
ドマークの識別の詳細を説明する。認識部７では、画像
メモリ２ａ，２ｂ内の画像それぞれについて、探索空間
設定部６で設定した探索領域内に該当する部分の画像を
走査し、対象物モデル記憶部９に登録されているランド
マークのモデルと照合し、特徴の合致するものがあれば
その照合のモデルとなった種別のランドマークであると
認識することで、画像中のランドマークを識別する。[Recognition Section 7] Details of the recognition section 7 for identifying landmarks in an image will be described. The recognition unit 7 scans each of the images in the image memories 2a and 2b for the image of the corresponding portion within the search area set by the search space setting unit 6, and the landmark registered in the object model storage unit 9 is scanned. The landmarks in the image are identified by matching with the model of (1) and recognizing that there is a landmark of the type used as the model of the matching if there is a matching feature.

【００６６】対象物モデル記憶部９には、登録されてい
る各ランドマーク毎にランドマーク全体を写した濃淡画
像（すなわち、モノトーンの階調画像）、ランドマーク
の寸法（外接長方形サイズ等）、画像に投影した時の主
要な特徴図形及び色等のデータが格納されており、対象
物モデル管理部８を通してアクセスされる。従って、認
識部７ではこの対象物モデル管理部８を通して、対象物
モデル記憶部９に登録されているランドマークのモデル
を照合の基準として取得して、これと画像メモリ２ａ，
２ｂ内の画像それぞれの探索空間設定部６で設定した探
索領域内に該当する部分の画像を照合することで、探索
領域内の画像がどのようなランドマークであるかを識別
できる。In the object model storage unit 9, a grayscale image (that is, a monotone gradation image) of the entire landmark for each registered landmark, the dimension of the landmark (circumscribing rectangle size, etc.), Data such as main characteristic figures and colors when projected on an image are stored and accessed through the object model management unit 8. Therefore, the recognition unit 7 acquires the model of the landmark registered in the target object model storage unit 9 as a reference for matching through the target object model management unit 8 and compares it with the image memory 2a,
It is possible to identify what kind of landmark the image in the search area is by collating the image of the portion corresponding to the search area set by the search space setting unit 6 of each image in 2b.

【００６７】図１１に、駐車禁止の標識及び電柱をラン
ドマークとして登録した際の対象物モデル記憶部９中の
データ例を示す。図に示すように、これらのランドマー
クはその姿そのものを濃淡画像と、その寸法情報、その
ランドマークの持つ色、特徴形状等の情報からなる。色
情報としては駐車禁止標識の場合、標識部分は紺地に赤
色の輪と斜め線、そして、支柱は白色ポールであるか
ら、“赤”、“紺”、“白”の情報となり、電柱はコン
クリート柱の場合灰色であるから、“灰”の色情報とな
る。FIG. 11 shows an example of data in the object model storage unit 9 when a parking prohibited sign and a telephone pole are registered as landmarks. As shown in the figure, these landmarks consist of a grayscale image of the figure itself, size information thereof, and information such as the color and characteristic shape of the landmark. As for color information, in the case of a parking prohibition sign, since the sign part is a dark blue background with a red ring and a diagonal line, and the pillar is a white pole, it becomes the information of "red", "navy blue", and "white", and the utility pole is concrete. In the case of a pillar, the color information is "ash" because it is gray.

【００６８】また、特徴図形としては、駐車禁止標識の
場合、標識部分は円形、そして、支柱はポールであるか
ら平行線であり、“円”と“平行線”が特徴図形として
登録されている。電柱は柱であるからこの場合、平行線
であり、従って、“平行線”が特徴図形として登録され
ている。As a characteristic figure, in the case of a parking prohibition sign, since the sign portion is circular and the pillar is a pole, it is a parallel line, and "circle" and "parallel line" are registered as characteristic figures. . Since the telephone pole is a pole, it is a parallel line in this case, and therefore, "parallel line" is registered as a characteristic figure.

【００６９】従って、これらの情報から合致するものを
見付けることで、ランドマークの種別を特定することが
できることになる。 ［認識部７の機能を実現する具体的構成例］つぎに認識
部７の機能を実現するための構成例について触れてお
く。Therefore, the type of landmark can be specified by finding a match from these pieces of information. [Specific Configuration Example for Realizing Function of Recognition Unit 7] Next, a configuration example for realizing the function of the recognition unit 7 will be described.

【００７０】図２に示すように、認識部７は粗照合部１
０、密照合部１１、スケール変換部１２とから構成する
ことにより実現できる。これらのうち、粗照合部１０
は、探索空間算出部６で設定した探索領域内で色抽出
や、特徴（円、楕円、四角形、菱形、平行線等）抽出を
行ない、対象物モデル記憶部９に記憶されている対象物
モデルと照合することにより、各画像メモリ２ａ，２ｂ
内の画像中における探索領域内に存在するランドマーク
の候補を選択するといった機能を有する。As shown in FIG. 2, the recognizing unit 7 is a rough collating unit 1.
0, the fine matching unit 11, and the scale conversion unit 12 can be used. Of these, the coarse matching unit 10
Performs color extraction and feature (circle, ellipse, quadrangle, rhombus, parallel line, etc.) extraction within the search area set by the search space calculation unit 6, and the target object model stored in the target object model storage unit 9 And the image memories 2a and 2b
It has a function of selecting a landmark candidate existing in the search area in the image inside.

【００７１】また、密照合部１１は、画像中の探索領域
内にあるランドマークの種別に該当すると思われるこの
粗照合部１０が選定した各ランドマークの候補それぞれ
に該当するランドマーク濃淡画像を、対象物モデル管理
部８を通して、対象物モデル記憶部９中の対象物モデル
から取り出してスケール変換部１２に参照画像として与
えるように制御するものであり、また、スケール変換部
１２により正規化されて得られた参照画像を画像中の上
記探索領域内にあるランドマークに投影して一致度を調
べ、一致度の最も高い参照画像の種別を上記探索領域内
にあるランドマークの種別として認識してその情報を出
力する機能を有する。Further, the fine matching unit 11 selects the landmark grayscale image corresponding to each of the landmark candidates selected by the rough matching unit 10 which is considered to correspond to the type of the landmark in the search area in the image. , Is controlled by the object model management unit 8 so that the object model stored in the object model storage unit 9 is extracted and given to the scale conversion unit 12 as a reference image. The reference image thus obtained is projected onto the landmark in the search area in the image to check the degree of coincidence, and the type of the reference image with the highest degree of coincidence is recognized as the type of the landmark in the search area. Function to output the information.

【００７２】また、スケール変換部１２は密照合部１１
から与えられる参照画像について、画像中に投影した時
のランドマークサイズとなるように正規化し、密照合部
１１に出力する機能を有する。具体的には、対象物モデ
ル記憶部９に対象物モデルとして格納さているランドマ
ークの寸法と、ランドマークまでの距離ｄから、画像中
に投影された時のランドマークサイズを算出し、参照画
像に対してその横，縦サイズをこの算出した値に対応し
て補正し、正規化参照画像を作成して密照合部１１に出
力するといったことを行なう機能を有している。Further, the scale conversion unit 12 is the fine matching unit 11
It has a function of normalizing the reference image given by the above so that it becomes the landmark size when projected in the image, and outputting it to the fine matching unit 11. Specifically, the landmark size when projected in the image is calculated from the dimension of the landmark stored as the object model in the object model storage unit 9 and the distance d to the landmark, and the reference image is calculated. On the other hand, it has a function of correcting its horizontal and vertical sizes according to the calculated values, creating a normalized reference image and outputting it to the fine matching unit 11.

【００７３】このような構成の認識部７は、まず、粗照
合部１０では、探索空間算出部６で設定した探索領域内
で色抽出、特徴（円、楕円、四角形、菱形、平行線等）
抽出を行ない、対象物モデル記憶部９に記憶されている
対象物モデルと照合することにより、探索領域内に存在
するランドマークの種別に該当するものであろう種別の
ランドマーク候補を、当該対象物モデル中から選択す
る。The recognizing unit 7 having the above-described structure firstly, in the coarse matching unit 10, performs color extraction and features (circle, ellipse, quadrangle, rhombus, parallel line, etc.) within the search area set by the search space calculating unit 6.
By extracting and matching the target object model stored in the target object model storage unit 9, a landmark candidate of a type that may correspond to the type of the landmark existing in the search area is extracted as the target object. Select from the physical models.

【００７４】すなわち、探索領域内で色抽出、特徴抽出
された、その色及びその特徴を保持するランドマーク
を、対象物モデル記憶部９内の多数の対象物モデル中か
ら選び出し、これをその探索領域内に存在するランドマ
ークの種別に該当するランドマーク候補とするわけであ
る。大雑把な粗照合をする粗照合部１０での処理だけ
に、該当すると思われるランドマーク候補は複数に及
び、従って、一つの探索領域内に存在するランドマーク
の種別に該当するランドマーク候補は複数選出されるこ
とは珍しくない。そこで、このようにして選出されたラ
ンドマーク候補を以下の説明ではそれぞれを区別するた
めにＬ_i （ｉ＝０，１，…，ｔ）とする。That is, the landmarks that retain the color and the feature extracted in the search area and that retain the color and the feature are selected from a large number of object models in the object model storage unit 9, and the landmark is searched for. The landmark candidates correspond to the types of landmarks existing in the area. There are a plurality of landmark candidates that are considered to correspond only to the processing in the rough matching unit 10 that performs rough rough matching, and accordingly, there are a plurality of landmark candidates that correspond to the types of landmarks existing in one search area. It is not uncommon to be elected. Therefore, in the following description, the landmark candidates selected in this way are designated as L _i (i = 0, 1, ..., T) in order to distinguish them.

【００７５】粗照合部１０による粗照合ではランドマー
ク候補Ｌ_i が多数選出されているので、これを一つに絞
り込む必要がある。そこでこの絞り込みの処理を密照合
部１１で行なう。Since a large number of landmark candidates L _i have been selected in the rough matching by the rough matching unit 10, it is necessary to narrow them down to one. Therefore, the narrowing-down process is performed by the fine matching unit 11.

【００７６】密照合部１１では、このようにして粗照合
部１０により選出されて各探索領域毎の１つ以上のラン
ドマーク候補Ｌ_i それぞれに対して、正確に照合して候
補を一つに絞り込む処理を行なう。In the fine matching unit 11, the coarse matching unit 10 thus selects the one or more landmark candidates L _i for each search area, and accurately matches them into one candidate. Perform the process of narrowing down.

【００７７】これはつぎのようにして行なう。密照合部
１１は、まず、ランドマーク候補Ｌ_i それぞれに該当す
るランドマークの濃淡画像を、対象物モデル管理部８を
通して、対象物モデル記憶部９中の対象物モデルから順
次取り出し、スケール変換部１２に渡すように制御す
る。スケール変換部１２は、これによって対象物モデル
記憶部９中から取り出されたランドマーク候補Ｌ_i に該
当するランドマークの濃淡画像を参照画像Ｉ_b として受
取る。This is performed as follows. The fine matching unit 11 first sequentially extracts the grayscale image of the landmark corresponding to each of the landmark candidates L _i from the target object model in the target object model storage unit 9 through the target object model management unit 8, and the scale conversion unit. Control to pass to 12. The scale conversion unit 12 receives the grayscale image of the landmark corresponding to the landmark candidate L _i extracted from the object model storage unit 9 as the reference image I _b .

【００７８】そして、スケール変換部１２では、この参
照画像Ｉ_b を画像メモリ２ａ，２ｂの画像中に投影した
場合でのランドマークサイズを算出し、そのサイズにス
ケール変換して密照合部１１に渡す。スケール変換部１
２によるスケール変換はつぎのようにして行なう。Then, the scale conversion unit 12 calculates the landmark size when the reference image I _b is projected in the images of the image memories 2a and 2b, and scale-converts it to the size, and the fine matching unit 11 calculates it. hand over. Scale conversion unit 1
Scale conversion by 2 is performed as follows.

【００７９】すなわち、対象物モデル記憶部９に対象物
モデルとして格納さている前記ランドマーク候補Ｌ_i 該
当のランドマークの寸法と、画像中における上述の探索
領域にあるランドマークまでの距離ｄから、この参照画
像Ｉ_b が画像メモリ２ａ，２ｂ内の画像中における前記
探索領域内のランドマークの位置に投影された場合での
サイズを算出する。この算出はつぎのようにして行な
う。That is, from the dimension of the landmark corresponding to the landmark candidate L _i stored as the object model in the object model storage unit 9 and the distance d to the landmark in the above-mentioned search area in the image, The size when this reference image I _b is projected at the position of the landmark in the search area in the images in the image memories 2a and 2b is calculated. This calculation is performed as follows.

【００８０】今、ランドマークに外接する長方形の寸法
がＷ_l ×Ｈ_l であるとする。この時、画像メモリ２ａ，
２ｂ内の画像中における前記ランドマークの位置に、ラ
ンドマーク候補Ｌ_i を投影した際のこのランドマーク候
補Ｌ_i に外接する長方形の概略寸法ＩＷ_l ×ＩＨ_l はNow, it is assumed that the size of the rectangle circumscribing the landmark is W _l × H _l . At this time, the image memory 2a,
When the landmark candidate L _i is projected at the position of the landmark in the image in 2b, the approximate size IW _l × IH _l of the rectangle circumscribing the landmark candidate L _i is

【００８１】[0081]

【数８】 と表すことができ、従って、この式から画像中（画像メ
モリ２ａ，２ｂ内の画像中における前記ランドマークの
位置）に投影された時のランドマーク候補Ｌ_i のサイズ
（ランドマークサイズ）を算出することができる。[Equation 8] Therefore, the size (landmark size) of the landmark candidate L _i when projected onto the image (the position of the landmark in the image in the image memories 2a and 2b) is calculated from this equation. can do.

【００８２】従って、例えばランドマーク候補Ｌ_i の濃
淡画像である参照画像Ｉ_b のサイズがＩＷ_b ×ＩＨ_b で
あるとすると、スケール変換部１２は当該参照画像Ｉ_b
に対してその横，縦サイズをそれぞれＩＷ_l ／ＩＷ_s ，
ＩＨ_l ／ＩＨ_b 倍にした正規化参照画像Ｉ_s を作成し、
これを密照合部１１へ送ることになる。[0082] Thus, for example, if the size of the reference image I _b is a gray-scale image of the landmark candidate L _i is assumed to be IW _b × IH _b, scale converter 12 the reference image I _b
And its horizontal and vertical sizes are IW _l / IW _s ,
IH _l / IH _b times the normalized reference image I _s is created,
This is sent to the fine matching unit 11.

【００８３】密照合部１１では、探索空間算出部６より
得られた探索領域位置に対応する画像Ｉ_a を、画像メモ
リ２ａから切り出し、この切り出した探索領域対応の画
像Ｉ_a 上で正規化参照画像Ｉ_s を走査し、像の重なって
いるＩ_s 及びＩ_a の各画素Ｉ₁ ，Ｉ₂ に対して、以下の
式により濃度相関ｓを求める。In the fine matching unit 11, the image I _a corresponding to the search area position obtained by the search space calculating unit 6 is cut out from the image memory 2 _a and the normalized reference is made on the cut out image I _a corresponding to the search area. The image I _s is scanned, and for each pixel I ₁ and I _{2 of} the images I _s and I _a where the images overlap, the density correlation s is obtained by the following formula.

【００８４】[0084]

【数９】 [Equation 9]

【００８５】つまり、切り出した探索領域対応の画像Ｉ
_a 上で正規化参照画像Ｉ_s を走査するということは両画
像を重ねてみることを意味する。そして、この切り出し
た探索領域対応の画像Ｉ_a と正規化参照画像Ｉ_s を重ね
てみることで、両者の像の重なっている部分がわかるの
で、多数のランドマーク候補Ｌｉの中から像の形状、濃
淡の状態（カラー画像情報としてある場合は色情報の状
態）の一致するランドマークを見付けるために画像Ｉ_a
とＩ_s の各画素Ｉ₁ ，Ｉ₂ に対して、それぞれが重なっ
ている部分を見付け、その重なり部分での像の一致度を
求める。That is, the image I corresponding to the cut-out search area
means to take a superposed both images that scan the normalized reference image I _s on _a. Then, by superimposing the cut-out search region-corresponding image I _a and the normalized reference image I _s , it is possible to see the overlapping portion of the images, so that the shape of the image can be selected from a large number of landmark candidates Li. , The image I _{a in} order to find a landmark whose gray shade state (color information state, if present) matches.
For each of the pixels I ₁ and I _{2 of} I and I _s , the overlapping portion is found, and the degree of coincidence of the images at the overlapping portion is obtained.

【００８６】これは重なり部分における濃度状態（カラ
ー画像ならば同一色合い、あるいは色情報）の一致する
画素の占める割合を求めることなどで実現できるが、こ
こでは、正規化参照画像Ｉ_s の全ての画素Ｉ₁ に対し
て、重なっているＩ_a 内の画素Ｉ₂ との間で濃度相関ｓ
を求め、その加算値ＳＳ＝Σｓを求め、ＳＳが最大とな
るランドマーク候補を、本命のランドマークとすること
で、多数の候補の中から一致度の高いランドマークとし
て選定することができる。This can be realized by, for example, obtaining the proportion of pixels having the same density state (same hue or color information in the case of color images) in the overlapping portion, but here, all of the normalized reference image I _s to the pixel I _1, concentration correlation s between the pixel I ₂ in overlapping and I _a
Then, the added value SS = Σs is obtained, and the landmark candidate having the maximum SS is set as the favorite landmark, so that a landmark with a high degree of coincidence can be selected from a large number of candidates.

【００８７】このように、画像メモリ内の画像中から切
り出したランドマーク候補の画像Ｉ_a 内で正規化参照画
像Ｉ_s をラスター走査しながら重なっている部分での加
算値ＳＳを求め、この加算値ＳＳが最大となる位置、及
び最大値ｍａｘｓ（ａ）を求める。この加算値ＳＳは同
一濃度値（あるいは同一色合い、同一色情報）を持つ画
素の数に対応しており、この加算値ＳＳが最大となる位
置、及び最大値ｍａｘｓ（ａ）を求めることは、探索領
域対応の画像Ｉ_a と正規化参照画像Ｉ_s を重ねた場合に
おける両者の像の重なっている部分の類似度が最大であ
ることを意味する。As described above, the added value SS is obtained in the overlapping portion while rasterizing the normalized reference image I _s in the landmark candidate image I _a cut out from the image in the image memory, and this addition is performed. The position where the value SS is maximum and the maximum value maxs (a) are obtained. The added value SS corresponds to the number of pixels having the same density value (or the same hue and the same color information), and the position where the added value SS is maximum and the maximum value maxs (a) are obtained. This means that when the image I _a corresponding to the search area and the normalized reference image I _s are overlapped, the similarity between the overlapping portions of the images is maximum.

【００８８】ゆえにこれは一致度が最大であることにな
り、これに使用した正規化参照画像Ｉ_s のランドマーク
が当該探索領域対応の画像Ｉ_a におけるランドマークの
種別であることが分かる。Therefore, this means that the degree of coincidence is the maximum, and the landmark of the normalized reference image I _s used for this is the type of the landmark in the image I _a corresponding to the search area.

【００８９】画像メモリ２ｂにおける画像に対しても同
様の処理を行ない、最大値ｍａｘｓ（ｂ）を求める。そ
して、ｍａｘｓ＝ｍａｘ（ｍａｘｓ（ａ），ｍａｘｓ
（ｂ））を求める。Similar processing is performed on the image in the image memory 2b to obtain the maximum value maxs (b). Then, maxs = max (maxs (a), maxs
(B)) is calculated.

【００９０】以上の処理を各探索領域毎にその領域での
候補として選定された各ランドマーク候補Ｌ_i （ｉ＝
０，１，…，ｔ）に対してそれぞれ行ない、それぞれに
ついてｍａｘｓが最大となるランドマーク候補Ｌ_i をそ
の探索領域でのランドマークの種別として選択する。こ
れにより、各探索領域毎に該領域でのランドマークの候
補として粗照合で多数選定されたランドマーク候補中か
ら、一致度の高い一つを選定してその種別を当該領域の
ランドマークの種別として絞り込むことができる。The above processing is performed for each search area for each landmark candidate L _i (i =
0, 1, ..., T), and the landmark candidate L _i having the maximum maxs is selected as the type of landmark in the search area. Thus, for each search area, one having a high degree of coincidence is selected from among a large number of landmark candidates selected by rough matching as landmark candidates in that area, and the type thereof is the type of the landmark of the area. Can be narrowed down as.

【００９１】なお、図２の構成例では、対象物モデルに
格納されているランドマークの濃淡画像をスケール変換
部１２が変換する、つまり、参照画像の方を正規化して
いたが、図３に示す構成例のように、画像メモリ２ａ、
２ｂから切り出してくる走査画像の方をスケール変換部
１２で正規化し、密照合部１４で相関による照合処理を
行なう構成とすることも考えられる。この場合の変換倍
率も、図２の構成例と同様に算出できる。In the configuration example of FIG. 2, the scale converter 12 converts the grayscale image of the landmark stored in the object model, that is, the reference image is normalized, but in FIG. As in the configuration example shown, the image memory 2a,
It is also conceivable that the scan image cut out from 2b is normalized by the scale conversion unit 12 and the fine matching unit 14 performs the matching process by the correlation. The conversion magnification in this case can also be calculated in the same manner as the configuration example of FIG.

【００９２】また、本実施例では、密照合部１１、１４
において相関により照合を行なったが、画素間の差の２
乗和等を用いたＳＳＤ手法等、他の照合手法を用いるこ
ともできる。Further, in this embodiment, the fine matching units 11 and 14 are
The correlation was performed by using the
It is also possible to use another matching method such as the SSD method using the sum of multiplications.

【００９３】本実施例では、投影点を領域メモリへ書き
込む際、等間隔にサンプリングしたが、通常、ステレオ
カメラ座標系の原点よりも遠い領域は画像上で小さく写
るため、解像度は粗くなる。逆に近い領域は画像上で大
きく写るため解像度が高くなる。このため、例えば、Ｙ
_min に近い点程、Ｘ、Ｙのサンプル間隔を細かくし、Ｙ
_max に近い点程、Ｘ、Ｙのサンプル間隔を大きくするこ
とにより、情報量を減少させることなく領域メモリ５の
容量を減少させることができる。In this embodiment, when the projection points are written in the area memory, they are sampled at equal intervals. However, the area far from the origin of the stereo camera coordinate system is usually small in the image, so the resolution becomes coarse. On the contrary, the near region has a large resolution on the image because the image is enlarged. Therefore, for example, Y
_The closer to _min , the finer the X and Y sample intervals,
The capacity of the area memory 5 can be reduced without reducing the amount of information by increasing the X, Y sample interval at a point closer to _max .

【００９４】また、本実施例では道路面として平面を仮
定して説明したが、ステレオカメラ座標系で方程式が既
知である曲面であれば、平面の場合と同様に道路領域を
抽出することができる。Although the present embodiment has been described on the assumption that a plane is used as the road surface, a road area can be extracted as in the case of a plane if the surface is a curved surface whose equation is known in the stereo camera coordinate system. .

【００９５】また、本実施例においては、道路標識、電
柱、及び信号機等、屋外道路環境のランドマークに関し
ての識別を主体に記述したが、これに限るものではない
こととはもちろんであって、地面や床面から立ち上がっ
ている物であるならば適用可能である。例えば、室内環
境における柱の列、消火器、ドア、及び什器等のランド
マークも本実施例と同様の手法で認識できる。Further, in the present embodiment, the description was made mainly about the identification of the landmarks of the outdoor road environment such as road signs, telephone poles, traffic lights, etc., but it goes without saying that the invention is not limited to this. It is applicable as long as it is an object rising from the ground or floor. For example, landmarks such as a row of pillars, a fire extinguisher, a door, and furniture in an indoor environment can be recognized by the same method as in this embodiment.

【００９６】以上、本装置は画像中のランドマークの認
識を行なうにあたり、照合基準となる実際の各種のラン
ドマークの像情報を含むランドマークの情報を用意し、
これとランドマークの映っている画像中のランドマーク
領域を切り出して照合するようにして識別するものであ
る。As described above, the present apparatus prepares landmark information including image information of various actual landmarks serving as a collation reference when recognizing landmarks in an image,
A landmark area in an image in which the landmark is reflected is cut out and collated for identification.

【００９７】すなわち、本装置ではランドマークは単純
な形状であり、しかも、道路上に細長く立っているもの
であるという前提を利用しており、画像中に埋もれるラ
ンドマークの像を、高さの方向に分布するこれらの前提
に合う条件の画素情報が分布する領域を切り出して照合
する対象領域を特定することで、複雑で変動の激しい画
像内からランドマーク像の含まれる領域を安定に切り出
し、また、用意した実際の各種ランドマークの像を含む
照合のための情報を基準となるランドマークとして用
い、これを正規化して画像中に投影し、これと上記切り
出した画像とを照合して両者の重なる部分での一致度を
調べ、複数種ある照合基準のランドマークから一致度の
高いものを選定してこれを画像中の上記領域におけるラ
ンドマークの種別として認識する。That is, this apparatus uses the premise that the landmark has a simple shape and that it stands on the road in a slender shape, and the image of the landmark buried in the image is By cutting out the area where the pixel information of the conditions that match these assumptions distributed in the direction is distributed and specifying the target area to be collated, it is possible to stably cut out the area containing the landmark image from within the complicated and rapidly changing image, In addition, the information for collation including the images of various actual landmarks prepared is used as a reference landmark, which is normalized and projected into the image, and this is collated with the cut out image and both are compared. Check the degree of coincidence in the overlapping area, select the one with a high degree of coincidence from the landmarks of the multiple matching criteria, and use this as the type of landmark in the above area in the image. It recognizes Te.

【００９８】特に外界の像を視差のある画像つまり左像
および右像としてそれぞれ取得する立体視用の撮像装置
を用い、その画像を利用するもので、撮像装置の撮影点
がわかり、しかも、左像および右像の持つ視差からラン
ドマークが立っている所までの距離を求めることができ
るため、この求めた距離を用いて画像中に撮像されたラ
ンドマークのサイズと位置が特定でき、これに合うよう
に、照合基準のランドマークの像を正規化して上記画像
に投影し、画像中のランドマークとの一致度を調べるよ
うにしたことから、少ない計算量でしかも精度良く画像
中のランドマークの種別が認識できる。Particularly, by using an image pickup device for stereoscopic vision that acquires an image of the external world as a parallax image, that is, a left image and a right image, the image is used, and the photographing point of the image pickup device can be known and Since the distance to the place where the landmark stands can be calculated from the parallax of the image and the right image, the size and position of the landmark captured in the image can be specified using this calculated distance. In order to match, the image of the landmark of the collation reference is normalized and projected on the above image, and the degree of coincidence with the landmark in the image is checked, so the landmark in the image can be calculated with a small amount of calculation and with high accuracy. The type of can be recognized.

【００９９】[0099]

【発明の効果】以上、詳述したように本発明は、ランド
マークは道路上に細長く立っているものであるという高
さの情報を利用するようにしたものであり、この情報を
利用することにより、画像中のランドマーク領域を、複
雑で変動の激しい画像内から安定に切り出すことができ
る。さらに、ランドマークが立っている所までの距離を
求めることができるため、この距離を用いて画像中に撮
像されたランドマークのサイズが特定でき、少ない計算
量で照合処理の実現ができる。As described above in detail, according to the present invention, the information on the height that the landmark is standing on the road in a slender shape is used, and this information is used. With this, it is possible to stably cut out the landmark area in the image from within the image that is complicated and has large fluctuations. Further, since the distance to the place where the landmark stands can be obtained, the size of the landmark imaged in the image can be specified using this distance, and the matching process can be realized with a small amount of calculation.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の実施例を説明するための図であって、
本発明の一実施例の概略構成を示すブロック図。FIG. 1 is a diagram for explaining an embodiment of the present invention,
The block diagram which shows the schematic structure of one Example of this invention.

【図２】本発明の実施例を説明するための図であって、
本発明の一実施例としての認識部７の構成例を示すブロ
ック図。FIG. 2 is a diagram for explaining an embodiment of the present invention,
The block diagram which shows the structural example of the recognition part 7 as one Example of this invention.

【図３】本発明の実施例を説明するための図であって、
本発明の別の実施例としての認識部７の構成例を示すブ
ロック図。FIG. 3 is a diagram for explaining an embodiment of the present invention,
The block diagram which shows the structural example of the recognition part 7 as another Example of this invention.

【図４】本発明の実施例を説明するための図であって、
本発明の一実施例としての変換部３による画像メモリ２
ａ，２ｂの画像の平面Ｐ上への投影方法を説明する図。FIG. 4 is a diagram for explaining an embodiment of the present invention,
Image memory 2 by conversion unit 3 as one embodiment of the present invention
The figure explaining the projection method on the plane P of the image of a, 2b.

【図５】本発明の実施例を説明するための図であって、
本発明の一実施例としての領域メモリを説明する図。FIG. 5 is a diagram for explaining an embodiment of the present invention,
FIG. 3 is a diagram illustrating an area memory as an embodiment of the present invention.

【図６】本発明の実施例を説明するための図であって、
本発明の一実施例としての対応領域を説明する図。FIG. 6 is a diagram for explaining an embodiment of the present invention,
The figure explaining the corresponding area | region as one Example of this invention.

【図７】本発明の実施例を説明するための図であって、
本発明の一実施例としての道路面上に立ち上がっている
対象物を説明する図。FIG. 7 is a diagram for explaining an embodiment of the present invention,
The figure explaining the target object standing up on the road surface as one Example of this invention.

【図８】本発明の実施例を説明するための図であって、
本発明の一実施例としての投影像を説明する図。FIG. 8 is a diagram for explaining an embodiment of the present invention,
The figure explaining the projection image as one Example of this invention.

【図９】本発明の実施例を説明するための図であって、
本発明の一実施例としての平面投影記述を説明する図。FIG. 9 is a view for explaining the embodiment of the present invention,
The figure explaining the plane projection description as one Example of this invention.

【図１０】本発明の実施例を説明するための図であっ
て、本発明の一実施例としての探索領域の設定方法を説
明する図。FIG. 10 is a diagram for explaining the embodiment of the present invention and is a diagram for explaining a method of setting a search area as one embodiment of the present invention.

【図１１】本発明の実施例を説明するための図であっ
て、本発明の一実施例としての対象物モデルの内容を説
明する図。FIG. 11 is a diagram for explaining the embodiment of the present invention, and is a diagram for explaining the contents of the object model as one embodiment of the present invention.

【図１２】本発明の実施例を説明するための図であっ
て、画像中から探索領域を設定する一例を説明する図。FIG. 12 is a diagram for explaining the embodiment of the present invention and is a diagram for explaining an example of setting a search region in an image.

【符号の説明】[Explanation of symbols]

１ａ，１ｂ…ＴＶカメラ ３…変換部 ４…面パラメータ記憶部 ５…領域メモリ ６…探索空間算出部 ７…認識部 ８…対象物モデル管理部 ９…対象物モデル記憶部 １０…粗照合部 １１…密照合部 １２…スケール変換部 1a, 1b ... TV camera 3 ... Converter 4 ... Surface parameter storage unit 5 ... Area memory 6 ... Search space calculation unit 7 ... Recognition unit 8 ... Object model management unit 9 ... Object model storage unit 10 ... Coarse matching unit 11 ... Dense matching unit 12 ... Scale converter

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 315 G06T 1/00 330 G06T 7/00 200 G06T 7/00 300 ＪＩＣＳＴファイル（ＪＯＩＳ)─────────────────────────────────────────────────── ─── Continuation of the front page (58) Fields surveyed (Int.Cl. ⁷ , DB name) G06T 1/00 315 G06T 1/00 330 G06T 7/00 200 G06T 7/00 300 JISST file (JOIS)

Claims (13)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 基準となる面上に立つランドマークの存
在する３次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、３次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と前記ランドマ
ーク情報保持手段の保持する基準のランドマークの特徴
情報とを照合し、ランドマーク種別を識別する認識手段
と、を具備することを特徴とするランドマーク認識装
置。1. An image input means for taking a visual field in a three-dimensional space in which a landmark standing on a reference plane exists and acquiring an image in the visual field as a pair of identification processing target images having at least parallax, and an actual image input means. By using the landmark information holding unit that holds the characteristic information of the reference landmark including the images of various landmarks and the parallax information of the image of the identification processing target image obtained from the image input unit, three-dimensional A conversion means for projecting onto the projection plane set in space and converting it into image data, an area memory for accumulating the image data obtained by this conversion means, and a landmark from each data in this area memory The identification processing when a portion in contact with the reference surface is extracted and the position of the portion in the area memory is inversely converted to the original image. In the area corresponding to the search area obtained by the search space setting means in the identification processing target image, knowing the landmark existence area in the target image, and obtaining the landmark existence area as a search area A landmark recognition device, comprising: a recognition unit that collates the image with the reference landmark feature information held by the landmark information holding unit to identify the landmark type. 【請求項２】 基準となる面上に立つランドマークの存
在する３次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、３次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と、この探索領
域の位置に配置した際の寸法に正規化し、かつ、当該探
索領域内に投影した前記基準のランドマークの像情報お
よびその特徴情報とを照合し、一致する度合いからラン
ドマーク種別を識別する認識手段と、を具備することを
特徴とするランドマーク認識装置。2. An image inputting means for taking a three-dimensional space in which a landmark standing on a reference plane is present as a visual field and acquiring an image in this visual field as at least a pair of discrimination processing target images having parallax, and an actual image inputting means. By using the landmark information holding unit that holds the characteristic information of the reference landmark including the images of various landmarks and the parallax information of the image of the identification processing target image obtained from the image input unit, three-dimensional A conversion means for projecting onto the projection plane set in space and converting it into image data, an area memory for accumulating the image data obtained by this conversion means, and a landmark from each data in this area memory The identification processing when a portion in contact with the reference surface is extracted and the position of the portion in the area memory is inversely converted to the original image. In the area corresponding to the search area obtained by the search space setting means in the identification processing target image, knowing the landmark existence area in the target image, and obtaining the landmark existence area as a search area The image is normalized to the size when placed at the position of this search area, and the image information of the reference landmark and its characteristic information projected in the search area are collated, and the landmark is determined from the degree of coincidence. A landmark recognition device comprising: a recognition unit that identifies a type. 【請求項３】 基準となる面上に立つランドマークの存
在する３次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像、ランドマークの寸法、ラ
ンドマークが持つ色彩、及び輪郭形状を表す円、楕円、
四角形、菱形、平行線等の図形特徴を含む基準のランド
マークの特徴情報を保持したランドマーク情報保持手段
と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、３次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と前記ランドマ
ーク情報保持手段の保持する基準のランドマークの特徴
情報とを照合し、ランドマーク種別を識別する認識手段
と、を具備することを特徴とするランドマーク認識装
置。3. An image input means for taking a visual field in a three-dimensional space in which a landmark standing on a reference plane is present, and acquiring an image in the visual field as at least a pair of identification processing target images having parallax, and an actual image input means. Images of various landmarks, dimensions of the landmarks, colors that the landmarks have, and circles and ellipses that represent the outline shape,
A landmark information holding unit that holds characteristic information of a reference landmark including a graphic feature such as a quadrangle, a rhombus, and parallel lines, and parallax information that an image of an image to be subjected to identification processing obtained from the image input unit is used As a result, the conversion means for projecting on the projection plane set in the three-dimensional space and converting into the image data, the area memory for accumulating the image data obtained by the conversion means, and the respective data of the area memory From the inside, extract the part where the landmark is in contact with the reference surface, and from the position in the area memory of that part, the land in the identification processing target image when converted back to the original image. A search space setting unit that knows a mark existing region and finds the landmark existing region as a search region, and a search space setting unit in the identification processing target image And a recognition unit for identifying the landmark type by collating the image in the region corresponding to the search region with the characteristic information of the reference landmark held by the landmark information holding unit. Landmark recognition device. 【請求項４】 基準となる面上に立つランドマークの存
在する３次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像、ランドマークの寸法、ラ
ンドマークが持つ色彩、及び輪郭形状を表す円、楕円、
四角形、菱形、平行線等の図形特徴を含む基準のランド
マークの特徴情報を保持したランドマーク情報保持手段
と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、３次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と、この探索領
域の位置に配置した際の寸法に正規化し、かつ、当該探
索領域内に投影した前記基準のランドマークの像情報お
よびその特徴情報とを照合し、一致する度合いからラン
ドマーク種別を識別する認識手段と、を具備することを
特徴とするランドマーク認識装置。4. An image input means for taking a visual field in a three-dimensional space in which a landmark standing on a reference plane is present and acquiring an image in the visual field as a pair of identification processing target images having at least parallax, and an actual image input means. Images of various landmarks, dimensions of the landmarks, colors that the landmarks have, and circles and ellipses that represent the outline shape,
A landmark information holding unit that holds characteristic information of a reference landmark including a graphic feature such as a quadrangle, a rhombus, and parallel lines, and parallax information that an image of an image to be subjected to identification processing obtained from the image input unit is used As a result, the conversion means for projecting on the projection plane set in the three-dimensional space and converting into the image data, the area memory for accumulating the image data obtained by the conversion means, and the respective data of the area memory From the inside, extract the part where the landmark is in contact with the reference surface, and from the position in the area memory of that part, the land in the identification processing target image when converted back to the original image. A search space setting unit that knows a mark existing region and finds the landmark existing region as a search region, and a search space setting unit in the identification processing target image The image in the area corresponding to the search area and the image information of the reference landmark and its characteristic information which are normalized to the dimensions when arranged at the position of the search area and which are projected in the search area are displayed. A landmark recognition device, comprising: a recognition unit that collates and recognizes a landmark type from the degree of matching. 【請求項５】 基準となる面上に立つランドマークの存
在する３次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、３次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触して立ち上がる部分を抽出
し、その部分の当該領域メモリ中の位置から、もとの画
像に逆変換した際の前記識別処理対象画像中でのランド
マーク存在領域を知り、そのランドマーク存在領域を探
索領域として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と、この探索領
域の位置に配置した際の寸法に正規化し、かつ、当該探
索領域内に投影した前記基準のランドマークの像情報お
よびその特徴情報とを照合し、一致する度合いからラン
ドマーク種別を識別するものであって、前記探索領域内
に投影した前記基準のランドマークの像情報は、前記探
索空間設定手段にて得たランドマークの前記基準面から
の立ち上がり点までの距離を求め、この求めた距離を用
いて、画像中で撮像されるランドマークの画像サイズを
求め、対象物モデルの画像サイズを正規化してこれを投
影するものである認識手段と、を具備することを特徴と
するランドマーク認識装置。5. An image input means for taking a visual field in a three-dimensional space in which a landmark standing on a reference plane exists and acquiring an image in this visual field as at least a pair of identification processing target images having parallax, and an actual image input means. By using the landmark information holding unit that holds the characteristic information of the reference landmark including the images of various landmarks and the parallax information of the image of the identification processing target image obtained from the image input unit, three-dimensional A conversion means for projecting onto the projection plane set in space and converting it into image data, an area memory for accumulating the image data obtained by this conversion means, and a landmark from each data in this area memory The part that rises in contact with the reference surface is extracted, and the position of the part in the area memory is converted back to the original image. A search space setting unit that knows a landmark existing region in another image to be processed and finds the landmark existing region as a search region, and a region corresponding to the search region found by the search space setting unit in the identification processing target image The image inside the image is normalized to the size when it is placed at the position of this search area, and the image information of the reference landmark projected in the search area and its characteristic information are collated, and from the degree of coincidence The image information of the reference landmark projected into the search area is used to identify the landmark type, and the distance from the reference plane to the rising point of the landmark obtained by the search space setting means is the distance. The image size of the landmark imaged in the image is calculated using this calculated distance, the image size of the object model is normalized, and this is projected. Landmark recognition apparatus characterized by comprising the in which recognition means which, a. 【請求項６】 基準となる面上に立つランドマークの存
在する３次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、３次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と前記ランドマ
ーク情報保持手段の保持する基準のランドマークの特徴
情報とを粗照合し、候補となる基準のランドマークを少
なくとも１つ以上選択する粗照合処理を行ない、得られ
た候補を前記識別処理対象画像における前記探索空間設
定手段の求めた探索領域に該当する領域内の画像とを密
に照合してランドマーク種別を識別する認識手段と、を
具備することを特徴とするランドマーク認識装置。6. An image input means for taking a visual field in a three-dimensional space in which a landmark standing on a reference plane is present, and acquiring an image in the visual field as at least a pair of identification processing target images having parallax, and an actual image input means. By using the landmark information holding unit that holds the characteristic information of the reference landmark including the images of various landmarks and the parallax information of the image of the identification processing target image obtained from the image input unit, three-dimensional A conversion means for projecting onto the projection plane set in space and converting it into image data, an area memory for accumulating the image data obtained by this conversion means, and a landmark from each data in this area memory The identification process when a portion in contact with the reference surface is extracted and the position of the portion in the area memory is inversely converted to the original image. In the area corresponding to the search area obtained by the search space setting means in the identification processing target image, knowing the landmark existence area in the target image, and obtaining the landmark existence area as a search area The image is roughly matched with the characteristic information of the reference landmark held by the landmark information holding means, a rough matching process of selecting at least one or more reference landmarks to be candidates is performed, and the obtained candidates are described above. Landmark recognition, which comprises: a recognition unit that closely matches the image in an area corresponding to the search area obtained by the search space setting unit in the identification processing target image to identify the landmark type. apparatus. 【請求項７】 基準となる面上に立つランドマークの存
在する３次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像を含む基準のランドマーク
の特徴情報を保持したランドマーク情報保持手段と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、３次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と、この探索領
域の位置に配置した際の寸法に正規化し、かつ、当該探
索領域内に投影した前記基準のランドマークの像情報お
よびその特徴情報とを粗照合し、候補となる基準のラン
ドマークを少なくとも１つ以上選択する粗照合処理を行
ない、得られた候補を前記識別処理対象画像における前
記探索空間設定手段の求めた探索領域に該当する領域内
の画像と密に照合してランドマーク種別を識別する認識
手段と、を具備することを特徴とするランドマーク認識
装置。7. An image input means for taking a visual field in a three-dimensional space in which a landmark standing on a reference plane exists and acquiring an image in this visual field as at least a pair of identification processing target images having parallax, and an actual image input means. By using the landmark information holding unit that holds the characteristic information of the reference landmark including the images of various landmarks and the parallax information of the image of the identification processing target image obtained from the image input unit, three-dimensional A conversion means for projecting onto the projection plane set in space and converting it into image data, an area memory for accumulating the image data obtained by this conversion means, and a landmark from each data in this area memory The identification processing when a portion in contact with the reference surface is extracted and the position of the portion in the area memory is inversely converted to the original image. In the area corresponding to the search area obtained by the search space setting means in the identification processing target image, knowing the landmark existence area in the target image, and obtaining the landmark existence area as a search area The image is normalized to the dimensions when placed at the position of this search area, and the image information of the reference landmark and its characteristic information projected in the search area are roughly collated, and the candidate reference A coarse matching process for selecting at least one or more landmarks is performed, and the obtained candidates are closely matched with the image in the region corresponding to the search region obtained by the search space setting means in the image to be subjected to the identification process to perform land matching. A landmark recognition device comprising: a recognition unit that identifies a mark type. 【請求項８】 基準となる面上に立つランドマークの存
在する３次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力手段と、 実際の各種ランドマークの像、ランドマークの寸法、ラ
ンドマークが持つ色彩、及び輪郭形状を表す円、楕円、
四角形、菱形、平行線等の図形特徴を含む基準のランド
マークの特徴情報を保持したランドマーク情報保持手段
と、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、３次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換手段と、 この変換手段より得られた画像データを蓄積する領域メ
モリと、 この領域メモリのそれぞれのデータの中からランドマー
クが前記基準となる面と接触している部分を抽出し、そ
の部分の当該領域メモリ中の位置から、もとの画像に逆
変換した際の前記識別処理対象画像中でのランドマーク
存在領域を知り、そのランドマーク存在領域を探索領域
として求める探索空間設定手段と、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と、前記識別処
理対象画像内におけるこの探索領域の位置に配置した際
の前記基準のランドマークの像の縮尺が互いに等しくな
るようにいずれか一方の像を正規化し、当該探索領域内
に投影した前記基準のランドマークの像情報および特徴
情報と前記識別処理対象画像における前記探索領域に該
当する領域内の画像とを照合し、一致する度合いからラ
ンドマーク種別を識別する認識手段と、を具備すること
を特徴とするランドマーク認識装置。8. An image input means for taking a three-dimensional space in which a landmark standing on a reference plane is present as a visual field and acquiring an image in this visual field as at least a pair of identification processing target images having parallax, and an actual image input means. Images of various landmarks, dimensions of the landmarks, colors that the landmarks have, and circles and ellipses that represent the outline shape,
A landmark information holding unit that holds characteristic information of a reference landmark including a graphic feature such as a quadrangle, a rhombus, and parallel lines, and parallax information that an image of an image to be subjected to identification processing obtained from the image input unit is used As a result, the conversion means for projecting on the projection plane set in the three-dimensional space and converting into the image data, the area memory for accumulating the image data obtained by the conversion means, and the respective data of the area memory From the inside, extract the part where the landmark is in contact with the reference surface, and from the position in the area memory of that part, the land in the identification processing target image when converted back to the original image. A search space setting unit that knows a mark existing region and finds the landmark existing region as a search region, and a search space setting unit in the identification processing target image The image in the area corresponding to the search area and one of the images so that the scales of the images of the reference landmarks when arranged at the position of the search area in the image to be identified are equal to each other. The image information and the characteristic information of the reference landmark, which is normalized and projected in the search area, is collated with the image in the area corresponding to the search area in the identification processing target image, and the landmark type is determined from the degree of matching. A landmark recognition device, comprising: 【請求項９】 基準となる面上に立つランドマークの存
在する３次元空間内を視野としてこの視野中の画像を少
なくとも視差のある一対の識別処理対象画像として取得
する画像入力ステップと、 前記画像入力ステップから得られる識別処理対象画像を
画像の持つ視差の情報を利用することにより、３次元空
間中で設定した投影面へそれぞれ投影し、画像データに
変換する変換ステップと、 この変換ステップより得られた画像データを蓄積し、こ
の蓄積したそれぞれのデータの中からランドマークが前
記基準となる面と接触している部分を抽出し、その部分
の当該領域メモリ中の位置から、もとの画像に逆変換し
た際の前記識別処理対象画像中でのランドマーク存在領
域を知り、そのランドマーク存在領域を探索領域として
求める探索空間設定ステップと、 前記識別処理対象画像における前記探索空間設定ステッ
プの求めた探索領域に該当する領域内の画像と、実際の
各種ランドマークの像を含む基準のランドマークの特徴
情報とを照合し、ランドマーク種別を識別する認識ステ
ップと、を具備することを特徴とするランドマーク認識
方法。9. An image inputting step, wherein a three-dimensional space in which a landmark standing on a reference plane is present is used as a visual field, and an image in the visual field is acquired as at least a pair of identification processing target images having parallax. By using the parallax information of the image, the identification processing target image obtained from the input step is projected onto each projection plane set in the three-dimensional space and converted into image data. The image data is stored, the part where the landmark is in contact with the reference surface is extracted from the stored data, and the original image is extracted from the position of the part in the area memory. Search space setting that finds the landmark existing area in the image to be subjected to the identification processing when the image is inversely converted into Step, the image in the area corresponding to the search area obtained by the search space setting step in the image to be identified, and the characteristic information of the reference landmark including the images of various actual landmarks are compared, A landmark recognition method, comprising: a recognition step of identifying a mark type. 【請求項１０】 基準となる面上に立つランドマークの
存在する３次元空間内を視野としてこの視野中の画像を
少なくとも視差のある一対の識別処理対象画像として取
得する画像入力ステップと、 前記画像入力ステップにて得られる識別処理対象画像を
画像の持つ視差の情報を利用することにより、３次元空
間中で設定した投影面へそれぞれ投影し、画像データに
変換する変換ステップと、 この変換ステップにより得られた画像データを蓄積し、
この蓄積したそれぞれのデータの中からランドマークが
前記基準となる面と接触している部分を抽出し、その部
分の当該領域メモリ中の位置から、もとの画像に逆変換
した際の前記識別処理対象画像中でのランドマーク存在
領域を知り、そのランドマーク存在領域を探索領域とし
て求める探索空間設定ステップと、 前記識別処理対象画像における前記探索空間設定ステッ
プの求めた探索領域に該当する領域内の画像と、実際の
各種ランドマークの像を含む基準のランドマークの特徴
情報とを照合すると共に、この照合にあたっては前記基
準のランドマークの像の縮尺を前記識別処理対象画像内
における前記探索領域の位置に配置した際の寸法に正規
化し、かつ、当該探索領域内に投影した前記基準のラン
ドマークの像情報および特徴情報とを照合し、一致する
度合いからランドマーク種別を識別する認識ステップ
と、を具備することを特徴とするランドマーク認識方
法。10. An image inputting step, in which a three-dimensional space in which a landmark standing on a reference surface is present is used as a visual field, and an image in the visual field is acquired as at least a pair of identification processing target images having parallax. By using the information of the parallax that the image has in the identification process target image obtained in the input step, each is projected onto the projection plane set in the three-dimensional space, and is converted into image data. Accumulate the obtained image data,
From each of the accumulated data, the part where the landmark is in contact with the reference surface is extracted, and the position of the part in the area memory concerned is converted to the original image and the identification is performed. In the area corresponding to the search area obtained by the search space setting step in the image to be processed, the step of setting a search space for knowing the existence area of the landmark in the processing target image and obtaining the landmark existence area as a search area Image and the reference landmark characteristic information including the images of various actual landmarks are collated, and in this collation, the scale of the reference landmark image is set to the search area in the discrimination processing target image. The image information and the characteristic information of the reference landmark projected on the search area are normalized to the dimension when the object is placed at And a recognition step of identifying the landmark type from the degree of matching. 【請求項１１】 基準となる面上に立つランドマークの
存在する３次元空間内を視野としてこの視野中の画像を
少なくとも視差のある一対の識別処理対象画像として取
得する画像入力ステップと、 この画像入力ステップにて得られる識別処理対象画像を
画像の持つ視差の情報を利用することにより、３次元空
間中で設定した投影面へそれぞれ投影し、画像データに
変換する変換ステップと、 この変換ステップにより得られた画像データを領域メモ
リ中に蓄積してこの蓄積したそれぞれのデータの中から
ランドマークが前記基準となる面と接触して立ち上がる
部分を抽出し、その部分の当該領域メモリ中の位置か
ら、もとの画像に逆変換した際の前記識別処理対象画像
中でのランドマーク存在領域を知り、そのランドマーク
存在領域を探索領域として求める探索空間設定ステップ
と、 前記識別処理対象画像における前記探索空間設定ステッ
プの求めた探索領域に該当する領域内の画像と、実際の
各種ランドマークの像を含む基準のランドマークの特徴
情報とを照合すると共に、この照合にあたっては前記基
準のランドマークの像または前記識別処理対象画像にお
ける前記探索領域に該当する領域内画像の縮尺が前記識
別処理対象画像内における前記探索領域の位置に配置し
た際に合うように寸法の正規化を施し、かつ、前記探索
領域内に投影した前記基準のランドマークの像情報およ
びその特徴情報と前記識別処理対象画像における前記探
索領域に該当する領域内画像とを照合し、一致する度合
いからランドマーク種別を識別する認識ステップと、を
具備することを特徴とするランドマーク認識方法。11. An image input step for obtaining an image in a three-dimensional space in which a landmark standing on a reference plane is present as an image in the three-dimensional space as at least a pair of identification processing images having parallax, and the image input step. By using the information of the parallax that the image has in the identification process target image obtained in the input step, each is projected onto the projection plane set in the three-dimensional space, and is converted into image data. The obtained image data is stored in the area memory, and the portion where the landmark comes in contact with the reference surface is extracted from each of the accumulated data, and the portion that rises from the position in the area memory is extracted. , Know the landmark existing area in the image to be identified when the image is inversely converted to the original image, and search the landmark existing area. And a search space setting step to be obtained, an image in an area corresponding to the search area obtained in the search space setting step in the image to be identified, and reference landmark characteristic information including images of various actual landmarks In addition, the scale of the image of the reference landmark or the in-region image corresponding to the search region in the identification processing target image is arranged at the position of the search region in the identification processing target image. The image of the reference landmark image information projected in the search area and its characteristic information and the image in the area corresponding to the search area in the identification processing target image And a recognition step of identifying the landmark type from the degree of coincidence. Over-click recognition method. 【請求項１２】 基準となる面上に立つランドマークの
存在する３次元空間内を視野としてこの視野中の画像を
少なくとも視差のある一対の識別処理対象画像として取
得する画像入力ステップと、 前記画像入力手段から得られる識別処理対象画像を画像
の持つ視差の情報を利用することにより、３次元空間中
で設定した投影面へそれぞれ投影し、画像データに変換
する変換ステップと、 この変換ステップにより得られた画像データを領域メモ
リに蓄積し、この領域メモリのそれぞれのデータの中か
らランドマークが前記基準となる面と接触している部分
を抽出し、その部分の当該領域メモリ中の位置から、も
との画像に逆変換した際の前記識別処理対象画像中での
ランドマーク存在領域を知り、そのランドマーク存在領
域を探索領域として求める探索空間設定ステップと、 前記識別処理対象画像における前記探索空間設定手段の
求めた探索領域に該当する領域内の画像と、この探索領
域の位置に配置した際の寸法に正規化し、かつ、当該探
索領域内に投影した前記基準のランドマークの像情報お
よびその特徴情報とを粗照合し、候補となる基準のラン
ドマークを少なくとも１つ以上選択する粗照合処理を行
ない、得られた候補を前記識別処理対象画像における前
記探索空間設定手段の求めた探索領域に該当する領域内
の画像と密に照合してランドマーク種別を識別する認識
ステップと、を具備することを特徴とするランドマーク
認識方法。12. An image inputting step, wherein an image in a three-dimensional space in which a landmark standing on a reference surface is present is used as a field of view, and an image in the field of view is acquired as a pair of images to be subjected to identification processing having at least parallax. By using the information of the parallax of the image, the identification processing target image obtained from the input means is projected on each projection plane set in the three-dimensional space and converted into image data. Accumulated image data is stored in the area memory, and from each of the data in the area memory, the part where the landmark is in contact with the reference surface is extracted, and from the position of the part in the area memory, Knowing the landmark existing area in the image to be subjected to the discrimination processing when the original image is inversely converted, the landmark existing area is obtained as a search area. A search space setting step, an image in an area corresponding to the search area obtained by the search space setting means in the identification processing target image, and a dimension when the image is arranged at the position of the search area, and The image information of the reference landmarks projected in the search area and the characteristic information thereof are roughly collated, and a coarse collation process of selecting at least one or more reference landmarks to be candidates is performed to obtain the obtained candidates. A recognition step for recognizing a landmark type by closely collating with an image in an area corresponding to the search area obtained by the search space setting means in the image for identification processing. . 【請求項１３】 基準となる面上に立つランドマークの
存在する３次元空間内を視野としてこの視野中の画像を
少なくとも視差のある一対の識別処理対象画像として取
得する画像入力ステップと、 前記画像入力ステップから得られる識別処理対象画像を
画像の持つ視差の情報を利用することにより、３次元空
間中で設定した投影面へそれぞれ投影し、画像データに
変換する変換ステップと、 この変換ステップにより得られた画像データを領域メモ
リ中に蓄積してこの蓄積したそれぞれのデータの中から
ランドマークが前記基準となる面と接触して立ち上がる
部分を抽出し、その部分の当該領域メモリ中の位置か
ら、もとの画像に逆変換した際の前記識別処理対象画像
中でのランドマーク存在領域を知り、そのランドマーク
存在領域を探索領域として求める探索空間設定ステップ
と、 前記識別処理対象画像における前記探索空間設定ステッ
プの求めた探索領域に該当する領域内の画像と、実際の
各種ランドマークの像を含む基準のランドマークの特徴
情報とを照合すると共に、この照合にあたっては前記基
準のランドマークの像または前記識別処理対象画像にお
ける前記探索領域に該当する領域内画像の縮尺が前記識
別処理対象画像内における前記探索領域の位置に配置し
た際に合うように寸法の正規化を施し、かつ、前記探索
領域内に投影した前記基準のランドマークの像情報およ
び特徴情報と前記識別処理対象画像における前記探索領
域に該当する領域内画像とを照合し、一致する度合いか
らランドマーク種別を識別する処理を行なうものであっ
て、前記探索領域内に投影した前記基準のランドマーク
の像情報は、前記探索空間設定ステップにて得たランド
マークの前記基準面からの立ち上がり点までの距離を求
め、この求めた距離を用いて、画像中で撮像されるラン
ドマークの画像サイズを求め、画像サイズの正規化に利
用するようにした認識ステップと、を具備することを特
徴とするランドマーク認識方法。13. An image inputting step, in which a three-dimensional space in which a landmark standing on a reference surface is present is used as a visual field, and an image in the visual field is acquired as at least a pair of identification processing target images having parallax, the image input step. By using the information of the parallax of the image, the identification processing target image obtained from the input step is projected onto each projection plane set in the three-dimensional space and converted into image data. The image data obtained is stored in the area memory, and a portion where the landmark comes into contact with the reference surface is extracted from each of the accumulated data, and from the position of the portion in the area memory, Know the landmark existing area in the image to be identified when the image is inversely converted to the original image, and search the landmark existing area. And a search space setting step to be obtained, an image in an area corresponding to the search area obtained in the search space setting step in the image to be identified, and reference landmark characteristic information including images of various actual landmarks In addition, the scale of the image of the reference landmark or the in-region image corresponding to the search region in the identification processing target image is arranged at the position of the search region in the identification processing target image. When subjected to normalization of dimensions so as to match, and the image information and the characteristic information of the reference landmark projected in the search area and the image in the area corresponding to the search area in the identification processing target image For identifying the landmark type from the degree of coincidence, which is before the projection in the search area. The image information of the reference landmark is obtained by obtaining the distance from the reference plane to the rising point of the landmark obtained in the search space setting step, and using the obtained distance, the landmark imaged in the image. And a recognition step adapted to obtain the image size of the image and use it for normalization of the image size.