JPH04171586A - Pattern retrieving method - Google Patents

Abstract

PURPOSE:To remarkably reduce a memory capacity and recognizing processing time by making a process to generate a template to the retrieving object in arbitrary distance and in a line of sight direction automatically incorporate in a pattern retrieving process. CONSTITUTION:The relative positional relation of a plane to include the one part or the whole of a retrieving object and a image pickup device 1 with using the observed value of the structure of the retrieving object found in advance is found at the first process. An estimated object pattern which is the two-dimensional picture of the retrieving object when it is assumed that the retrieving object exists at an arbitrary picture position P0 on the two-dimensional picture obtained with image-picking-up is found by calculation at the second process. The matching of the estimated object pattern and an actual pattern to exist at the picture position on the two-dimentional picture obtained with image-picking-up is executed at the third process. Thus, remarkable reduction of memory capacity and recognizing processing time can be contrived.

Description

【発明の詳細な説明】 Ｃ発明の目的〕 （産業上の利用分野） この発明は、車両等からＴＶカメラ等により撮像された
画像を基にして、予め定められた探索対象物体、例えば
マンホールや電柱等のパターンを探索する方法に関する
ものである。[Detailed Description of the Invention] CObject of the Invention] (Industrial Application Field) The present invention is based on an image captured by a TV camera or the like from a vehicle or the like to search for a predetermined object to be searched, such as a manhole or the like. This relates to a method of searching for patterns such as utility poles.

（従来の技術） 従来、ＴＶカメラ等により入力された画像を基にして、
予め定められたパターンを認識するための方法としてパ
ターンマツチング法またはテンプレートマツチング法と
呼ばれる方法が多く用いられている。この方法では、テ
ンプレートと呼ばれる認識したい対象パターンを、探索
対象毎に辞書と呼ばれるメモリに登録しておき、実際に
撮像さレタ画像に辞書に登録された各テンプレートを重
ね合わせ、その一致する割合を評価関数として各テンプ
レート毎に求め、最も良く一致するテンプレートを対象
パターンの認識結果とするものである。(Prior art) Conventionally, based on images input by a TV camera,
A method called a pattern matching method or a template matching method is often used as a method for recognizing a predetermined pattern. In this method, the target patterns to be recognized, called templates, are registered in a memory called a dictionary for each search target, and each template registered in the dictionary is superimposed on the actually captured letter image, and the percentage of matches is calculated. An evaluation function is determined for each template, and the template that best matches the template is used as the target pattern recognition result.

ところが、この従来のパターン探索方法は、刻印文字の
認識、ＩＣの不良パターンの検出等二次元対象物につい
ての検索である。また、マツチングをとるべき対象の大
きさは固定されており、相恨形のものについてはパター
ンマツチングの評価関数に反映させることができないた
め、良好な認識結果は得られないという欠点があった。However, this conventional pattern search method searches for two-dimensional objects such as recognition of engraved characters and detection of defective IC patterns. In addition, the size of the object to be matched is fixed, and since it is not possible to reflect the reciprocal shape in the pattern matching evaluation function, there is a drawback that good recognition results cannot be obtained. .

更に、道路、建物、樹木等を含む三次元空間を撮像して
得られる二次元画像において既知物体を探索する場合も
、従来方法では対象パターンは二次元画像上で等大のも
のに限られていた。ところが、現実の撮像画像の大きさ
はカメラから探索対象物体までの距離や視線方向により
異なるため、このような従来方法では実用的な認識結果
を得ることはできなかった。Furthermore, when searching for a known object in a two-dimensional image obtained by capturing a three-dimensional space including roads, buildings, trees, etc., conventional methods limit target patterns to those of equal size on the two-dimensional image. Ta. However, since the size of an actual captured image varies depending on the distance from the camera to the object to be searched and the line of sight direction, it has not been possible to obtain practical recognition results using such conventional methods.

そこで、この問題を解決するための方法として、１つの
探索対象物体に対し、観測可能な複数の異なる視線方向
、および複数の異なる距離から見たテンプレートパター
ンを用意してメモリに登録しておき、これらの各々と実
際に得られた画像とのマツチングを調べるという方法が
提案されている（池内他、「幾何モデルより導出された
解釈木によるビンピッキングタスク中の対象物体の位置
姿勢決定」、信学論、　　Ｊ−７０Ｄ、　ＮＯＩ、　ｐ
ｐ、１２７−１３８．１９８７　＞。Therefore, as a method to solve this problem, template patterns for one search target object viewed from multiple different observable line-of-sight directions and multiple different distances are prepared and registered in memory. A method has been proposed to examine the matching between each of these and actually obtained images (Ikeuchi et al., ``Determination of the position and orientation of a target object during a bin picking task using an interpretation tree derived from a geometric model'', Academic theory, J-70D, NOI, p
p, 127-138.1987>.

（発明が解決しようとする課題） しかしながら、この１つの探索対象物体に対して観測可
能な複数の異なる視線方向、および複数の異なる距離か
ら見た複数のテンプレートパターンと実際に得られた画
像とのマツチングを調べるこの方法は、１つの探索対象
に対して非常に多くのテンプレートを準備してメモリに
登録する必要があるため、メモリ容量ならびに認識処理
時間の面で不利であるという問題がある。(Problem to be Solved by the Invention) However, the difference between the actually obtained image and the plurality of template patterns observed from a plurality of different line of sight directions and from a plurality of different distances with respect to this one search target object. This method of examining matching requires the preparation and registration of a large number of templates in memory for one search target, which is disadvantageous in terms of memory capacity and recognition processing time.

そこで、ＴＶカメラ等の撮像装置により三次元空間を撮
像して得た二次元画像の中で、地表面のごとく撮像装置
との位置関係が既知の平面に本発明者らは着目して本発
明を成したのである。すなわち、前述の平面内に一部ま
たは全部が含まれる探索対象物体が撮像画像中に存在す
ると仮定した場合に、予想される画像上での形状、大き
さを計算により求め、これにより得た推定対象パターン
と、実際に撮像により得られた撮像画面とのパターンマ
ツチングを行えば、前記の問題を解決できることを本発
明者らは見出して本発明を成したのである。Therefore, among the two-dimensional images obtained by imaging a three-dimensional space with an imaging device such as a TV camera, the present inventors focused on a plane whose positional relationship with the imaging device is known, such as the ground surface, and developed the present invention. This was accomplished. In other words, assuming that the object to be searched, which is partially or completely contained within the above-mentioned plane, exists in the captured image, the predicted shape and size on the image are calculated, and the estimation obtained from this calculation is performed. The present inventors have discovered that the above-mentioned problem can be solved by performing pattern matching between the target pattern and the imaged screen actually obtained by imaging, and have accomplished the present invention.

よって、本発明の目的は、パターン探索プロセスの中に
任意の距離、視線方向の探索物体に対するテンプレート
を自動的に発生するプロセスを内蔵させることにより、
メモリ容量と認識処理時間の大幅な減少を図ることがで
きるパターン探索方法を提供することにある。Therefore, an object of the present invention is to incorporate into the pattern search process a process that automatically generates a template for a search object at an arbitrary distance and line of sight.
An object of the present invention is to provide a pattern search method that can significantly reduce memory capacity and recognition processing time.

〔発明の構成〕[Structure of the invention]

（課題を解決するための手段） 上記目的を達成する本発明のパターン探索方法は、１つ
または複数の探索物体を含む三次元空間を撮像して得ら
れる二次元画像から、予め定められた探索対象物体のパ
ターンを探索する方法であって、探索対象物体の構造の
実測値を予め求めておき、探索対象物体の一部または全
部を含む平面よ撮像装置との相対的な位置関係を知る第
１の工程と、前記撮像して得られる二次元画像上の任意
の画面位置に、探索対象物体が存在すると仮定したとき
の探索対象物体の二次元画像である推定対象パターンを
計算により求める第２の工程と、前記推定対象パターン
と前記撮像して得られた二次元画像上の前記画面位置に
存在する実パターンとのマツチングを行う第３の工程と
、を備えることを特徴とする。(Means for Solving the Problems) A pattern search method of the present invention that achieves the above object uses a predetermined search method from a two-dimensional image obtained by imaging a three-dimensional space containing one or more search objects. A method of searching for a pattern of a target object, in which actual measured values of the structure of the target object are obtained in advance, and the relative positional relationship between the plane containing part or all of the target object and the imaging device is known. Step 1, and a second step of calculating an estimated target pattern, which is a two-dimensional image of the object to be searched, assuming that the object to be searched exists at an arbitrary screen position on the two-dimensional image obtained by the imaging. and a third step of matching the estimation target pattern with the actual pattern existing at the screen position on the two-dimensional image obtained by the imaging.

（作用） この発明のパターン探索方法によれば、第１の工程で、
予め求めておいた探索対象物体の構造の実測値を用いて
、探索対象物体の一部または全部を含む平面と撮像装置
との相対的な位置関係かもとめられ、第２の工程で、前
記撮像して得られる二次元画像上の任意の画面位置に、
探索対象物体が存在すると仮定したときの探索対象物体
の二次元画像である推定対象パターンが計算により求め
られ、第３の工程で、前記推定対象パターンと前記撮像
して得られた二次元画像上の前記画面位置に存在する実
パターンとのマツチングが行われる。(Operation) According to the pattern search method of the present invention, in the first step,
Using actual measured values of the structure of the object to be searched that have been obtained in advance, the relative positional relationship between the plane containing part or all of the object to be searched and the imaging device is also determined, and in a second step, the imaging device is at any screen position on the two-dimensional image obtained by
An estimation target pattern, which is a two-dimensional image of the search target object when it is assumed that the search target object exists, is obtained by calculation, and in a third step, the estimation target pattern and the two-dimensional image obtained by imaging are calculated. Matching with the actual pattern existing at the screen position is performed.

（実施例） 以下添付図面を用いて本発明の実施例を詳細に説明する
。(Example) Examples of the present invention will be described in detail below using the accompanying drawings.

第１図は本発明のパターン探索方法を実施するための装
置構成を示すブロック図である。図において、１はＴＶ
カメラ等の画像入力装置、２−１と２−２はＡ／Ｄ変換
回路、３は参照光の照射装置、４は道路面の算出回路、
５は基本パターンが格納されたメモリである辞書、６は
推定パターンの計算回路、７−１と７−２はフレームメ
モリ、８は中央処理装置（ＣＰＵ）を示している。FIG. 1 is a block diagram showing the configuration of an apparatus for implementing the pattern search method of the present invention. In the figure, 1 is TV
An image input device such as a camera, 2-1 and 2-2 are A/D conversion circuits, 3 is a reference light irradiation device, 4 is a road surface calculation circuit,
5 is a dictionary which is a memory in which basic patterns are stored; 6 is a calculation circuit for estimated patterns; 7-1 and 7-2 are frame memories; and 8 is a central processing unit (CPU).

ＴＶカメラ等の画像入力装置１から撮像された画像は、
Ａ／Ｄ変換回路２−１．２−２等を介してデジタル化さ
れ、必要に応じて二値化された後にフレームメモリ７−
１に格納される。An image captured by an image input device 1 such as a TV camera is
After being digitized via A/D conversion circuits 2-1, 2-2, etc. and binarized as necessary, the frame memory 7-
It is stored in 1.

本発明の第１の工程では、ＴＶカメラ等の画像入力装置
１と道路面との相対位置、すなわち、カメラ座標系によ
り記述した地表面の方程式が、地表面上の三点について
の座′標位置を与えることにより決定される。つまり、
カメラ中心を原点として、地表面を表す方程式をＡＸ＋
ＢＹ＋ＣＺ＝１とするとき、係数Ａ、Ｂ、Ｃはこの平面
に含まれる任意の三点、 Ｐ、（Ｘ、、Ｙ、、Ｚ、）。In the first step of the present invention, the relative position between the image input device 1 such as a TV camera and the road surface, that is, the equation of the ground surface described by the camera coordinate system, is calculated using the coordinates of three points on the ground surface. Determined by giving the position. In other words,
AX+ equation representing the ground surface with the camera center as the origin
When BY+CZ=1, the coefficients A, B, and C are any three points included in this plane, P, (X,, Y,, Z,).

Ｐｇ（Ｘ２．Ｙ２、Ｚ２）。Pg(X2.Y2, Z2).

Ｐ　３（）”ｌ、　Ｙｓ、　Ｚｓ　） が与えられることにより次の（１）式を解いて決定する
ことができる。By giving P3()''l, Ys, Zs), it can be determined by solving the following equation (1).

ＡＸ、＋Ｂ　Ｘ、＋ＣＺ＝＝　１　（ｉ　＝１．２．３
）　　・・・（１）カメラ中心の地表からの高さＨが既
知の場合は、Ｐ３（０，０，−Ｈ）を既知の点として用
いることができる。他の二点Ｐ　＋　、Ｐ　ｚの座標値
は原理的には実測により求めることもできるが、実用的
にはステレオ画像処理等により光学的に求めることの方
が便利である。すなわち、中心軸間隔が既知の二台のカ
メラにより撮像された２枚の画像（これをステレオ画像
という）は視差をともなっているため、２点Ｐ　＋　、
Ｐ　ｚの両眼画像内座標位置から三次元座標を算出する
ことができる。AX, +B X, +CZ== 1 (i = 1.2.3
) (1) If the height H of the center of the camera from the ground is known, P3 (0, 0, -H) can be used as the known point. Although the coordinate values of the other two points P + and P z can be determined by actual measurement in principle, it is more convenient to obtain them optically by stereo image processing or the like. In other words, since two images (referred to as stereo images) captured by two cameras with a known center-axis interval have parallax, the two points P + ,
Three-dimensional coordinates can be calculated from the coordinate positions of Pz in the binocular images.

第２図に示すステレオ計測の座標系において、左右画像
の座標平面（ｕｌ、ｖＩＬ（ｕｒ、ｖ、）は平行で焦点
距離ｆ、左左右画像座標点点間距離を２Ｌで与え”ｉ’
レイルコノ場合、点Ｐ、（Ｘ、、Ｙ、、Ｚｉ）に対する
左右画像上での投影像の座標がそれぞれＰ　Ｉｆ　（Ｌ
ＪＩｉ＋　　ＶｌｉＬＰＩ’ｉ　（ｕｒｉｌ　　”ｒｉ
）　　とすると、ｕ、ｉ−ｕ、凰 ｕｌｉ　　　ｕｒｉ ｕｌｉ　　　ｕｒｉ （ｉ＝１．２） となり、二点Ｐ１、Ｐ２の座標値が求まり地表面の方程
式を決定することができる。In the stereo measurement coordinate system shown in Fig. 2, the coordinate planes of the left and right images (ul, vIL (ur, v,) are parallel, the focal length is f, and the distance between the left and right image coordinate points is given as 2L.
In the case of railcono, the coordinates of the projected images on the left and right images for points P, (X, , Y, , Zi) are P If (L
JIi+ VliLPI'i (uril "ri"
) Then, u, i-u, 凰uri uri uli uri (i=1.2) Then, the coordinate values of the two points P1 and P2 can be found, and the equation of the earth's surface can be determined.

また、−台のカメラのみで二点Ｐ＋、Ｐｇの座標を決定
する方法としては、照射方向が既知の参照光を照射装置
３により道路面上に二点作成し、これらを撮像した画面
内の座標から道路面とカメラの相対位置を知ることがで
きる。第３図に、参照光照射による計測の説明図を示す
。この図で参照光の出射位置は点Ｂ　（ｄ、０．０）で
固定とし、出射方向はｙ軸に対しＸ軸方向にα、Ｘ軸方
向に−βの傾きを与えるものとする。参照先の出射方向
（αｉ、β８）に対して撮像上の観測点Ｑ＝（ｕ＝、ｖ
、）が対応したとすると、地表面上の対応点Ｐ、（Ｘ、
。In addition, as a method for determining the coordinates of two points P+ and Pg using only - cameras, two reference beams with known irradiation directions are created on the road surface by the irradiation device 3, and these are captured on the screen. The relative position of the road surface and camera can be determined from the coordinates. FIG. 3 shows an explanatory diagram of measurement by reference light irradiation. In this figure, the emission position of the reference light is fixed at point B (d, 0.0), and the emission direction is given an inclination of α in the X-axis direction and -β in the X-axis direction with respect to the y-axis. Observation point Q = (u =, v
, ) correspond, then the corresponding points P, (X,
.

Ｙ□、Ｚｌは以下の式により決定される。Y□ and Zl are determined by the following formula.

Ｙ、＝□　　　　　・・・（６） （ｕ＝／ｆ）〜ｔａｎα、 となり点Ｐ、（ｉ＝１．２）を求めることができ、地表
面の方程式が決定できる。Y,=□...(6) (u=/f)~tanα, The next point P, (i=1.2) can be found, and the equation of the earth's surface can be determined.

これらの方法により、道路面と画像入力装置１の相対関
係が求まれば、道路面上の点の三次元座標と撮像画面上
の二次元位置とを１対１対応させることができる。すな
わち、例えば、左眼画像内の像点の座標（ｕ、、ｖ、）
が与えられれば、これに対応する点の実空間座標（Ｘ、
Ｙ、Ｚ）はカメラパラメータｆ、Ｌ、及び平面の方程式
（１）を用いて。If the relative relationship between the road surface and the image input device 1 is determined by these methods, it is possible to make a one-to-one correspondence between the three-dimensional coordinates of a point on the road surface and the two-dimensional position on the image capture screen. That is, for example, the coordinates (u,,v,) of the image point in the left eye image
is given, the real space coordinates (X,
Y, Z) using camera parameters f, L, and plane equation (1).

Ｘ　＝　（ｕ＋＋　Ｂ　　Ｌ　ｆ十ＣＬ　ｖ＋）／　（
Ａｕ＋＋　Ｂ　ｆ＋　Ｃｖ＋）　　・・・（８）Ｙ＝（
Ａ　Ｌ＋１）ｆ／（Ａｕ、＋Ｂｆ＋Ｃｖ、）　　　　−
（９）Ｚ　＝（Ａ　Ｌ＋１）ｖ＋／　（Ａｕ＋＋Ｂｆ＋
Ｃｖ＋）　　　−・−ｃｏｏ）でただちに与えられる。X = (u++ B L f + CL v+) / (
Au++ B f+ Cv+) ... (8) Y=(
A L+1)f/(Au, +Bf+Cv,) −
(9) Z = (A L+1)v+/ (Au++Bf+
Cv+) −・−coo) immediately given.

次に、本発明の第２の工程として、辞書５に登録しであ
る検索対象物体の構造と、カメラ、道路面間の位置関係
から撮像画面上の任意の位置における検索対象物体の推
定対象パターンが計算される。Next, as a second step of the present invention, an estimated target pattern of the search target object at an arbitrary position on the captured screen is determined from the structure of the search target object registered in the dictionary 5 and the positional relationship between the camera and the road surface. is calculated.

第４図（ａ）は撮像画面と道路面との関係を示すもので
ある。カメラ座標系をＸＹｚ座標とする。FIG. 4(a) shows the relationship between the imaged screen and the road surface. Let the camera coordinate system be XYz coordinates.

一般に道路面はＸＹ平面に平行とは限らないが以下の説
明では簡単のため平行とし、道路面を２−−Ｈの平面で
表す。点（０，−ｆ、０）を通りＸＺ平面と平行な平面
上に撮像画面の座標系（ｕ。Generally, the road surface is not necessarily parallel to the XY plane, but in the following explanation, it will be assumed to be parallel for the sake of simplicity, and the road surface will be expressed as a 2--H plane. The coordinate system (u) of the imaging screen is on a plane that passes through the point (0, -f, 0) and is parallel to the XZ plane.

■）をとる。ただし、ｆはカメラの焦点距離を表す。こ
の図より道路面上でＸ軸及びＹ軸に平行な辺を持つ正方
形が撮像面上では台形で表されることがわかる。■) Take). However, f represents the focal length of the camera. This figure shows that a square with sides parallel to the X and Y axes on the road surface is represented as a trapezoid on the imaging surface.

二こでは、マンホールの探索を例にとり、対象が円形の
場合について説明する。第４図（ｂ）の撮像画面上の点
ｐ０を中心とするマンホールがあると仮定した場合、実
空間の道路面（Ｚ＝−Ｈ）上で点ｐ０に対応する点Ｐ１
を第４図（ｃ）のように求め、この位置を中心とするマ
ンホール（円形）の方程式を求める。第４図（ａ）の道
路面と撮像画面の位置関係より、点ｐ１を中心とする円
は撮像画面中では、第４図（ｂ）中の破線Ｃｐ０で示す
ような楕円に変換される。同様に、第４図（ｂ）中の点
Ｑｏの位置にマンホールを想定した場合、破線ＣＱＯが
推定対象パターンとして算出され、カメラ位置より遠い
マンホールが小さく投影されることになる。このように
して得られた推定対象パターンはフレームメモリ７−２
に格納される。In the second section, we will explain the case where the target is circular, taking manhole search as an example. Assuming that there is a manhole centered at point p0 on the image capture screen in FIG. 4(b), point P1 corresponding to point p0 on the road surface (Z=-H) in real space
is determined as shown in Fig. 4(c), and the equation of a manhole (circular) centered at this position is determined. Based on the positional relationship between the road surface and the image capture screen in FIG. 4(a), a circle centered on point p1 is converted into an ellipse as shown by the broken line Cp0 in FIG. 4(b) in the image capture screen. Similarly, when a manhole is assumed to be at the position of point Qo in FIG. 4(b), a broken line CQO is calculated as the estimation target pattern, and the manhole farther from the camera position is projected smaller. The estimation target pattern obtained in this way is stored in the frame memory 7-2.
is stored in

次に、本発明の第３の工程であるマツチング工程につい
て述べる。ＣＰＵ９はフレームメモリ７−１に格納され
た入力画像と予め辞書に登録しである探索対象物体の構
造を基に計算してフレームメモリ７−２に格納された推
定対象パターンとのマツチング、すなわち重なりの程度
を求め、パターンが一致しているがどうかの判定をする
。推定対象パターンと撮像画面中の実パターンの一致度
Ｍは撮像画像中の画面位置の関数として第５図のように
表される。一定のしきい値Ｍ０以上の一致度を与える探
索点Ｐ０の集合において、−成度を極大とするＰＯ（一
般に複数点存在する）を探索対象物体認識点として出力
する。Next, the matching process, which is the third process of the present invention, will be described. The CPU 9 performs matching, that is, overlap, between the input image stored in the frame memory 7-1 and the estimated target pattern stored in the frame memory 7-2, calculated based on the structure of the search target object registered in advance in the dictionary. Determine the extent of the pattern match and determine whether the patterns match. The matching degree M between the estimated target pattern and the actual pattern in the captured image is expressed as a function of the screen position in the captured image as shown in FIG. In a set of search points P0 that give a degree of coincidence equal to or higher than a certain threshold value M0, the PO (generally there is a plurality of points) that has the maximum - degree is output as a search target object recognition point.

ここでは、マンホールの探索を例に挙げて道路面上の平
面的な対象物について述べたが、電柱等のように、道路
面上６二基準点を持ち直立した対象物についても適用可
能であることは明らかである。Here, we have described flat objects on the road surface using manhole search as an example, but it can also be applied to objects that are upright on the road surface and have 62 reference points, such as utility poles. That is clear.

なお、マンホール外周を推定対象パターンとすると何ら
かの誤差により、撮像画像中の実パターンが推定対象パ
ターンより大きく、これを包含するような場合、マツチ
ングの評価関数Ｍは一点ではなく、ある平面内で極値を
とることになり適当でない。これを避けるためには、例
えばマンホール外周円に外接する正方形の道路面部分を
も含めたものを探索対象物体と考え、これに対する推定
対象パターンを用いるとよい。Note that when the outer circumference of a manhole is used as the estimation target pattern, if due to some error the actual pattern in the captured image is larger than the estimation target pattern and includes this, the matching evaluation function M will not be at one point but at a local extremity within a certain plane. It is inappropriate because it takes a value. In order to avoid this, it is preferable to consider, for example, an object including a square road surface portion circumscribing the manhole outer circumferential circle as the search target object, and use an estimation target pattern for this object.

このように本発明では、探索対象物体の構造と撮像画面
内の探索位置とから算出した推定対象パターンと撮像画
面中の実パターンとを比較してマツチングを行うため、
探索対象物体の正しい探索が行われる。また、探索対象
に関する知識は実空間における構造を一種類持つだけで
よく、視線方向、視線距離毎に複数の異なるテンプレー
トを持つ必要がない。その結果、メモリの節約と探索時
間の縮小が実現できる。In this way, the present invention performs matching by comparing the estimated target pattern calculated from the structure of the search target object and the search position in the image capture screen with the actual pattern in the image capture screen.
Correct search for the search target object is performed. Further, the knowledge regarding the search target only needs to have one type of structure in real space, and there is no need to have multiple different templates for each line of sight direction and line of sight distance. As a result, it is possible to save memory and reduce search time.

〔発明の効果〕〔Effect of the invention〕

以上説明したように、本発明のパターン探索方法によれ
ば、パターン探索プロセスの中に任意の距離、視線方向
の探索物体に対するテンプレートを自動的に発生するプ
ロセスを内蔵させたことにより、メモリ容量と認識処理
時間の大幅な減少を図ることができるという効果がある
。As explained above, according to the pattern search method of the present invention, by incorporating a process in the pattern search process that automatically generates a template for a search object at an arbitrary distance and line of sight direction, the memory capacity can be reduced. This has the effect of significantly reducing recognition processing time.

【図面の簡単な説明】[Brief explanation of drawings]

第１図は、本発明のパターン探索方法を実施する装置の
一実施例の構成を示すブロック図、第２図はステレオ計
測の座標系の例を説明する斜視図、 第３図は参照光照射による距離計測座標系の例を表す斜
視図、 第４図は第１図の推定対象パターンの計算の説明図であ
り、第４図（ａ）がが撮像画面と道路面の関係を示す図
、第４図ら）が撮像画面中の予想中心位置およびそこで
の推定対象パターンを説明する図、第４図（Ｃ）が道路
面上での探索対象物体の中心位置およびそこでの構造を
表す図、 第５図は撮像画像中の実パターンと推定対象パターンの
一致度Ｍを表す斜視図である。 ■・・・ＴＶカメラ等の画像入力装置、１−１．１−２
・・・Ａ／Ｄ変換回路、３・・・参照光の照射装置、 ４・・・道路面の算出回路、 ５・・・辞書（基本パターンが格納されたメモリ）、６
は推定パターンの計算回路、 ７−１．７−２・・・フレームメモリ、８・・・中央処
理装置（ＣＰＵ）。FIG. 1 is a block diagram showing the configuration of an embodiment of an apparatus for implementing the pattern search method of the present invention, FIG. 2 is a perspective view illustrating an example of a coordinate system for stereo measurement, and FIG. 3 is a reference light irradiation FIG. 4 is an explanatory diagram of calculation of the estimation target pattern in FIG. 1, and FIG. 4(a) is a diagram showing the relationship between the imaging screen and the road surface. Figure 4 (C) is a diagram illustrating the predicted center position in the image capture screen and the estimated target pattern there, and Figure 4 (C) is a diagram showing the center position of the search target object on the road surface and the structure there. FIG. 5 is a perspective view showing the degree of coincidence M between the actual pattern in the captured image and the estimated target pattern. ■...Image input device such as TV camera, 1-1.1-2
... A/D conversion circuit, 3... Reference light irradiation device, 4... Road surface calculation circuit, 5... Dictionary (memory in which basic patterns are stored), 6
7-1.7-2...Frame memory; 8...Central processing unit (CPU).

Claims (1)

【特許請求の範囲】 １つまたは複数の探索物体を含む三次元空間を撮像して
得られる二次元画像から、予め定められた探索対象物体
のパターンを探索する方法であって、 探索対象物体の構造の実測値を予め求めておき、探索対
象物体の一部または全部を含む平面と撮像装置との相対
的な位置関係を知る第１の工程と、前記撮像して得られ
る二次元画像上の任意の画面位置に、探索対象物体が存
在すると仮定したときの探索対象物体の二次元画像であ
る推定対象パターンを計算により求める第２の工程と、 前記推定対象パターンと前記撮像して得られた二次元画
像上の前記画面位置に存在する実パターンとのマッチン
グを行う第３の工程と、 を備えることを特徴とするパターン探索方法。[Claims] A method of searching for a predetermined pattern of a search target object from a two-dimensional image obtained by imaging a three-dimensional space containing one or more search objects, the method comprising: A first step of determining the actual measured value of the structure in advance and knowing the relative positional relationship between the plane containing part or all of the object to be searched and the imaging device; a second step of calculating an estimation target pattern which is a two-dimensional image of the search target object when it is assumed that the search target object exists at an arbitrary screen position; A pattern search method comprising: a third step of matching with an actual pattern existing at the screen position on a two-dimensional image.