JP3117526B2 - Image feature extraction method - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【産業上の利用分野】本発明は、画像特徴抽出方式に関
し、特に射影変換によってはじめて結び付けられる平面
画像、すなわち同じ対象物を撮影位置や撮影方向が異な
るカメラで撮影したときに得られる各平面画像からも不
変の画像特徴が得られるようにした画像特徴抽出方式に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image feature extracting method, and more particularly to a planar image which is first linked by projective transformation, that is, each planar image obtained when the same object is photographed by a camera whose photographing position and photographing direction are different. The present invention relates to an image feature extraction method capable of obtaining an invariable image feature from the image.

【０００２】一般に、同じ対象物についての複数の平面
画像は、カメラ撮影に伴う画像歪みや撮影時のシチュエ
ーションの違い，撮影後の画像処理などによって生じる
回転，平行移動などのため、それぞれを比べたときに別
々の対象物についての平面画像であると認識されること
が多く、このような誤認識をさけるために先の画像歪み
などの影響を受けることのない画像特徴抽出が要請され
ており、本発明はこのような要請に応えるものである。In general, a plurality of planar images of the same object are compared because of image distortion due to camera photographing, differences in situations at the time of photographing, rotation and translation caused by image processing after photographing, and the like. Sometimes it is often recognized that they are two-dimensional images of different objects, and image feature extraction that is not affected by previous image distortion or the like is required to avoid such erroneous recognition. The present invention addresses such a need.

【０００３】[0003]

【従来の技術】従来の画像特徴抽出は、次式で定義され
る線形特徴Ｆを用いることにより行われている。2. Description of the Related Art Conventional image feature extraction is performed by using a linear feature F defined by the following equation.

【０００４】 Ｆ＝∬f(x,y)I(x,y)dxdy (1) ここで、I(x,y)はカメラなどから求められる平面画像の
各画素の濃淡を表す画像関数、f(x,y)はｘとｙについて
の所定の関数をそれぞれ示している。F = ∬f (x, y) I (x, y) dxdy (1) where I (x, y) is an image function representing the shading of each pixel of a planar image obtained from a camera or the like, f (x, y) indicates predetermined functions for x and y, respectively.

【０００５】また、関数f(x,y)の種類としては、 f(x,y)＝exp(ikx+ily) (2) f(x,y)＝ｘⁿ ｙ^m (3) などが用いられている。[0005] The type of the function f (x, y), f (x, y) = exp (ikx + ily) (2) f (x, y) = x n y m (3) and using Have been.

【０００６】任意の平面画像I(x,y)に対し、(1) 式のf
(x,y)として(2) 式の指数関数を用いることにより求め
られる線形特徴Ｆはフーリエ特徴と呼ばれており、これ
は、複数の平面画像同士が、同じ対象物を撮影したもの
で平行移動や回転といった座標変換を受けた状態になっ
て異なったものにみえる場合にはそれぞれの平面画像に
ついての不変の画像特徴となりえること、すなわちそれ
ぞれの平面画像から抽出したフーリエ特徴の間に所定の
関係が成立するときにはこれらの平面画像は同じ対象物
を撮影したものと判定できることが知られている。例え
ば、任意の平面画像I(x,y)がｘ軸方向にａだけ、またｙ
軸方向にｂだけ平行移動した状態の平面画像I(x+a,y+b)
のフーリエ特徴は、For an arbitrary plane image I (x, y), f
The linear feature F obtained by using the exponential function of the expression (2) as (x, y) is called a Fourier feature, which is a plurality of planar images obtained by shooting the same object and being parallel. In the case where the image is subjected to coordinate transformation such as movement or rotation and looks different, it can be an invariable image feature for each plane image, that is, a predetermined interval between Fourier features extracted from each plane image It is known that when a relationship is established, these planar images can be determined to be images of the same object. For example, an arbitrary plane image I (x, y) is only a in the x-axis direction and y
Plane image I (x + a, y + b) in the state of being translated by b in the axial direction
The Fourier features of

【０００７】[0007]

【数３】 (Equation 3)

【０００８】で表され、これは平行移動前の平面画像I
(x,y)のフーリエ特徴にexp(-ika-ilb)の定数を乗じたも
のになっており、複数の平面画像についてそれぞれのフ
ーリエ特徴を求めたときこのような関係が成立している
場合にはこれらの平面画像は同じ対象物を撮影したもの
であることがわかる。Which is a plane image I before translation.
When the Fourier feature of (x, y) is multiplied by the constant of exp (-ika-ilb), and this relationship holds when the Fourier features are obtained for each of a plurality of planar images. It can be seen that these two-dimensional images are images of the same object.

【０００９】また、任意の平面画像I(x,y)に対し、(1)
式のf(x,y)として(3) 式の巾乗関数を用いることにより
求められる線形特徴Ｆはモーメント特徴と呼ばれてお
り、これは、同じ対象物を撮影した複数の平面画像間で
平行移動や回転が生じている場合だけでなく、線形な画
像歪み（この画像歪みに対しては先のフーリエ特徴は不
変の画像特徴とはなりえない）が生じている場合にもそ
れぞれの平面画像についての不変の画像特徴となりえる
ことが知られている。Further, for an arbitrary plane image I (x, y), (1)
The linear feature F obtained by using the power function of the equation (3) as f (x, y) in the equation is called a moment feature, and this is a feature between a plurality of planar images of the same object. Each plane is used not only when translation or rotation occurs, but also when linear image distortion occurs (for which the Fourier features cannot be invariant image features). It is known that this can be a permanent image feature for the image.

【００１０】なお、この画像歪みの関係にある平面画像
それぞれの画像関数同士はアフィン変換、すなわち、第
１平面画像I(x,y)と第２平面画像 I(x′,y′) それぞれ
の変数の間に、 ｘ′＝ｐｘ＋ｑｙ＋ａ， ｙ′＝ｒｘ＋ｓｙ＋ｂ (4) の式（ｐ，ｑ，ａ，ｒ，ｓ，ｂは定数）が成立するよう
な座標変換によって表すことができる。The image functions of the two-dimensional images having the image distortion relationship are affine-transformed, that is, the first two-dimensional image I (x ', y') and the second two-dimensional image I (x ', y') are affine-transformed. Between the variables, x '= px + qy + a, y' = rx + sy + b (4) (p, q, a, r, s, and b are constants).

【００１１】そして、このモーメント特徴が、アフィン
変換によって表される平面画像に対して不変の画像特徴
を示すということは、(3) 式において「ｍ＋ｎ」が所定
の整数Ｎ以下となるようなＭ種類の巾乗関数を用いてＭ
個のモーメント特徴を、(4)式の関係が成立する第１平
面画像I(x,y)と第２平面画像 I(x′,y′) とのそれぞれ
について抽出、すなわち同一の対象物を撮影して得られ
た平面画像のそれぞれについて抽出すれば、前者のモー
メント特徴群〔Ｆ₁,Ｆ₂,・・・Ｆ_M 〕と後者のモーメン
ト特徴群〔Ｆ₁ ′, Ｆ₂ ′, ・・・Ｆ_M ′〕との間で、The fact that this moment feature shows an image feature that is invariant with respect to the plane image represented by the affine transformation means that M + n is equal to or smaller than a predetermined integer N in equation (3). M using various power functions
The moment features are extracted for each of the first plane image I (x, y) and the second plane image I (x ′, y ′) for which the relationship of equation (4) is established, that is, the same object is extracted. By extracting each of the captured planar images, the former moment feature group [F ₁ , F ₂ ,... F _M ] and the latter moment feature group [F ₁ ′, F ₂ ′,. .F _M ']

【００１２】[0012]

【数４】 (Equation 4)

【００１３】が成立するような行列Ａ_ijが存在するとい
うことである。したがって、異なっているようにみえる
二枚の平面画像のそれぞれについて抽出した前記モーメ
ント特徴群の間にこの行列Ａ_ijが存在すれば、この二枚
の平面画像は同じ対象物についての撮影画像であるが、
一方の平面画像が他方の平面画像に対して位置がずれた
り、回転したりあるいは線形な歪みをうけた状態になっ
たものであると判定することができる。なお、前記した
ように、これらの中の平面画像間の位置ずれや回転の関
係については先のフーリエ特徴によっても把握すること
ができる。This means that there exists a matrix A _ij such that the following holds. Therefore, if the matrix A _ij exists between the moment feature groups extracted for each of the two planar images that seem to be different, the two planar images are captured images of the same object. But,
It can be determined that one plane image is displaced, rotated, or linearly distorted with respect to the other plane image. Note that, as described above, the relationship between the positional shift and the rotation between the two-dimensional images can be understood from the Fourier features described above.

【００１４】[0014]

【発明が解決しようとする課題】このように、従来、任
意の平面画像について先の(1) 式から抽出した線形特徴
Ｆを不変の画像特徴として用い、この画像特徴間に所定
の関係があるかどうかを調べることにより、同じ対象物
を撮影した平面画像であるが平行移動、回転や線形な歪
みなどのために異なった平面画像として一見認識される
ような場合にもこれらの平面画像としての同一性を把握
するようにしているが、この線形特徴Ｆはより一般的な
座標変換である射影変換によってはじめて表されるよう
な関係にたつ平面画像であることを把握するための、不
変の画像特徴とはなりえないという問題点があった。As described above, conventionally, a linear feature F extracted from the above equation (1) for an arbitrary planar image is used as an invariant image feature, and there is a predetermined relationship between the image features. By examining whether or not the two images are the same object, they can be recognized as different plane images at first glance due to translation, rotation, linear distortion, etc. Although the identity is grasped, an invariant image for grasping that this linear feature F is a planar image having a relationship represented only by a projective transformation which is a more general coordinate transformation is obtained. There was a problem that it could not be a feature.

【００１５】そこで、本発明は、任意の平面画像につい
ての不変の画像特徴を抽出するに際して線形微分作用素
を用いることにより、複数の平面画像同士が、同じ対象
物を撮影したもので、かつ射影変換によってはじめて結
びつけられるような関係であることを把握するのに有効
な画像特徴抽出方式を提供することを目的とする。Therefore, the present invention uses a linear differential operator to extract an invariant image feature of an arbitrary planar image, so that a plurality of planar images are obtained by photographing the same object and projective transformation is performed. It is an object of the present invention to provide an image feature extraction method that is effective for grasping a relationship that can be linked for the first time.

【００１６】なお、射影変換とは、平面画像を位置や方
向が異なる二つのカメラから撮影したときに得られる平
面画像同士を結びつけることができる座標変換であり、
例えば上空から地表の同一地域を撮影したときに得られ
る複数の平面画像の画像関数を相互に変換するのにしば
しば用いられ、また同一の交通標識を車上の異なる位置
から撮影したときの画像歪みを表現する手段として用い
られる。そして、この射影変換で結びつけられる第１の
平面画像Ｉ(x,y) と第２の平面画像Ｉ(x′,y′) それぞ
れの変数は、[0016] The projective transformation is a coordinate transformation that can link plane images obtained when two-dimensional images are photographed from two cameras having different positions and directions.
For example, it is often used to mutually convert the image functions of two-dimensional images obtained when the same area of the ground surface is photographed from the sky, and image distortion when the same traffic sign is photographed from different positions on the car. Is used as a means of expressing Then, the variables of the first plane image I (x, y) and the second plane image I (x ′, y ′) linked by this projective transformation are

【００１７】[0017]

【数５】 (Equation 5)

【００１８】の式（Ｇは定数）で変換される。なお、こ
の式において「Ｇ₃₁＝Ｇ₃₂＝０，Ｇ₃₃＝１」と設定すれ
ばアフィン変換の場合の(4) 式と同一に、また「Ｇ₃₁＝
Ｇ₃₂＝Ｇ₁₂＝Ｇ₂₁＝０，Ｇ₃₃＝１」と設定すれば先のフ
ーリエ特徴を抽出したときの平行移動を表す関係式と同
一になる。(G is a constant). In this equation, if “G ₃₁ = G ₃₂ = 0, G ₃₃ = 1” is set, the same as the equation (4) in the case of the affine transformation, and “G ₃₁ =
If G ₃₂ = G ₁₂ = G ₂₁ = 0, G ₃₃ = 1 ", the relation becomes the same as the relational expression representing the parallel movement when the Fourier feature is extracted.

【００１９】[0019]

【課題を解決するための手段】本発明は、任意の平面画
像についての不変の画像特徴を抽出する際に線形微分作
用素を用いた処理を行う、すなわちその画像関数のｘ方
向，ｙ方向それぞれについての微分処理も行うことによ
り、より一般的な座標変換である射影変換によってはじ
めて結びつけられるような平面画像に対しても有効な、
不変な画像特徴を抽出できるようにしたものである。SUMMARY OF THE INVENTION The present invention performs a process using a linear differential operator when extracting an invariant image feature of an arbitrary planar image, that is, in each of the x and y directions of the image function. Is also effective for planar images that can only be linked by projective transformation, which is a more general coordinate transformation,
Invariant image features can be extracted.

【００２０】図１は本発明の原理説明図である。図にお
いて、１は、平面画像であり、カメラなどで撮影して得
られる画像であり、各画素の濃淡を示す画像関数の形、
Ｉ(x,y) で表現される。２は、ｘ方向微分算出部であ
り、平面画像Ｉ(x,y) に対して線形微分作用素で指定さ
れるｘ方向のｐ階微分を行っている。３は、ｙ方向微分
算出部であり、平面画像Ｉ(x,y) に対して線形微分作用
素で指定されるｙ方向のｑ階微分を行っている。４は、
乗算算出部であり、線形微分作用素で指定される関数ｗ
(x,y) を先の微分出力に乗じている。５は、積和算出部
であり、乗算算出部の出力と平面画像Ｉ(x,y) とを画素
ごとに乗じてその結果をすべての画素について加算して
いる。６は、画像特徴抽出用プロクラムであり、あらか
じめ設定された線形微分作用素を用いて平面画像Ｉ(x,
y) の画像特徴Ｃを抽出するためのプログラムである。
ここで、平面画像Ｉ(x,y) の画像特徴Ｃは、FIG. 1 is a diagram illustrating the principle of the present invention. In the figure, reference numeral 1 denotes a plane image, which is an image obtained by photographing with a camera or the like, in the form of an image function indicating the shading of each pixel,
It is represented by I (x, y). Reference numeral 2 denotes an x-direction differential calculation unit that performs p-order differentiation in the x direction specified by a linear differential operator on the planar image I (x, y). Reference numeral 3 denotes a y-direction differential calculation unit that performs q-order differentiation in the y-direction specified by a linear differential operator on the plane image I (x, y). 4 is
A function w that is a multiplication calculation unit and is specified by a linear differential operator
(x, y) is multiplied by the differential output. Reference numeral 5 denotes a product-sum calculation unit, which multiplies the output of the multiplication calculation unit and the plane image I (x, y) for each pixel, and adds the result for all pixels. Reference numeral 6 denotes a program for extracting image features, which is a plane image I (x,
y) is a program for extracting the image feature C.
Here, the image feature C of the plane image I (x, y) is

【００２１】[0021]

【数６】 (Equation 6)

【００２２】で定義される。そして、平面画像Ｉ(x,y)
に作用する線形微分作用素Ｌ(x,y，∂x,∂y)は、Defined by Then, the plane image I (x, y)
The linear differential operator L (x, y, ∂x, ∂y) acting on

【００２３】[0023]

【数７】 (Equation 7)

【００２４】の形を持つもので、この式においてｐ，ｑ
は正の整数、ｗ_pq(x,y) はｘ，ｙの関数を表しており、
これらの内容は、線形微分作用素Ｌ(x,y，∂x,∂y)が具
体的に与えられることにより特定される。なお、図１
は、この線形微分作用素が単項からなっている場合、例
えば後記の線形微分作用素Ｌ₁ を用いた場合についての
説明である。In this equation, p, q
Is a positive integer, w _pq (x, y) represents a function of x and y,
These contents are specified by giving the linear differential operator L (x, y, ∂x, ∂y) concretely. FIG.
Is a description of a case where the linear differential operator is a _{single term} , for example, a case where a linear differential operator L1 described later is used.

【００２５】また、画像特徴抽出用プロクラム６での処
理手順は、 カメラなどから得られる平面画像Ｉ(x,y) に対して
「∂^p+q Ｉ(x,y) ／∂x ^p∂y ^q 」の演算処理を行っ
て、次のステップに進む。 関数ｗ_pq(x,y) を「∂^p+q Ｉ(x,y) ／∂ｘ^p ∂ｙ^q 」
に乗じて、次のステップに進む。 この乗算結果と先の平面画像Ｉ(x,y) とを対応する画
素ごとに乗じて、次のステップに進む。 この乗算結果を入力画像のすべての画素について加算
する。 といった手順により、線形微分作用素があらかじめ設定
されるとき、任意の平面画像Ｉ(x,y) についての不変の
画像特徴Ｃの値を求めている。Further, the processing procedure in the image feature extraction Purokuramu 6 is a plan image I (x, y) of the camera is obtained from such relative ^{"∂ p + q I (x,} y) / ∂x p ∂y ^q ”, and proceed to the next step. Function w _pq (x, y) the ^{"∂ p + q I (x,} y) / ∂x p ∂y q "
And proceed to the next step. The multiplication result is multiplied by the previous plane image I (x, y) for each corresponding pixel, and the process proceeds to the next step. This multiplication result is added for all pixels of the input image. When the linear differential operator is set in advance by the above procedure, the value of the invariant image feature C for an arbitrary plane image I (x, y) is obtained.

【００２６】[0026]

【作用】本発明は、このように、 (7)式で表される線形
微分作用素Ｌ(x,y，∂x,∂y)を用いることにより任意の
平面画像Ｉ(x,y) についての不変の画像特徴Ｃを抽出し
ている。According to the present invention, an arbitrary plane image I (x, y) can be obtained by using the linear differential operator L (x, y, ∂x, ∂y) expressed by the equation (7). Invariant image features C are extracted.

【００２７】また、この線形微分作用素Ｌとしては例え
ば図２に示す10種類のものが用いられており、これらの
線形微分作用素ごとに抽出される、第１の平面画像につ
いての画像特徴群（Ｃ₁ 〜Ｃ₁₀）と第２の平面画像につ
いての画像特徴群（Ｃ₁ ′〜Ｃ₁₀′）との間に，As the linear differential operator L, for example, ten types shown in FIG. 2 are used, and an image feature group (C) for the first planar image extracted for each of these linear differential operators is extracted. _{1 to} C ₁₀ ) and an image feature group (C ₁ ′ to C ₁₀ ′) for the second plane image.

【００２８】[0028]

【数８】 (Equation 8)

【００２９】の関係があれば、この第１の平面画像と第
２の平面画像とは先の射影変換によって結びつけられる
平面画像、すなわち同一の対象物を撮影した平面画像で
ある旨の判定をすることになる。ただし，10×10の行列
の各要素gm． nは射影変換を表す(5) および(6) 式の係
数Ｇに応じて定まる。If the above relationship is satisfied, it is determined that the first plane image and the second plane image are plane images linked by the previous projective transformation, that is, a plane image obtained by photographing the same object. Will be. Here, each element gm of the 10 × 10 matrix. n is determined according to the coefficient G in the equations (5) and (6) representing the projective transformation.

【００３０】ここで、図２のＬ₂ 〔 y∂y³＋ x∂x ∂y²
＋２∂y²〕を用いたとき、先の関数ｗ_pq(x,y) はそれぞ
れ、 ・ｗ₀₃ ＝ｙ ・ｗ₁₂ ＝ｘ ・ｗ₀₂ ＝２ となり、他のｗ_pq(x,y) は「０」である。[0030] Here, L ₂ in FIG. 2 [y∂y ³ + x∂x ∂y ²
+ 2∂y ² ], the above functions w _pq (x, y) are given by: w ₀₃ = y · w ₁₂ = x · w ₀₂ = 2, and the other w _pq (x, y) It is "0".

【００３１】[0031]

【実施例】図３〜図４を参照して本発明の実施例を説明
する。図３は、カラー平面画像をＲ，Ｇ，Ｂの三成分か
らなるディジタル画像に変換し、その中の二成分を用い
て画像特徴を抽出するための構成であり、31は画像入力
部, 32は線形演算子設定部, 33はｘ方向微分算出部, 34
はｙ方向微分算出部,35は乗算算出部, 36は画像和算出
部, 37は画像メモリ, 38は積和算出部をそれぞれ示して
いる。An embodiment of the present invention will be described with reference to FIGS. FIG. 3 shows a configuration for converting a color plane image into a digital image composed of three components of R, G, and B, and extracting an image feature using the two components. Is the linear operator setting section, 33 is the x-direction differential calculation section, 34
Denotes a y-direction differential calculator, 35 denotes a multiplication calculator, 36 denotes an image sum calculator, 37 denotes an image memory, and 38 denotes a product sum calculator.

【００３２】図３の画像特徴方式ではカラー平面画像の
Ｒ，Ｇ，Ｂの中の任意の二成分であるＩ₁(x,y)とＩ₂(x,
y)とを用いており、このときの画像特徴Ｃは、In the image feature method shown in FIG. 3, arbitrary two components I ₁ (x, y) and I ₂ (x,
y), and the image feature C at this time is

【００３３】[0033]

【数９】 (Equation 9)

【００３４】で定義される。そして、線形演算子設定部
32により例えば図２で示した線形微分作用素Ｌ₁ 〜Ｌ₁₀
が順に設定されると、この設定内容に応じてｘ方向微分
算出部33, ｙ方向微分算出部34および乗算算出部35それ
ぞれでの処理の内容、すなわちｘ方向，ｙ方向それぞれ
へ何階微分するのか、また関数ｗ_pq(x,y) は具体的には
どのようなものであるかなどが特定される。Defined by And the linear operator setting section
For example, the linear differential operators L _{1 to} L ₁₀ shown in FIG.
Are sequentially set, the contents of the processing in each of the x-direction differential calculation unit 33, the y-direction differential calculation unit 34, and the multiplication calculation unit 35, that is, how many orders are differentiated in the x-direction and the y-direction, respectively, according to the setting contents. , And what the function w _pq (x, y) is, specifically, is specified.

【００３５】そして、ある線形微分作用素、例えばＬ₂
〔 y∂y³＋ x∂x ∂y²＋２∂y²〕が設定されると、先の
Ｒ，Ｇ，Ｂの中から選択した二成分の一方であるＩ₁(x,
y)に対して「 y∂y³」，「 x∂x ∂y²」および「２∂
y²」の各項についての処理がｘ方向微分算出部33, ｙ方
向微分算出部34および乗算算出部35において、順次、実
行されていき、例えば「 y∂y³」についてはｘ方向微分
算出部33での処理はなくｙ方向微分算出部34でｙ方向の
３階微分が行われ、次にこの微分出力と「ｙ」との乗算
処理が乗算算出部35で行われることになる。Then, a certain linear differential operator, for example, L ₂
When [y∂y ³ + x∂x∂y ² + 2∂y ² ] is set, I ₁ (x, _one of the two components selected from the above R, G, B)
against y) "y∂y ^3", "x∂x ∂y ^2" and "2∂
The processing for each term of “y ² ” is sequentially performed in the x-direction differential calculator 33, the y-direction differential calculator 34, and the multiplication calculator 35. For example, for “y∂y ³ ”, the x-direction differential calculation is performed. The processing in the section 33 is not performed, and the third-order differentiation in the y direction is performed in the y-direction differential calculation section 34. Next, the multiplication processing of this differential output and "y" is performed in the multiplication calculation section 35.

【００３６】この乗算算出部35の画素単位の出力は画像
和算出部36を介して画像メモリ37に格納され、続いて
「 x∂x ∂y²」および「２∂y²」のそれぞれについても
同様の処理が行われることになり、この線形微分作用素
に基づく画素特徴抽出処理が終了した段階の画像メモリ
37には線形微分作用素Ｌ₂ の各項についての乗算算出部
35の出力を画素ごとに足し合わせた各値が格納される。
なお、システム起動時には、画像メモリ37のすべての画
素データはゼロに設定されている。The output in pixel units of the multiplication calculation unit 35 is stored in the image memory 37 via the image sum calculation unit 36, and subsequently, for each of “x∂x∂y ² ” and “2∂y ² ”. The same processing is performed, and the image memory at the stage where the pixel feature extraction processing based on this linear differential operator is completed
37 is a multiplication calculator for each term of the linear differential operator L ₂
Each value obtained by adding 35 outputs for each pixel is stored.
When the system is started, all the pixel data in the image memory 37 is set to zero.

【００３７】次に、積和算出部38において、先にカラー
平面画像から選択した二成分の中のもう一つの成分Ｉ
₂(x,y)と、この画像メモリ37の格納データとを画素ごと
に乗じてその乗算結果を足し合わせる処理が行われる。Next, in the product-sum calculation unit 38, another component I of the two components previously selected from the color plane image is obtained.
₂ (x, y) and the data stored in the image memory 37 are multiplied for each pixel, and the result of the multiplication is added.

【００３８】図４は、入力されたモノクロ平面画像に異
なる二つのフィルタリング処理を行うことにより得られ
る画像関数のそれぞれを用いて画像特徴Ｃを抽出する場
合を示す説明図であり、画像入力部31から得られるモノ
クロ画像を第１のフィルタ41と第２のフィルタ42とで処
理し、前者のフィルタ出力をＩ₁(x,y)として用い、また
後者のフィルタ出力をＩ₂(x,y)として用いており、その
後の処理は図３の場合と同じ内容にしたものである。FIG. 4 is an explanatory diagram showing a case where an image feature C is extracted using each of image functions obtained by performing two different filtering processes on an input monochrome plane image. Is processed by a first filter 41 and a second filter 42, and the former filter output is used as I ₁ (x, y), and the latter filter output is used as I ₂ (x, y) The subsequent processing has the same contents as in FIG.

【００３９】[0039]

【発明の効果】本発明は、このように平面画像について
の不変の画像特徴の抽出に際して線形微分作用素を用い
た処理を行うことにより、従来の指数関数や巾乗関数を
用いて抽出した画像特徴では二つの平面画像が同一の対
象物を撮影したものであるかどうかの判定ができないよ
うな場合、すなわちより一般的な座標変換である射影変
換によってはじめて結び付けられるような平面画像同士
であるかどうかを判定するうえでの有効な画像特徴を提
供することができる。As described above, according to the present invention, by performing processing using a linear differential operator when extracting an invariant image feature for a planar image, the image feature extracted using a conventional exponential function or a power function is used. In cases where it is not possible to judge whether two plane images are images of the same object, that is, whether two plane images can be connected only by projective transformation which is a more general coordinate transformation Can be provided.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の原理説明図である。FIG. 1 is a diagram illustrating the principle of the present invention.

【図２】本発明の、10種類の線形微分作用素の内容を例
示する説明図である。FIG. 2 is an explanatory diagram illustrating the contents of ten types of linear differential operators according to the present invention.

【図３】本発明の、カラー平面画像のＲ，Ｇ，Ｂの中の
任意の二成分を用いて画像特徴を抽出する場合の説明図
である。FIG. 3 is an explanatory diagram of a case where an image feature is extracted using arbitrary two components among R, G, and B of a color plane image according to the present invention.

【図４】本発明の、モノクロ平面画像への異なるフィル
タリング処理により得られる各画像関数を用いて画像特
徴を抽出する場合の説明図である。FIG. 4 is an explanatory diagram of a case where an image feature is extracted using each image function obtained by different filtering processes on a monochrome plane image according to the present invention.

【符号の説明】[Explanation of symbols]

図１において、 １・・・平面画像 ２・・・ｘ方向微分算出部 ３・・・ｙ方向微分算出部 ４・・・乗算算出部 ５・・・積和算出部 ６・・・画像特徴抽出用プログラム In FIG. 1, 1... Planar image 2... X-direction differential calculator 3... Y-direction differential calculator 4. Program

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 平面画像についての第１の画像関数I
₁(x,y) に、 【数１】 〔ただし、ｐ，ｑ：正の整数ｗ_pq(x,y) ：あらかじめ設
定されるｘ，ｙの関数〕の形を持つ線形微分作用素を作
用させた結果と、当該平面画像についての第２の画像関
数I₂(x,y) とを対応する画素ごとに乗じた値を足しあわ
せることにより先の平面画像の特徴を求めるようにした
画像特徴抽出方式であって、 前記第１の画像関数I₁(x,y) のｘ方向のｐ階微分を算出
するｘ方向微分算出部と、 前記第１の画像関数I₁(x,y) のｙ方向のｑ階微分を算出
するｙ方向微分算出部と、 前記式のｗ_pq(x,y) を、このｘ方向微分算出部およびｙ
方向微分算出部での処理結果に乗算する乗算算出部と、 対応する画素ごとに、当該乗算算出部での処理を終えた
画素値と前記第２の画像関数I₂(x,y) の値とを乗じて足
しあわせる積和算出部とを備え、 【数２】 で定義される画像特徴を求めるようにしたことを特徴と
する画像特徴抽出方式。1. A first image function I for a planar image
₁ (x, y) Where p and q are positive integers w _pq (x, y): functions of x and y that are set in advance] and a second differential operation on the plane image. An image feature extraction method for obtaining a feature of a previous planar image by adding a value obtained by multiplying an image function I ₂ (x, y) with each corresponding pixel, wherein the first image function I An x-direction derivative calculator for calculating ap-order derivative of ₁ (x, y) in the x-direction; and a y-direction derivative for calculating a q-order derivative of the first image function I ₁ (x, y) in the y-direction. And w _pq (x, y) of the above equation by this x-direction differential calculation unit and y
A multiplication calculation unit that multiplies the processing result in the direction differentiation calculation unit; and, for each corresponding pixel, a pixel value that has been processed in the multiplication calculation unit and a value of the second image function I ₂ (x, y) And a sum-of-products calculation unit for multiplying by An image feature extraction method characterized in that an image feature defined by (1) is obtained. 【請求項２】 前記第１の画像関数I₁(x,y) と前記第２
の画像関数I₂(x,y)とを同じ画像関数にしたことを特徴
とする請求項１記載の画像特徴抽出方式。2. The first image function I ₁ (x, y) and the second image function I ₁ (x, y)
_2. The image feature extraction method according to claim 1, wherein the image function I ₂ (x, y) is the same image function. 【請求項３】 前記平面画像がカラー画像の場合には、
このカラー画像のＲ，Ｇ，Ｂの三成分の中の一つを前記
第１の画像関数I₁(x,y) に用い、また他の一つを前記第
２の画像関数I₂(x,y) に用いたことを特徴とする請求項
１記載の画像特徴抽出方式。3. When the two-dimensional image is a color image,
One of the three components of R, G, and B of this color image is used for the first image function I ₁ (x, y), and the other is used for the second image function I ₂ (x 2. The image feature extraction method according to claim 1, wherein the method is used for (y). 【請求項４】 それぞれが異なったフィルタ特性を持つ
複数のフィルタ処理部を設け、前記平面画像がモノクロ
画像の場合には、当該フィルタ処理部の一の出力を前記
第１の画像関数I₁(x,y) として用い、また当該フィルタ
処理部の他の出力を前記第２の画像関数I₂(x,y) として
用いたことを特徴とする請求項１記載の画像特徴抽出方
式。4. A plurality of filter processing units each having different filter characteristics are provided, and when the planar image is a monochrome image, one output of the filter processing unit is output to the first image function I ₁ ( _2. An image feature extraction method according to claim 1, wherein the output of the filter processing unit is used as the second image function I ₂ (x, y). 【請求項５】 前記乗算算出部と前記積和算出部との間
に和算出部およびこの和算出部の出力を画素ごとに格納
する画像メモリを設け、前記線形微分作用素が複数の項
からなっている場合には、当該和算出部において、この
項ごとに求められる前記乗算算出部の出力と当該画像メ
モリの出力とを、対応する画素ごとに足しあわせるよう
にしたことを特徴とする請求項１，２，３または４記載
の画像特徴抽出方式。5. A sum calculation unit and an image memory for storing an output of the sum calculation unit for each pixel are provided between the multiplication calculation unit and the product sum calculation unit, and the linear differential operator comprises a plurality of terms. Wherein the sum calculation unit adds the output of the multiplication calculation unit obtained for each term and the output of the image memory for each corresponding pixel. An image feature extraction method according to 1, 2, 3, or 4.