WO2004063991A1

WO2004063991A1 - 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法及び多パラメータ高精度同時推定プログラム

Info

Publication number: WO2004063991A1
Application number: PCT/JP2003/013874
Authority: WO
Inventors: Masao Shimizu; Masatoshi Okutomi
Original assignee: The Circle For The Promotion Of Science And Engineering
Priority date: 2003-01-14
Filing date: 2003-10-29
Publication date: 2004-07-29
Also published as: US7599512B2; JPWO2004063991A1; AU2003280610A1; JP4135945B2; US20060133641A1

Description

画像のサブピクセノレマッチングにおける多ノヽ。ラメータ高精度同時推定方法及び多パラメータ高度同時推定プグラム

技術分野

本発明は、例えば画像にる位置計測、 y モ一卜センシング、航空写田

真を利用した地図作製、ステレォビジョン、画像張り合わせ（モザィキング）、動画像位置合わせ、 3次元モデリングなど多数の画像処理分野で使用できる、領域ベ一スマッチングを用レ、た推定方法及び推定プログラムに関し、特に、画像のサプピクセノレマ Vチングにおける多パラメ一タ高精度同時推定方法及ぴ多パラメータ高度時推定プログラムに関するものである。

背景技術

ステレオ画像処理をはじめとして、卜ラクキング、画像計測、リモートセンシング、画像レジス卜レーシヨンなどの多 < の画像処理分野では

、画像間変位を得るためにヽ領域べースマ Vチングが基本的な処理として採用されている。

領域ベースマッチングは、注目領域のサイズや形状を任意に設定できること、注目画素に対して注目領域をオフセットできること、計算が直感的で直接的な実装が可能であることなどが特徴である。領域ベースマツチングで画像間の変位をサブピクセルで求めるときには、画素単位で離散的に得られる類似度評価値を利用してサブピクセル変位を推定する方法が一般的に利用されている。画像間の対応を求めるためには、類似度と呼ぶ評価値を利用する。類似度とは、画像間の相対的な位置関係を入力、その位置関係のときの画像間の類似度を出力とする関数である。類似度は、画素単位の離散的な位置で値が決まるので、類似度だけをもとに画像間の対応位置関係を求めると、画素単位の分解能に制限される。そこで、類似度値をもとに補間することによって、サブピクセル分解能の画像間の対応を求める。従来、位置分解能を拡大するために、類似度評価値をフィッティング内揷することでサブピクセル推定を行うことが多い。しかし、画像の平行移動量をサブピクセル分解能で求める際に、画像の水平方向と垂直方向を独立にフィッティング内挿していたため、十分な精度が得られなかつたという問題点があった。

要するに、従来、デジタル画像を使った領域ベースのマッチングでは、変位の推定分解能を向上させるために、画像の水平垂直方向について独立に類似度評価値を使ったサブピクセル推定を行っていた。

また、従来、濃度こう配法を利用して画像間の変位を求めると、はじめからサブピクセル変位量を得ることができる。濃度こう配法では、水平方向と垂直方向を合わせて扱っている。ただし、画像間変位が 1画素以上のときには画像を縮小する必要がある。通常は、画像スケールの変 '更と同時に実装する。濃度こう配法の実装は繰り返し計算になるので、計算時間の見積もりや、ハードウェアへの実装が困難であるという欠点があった。

さらに、画像を D F Tしてから複素共役積をもとめて逆 D F Tする従来手法では、注目領域のサイズが 2 ⁿでなければならず、各種テク -ックが必要である。流体計測分野では多く用いられ、計算量を小さくできることが特徴である。しかし、ビジョン分野では、ほとんど利用されない。しかも、計測対象が平面であるという仮定を用いているので、凹凸がある計測対象には適用が困難であるという欠点があった。

従来は、以下のように詳細に説明されるように、画像の水平方向と垂直方向を独立に補間推定していた。しかし、従来のこのような方法によると、第 1図に示すように、推定誤差が発生するという問題点があったここでは、画像を水平方向と垂直方向に独立と考え、変位のサブピクセル推定も独立に行う従来方法を「 1次元推定方法」と称する。

従来の 1次元推定方法の問題点を説明するために、まず、画像間の水平方向変位を求める問題を考える。真の画像間変位を（d _s , d _t )、異方性を持った類似度の回転角度を Θ _gとする。 1次元推定方法では、離散化類似度として、 R (— 1， 0 )、 R ( 0， 0 )、 R ( 1， 0 ) (第 1 図の口）を使い、下記数 1 によつて（第 1 図のき）を推定した。

【数 1 】

_Λ 一 (一 1，0)— i?(l，0)

d^s 1,0)— 4Α(0,0) + 2^(1,0)

仮に上記数 1で直線 t = 0上の類似度最大位置を正しく推定できたとしても、第 1 図から明らかなように、真の水平方向画像間変位 d _s (第 1 図の▲の水平成分）に対して大きな推定誤差を含んでいる。すなわち

、次の条件の全てが真のときには、水平方向推定誤差が発生して、

^一 ≠0となる。

• 垂直方向変位 d _t≠ 0。

• 2次元類似度が異方性を持つ。

- 異方性を持つ 2次元類似度の回転角度 0 _g≠ 0。

大部分の画像が上記条件に当てはまる。また、垂直方向に関しても同様である。例えば、第 2図（a )に示す画像中のコーナー領域の S S D自己類似度を求めると、第 2図（b )のようになっている。この自己類似度は異方性を持ち、 ø _g≠ 0なので、従来の 1次元推定方法では、サブピクセル推定誤差が発生する可能性があることを示している。また、第 3図（a )に示すテクスチャ画像を使ったサブピクセル推定においても、推定誤差が発生する可能性を示している。

また、コンピュータビジョンの分野によっては、ェピポーラ拘束などの拘束条件を利用することで探索範囲を 1次元に限定できるので、 1次元信号の高精度なマツチングができれば十分な場合がある。しかしながら、 2次元画像を使って、高精度な 2次元変位を求める必要がある用途も多い。例えば、動き推定、動き推定による領域分割、ターゲットトラッキング、モザィキング、リモートセンシング、超解像などである。画像の領域ベースマツチングにおいて、画像間変位が平行移動だけで表現できるときには、従来から多くの手法が提案され、実際に用いられてきた。たとえば、代表的な手法として、領域ベースマッチングと類似度補間手法を組み合わせた、サブピクセル推定手法は、次のようにして画像間のサブピクセル変位を推定する。

対応位置を求める画像を、 f ( i , j )と g ( i， j )としたとき、整数単位の変位（ t _x， t _y)に対する画像間の S ADを、次のように計算する。【数 2】

ただし、 S A D は輝度差の絶対値の和（Sum of Absolute Differences)を表し、 Wは対応を求める注目領域を表す。 S ADは、画像が完全に一致したときに 0になり、不一致が増えるに従って大きな値をとる。 S ADは類似していない評価値を表すので、非類似度である。

S ADの代わりに、次の S S Dを用いることも多い。

【数 3 】

∑ {f(i )-g(i-t_x -t_y)f ただし、 S S D は輝度差の絶対値の 2 乗和（Sum of Squared Differences)を表す。 S S Dも画像が完全に一致したときに 0になり、不一致が増えるに従って大きな値をとる。 S S Dも類似していない評価値を表すので、非類似度である。

S A Dや S S Dの代わりに、次の相関係数（Z N C C : Zero-mean Normalized Cross-Correlation) を用！/ヽることもある。 Z N C Cは、注目領域内の画素濃度を統計データと見なし、注目領域間の統計的な相関値を計算している。

【数 4】

∑ {{f(U)-f){g(i-t_x,j-t_y)-g))

■^ZNCC ^lx ,^ly)— I ； 7r

J ∑ (f(U)-f) x ∑ {g(i-t_x,j-t_y)-g) ただし、 /，は、それぞれの領域内の濃度平均である。 R _{Z N C C}は一 1から 1 までの値をとり、画像が完全に一致したときに 1 になり、不一致が増えるに従って小さな値をとる。 Z N C Cの特徴は、画像間に濃度やコントラストの変化があってもほとんど同じ類似度が得られることである。

Z N C Cは類似性の評価値を表すので類似度とよばれるが、 S ADや S S Dは非類似度を表す。ここでは、説明を簡単にするために、以後は S ADや S S D、 Z N C Cを「類似度」と統一して表記する。類似度が最小値（S ADや S S Dのとき）または最大値（Z N C Cのとき）になる整数単位の変位（L, ）を探索することで、画像間の整数単位変位を得ることができる。整数単位の変位を得た後で、次のようにサブピクセル変位を推定する。

【数 5】

^-!)-^ + 1)

x 2R(i_x-l)- R(i_x) + 2R(i_x + l)

, R(t_y_-l)-R(t_v + l) 一

d^y― 2R(t_y - 1) - R(ty) + 2R(t_y + 1)

上記数 5 を用いて、最終的に得る画像間サブピクセル変位は、 ( + , ^十）となる。

このような従来手法では、画像間に回転やスケール変化があるときに正しい対応を得ることができない問題があった。画像間の回転角度がわずかでも、 2つの画像が異なるものと判断され、対応位置が見つからないことや、誤った位置に対応を検出する問題があった。

一方、画像間の対応が平行移動だけでは表現できない場合、つまり、画像間に回転やスケール変化があるときには、回転やスケール変化も同時に推定する必要がある。従来、このときには、補間処理を用いて片方の画像（テンプレート画像）を平行移動と回転やスケール変化をさせてからマッチングを行い、類似度を計算しながら各パラメータを変化させ、類似度が最小値または最大値になるパラメータを探索する必要があつた。次に、このパラメータ探索法を説明する。

f ( i，；i )をテンプレート画像、 g ( i , j )を入力画像とするとき、平行移動（ t _x, t _y)および回転角度 0 とスケール変化 s をパラメータとする類似度 R _{S S D}を次のように計算する。

【数 6】

R_SSD(t_x,t_y s)= ∑ {f( j)-g(i,J,t_x,t_y,e,s)f ただし、 ^ ·，ゾ, ^ ,6>, は、平行移動（ t _χ， t および回転角度 θ とスケール変化 s を与えたときの、位置（ i , ]· )における画像 g ( i ， ]' )の補間画像を表す。捕間画像を作るときには、双線形補間（Bi- Linear 補間）や双 3次補間（Bi- Cubic 補間）などを利用する。また、 S S Dではなく、 S ADや Z N C Cを利用してもよい。

何らかの方法で初期パラメータ（ t _x， t _y, θ， 3 ) < ° >を求めて R _{s s} _D ( t _x, t _y, 0， _S )^{< () >}を計算し、より小さな R _{S S D}を与える更新パラメータ（ t _x， t _y， s ^ ¹ を探索する。パラメータを更新しても結果に変化がなくなるまで、更新を続ける。このとき、 Newton- Raphson5や Steepest (Gradent) Descent 法 (展急降下法 ) 、 Levenberg- Marquadt 法など数値的解法を用いる。

初期パラメータ（ t _x， t _y , 0， s )< ° >は、たとえば、画像間の対応が平行移動だけで表現できると仮定して通常の領域ベースマッチングによって推定した（）を用いた（ , 0,1)^<Q>などを利用する。

このような多パラメータ最適化では、初期値が適切でないと正しい結果が得られない問題がある。また、画像パタンゃノイズ、撮影レンズの光学歪みなどの影響で解が得られない問題もある。さらに、繰り返し計算を利用するので、計算時間を見積もることができないといった難点がある。このため、アルゴリズムを実装する上で、完成したシステムの総合応答時間を正確に見積もることができず、ハードウア化することがきわめて困難であった。また、計算時間の面では、繰り返し計算の各段階で画像を補間する必要があるが、画像補間演算は演算量が多レ、ため

、多くの計算時間が必要になるさらに、推定精度の面では、画像補間手法によって補間画像の性質が異なるので、採用する補間手法によって最終的なパラメータ推定精 /スや定誤差の性質が異なる点も大きな問題であった。

本発明は上述のような事情よりなされたものであり、本発明の目的は

、 N次元類似度を考慮するとで、上記従来手法の問題点を解決し、画像間対応パラメータを少なレ、計算量で安定且つ高速に高精度に同時推定できるようにした、画像のサブピクセノレマツチングにおける多パラメ一タ高精度同時推定方法及び多パラメ一タ高精度同時推定プロダラムを提供することにある。発明の開示

本発明は、画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法に関し、本発明の上記目的は、 N ( Nは 4以上の整数である）個の画像間対応パラメ一タを軸とする N次元類似度空間において

、離散的な位置で得られた画像間の N次元類似度値を利用して、前記 N 個の画像間対応パラメータを高精度に同時推定する画像のサブピクセルマッチングにおける多パラメ一タ itei精度同時推定方法であって、前記画像間の N次元類似度値が、ある 1つのパラメータ軸に対して平行な直線上で最大または最小となるサブサンプリング位置を求め、求められた前記サブサンプリング位置を最も近似する N次元超平面を求めるステップと、前記 N次元超平面を各パラメータ軸に対して N個求めるステップと、前記 N個の N次元超平面の交点を求めるステップと、前記交点を前記 N次元類似度空間における N次元類似度の最大値または最小値を与える前記画像間対応パラメータのサブサンプリングダリッド推定位置とするステップとを有するようにすることによつて効果的に達成される。

また、本発明は、画像のサブピクセルマッチングにおける 3パラメ一タ高精度同時推定方法に関し、本発明の上記目的は、 3個の画像間対応パラメータを軸とする 3次元類似度空間において、離散的な位置で得られた画像間の 3次元類似度値を利用して、前記 3個の画像間対応パラメータを高精度に同時推定する画像のサブピクセルマッチングにおける 3 パラメータ高精度同時推定方法であって、前記画像間の 3次元類似度値が、ある 1つのパラメータ軸に対して平行な直線上で最大または最小となるサブサンプリング位置を求め、求められた前記サブサンプリング位置を最も近似する平面を求めるステップと、前記平面を各パラメータ軸に対して 3個求めるステップと、前記 3個の平面の交点を求めるステツプと、前記交点を前記 3次元類似度空間における 3次元類似度の最大値または最小値を与える前記画像間対応パラメータのサブサンプリンググリッド推定位置とするステップとを有するようにすることによって効果的に達成される。

更に、本発明は、画像のサブピクセルマッチングにおける 2パラメ一タ高精度同時推定方法に関し、本発明の上記目的は、離散的に得られた画像間の 2次元類似度値を利用して、連続領域における 2次元類似度最大値または最小値の位置を高精度に推定する画像のサブピクセルマッチングにおける 2パラメータ高精度同時推定方法であって、前記画像間の 2次元類似度値が、水平軸に対して平行な直線上で最大または最小となるサブサンプリング位置を求め、求められた前記サブサンプリング位置を最も近似する直線（水平極値線 H E L ) を求めるステップと、前記画像間の 2次元類似度値が、垂直軸に対して平行な直線上で最大または最 0

小となるサブサンプリング位置を求め、求められた前記サブサンプリング位置を最も近似する直線（垂直極値線 V E L ) を求めるステップと、前記水平極値線 H E Lと前記垂直極値線 V E Lの交点を求めるステップと、前記交点を前記 2次元類似度の最大値または最小値を与えるサブピクセル推定位置とするステップとを有するようにすることによって効果的に達成される。図面の簡単な説明

第 1図は、従来の 1次元サブピクセル推定方法を説明するための図である。は、 s =— 1 , 0 , 1 での 3つの類似度の値を用いた従来の 1 次元サブピクセル推定方法によって推定された位置で、 d _t≠ 0及び 0 _g≠ 0の際に、この推定値は真のピーク位置に対して誤差を有する。

第 2図は、 3次元再構成アプリケーシヨン用に一般的に使用される画像例（ a ) とその自己類似度（ b ) を示す図である。自己類似度マップは、自己類似度マップが k ≠ 1 及ぴ Θ _g≠ 0の性質を有しているので、従来の 1次元推定方法を用いることでサブピクセル推定誤差が生じることを示している。

第 3図は、 0 _ε = π / 2を有するテクスチヤ画像例とその自己類似度を示す図である。

第 4図は、 2次元画像モデルとその 2次元類似度を示す図である。（ a ) はび _imaee= 0 . 7の画像モデルを示し、画像のサイズは 1 1 X 1 1 [ 画素]である。（ b ) は画像モデルの自己類似度を示し、類似度の範囲は 1 1 X I 1である。（ s ， t ) の暗い位置は高い類似度を有する 2枚の画像の変位に対応する。最も暗い位置の（ s， t ) は、自己類似度の性質で（ 0， 0 ) になる。第 5図は、画像全体の回転角度 0 _gとコーナー角度 Θ 。を有する 2次元コーナー画像モデルを示す図である。

第 6図は、 2次元コーナー画像モデルとその 2次元自己類似度を示す図である。（a )、（b )、（ c )は、 0 。 = _{π /} 2、 σ _image= 1の画像モデルで、それぞれ 0 _g = O , π / 8， π / 4である。（d )、（e )、（ f )は、それぞれ（ a )、（b )、（ c )に対応する類似度である。（g )、（h )、 ( i )は、 0 _c = 7c / 4、 σ _iraage= 1 の画像モデルで、それぞれ 0 _g = O， π / 8 , πΖ4である。（ j )、（k )、（ 1 )は、それぞれ（g )、（h )、 ( i )に対応する類似度である。

第 7図は、画像全体の回転角度 0 _gと水平方向空間周波数 f _uと垂直方向空間周波数 f _vを有する 2次元繰り返しテクスチャ画像モデルを示す図である。

第 8図は、 2次元繰り返しテクスチャ画像モデルとその 2次元自己類似度を示す図である。（a )、（b )、（c )は、 f _u = 0. 1 、 f _v = 0. 1 の画像モデルで、それぞれ 0 _g = O , π / 8 , π Ζ 4である。（d )、 ( e )、（ f )は、それぞれ）、（b )、（c )に対応する類似度である。（g ) ( h )、（ i )は、 f _u = 0. 0 5、 f _v = 0. 1 の画像モデルで、それぞれ 0 _g = O， π / 8 , π Ζ 4である。（ j )、（k )、（ 1 )は、それぞれ（ g )、（h )、（ i )に対応する類似度である。自己類似度は一定の変位を有する 2枚同様な画像から得られる。画像のサイズは 1 1 X 1 1 [画素] で、類似度の範囲は一 5から 5までである。

第 9図は、画像全体の回転角度 0 _gと水平標準偏差 σ と垂直標準偏差 k σを有する 2次元ガウス画像モデルを示す図である。

第 1 0図は、 2次元ガウス画像モデルとその 2次元自己類似度を示す図である。（a；)、（b )、（c )は、 σ = 2、 k = l の画像モデルで、それぞれ 0 _g = O , % / S , πノ 4である。（d)、（e )、（ f )は、それぞれ (a )、（b )、（ c )に対応する類似度である。（g )、（h)、（ i )は、 σ = 2、 k = 0. 5 の画像モデルで、それぞれ 0 _g = O， π / 8 , πΖ4である。（ j )、（k )、（ 1 )は、それぞれ（g )、（h )、（ i )に対応する類似度である。自己類似度は一定の変位を有する 2枚同様な画像から得られる。画像のサイズは 1 1 X 1 1 [画素]で、類似度の範囲は一 5から 5までである。

第 1 1図は、 3種類異なった 2次元画像モデルと、それらの 2次元自己類似度と、 2次元類似度モデルに比較して 2次元自己類似度の部分図を示す図である。（a )は ^ 。ニ兀、 σ _iraage= 1、 0 _g = Oを有する 2 次元コーナー画像モデルを示す。（b )は f _u = 0. 0 5 1、 f _v = 0. 1 、 0 _g = 0 を有する 2次元繰り返しテクスチャ画像モデルを示す。（c ) は σ = 2、 k = 0. 5、 0 _g = O を有する 2次元ガウス画像モデルを示す。（d )、（ e )、（ f )は、それぞれ）、（b )、（c )に対応する類似度である。（g )、（h )、（ i )は、整数位置（〇で表す）でサンプリングされた（d )、（e )、（ f )の t = 0の水平部分図と、 2次元類似度モデル（点線で表す）を示す。

第 1 2図は、 2次元連続的に類似度計算と離散的に類似度計算の例を示す図である。

第 1 3図は、（d _s， d _t) = (0. 2， 0. 4 )、 σ = 1、 k = 0. 7、 Θ _g = π // 6 を有する 2次元類似度モデルを示す図である。等高線は関数値の 1 0 %から 9 0 %までに対応している。（a )において、 2次元類似度モデルの長軸が 0 _g = π / 6を示す。（b )において、 H E L (水平極値線）と V E L (垂直極値線）の両方が 2次元類似度モデル（d _s， d _t)のピーク値位置を通るが、 2次元類似度モデルの長軸或いは短軸と異なる 3

第 1 4図は、 H E Lと V E Lの推定プロセスを説明するための図である。（a )において、 ·は 3本の水平線 t =— 1 、 t = 0、 t = l上の類似度値（口）から得られた推定サブピクセル位置を示し、 H E Lは最小二乗で 3っ秦の位置から推定されることが可能である。（b )において、 V E Lは同様なプロセスで推定されることが可能である。

第 1 5図は、従来の 1次元推定方法及び本発明の実施例 1 に係る 2次元推定方法にそれぞれ必要な類似度値の位置を示す図である。 2次元類似度モデルは（（1 ₅，（1 = (0. 2 , 0. 4 )、 σ = 1 、 k = 0. 3 _s Θ _g = π / 8を有する。

第 1 6図は、推定誤差を比較するための図である。（a )は比較用に使用される画像モデルで、即ち、 e _g = 0、 Θ _c = π / 4 σ _iraage= 1. 0 の 2次元コーナーモデルである。（b )は（a )の画像モデルの自己類似度を示す。

第 1 7図は、推定誤差を比較するための図である。（a )は比較用に使用される画像モデルで、即ち、 θ _β = π / 8、 ' 0 。 = π Ζ 4、 σ _image= 1 . 0の 2次元コーナーモデルである。（b )は（a )の画像モデルの自己類似度を示す。

第 1 8図は、推定誤差を比較するための図である。（a )は比較用に使用される画像モデルで、即ち、 θ _Β = π / 4、 Θ _c = π / 4 , σ _image= 1 . 0の 2次元コーナーモデルである。（b )は（a )の画像モデルの自己類似度を示す。

第 1 9図は、重み関数とパラメータに依存する補間特性を説明するための図である。

第 2 0図は、合成画像を使った実験結果を示す図である。第 2 1図は、実画像を使ったターゲットトラッキング実験結果を示す図である。

第 2 2図は、本発明の実施例 2に係る 3パラメータ同時推定方法において、パラメータ s iに関する最大値を通る平面を説明するための模式図である。

第 2 3図は、実験に用いた合成画像である。

第 2 4図は、画像の回転計測結果を示す図である。

第 2 5図は、画像の位置計測結果を示す図である。発明を実施するための最良の形態

以下、本発明の好適な実施例を図面及び数式を参照しながら説明する実施例 1 ：

本発明に係る画像のサブピクセルマツチングにおける多パラメータ高精度同時推定方法の実施例 1では、画像のサンプリング周期で求まっている 2次元類似度を使って、その 2次元類似度の最大値又は最小値を与える 2次元サブピクセル変位（つまり、水平及ぴ垂直方向の画像間変位 ) を高精度に同時に推定するようにしている。

ここで、画像を水平方向と垂直方向に独立と考え、変位のサブピクセル推定も独立に行う従来方法を「 1次元推定方法」と称するのに対して、本発明の実施例 1 に係る画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法は、 2次元画像から計算した離散位置における 2次元類似度を使って、 2次元サブピクセル推定を行なっているので、「画像のサブピクセルマッチングにおける高精度 2次元推定方法」又は「 2次元サブピクセル推定方法」と称し、更に、略して「 2次元推定方法」と呼ぶようにしている。

後述する本発明の実施例 1 に係る 2次元推定方法は、領域ベースマツチングを用いた高精度同時推定方法で、従来の「 1次元推定方法」と比較して計算量がわずかに増えるだけで、圧倒的に高精度な 2次元サプピクセル推定が可能である。'

( 1 ) 2次元画像モデルと 2次元類似度モデル

ここでは、何種類かの画像モデルをとりあげ、その 2次元類似度を考える。異なる画像モデルから得られる 2次元類似度が、同じ 2次元類似度モデルで近似できることを示す。

領域ベースマッチングとは、 2枚の画像の類似度を評価し、その最大または最小位置を 2枚の画像間の変位として求めることである。この類似度は、通常は画像のサンプリング周期と一致して、とびとびの変位位置に対して値が得られる。画素単位でのマッチングは、これらの類似度の中から、最大値または最小値を探すことに対応する。サブピクセル推定は、これらの類似度を補間して、サブピクセルでの最大値または最小値を与えるサブピクセル変位位置を推定することである。以後の説明では、「最大または最小」を単に「最大」と表現する。 S A Dや S S D類似度を使うときには「最小」、相関類似度を使うときには「最大」を意味する。

( 1— 1 ) コーナーモデル

まず、領域ベースマッチングとサブピクセル推定が可能な 2次元画像モデルとして、 1次元画像モデル

【数 7 】 6

を単純に拡張して、下記数 8で示すコーナー画像を考える。ここで、 σ _imageは濃度ェッジのシャープさである。このコーナー画像を第 4図（a ) に示す。

【数 8 】

ただし、画像座標系を U — V、類似度座標系（変位座標系）を s _ t とする。

上記数 8で表す画像を参照画像として、また、全く同じ画像を入力画像として 2次元マッチングを行ったときの S S D類似度（本発明では、 S S D類似度を「自己類似度」と称することもある）は、下記数 9で求めることができる。 S S D類似度は、値が小さいほど類似していることを示すので、この場合には暗い場所ほど類似性が高いことを示している。自己類似度は全く同じ画像を使った類似度なので、変位（ s， t ) = (0 ， 0 )の位置の類似度が最も小さい。この類似度を第 4図（b )に示す。【数 9 】

R(s,t)= ∑ (l_s( j)-I_s{i + s,j + t))² ただし、総和範囲は、任意形状の注目範囲であるが、第 4図（b )では 1 1 X 1 1 の矩形領域で計算した。

第 4図（a )では、コーナーに剪断成分が含まれない、つまり水平方向の濃度変化が垂直位置に依存しないので、 2次元画像の水平方向と垂直方向を独立に扱うことができる。このとき、上記数 9の類似度も、水平方向と垂直方向を独立に扱うことができる。従って、サブピクセル変位位置を推定するときにも、水平方向と垂直方向を独立に扱うことができる。

しかし、実際の画像では、必ずしも 9 0度のコーナーで構成されるわけではない。例えば、建築物を地上から撮影したステレオ画像を使って 3次元情報を再構成するときには、建築物のコーナー領域を、他方の画像との対応を求めるが、コーナーが 9 0度に撮影されることはまれである（第 2図（ a )参照）。

そこで、 V == 0に濃度エッジを持つ 2枚の 2次元画像

【数 1 0】

I_a( ,v) = f(v)

i_b(u^ = -fy)

を、それぞれ左に 0 _a、右に Θ _bだけ回転した画像を考える。

【数 1 1 】

I_a (u,v) = f(-u sin(0_a ) + v cos(¾ ))

{u,v) = -f{u sin(¾ ) + v cos(¾ ))

この Θ _a、 0 _bを画像全体の回転角度 Θ _gとコーナー角度 0 cを使って

、次のように定義する。 '

【数 1 2】

警

このとき、 I _a (u， v )と I _b (u， v )を使って表す 2次元画像モデル I c ( U , V )を、下記数 1 3で定義する。 I_c(u,v) = I_a(u,v)I_b(u,v)

2 · この 2次元画像モデルは、第 5図に示すように、画像全体の回転角度 Θ _gとコーナー角度 Θ 。と 2次元濃度エッジのシャープさ σ _imageをパラメータに持つ。 O ≤ 0 _g ≤ 7c / 4、 0 く 0 。≤ π Ζ 2の範囲を考慮する。これ以外の範囲は、画像の左右を反転することと、濃淡を反転することで表現することができる。 θ _δ= π Ζ4、 6 。 = π Ζ 2のときには、上記数 8 の単純な画像モデルと同一である。第 6図（a )、（b )、（ c )、 ( g )、（ h )、（ i )に、上記数 1 3で表す画像モデルの例を示す。第 6図（ d )、（e )、（ f )、（ j )、（k )、（ 1 )に、第 6図（a )、（b )、（ c )、（g )、（h)、（ i )の 2次元画像に対応した類似度を示す。

( 1一 2 ) 繰り返しテクスチャモデル

類似度に方向依存性がないとき、つまり類似度が等方性なら、サブピクセル推定を水平方向と垂直方向に独立に行っても誤差が発生しない。しかし、類似度に方向依存性があるとき（本発明では「異方性」と呼ぶ ) 、つまり、方向によって微分値が異なるときには、サブピクセル推定を水平方向と垂直方向に独立に行うと誤差が発生する可能性がある。上記数 1 3で示した 2次元画像モデル I c ( u， V )では、 Θ _c ≠ % / 2 のときに自己類似度に異方性が現れた。しかし、直感的に理解できるように、これ以外にも自己類似度に異方性を生じさせるテクスチャが存在する。この例として、第 3図（a )に示す画像の S S D自己類似度を第 3 9

図（b )に示す。テクスチャに含まれるコーナーは 0 。 - π / 2 なのに、類似度に異方性が現れるている。

Θ c = π 2なのに自己類似度に異方性を生じさせる 2次元画像モデルとして、下記数 1 4を考える。

【数 1 4】

I_t(u,v) = f_lu (cos(¾)w + sm' (0_g)v) f_lv {-sm(0_g)u + cos(¾)v)

ん (ァ） = sin(² /_v

上記数 1 4の 2次元画像モデル I _t ( u , V )は、第 7図に示すように、 u方向空間周波数 f _u、 v方向空間周波数 f _v、画像の回転角度 0 _gをパラメータに持つ。 0 ≤ θ _Β≤ π Ζ 2の範囲を考慮する。 f _u≠ f _vのときには、自己類似度に異方性を生じる。自己類似度の異方性は、テクスチヤにおける空間周波数の異方性に相当する。前節で導入した 2次元画像モデル I c ( u， V )は、 Θ _e≠ π / 2のときに、空間周波数の異方性が発生していると考えることができる。

この 2次元画像モデルと S S D自己類似度を第 8図に示す。

( 1— 3 ) ガウス関数モデル

自己類似度に異方性を生じさせる 2次元画像モデルとして、下記数 1 5の 2次元ガウス関数を考えることができる。

【数 1 5】

I_g (u, v) = gauss u cos(^ ) + sin(^— \ σ ι gauss (- sin ( )+ v cos(0 ), ka) l

gauss (x, σ) = ,—— e - ²び²

2πσ

ただし、第 9図に示すように、 σはガウス関数の標準偏差で、 kは異方性係数（ k 〉 0 )で、 Θ _gは回転角度である。 0 ≤ Θ _g≤ π Z 2の範囲を考慮する。この 2次元画像モデルと S S D自己類似度を第 1 0図に示す。

( 1— 4 ) 2次元類似度モデル

1次元サブピクセル推定と異なり、 2次元サブピクセル推定では 2次元画像モデルのパラメータ数が多いので、 2次元画像モデルから得られる S S D類似度を直接検討することは得策ではない。ここで取り上げた画像モデルは、画像の性質の多くを含んでいるが、実際用途で扱う画像は、ここで取り上げた画像モデルを複数を組み合わせたものや、より高次の画像が存在する。

そこで、以後の検討では.、これまでに検討した何種類かの画像モデルを直接使わず、代わりに、これらの画像モデルから得られる 2次元類似度を近似する 2次元類似度モデルを検討する。 2次元類似度モデルとして、下記数 1 6で表す 2次元ガウス関数を採用する。

【数 1 6 】

R„ (s, t, d_s,d_t, σ, 1ζ,θ。~) = gauss s~d_s) cos ( ) + (t-d_t) sin ( ),び )

xgauss (— ― ) sin(( J + (t- ) cos ( ), ka^j ただし、（ d _s ， d _t)は画像間の真の変位で、 σはガウス関数の標準偏差で、 kは異方性係数（k 〉 0 )で、 0 _gは回転角度である。 O≤ 0 _g ≤ π Ζ 2の範囲を考慮する。 2

比較のため、ここで取り上げた 2次元画像モデルから得られる S S D 自己類似度の例と上記数 1 6の類似度の例を第 1 1 図に示す。ただし、 ( d _s , d _t ) = ( 0， 0 )、 0 _g = O、 k = l としたときに、 2次元画像モデルから計算した離散的な自己類似度を最もよく近似するように、上記数 1 6 のパラメータを数値計算で求めた。

以上の説明は、連続領域で行ってきたが、実際の画像データから得られる類似度は、画素単位でのサンプリングになっている。この様子を第 1 2図に示す。本発明の実施例 1 に係る 2次元推定方法は、このように離散化単位で得られた 2次元類似度を用いて、連続領域での類似度最大値を与える 2次元変位を高精度に推定するものである。

( 2 ) 本発明の実施例 1 に係る 2次元推定方法

( 2— 1 ) 本発明の実施例 1 に係る 2次元推定方法の原理く連続領域での説明 >

ここでは、前述した 2次元類似度モデルを使って、本発明の実施例 1 に係る 2次元推定方法の原理を説明する。本発明は、離散化単位で得られた類似度値を使って、連続領域での類似度最大値位置を高精度に推定することを特徴としている。ここでは、本発明の実施例 1 の原理を連続領域で説明する。

第 1 3図は 2次元類似度モデルを等高線で表示した図である。この 2 次元類似度モデルのパラメータは、（d _s， d _t ) = ( 0 . 2 , 0 . 4 )、 σ = 1 . 0、 k= 0 . 7、 0 _ε = π / 6 である。等高線は、 2次元類似度モデルの最大値に対して、 1 0 %から 9 0 %までレベルを示している。 2次元類似度モデルの等高線は楕円になる。この楕円の中心が、 2次元類似度モデルの最大値位置である。第 1 3図（a )には、 2次元類似度モデルの長軸を示してあるが、この角度が回転角度 Θ _gに相当する。数 1 6 の 2次元類似度モデルを sで偏微分して 0 とおくことで、第 1 3図（b )の直線 s = a t + b を表す関係を得ることができる。

【数 1 7】

s = at + b

考慮する条件が k > 0なので、上記数 1 7の各係数の分母≠ 0である。また、 2次元類似度モデルが等方性のとき、つまり k = lのとき、上記数 1 7は s = d _sとなり、推定誤差が発生しない。本発明の実施例 1 では、この直線を水平極値線 H E L (Horizontal Extremal Line)と称する。 H E Lは第 1 3図（b )の等高線を表す楕円と水平直線との接点を通る。

一方、数 1 6の 2次元類似度モデルを tで偏微分して 0 とおくことで、第 1 3図（b )の直線 t = A s + Bを表す関係を得ることができる。【数 1 8】

t = As + B

=

数 1 7 と同様に、各係数の分母≠ 0である。また、 k = l のとき、数 1 8は、 t = d _tとなり、推定誤差が発生しない。本発明の実施例 1 では、この直線を垂直極値線 V E L (Vertical Extremal Line)と称する。 V E Lは第 1 3図（b )の等高線を表す楕円と垂直直線との接点を通る。

H E L と V E Lの交点は、数 1 6 の 2次元類似度モデルを異なる方向に偏微分したときに、どちらの方向にも 0になる点であり、これは 2次元類似度モデルの類似度値を最大にする位置に他ならない。実際に、この交点を計算すると、

【数 1 9】 aB + b _Ί

s = = a_s

Ι-αΑ t = = d_t

1-aA

となり、当然のこと'ながら 2次元類似度モデルの変位（ d _s , d _t )を表している。

このときの分母≠ 0は、 H E Lと V E Lが交点を持っための条件である。分母を計算すると、次のようになる。

【数 2 0】

(1— ² ) sin cos (1-A:²) sin θ_ρ cos θ_ρ

― sin² + :²cos²6>_g k² sin² ¾ + cos²6>_g

— — ² _

[sin²6_g + k² cos²0_g〕〔 ² sin²0_g + cos²0_g〕

kの範囲は k〉 0なので、この分母 l — a A≠ 0である。

まとめると、 2次元類似度の s方向微分と t方向微分は、 H E Lと V E Lの 2直線で表すことができ、この 2直線の交点が 2次元類似度の最大値位置になっている。従って、本発明の実施例 1では、離散化単位で得られた類似度値を使って H E Lと V E Lを求め、その交点を計算すれば、 2次元サブピクセル推定を行うことができる。

( 2— 2 ) 本発明の実施例 1 に係る 2次元推定方法の実装方法 <離散領域への適用 >

以下では、離散的に算出された画像間の類似度値を利用して、連続領域における類似度最大値位置を推定する本発明の実施例 1 に係る 2次元推定方法を具体的に説明する。

まず、離散的に得られている類似度値を使って、 H E Lを求める。 H E Lは水平方向について類似度最大値を通る直線なので、 2本以上の水平ライン上でのサブピクセル類似度最大値位置が決定すれば、 H E Lを求めることができる。この様子を第 1 4図（a )に示す。同心楕円は 2次元類似度モデルの等高線を表す。口位置で離散的に得られた類似度値を使って、直線で示す H E Lを求める。

第 1 4図（a )において、直線 t = 0上での最大類似度を与える位置を ( (,=o)，0)、変位位置（ s， t )での類似度を R ( s， t )とすると、

【数 2 1 】

_Λ R(-1,0)-R(l,0)

" ⁰⁾― 2R(-1, 0)― 4R( , 0) + 2^(1, 0)

この推定結果には、前章で示したように推定誤差が含まれるが、このことについては次節で述べる。直線 t = _ 1上と直線 t = 1上での最大類似度を与える位置をそれぞれ（ _(ί=__υ，- 1)，（ (_ί=1)，ι)とすると、

【数 2 2】 → 2i?(-l + - 1)- 4 ( い- l) + 2i?(l + —ぃ- 1) ¹-¹

【数 2 3】

_Λ ^(— 1+ 1)一 ?(l +_i=い 1) .

d^sit=l) 2?(- 1+ " 1)- 4? ( い 1)+ 2 +

ただし、 i _{t =}_い i _t = iは、直線 t =一 1上と直線 t = 1上で最大類似度を与える整数位置オフセットである（後述する）。

これら 3点の最大類似度位置を通る直線が H E Lである。実際には、画像パターンや画像に含まれるノィズゃ画像間の相違などのために、これら 3点は完全には直線上には乗らない可能性があるので、最小二乗で近似直線を求める。この 3点を最小二乗で近似する直線は、下記数 2 4 で求めることができる。

【数 2 4】

s = at + b a )

次に、離散化単位で得られた類似度値を使って、 V E Lを求める。 V E Lは垂直方向について類似度最大値を通る直線なので、 2本以上の垂直ライン上でのサブピクセル類似度最大値位置が決定すれば、 V E Lを求めることができる。この様子を、第 1 4図（b )に示す。同心楕円は、 2次元類似度モデルの等高線を表す。口位置で離散化単位で得られた類似度値を使って、直線で示す V E Lを求める。

第 1 4図（b )において、直線 s == 0上での最大類似度を与える位置を (0， (=。)）とすると、

【数 2 5】

_Λ ― ^(Ο,-Ι)-^(Ο,Ι)

" =。)― 2^(0,— 1)— 4R(0, 0) + 2R(0, 1)

直線 s =— 1上と直線 s = 1上での最大類似度を与える位置をそれぞれ

とすると、

【数 2 6】

d^tis→ 2?(-i₅-H₌_₁H^(-i^=-₁^(-i,H₌_₁) 【数 2 7 ]

ただし、 i _s =— 、 i _{s =} は、直線 s =— 1上と直線 s = 1上で最大類似度を与える整数位置オフセットである。

これら 3点の最大類似度位置を通る直線が V E Lである。この 3点を最小二乗で近似する直線は、下記数 2 8で求めることができる。

【数 2 8】

t = As + B

H E L と V E Lの交点、即ち、数 2 4 と数 2 8の交点が、連続領域における 2次元類似度最大値のサブピクセル推定位置（ , になつている

【数 2 9】

~ _aB + D

"^s ： Ι-αΑ

~ Ab + B ところで、数 2 6、数 2 7における直線 t =一 1上と直線 t = 1上で最大類似度を与える整数位置オフセット i _t =—い i _{t = 1}は、必ずしも 0になる保証はない。例えば、第 1 5図（ b )に示すのは、（ d _s , d _t ) = (0 . 2 , 0. 4 )、 σ = 1 、 k= 0 . 3、 0 „ = π Ζ 8の 2次元類似度モデルだが、このモデルに対する H E Lを求めるための、直線 t =一 1上の類似度最大値は s = _ 2付近にある。従って、 ( を計算するときには、直線 t =一 1上と直線 t = 1上で最大類似度を与える整数位置を再探索する必要がある。垂直方向についても同様で

を計算するときには、直線 s =— 1上と直線 s = 1上で最大類似度を与える整数位置を再探索する必要がある。

このとき、第 1 5図（b )に示す ± 3の範囲の類似度を使い、一 2 ≤ i ≤ + 2を考慮している。この探索範囲は、多数の現実的な画像をもとに決定した範囲である。もしも、 2次元類似度モデルのパラメータ範囲に制限がないとすると、このときの再探索範囲は無限になってしまう。その理由は、（ d _s， d _t) = (0 , 0 )のとき、数 1 7の H E Lについて、下記数 3 0の D (k， Θ _g)を考えると、

【数 3 0】

= a

D (k， 0 _g)が最大値に近づくのは、 0 _g→ O、 k→ 0のときで、 D ( k， 0 _g)→cos Θ _g /sin 6 _g→∞だ力、らである。ところで、 k→ 0のとき

、 2次元類似度の異方性が無限大になり、 H E Lと V E Lがほとんど一致する。もしもこのような 2次元類似度を作り出す画像があったとしても、そのときには、ほとんど同一になった H E Lと V E L上で類似度最大値を検索すればよい。たとえば、数 3 0で D ( k , 0 _g )→∞のときには、 V E L上の 3点（-1, —,))， (0, _i(i=0)), (1， _=υ)における類似度値を求め、パラボラフィッティングを行えばよい。従来の 1次元推定では、第 1 5図（a )に示す 5個の類似度値を用いてサブピクセル位置を推定していた。このとき、直線 t = 0上の 3点の類似度（口印）を用いてサブピクセル推定を行って水平方向サブピクセル変位（·印）とした。また、直線 s = 0上の 3点の類似度（口印）を用いてサブピクセル推定を行って垂直方向サブピクセル変位（鲁印）とした。第 1 5図（ a )に示す 2直線の交点が従来手法で求めた 2次元サブピクセル推定値だが、大きな推定誤差を含むことがわかる。

これに対して本発明の実施例 1 に係る 2次元推定方法は、第 1 5図（ b )に示す 2 5個の類似度値を用いて 2次元サブピクセル位置を推定する。 H E Lと V E Lの交点は、正確に 2次元類似度のサブピクセル最大位置を通るので、推定は極めて高精度である。さらに、本発明の実施例 1に係る 2次元推定方法の計算量の増加は、従来の「 1次元推定方法」と比較してわずかである。領域ベースマッチングでは、大部分の計算時間は類似度値を計算しているが、本発明の実施例 1 に係る 2次元推定方法では既に得られている類似度値を利用するので、計算時間の増加は少ない。

( 2— 3 ) 本発明の実施例 1 に係る 2次元推定方法とサブピクセル推定誤差低減方法との組合せ

数 2 1から数 2 3、数 2 5から数 2 7において、 3位置の類似度を使つてパラボラフィッティングによってサブピクセル位置を推定するときには、推定誤差が発生する。この推定誤差は、補間画像を利用することでキャンセルすることができる。

数 2 1 から数 2 3、数 2 5から数 2 7において求めているサブピクセル位置は、従来どおりの 1次元推定にすぎないので、非特許文献 1 に記載された、推定誤差を低減できるサブピクセル推定方法（以下、本発明の実施例 1 に係る 2次元推定方法と区別するために、非特許文献 1 に記載されたサブピクセル推定方法を「サブピクセル推定誤差低減方法」と称する）をそのまま適用することができる。ここでは簡単に適用方法を説明する。

マッチングに使う 2次元画像関数を I ( u， V )、 I ₂ ( u , V )とするとき、水平方向捕間画像 I i _; u ( u， V )は、

【数 3 1 】 tu iu,v) = -{l_x{u - v) + I_x (u,v)) と表すことができる。ただし、このときの（U， V )は整数である。水平方向補間画像 I ェ i _u ( u , V )は、 I i ( u， V )に対して（ 0 . 5， 0 )だけ変位していると考えることができる。この補間画像を使って、次に示す S S D類似度でサブピクセル推定を行うと、推定結果も（0 . 5 , 0 )だけ変位していると考えることができるので、その変位を補正した推定結果は、下記数 3 .2、数 3 3で求めることができる。 . 【数 3 2】 +り)²

【数 3 3 】 d^t~-⁰⁾

数 3 3 も数 2 1 と同様に推定誤差を含むが、その位相が逆になつているので、下記数 3 4によって推定誤差をキャンセルすることができる。【数 3 4】

同様にして、水平ライン t = _ l、 t = l について、

【数 3 5】

+ —「0.5

【数 3 6】

^ ¾(- i+ ，i)-¾(i+ い 1)

d^t=1) 2¾(- 1 + /₌₁，1)- '_¾ ( い 1)₊ 2 (1_{+ =1},1)

ただし、 i _t i _{t =} は、直線 t = _ 1上と直線 t = 1上で R； _u ( s , t )の最大類似度を与える整数位置オフセットである。これらの値は、数 2 2、数 2 3 とは異なる可能性がある。数 3 5 と数 3 6 を使って、下記数 3 7、数 3 8によつて推定誤差をキャンセルすることができる

【数 3 7】

【数 3 8】

垂直方向についても同様である。垂直方向捕間画像 I _{l i v} (u， v )は

【数 3 9】 v ( ) = 10， v— 1) + ( , v)) と表すことができる。ただし、このときの（u， v )は整数である。垂直方向補間画像 I i i _v ( u， V )は、 I i ( u , V )に対して（ 0， 0. 5 )だけ変位していると考えることができる。この補間画像を使って、次に示す S S D類似度でサブピクセル推定を行うと、推定結果も（0 , 0. 5 )だけ変位していると考えることができるので、その変位を補正した推定結果は、下記数 4 0、数 4 1で求めることができる。

【数 4 0】

R_iv(^s^ =∑ ( ft )_ + ゾ+り) 【数 4 1 】

一

数 4 1 も数 2 5 と同様に推定誤差を含むが、その位相が逆になつているので、下記数 4 2によつて推定誤差をキャンセルすることができる。【数 4 2】

同様にして、垂直ライン s = _ 1、 s = lについて、

【数 4 3】 _ ¾(- 1,- 1+ )- ¾(- U+ 一 J

d^it{→ 2¾(-l,-H- ₌_₁)-4¾(-l,_s=_₁) + 2¾(-l_?l + _i=_₁)

【数 4 4】 ^ 一 R_iv(} - + -R_iv{l )

i^t(→ 2¾(l₅-l + z₌₁)-4¾(l,z₌₁) + 2i?,(l,l + z₌₁)

+ 「0.5

ただし、 i _s = _ 、 i _{s =}丄は、直線 s =— 1上と直線 s = 1上で R i _v ( s ， t )の最大類似度を与える整数位置オフセットである。これらの値は、数 2 6、数 2 7 とは異なる可能性がある。数 4 3 と数 4 4を使って、下記数 4 5、数 4 6 によって推定誤差をキャンセルすることができる

【数 4 5】

【数 4 6】

数 3 4、数 3 7、数 3 8、数 4 2、数 4 5、数 4 6で計算した各ライン上のサブピクセル推定値は、従来の 1次元推定方法によって推定されたサブピクセル推定値と比較して、推定誤差が低減されている。従って、サブピクセル推定誤差低減方法によって推定されたこれらの推定結果を使って、更に本発明の実施例 1 に係る 2次元推定方法で 2次元サブピクセル推定を行うことで、より高精度な 2次元サプピクセル推定が可能になる。

【数 4 7】

― _aB + b

d^s l^S" ― Ab + B

d _t = =^

¹ 1 - aA

補間画像は、水平方向と垂直方向にそ.,れぞれ 1回ずつ作ればよいので

、計算量の増加は 1次元推定と同程度である。

( 3 ) 本発明の実施例 1 に係る 2次元推定方法による推定誤差と従来の推定方法による推定誤差との比較

以下では、 2次元画像間の変位推定で、従来一般的に使用されている各種推定方法による推定誤差を本発明の実施例 1 に係る 2次元推定方法による推定誤差と比較する。前述した 2次元画像を使用して推定誤差を比較することで、同じ画像に対する比較を行う。

2次元サブピクセル推定誤差は、水平方向と垂直方向の推定誤差を考える必要がある。ところが、推定誤差に影響するのは、 2次元画像が持つ 3パラメータと画像間の 2次元入力変位の合計 5パラメータになるので、全てを網羅することは困難である。そこで、代表的な 2次元画像を用いて、各方法による推定誤差を比較する。

( 3— 1 ) 本発明の実施例 1 に係る 2次元推定方法

代表的な 2次元画像として、前述したコーナー画像を使用し、パラメータとして 0 _g = O， π / 8 , π / 4、 θ _c = π / 4 , σ _image= 1 . 0を考える。 0 ≤ 0 _g≤ π / 4以外の 2次元画像は、画像の左右を反転することと、濃淡を反転することで表現することができるが、実際の検討は、さらに多くの 2次元画像、回転角度、コーナー角度を用いて行っている。他の 2次元画像でも、 2次元類似度が同じような形になるときには、サブピクセル推定誤差は同じ傾向を示す。

サブピクセル推定誤差低減方法を適用した本発明の実施例 1 に係る 2 次元サブピクセル推定方法における水平方向推定誤差 error _s と垂直方向推定誤差 error _tは、数 4 7 を使って、下記数 4 8 で表すことができる。

【数 4 8】

errors d -d _s

error_t = d_t ~ ^at

サブピクセル推定誤差低減方法を適用しないときの本発明の実施例 1 に係る 2次元サブピクセル推定方法における水平方向推定誤差 error _s と垂直方向推定誤差 error _tは、数 2 9 を使って、下記数 4 9 で表すことができる。

【数 4 9】

error_s =d_s - d_s

errors _t ~ ^dt

Θ _g = 0 , π / 8 , π / 4の 3画像に対する数 4 8、数 4 9の 2次元サブピクセル推定誤差を、それぞれ第 1 6 図、第 1 7図、第 1 8図の（ c ) (d )、（ e ) ( f )に示す。（ c )と（d )は、それぞれサブピクセル推定誤差低減方法を適用した本発明の実施例 1 に係る 2次元サブピクセル推定方法における水平方向推定誤差 error _s と垂直方向推定誤差 error _tを示す。（e )と（ f )は、それぞれサブピクセル推定誤差低減方法を適用しないときの本発明の実施例 1 に係る 2次元サブピクセル推定方法における水平方向推定誤差 error _sと垂直方向推定誤差 error _tを示す。

第 1 6図は、 0 _g = O の画像を使った結果を示すが、このときには 2 次元類似度に異方性が生じない。第 1 7図と第 1 8図は、それぞれ 0 _g π Ζ 8 と π / 4の画像を使つた結果を示し、このときには 2次元類似度に異方性が生じているにもかかわらず、サブピクセル推定誤差は極めて小さい。

( 3— 2 ) 従来の 1次元サブピクセル推定方法

従来の 1次元推定方法は、数 2 1 と数 2 5で求めることができる。また、非特許文献 1 に記載されたサブピクセル推定誤差低減方法を適用した推定値は、数 3 4 と数 4 2で求めることができる。ここでは、数 2 1 と数 2 5を使ったときの推定誤差を比較検討する。

【数 5 0】

error_s =^_it,-d_s 訓 ^r _t = _s, - ^dt

Θ _g = 0 , π / 8 , π Ζ 4の 3画像に対する上記数 5 0 のサブピクセル推定誤差を、それぞれ第 1 6図、第 1 7図、第 1 8図の（g )、（h )に示す。（g )と（h )は、それぞれ従来の 1次元推定方法における水平方向推定誤差 error_sと垂直方向推定誤差 error _tを示す。

第 1 6図は、 0 _g = O の画像を使った結果を示すが、このときには 2 次元類似度に異方性が生じない。このときには、従来の 1次元推定方法でも推定誤差が生じない。第 1 7図と第 1 8図は、それぞれ 0 _ε = π / 8 と π / 4の画像を使った結果を示し、このときには 2次元類似度に異方性が生じるが、このときには大きな推定誤差が生じる。推定誤差の大きさは、異方性を持つ 2次元類似度の回転角度と真の画像間変位に依存する。

( 3 - 3 ) 従来の濃度こう配法によるサブピクセル推定

濃度こう配法では、画像間における対応位置に濃度変化がないことを仮定して、水平方向移動量と垂直方向移動量の 2つの未知数を含む拘束条件を画素ごとに得る。したがって、この 2つの未知数はこのままでは求めることができないため、注目領域を設定し、注目領域中での拘束条件の 2乗和を最小にするように、繰り返し計算によつて未知数を求める。このようにして得られる変位量には画素単位という制約がなく、サブピクセル単位を得ることができる。

一方、画像補間手法では、注目領域と周囲の探索領域を離散化単位よりも密に補間す'る。密に補間した単位で、類似度最大値を探索する。このときには、濃度こう配法と異なり、画像間の移動量に対する制限はない。

この 2種類のサブピクセル変位推定方法は、全く異なる実装に見え、異なる手法として扱われていたが、本質的に同一のものであることが示されている（非特許文献 5を参照）。ここでは、補間画像を作るときに用いる補間関数の次数によってサブピクセル変位推定誤差が変化する様子を確認する。そこで、 1次補間を利用した補間画像によるサブピクセル推定結果を、濃度こう配法による結果と見なす。さらに、高次の補間関数を利用した補間画像によるサブピクセル推定結果も検討する。

( 3— 4 ) 従来のバイリニア画像補間によるサブピクセル推定

サブピクセル変位を求める 2枚の画像を I i C u ' v ) I ₂ (u , v )とする。これらの画像は離散化サンプリングされているとする。すなわち、 u , vは整数である。また、画像間の変位を（ d _s , d _t)としたときに、 0 ≤ d 3≤ 1 , 0 d _t≤ l とする。画像間の真の変位がこの範囲にないときには、画素単位のマツチングによつて画像全体を移動する。バイリニァ補間（ 2方向 1 次補間）を利用したサブピクセル推定値

( , ）は、下記数 ⁵ 1で表すことができる。

【数 5 1】

Q_s, d_t)二 argmin ( (,ゾ） I (i, j)Y

I ft J) =ひ一 Χ¹ - d_t) , J) + d_s - - dtVi + i， J)

+(1一 d_s)d ₂ ( 7 + 1) + d + 1,7 + 1)

ただし、総和範囲は任意形状の注目領域、 argminは値を最小にするような（，の組を求める演算を表す。

Θ _g = 0 , π / 8 , π / 4の 3画像に対する上記数 5 1 のサブピクセル推定誤差を、それぞれ第 1 6図、第 1 7図、第 1 8図の（ i)、（ j )に示す。（ i )と U )は、それぞれ水平方向推定誤差 error_s と垂直方向推定誤差 error_tを示す。

第 1 6図は、 0 _g = 0 の画像を使った結果を示すが、このときには 2 次元類似度に異方性が生じない。このときには、推定誤差が生じない。第 1 7図と第 1 8図は、それぞれ e g - Tc Z S と π / 4 の画像を使った結果を示し、このときには 2次元類似度に異方性が生じるが、このとき推定誤差が生じる。推定誤差の大きさは、異方性を持つ 2次元類似度の回転角度と真の画像間変位に依存する。

この推定誤差は、第 1 6図、第 1 7図、第 1 8図の（c； )、（d )の結果よりも大きい。すなわち、本発明の実施例 1 に係る 2次元推定方法は、従来のパイリニァ補間によるサブピクセル推定方法よりも高精度に変位を推定することができる。パイリニア捕間によるサブピクセル推定方法は濃度こう配法と等価なので、本発明の実施例 1 に係る 2次元推定方法は、従来の濃度こう配法よりも高精度にサブピクセル変位を推定することができるとも言える。

また、濃度こう配法に相当する推定誤差は、第 1 6図、第 1 7図、第 1 8図の（g )、（h )の 1次元推定方法の結果よりもはるかに小さい。すなわち、従来広く利用されてきた、領域ベースマッチングを画素単位で行い、サブピクセル変位は類似度を利用して 1次元推定する手法より、濃度こう配法ははるかに高精度に 2次元サブピクセル変位を推定することができる。このため、領域ベースマツチングょりも濃度こう配法の方が高精度という認識があつたが、本発明の実施例 1 に係る 2次元推定方法を用いることで、濃度こう配法よりもさらに高精度にサブピクセル変位を推定することができる。

( 3— 5 ) 従来のバイキュービック画像捕間によるサブピクセル推定補間画像を作るときに、より高次の項まで考慮することで、高精度な補間画像を作ることができる。パイキュービック補間（ 2方向 3次補間）は、補間したいサブピクセル画素位置の周囲 4 X 4の画素値を使う補間方法である。バイキュービック補間を利用したサブピクセル推定値 ( , は、下記数 5 2で表すことができる。

【数 5 2】

Q_s, d_t) = ai'gmin (I, (i, )― I_m ( j)Y

3 ( ) = i i z ₂( ノ- l) /₂ ',ゾ'一 1) J₂(/+l,ゾ'一 1) ₂(¾7-1)

/₂ ',ゾ） /₂(/ +1,ゾ) ' + 2,ゾ) h ^lx2 x

/₂( ゾ ·+ΐ) /₂ ;ゾ+1) /₂(/+1,ゾ+1) /₂(+2₅;+1) h ^lx3

J₂( ゾ +2) I₂(U+2) /₂(+1, +2) I₂(i+2,j+2)

h_x2 =h(Q—

¾ = (- 1- ）

ky3 = (1 - dt)

h_y4 = (² - d_t)

ただし、総和範囲は任意形状の注目領域、 argminは値を最小にするような Q_s, の組を求める演算を表す。このとき、重み関数 h (x )は、 sine関数をもとに各種提案されていて、下記数 5 3が多く用いられている。

【数 5 3】

(α + 2)| |³ -(α + 3)|χ|² +1 (if| 1)

h{x) =

+Sa | χ | -4α (if 1<| |<2)

0 (otherwise) ただし、 a は調整パラメータで、 a =

られる。

また、下記数 5 4 も多く用いられる。

【数 5 4】

B、 Cは調整パラメータで、 B = 1、 C = 0のときにはキュービック Bスプラインを近似し、 B = 0、 C = 0 · 5 のときには Catmull— Romキユービック特性になる。このように、重み係数の選ぴ方によって補間特性が異なる。ここでは、数 5 3 の重み関数において、パラメータ a =— 0. 5 5 を採用した。ただし、画像処理の教科書等に最も多く紹介されているのは a =— 1である。両者の特性の差については後述するが、 a =— 0. 5 5はサブピクセル推定誤差を小さくするように数値的に決定した。

Θ g O ' Tc Z S ' Ti / の 3画像に対する数 5 2 のサブピクセル推定誤差を、それぞれ第 1 6図、第 1 7図、第 1 8図の（k )、（ 1 )に示す。 (k )と（ 1 )は、それぞれ水平方向推定誤差 error _s と垂直方向推定誤差 error _t す。

第 1 6 図は、 0 _g = O の画像を使った結果を示すが、このときには 2 次元類似度に異方性が生じない。このときには、推定誤差が生じない。第 1 7図と第 1 8図は、それぞれ 0 _ε = π Ζ 8 と π / 4の画像を使った結果を示し、このときには 2次元類似度に異方性が生じるが、このとき推定誤差が生じる。推定誤差の大きさは、異方性を持つ 2次元類似度の回転角度と真の画像間変位に依存する。

この推定誤差は、第 1 6図、第 1 7図、第 1 8図の 2次元推定（c )、 (d )の結果と同程度である。すなわち、本発明の実施例 1 に係る 2次元サブピクセル推定方法は、最適なパラメータを選択したときの高次補間画像を使ったサブピクセル推定と同程度の高精度であるということがでさる。

ところで、数 5 3におけるパラメータ a について、具体的な計算例を示して説明する。数 5 3は、 sine関数を有限範囲で近似した重み係数と考えることができる。パラメータ aは、その近似特性を調節するものである。第 1 9図（a )、（b )に、 & =ー 0 . 5 5のときの 11 ( ）と、整数位置に値を持つ 1次元関数 f ( i )の補間結果を示す。 f ( i )は、数 7 で σ _image = 0 . 7 としたものである。また、第 1 9図（ c ) 、（ d )に、 a = 一 1 . 0のときの h (x )と、整数位置に値を持つ 1次元関数 f ( i )の補間結果を示す。

a =— 1 . 0は、多くの画像処理の教科書などでバイキュービック補間として紹介されるパラメータである。 sine関数を良く近似しているが、少なくともここで検討した関数 f ( i )を良好に補間しているとは言い難い。 a =— 0 . 5 5は、 sine関数の近似としてはそれほど良くないが、関数 f ( i )を良好に補間している。

第 1 6 図から第 1 8図では、ノ、"ラメータ a =— 0 . 5 5を用いたが、この値はサブピクセル推定誤差を小さくするように数値的に求めた結果である。 a =— 0 . 5 を用いるとパイリニア補間の結果と同程度、 a = 二 1 . 0 を用いるとバイリニア補間を用いたサブピクセル推定結果よりも誤差が大きくなる。

( 3— 6 ) 各方法による推定誤差の総合比較

以下では、 2次元画像のパラメータをより広範囲に変更して、各手法のサブピクセル推定誤差を比較検討する。 2次元画像は、前述したコーナー画像を使用する。考慮するパラメータとして、回転角度を 0 _g = O , π / 1 6 , 2 π / 1 6 , 3 π / 1 6 , 4 π / 1 6、コーナー角度を 0 _c = π / 4 , π / 3を考える。合計 1 0種類の 2次元画像に対する推定誤差を検討する。また、 σ _image= 1. 0を考える。

画像間変位は、 — 0. 5 ≤ d _s≤ + 0. 5、 — 0. 5 ≤ d _t≤ + 0. 5の範囲で、 0. 1 [画素]ごとに与える。このとき、 2次元推定誤差の大きさ、 H - + - ²の RM S誤差を評価した。

評価したサプピクセル推定方法は、前述した各方法の他に、従来の 1 次元推定方法に対するサブピクセル推定誤差低減方法を適用した推定結果も評価した。したがって、

• サブピクセル推定誤差低減方法を用いた本発明の実施例 1 に係る 2次元推定（ 2 D— E E C)

• サブピクセル推定誤差低減方法を用いない本発明の実施例 1 に係る 2 次元推定（2 D)

• サブピクセル推定誤差低減方法を用いた 1次元推定（1 D— E E C)

• サブピクセル推定誤差低減方法を用いない 1次元推定（1 D)

• パイリニア補間を用いた 2次元推定（B i — L i n e a r )

• パイキュービック補間を用いた 2次元推定（a =— 0. 5 5 ) (B i ―

C u b i c )

の 6種類の推定方法の推定誤差を評価した。評価した結果を表 1 に示す

【表 1】

表 1から次のことが分かった。

まず、サブピクセル推定誤差低減方法を用いた 1次元推定（ 1 D— Ε E C)は、回転角度 0 _g = O のときには、従来の 1次元推定（ 1 D)に対して推定誤差を低減できる。しかし、回転角度 0 _G ≠ 0のときには差が現れない。回転角度 0 _Gは、異方性がある類似度の回転角度に対応する次に、バイリニア補間（ B i — L i n e a r )やパイキュービック補間 (B i — C u b i c )を用いた 2次元推定は、 1次元推定（1 D)に対して推定誤差が 2桁程度小さい。この差は歴然である。バイリニア補間（B i 一 L i n e a r )を用いた 2次元推定は、濃度こう配法に対応する。濃度こう配法が高精度にサブピクセル推定ができると考えられてきた理由はここにある。

それから、パイキュービック補間（ B i — C u b i c )を用いた 2次元推定は、パイリニア補間（B i - L i n e a r )を用いた 2次元推定よりも高精度である。しかし、重み関数のパラメータによって結果は異なる。重み関数のパラメータを調整するということは、補間フィルタの特性を調整することに対応する。すなわち、画像に対して適切な補間フィルタを選択することで、画像補間を用いたサブピクセル推定手法では精度を向上させることができる。

最後に、サブピクセル推定誤差低減方法を用いた本発明の実施例 1 に係る 2次元推定（ 2 D— E E C )は、バイキュービック補間（B i — C u b i c )を用いた 2次元推定よりも推定誤差が小さく、しかも、パラメータ調整の必要がない。サブピクセル推定誤差低減方法を用いた本発明の実施例 1 に係る 2次元推定（2 D— E E C )は、サブピクセル推定誤差低減方法を用いない本発明の実施例 1 に係る 2次元推定（2 D )よりも計算コストが大きい。そこで、計算コストを重視して推定結果は濃度こう配法と同程度でよいときにはサブピクセル推定誤差低減方法を用いない本発明の実施例 1 に係る 2次元推定（2 D )を利.用し、さらに高精度な推定結果を得たいときにはサブピクセル推定誤差低減方法を用いた本発明の実施例 1 に係る 2次元推定（ 2 D— E E C )を利用する、という使い分けも可能である。

( 4 ) 本発明の実施例 1 に係る 2次元推定方法を実装したコンピュータ

- プログラムによる推定実験

本発明の実施例 1 に係る 2次元推定方法を実装したコンピュータ · プログラムを、 C P Uを備えた情報処理端末（例えば、パソコン、ワークステーション等のコンピュータ）に実行させることによって、合成画像及ぴ実画像を用いて、 2次元サブピクセル推定実験を行った。なお、本発明でいうコンピュータ ' プログラムは、便宜上プログラムと略して称することもある。

( 4 - 1 ) 合成画像を使った推定実験前述したコーナー画像を作り、 2次元サブピクセル推定実験を行った。作成した合成画像は、 8 bitモノクロ画像で、画像サイズが 6 4 X 6

4 [画素]で、注目範囲が 1 1 X 1 1 [画素]である。画像にノィズは含まれない。画像のパラメータは、 a _iraage= 1 . 0、コーナー角度 θ 。 = π Ζ 4、回転角度 S g ^ O ' Tc Z S , ノ 4である。画像間変位は、一 0 . 5 ≤ d _s ≤ + 0 . 5 , — 0 . 5 ≤ d _t + 0 . 5の範囲で、 0 . 1 [画素]ごとに与えた。

第 2 0図に従来の 1次元推定と、サブピクセル推定誤差低減方法を適用した本発明の実施例 1 に係る 2次元推定についての結果を示す。第 2 0図において、計算結果をメッシュで、実験結果を ·で表す。実験結果と計算結果との相違の原因は、画像が 8 bit量子化階調（ 2 5 6階調）であることが考えられる。また、大きく段差がある部分は、整数での最大類似度を探索した結果が隣の画素位置に移動してしまったためと考えることができる。このように隣の位置に移動してしまうことは、従来の 1次元推定方法の根本的な欠点である。

( 4— 2 ) 実画像を使った推定実験

マッチングに利用する画像から得られる 2次元類似度の回転角度 0 _g 0のときには、従来の 1次元推定方法でも推定誤差は発生しないが、 0 _g≠ Oのときには、大きな推定誤差が生じる可能性がある。そこで、マッチングパターンとして 2種類のパターンを用いたターゲットトラッキング実験を行った。

使用したマッチングパターンは、円形パターンと傾いたエッジパターンである。これらのパターンを第 2 1 図（a )、（e )に示す。円形パターンの大きさは、直径が約 4 1 [画素]である。また、これらのパターンの

5 S D自己類似度を第 2 1 図（b )、（ f )に示す。円形パターンの自己類似度は等方性なので、従来の 1次元推定方法と本発明の実施例 1 に係る 2次元推定方法のどちらでも、推定誤差が小さいことが予想できる。一方、傾いたエッジパターンに対応する自己類似度は異方性でかつ傾いているので、従来の 1次元推定方法では推定誤差が大きく、本発明の実施例 1 に係る 2次元推定方法では推定誤差が小さいことが予想できる。

マッチングパターンを厚紙に印刷して、トラッキングターゲットとした。ターゲットは、ネジ送り式リニアステージ上を直線的に移動する。ターゲットの移動を約 2 5 0枚の時系列画像で撮影し、最初の画像を参照パターンとして使い、以後の画像中からターゲットをトラッキングした。注目領域サイズは 6 0 X 6 0 [画素] (第 2 1 図（a )、（e )中の黒い矩形領域）で、探索領域は移動予測位置に対して ± 8 ( 1 7 X 1 7 )である。ターゲットは画像上で右下方向にゆっくり移動する。マッチングが正しくでき、サブピクセル推定に誤差がなければ、計測軌跡は直線になる。従来の 1次元推定方法と本発明の実施例 1 に係る 2次元推定方法のどちらにも S S D自己類似度を使用し、サブピクセル推定誤差低減方法を適用したパラボラフィッティングによるサブピクセル推定を行った。第 2 1 図（ c；)、（ d )に、トラッキングパターンとして円形パターン使つたときの計測結果を示す。第 2 1図（ c )は従来の 1次元推定方法、第 2 1図（d )は本発明の実施例 1 に係る 2次元推定方法を使った結果である。どちらの場合も、サブピクセル推定誤差が小さく、軌跡は良好な直線になっている。

第 2 1 図（ g )、（ h )に、トラッキングパターンとして傾いたエッジパターン使ったときの計測結果を示す。第 2 1 図（g )は従来の 1次元推定方法、（h )は本発明の実施例 1 に係る 2次元推定方法を使った結果である。従来の 1次元推定方法では、非常に大きなサブピクセル推定誤差が発生していることが明らかである。

本発明の実施例 1 に係る 2次元推定方法では、トラッキングパターンによらず推定誤差が小さいが、円形パターンのときよりも計測軌跡が直線から外れている。この理由は、 2次元類似度が 2次元ガウスモデルと異なるため、 H E Lと V E Lを直線近似するときに誤差が含まれることが原因と考えられる。

現実的には、このようなトラッキングパターンを利用することはまれである。しかし、この実験は、従来の 1次元推定方法を使うと、マッチングパターンによっては、予想外に大きなサブピクセル推定誤差が発生する可能性があることを示している。この実験では、対象が直線上を移動していることがわかっているので、サプピクセル推定誤差を確認することができた。しかし、たとえば、異なる方向から撮影した複数の画像を使って、建築物の 3次元情報を再構築するときなどには、傾いたエツジパターンの領域をマツチング領域として利用することもある。従来の 1次元推定方法では、このようなときに大きな推定誤差が発生するという問題点があった。

なお、本発明の実施例 1では、水平極値線 H E Lと垂直極値線 V E L を求める際、 3点を最小二乗で近似する直線を求める代わりに、 3点を通る 2次曲線として求めることにより、直線近似による誤差を低減するように本発明の実施例 1 に係る 2次元推定方法を拡張することもできる

実施例 2及び実施例 3 ：

本発明に係る画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法の実施例 2及び実施例 3 を次のように説明する。本発明の実施例 2及び実施例 3の着眼点は以下の通りである。

( A ) 平行移動と回転、または、平行移動と回転とスケール変化を画像間対応パラメータ（本発明では、略してパラメータとも呼んでいる）にして、これらのパラメータを軸とする多次元空間（本発明では、パラメータ空間或いは多次元類似度空間とも称する）において離散的な位置で得られた類似度を利用する。類似度は離散的な位置で計算しておけばよいので、繰り返し計算の必要がない。

( B ) 離散的な位置で得られた類似度は、多次元空間（つまり、パラメータ空間）における連続関数である類似度をサンプリングしたものであると考える。

( C ) 現実的な仮定の下に類似度をモデル化したとき、多次元空間における各軸（つまり、パラメータ空間における各パラメータ軸）で類似度を偏微分して 0 とおくことで得られる超平面は、類似度の最大値または最小値を通る。例えば、類似性評価関数に S A Dや S S Dが採用された場合に、超平面は類似度の最小値を通る。また、類似度評価関数に Z N C Cが採用された場合に、超平面は類似度の最大値を通る。

( D ) このような超平面は、多次元空間の軸の数（つまり、パラメータ数）だけ求めることができる。これらの超平面の交点座標は、多次元空間における類似度の最大値または最小値を与えるパラメータと一致するため、これらの超平面の交点座標を求めることで、多次元空間における類似度の最大値または最小値を与えるパラメータを同時に求めることができる。

本発明に係る画像のサプピクセルマッチングにおける多パラメータ高精度同時推定方法は、サンプリンググリツドで離散的に得られた評価値を使って、高精度なサブサンプリンググリツド、 n度の評価値最大位置または最小位置を推定する方法と考えることがでさる 0

画像間の対応を平行移動のみに限定して考るとき（つまり、本発明の実施例 1 の場合）には、このサンプリンググリクドは画像を構成する画素に相当する。このため、画素単位以上に高精度な平行移動量の表現として、サプピクセルという表現が適切だつた o 従つて、肓 U述したように、本発明の実施例 1 に係る画像のサブピクセルマツチングにおける多パラメータ高精度同時推定方法を「 2次元サブピクセル推定方法」とも呼んでいる。

しかし、平行移動と回転、または、平行移動と回転とスケール変化を画像間対応パラメータにする場合の本発明、つまり、本発明の実施例 2 及び実施例 3に係る多パラメータ高精度同時定方法では、画素やサブピクセルといった表現は一般性を欠いているのでヽ以後ではそれぞれサンプリンググリッド、サプサンプリングダリクという表現を採用する o

< 1 >実施例 2'に係る 3パラメータ同時推定方法

く 1 一 1 > 3パラメータ同時推定方法の原理

ここでは、本発明の実施例 2に係る 3パラメ一タ同時推定方法の原理を説明する。本発明では、画像間の対応を探索するときには、何らかの類似度評価関数を利用して、類似度評価関数の最小または最大を探索する。このとき得られる類似度は、用いる類似度評価関数によっても異なるが、それ以上に入力として扱う画像によって異なる。

ここでは、具体的な入力画像や類似度評価関数には触れず、画像間の類似度を次の 3次元ガウス関数で近似して、これを 3次元類似度モデルとする。【数 5 5】

R_g (Sj ,s₂,s₃) = gauss (/j， σ) x gauss (t₂ ,k₂a)x gauss (ら， k₃a gauss (x, σ) = e

ただし、（ s い s ₂ , s ₃) は探索パラメータ（つまり、画像間対応パラメータ）で、 σ はガウス関数の標準偏差で、（k ₂， k ₃)は異方性係数 (k ₂ , k ₃ > 0 )である。また、（ t い t ₂， t ₃)は、次のように（ s い s ₂， s ₃)に対して回転と平行移動を行った結果である。

【数 5 6】

0[2 ^Sl

h = «21 *¾₂ ^a23 —

. .«31 ¾2 ¾_ 一 d₃

— 1 0 -sin^ 0 a2l ^a22 0 cos cos ₃ 0

"31 ¾2 0 sin^,

0 1 ただし、（（！ぃ d ₂ , d ₃ )は探索パラメータ（ S い S ₂， S ₃ )の正解値で、 ( θ ！ , θ ₂， θ ₃ )はそれぞれ（ S い S ₂， S ₃ )の各軸回りの回転角度で、 0 ≤ Θ い Θ ₂ , Θ s ^ Tt Z Zの範囲を考慮する。

この 3次元類似度モデルを s い s ₂， s ₃で偏微分して 0 とおくと、次の 3平面を得ることができる。

【数 5 7】

5

【数 5 8 】

^₁₂^13 2 卜 ί 2 βつ— ) = 0

3 ノ

【数 5 9】

(s₂-d₂) + ノ

Π ， Π ₂， Π ₃は、 3次元空間内（つまり、 s ， s ₂ , s ₃を軸とするパラメータ空間）の 3平面を構成している。この 3平面の交点は、明らかに（d い d ₂， d ₃)であり、正解パラメータと一致する。 3平面の交点が求まらない条件は、 3次元類似度モデルが 3次元未満に縮退した場合である。このような条件では、 k ₂， k ₃ = 0または∞となり、 3次元類似度モデルの条件と一致しない。

< 1 一 2 > 3パラメータ同時推定方法の実装

以下では、 3パラメータ同時推定方法において、サブサンプリンググリツド推定値を求める具体的な方法を説明する。例えば、この 3パラメータは、平行移動量（d _s， d _t)と回転角度 0 と考えることができる。

前節『 3パラメータ同時推定方法の原理』で示したように、パラメ一タ空間における類似度値を各パラメータ軸に関して微分して 0 とおくことで、各パラメータの最大値位置または最小値位置を通る 3平面を作ることができる。従って、サンプリンググリッドにおいて得られた類似度値を用いて、この 3平面を推定することができれば、各パラメータの類似度値の最大位置または最小位置をサブサンプリングダリッドにおいて求めることができる。

まず、平面 Π の求め方を説明する。平面 Π i上の点は、 s i軸に沿つて類似度を微分した結果が 0になる点だから、 s 軸に平行な直線上の類似度値を使ってサブサンプリング位置を推定することで、平面上の点をいくつか求めることができる。第 2 2図はパラメータ軸 s に関する最大値を通る平面 Il iを説明するための模式図である。第 2 2図では、類似度値が得られているサンプリング位置を正方形で、 _{S l}軸に平行な直線上で求めたサブサンプリング推定位置を黒丸で示している。類似度値のダリッド単位最大値位置は、（ r i , r ₂, r ₃)である。

( S い S ₂ ， S ₃ )における類似度値を R ( S い S ₂ , S ₃ )とすると、 R ( r ！ + i ！ , r s + i ^ r s + i slU i i ^ i s ^— 1， 0， 1 )の 2 7点の類似度値を使って、平面上の 9個の点（p _{1 (r 2 + i 2}, _{r 3 + i 3} r ₂ + i ₂， r 3 + i ₃)を推定することができる。推定には、次のパラボラフィッティングを用いることができる。

【数 6 0】

R i -l,r₂+ i₂, r₃ +ら）一 R(r】 + 1， r₂ + i₂,r₃土 )

ら，' ら)一 ₂R{r_x -l₅r₂+¾₅r₃ + ¾ ) - 4R(rj ,r₂+i₂,r₃+i₃) + 2R(r +l,r₂ +i₂,r₃+i₃) また、後述するように、パラボラフィッティングによる推定誤差を低減する手法を適用することもできる。

数 6 0のパラボラフィッティングを行うときには、 R ( r ₁ , r ₂ + i ₂ ， r ₃ + i ₃)の類似度値が最大であることを前提としているが、画像パターンによってはこの前提が成立しない場合もある。たとえば、画像に含まれるテクスチャのせん断変形が極端なときには、 i ₂ = i ₃ = ± 1 の位置で R ( r ！ , r ₂ + i ₂ ， r ₃ + i ₃ )が最大値にならないことがある。このときにも（r ₂ + i ₂ , r ₃ + i ₃ )を通りパラメータ軸 _{S l}に平行な直線上でサブサンプリンググリッド推定位置を求める必要がある。この場合には、この直線上のサンプリンググリッド上に求まっている類似度値の最大値位置を探索し、修正最大値位置 r ェ 'に関して数 6 0のパラボラフイツティングを行えばよい。

以後の説明では、数式表記を簡略化するために、 s ！ - r ,→ s _x , s ₂ - r ₂→ s ₂ , s 3 - r a→ s ₃のように各パラメータ軸に沿って（ r ₁ , r ₂， r ₃ )だけ平行移動して（ r _x , r ₂， r ₃ )をパラメータ軸の原点位置と考える。このような平行移動は、グリッド単位での類似度最大位置を原点に移動することと等しく、本発明に関する一般性を失うものではない。本発明に係る多パラメータ高精度同時推定方法によって求めたサブサンプリングダリッド位置を最終的に（ r ₁； r ₂ , r ₃ )と加算することで、平行移動する前のサプサンプリンググリッド位置を簡単に計算することができる。

平面 Πェ上にあると期待される 9点のサブサンプリングダリッド位置は、実際の画像ではノイズや画像間の変形の影響で、完全には平面上にない可能性がある。このため、これらの 9点を最小二乗法によって平面 Π にあてはめる。具体的には、 9点と平面 Π との s 軸の沿った距離の 2乗和を最小にするように係数を決めればよい。平面 Π は、次のように求めることができる。

【数 6 1 】

rij： 4 ⁰

= (l,l) + A(1,0) ⁺ A(l,-1) ^_ ^l(-l.l) ⁺ (-1,0) ⁺ (-l,-l) =—3 Α(1,1) + (0,1) + (-l,l)― ( A(l-l) + (0-1) + Pl{-1,-1)

~ _2 (A(I,D + (o,i) + A(-i,i) + Α(ΐ,ο) + Pi( ,o) + (-i,o) +

(l-i) + i(o,— l) + A(-i-i)

となる。同様にして、' 平面 π₂， π₃は、次のように求めることができる

【数 6 2】

Π₂： A₂s_l + B₂s₂ + C₂s₃ + = 0

D ^=— ^ (^2(1,1) ⁺ ^2(0,1) + 2(-l,l) ⁺ ^2(1,0) ⁺ ^2(0,0) + 1,0) +

一 1) + ^(O-l) + - 1)

【数 6 3】

Π,： + B₃s₂ + C₃s₃ +D₃ = 0

4=ー3 P3(l,l) + ^(Ι,Ο) + ^3(1-1)一— ^(-Ι,Ι) + 3(-1,0) + - 1,-1) =—3 ^3(1,1) + P3(0,l) + P3(-l,l)― I ^(l-l) + 3(0, - 1) + 3( - 1,一 1) C₃ = 18

A = -2 (^(l.l) + ^3(0,1) + ^(-Ι,Ι) + -^3(1,0) + -^3(0,0) + ^3(-1,0) +

^3(1,-1) + ^3(0,-1) + ^(-l -l) 平面 Πい Π ₂ , Π ₃の交点（^ , ）が、サブサンプリング推定位置で、次のように求めることができる。

【数 6 4】

【数 6 5 】

く 2 〉実施例 3に係る Nパラメータ同時推定方法

< 2 — 1 〉 Nパラメータ同時推定方法の原理

ここでは、本発明の実施例 3 に係る Nパラメータ同時推定方法の原理を説明する。パラメータ数が 3 より多いときにも、本発明では同様の考え方でサブサンプリングダリッド高精度同時推定をすることができる。 s ェから s _Nまでの N個のパラメータによって類似度値が決定するときに、類似度値を次のようにガウス関数の n個の乗算として表現する。【数 6 6 】 N

R_gn (s, A, σ, k) = Αγ[ gauss(s_i , k_ta)

z=l

ただし、 s は N次元類似度空間における座標を表す N次元べクトルで、 Aは N次元空間での回転と平行移動を表す行列で、 kはガウス関数の異方性係数べクトル（N— 1次元）である。

このとき、数 6 6で表される N次元類似度モデルを s ； ( i = 1 , 2 , 〜， N)で偏微分して 0 とおくことで、次のような N個の N次元関係式を得ることができる。

【数 6 7】

これらの関係式を連立させて解くことで、 N次元類似度のサブサンプリンググリッド推定値を得ることができる。つまり、それらの関係式の解は、 N次元類似度のサブサンプリンググリッド推定値になるわけである。なお、 N次元類似度モデルが数 6 6のガウス関数乗算モデル近似からずれると、数 6 7は完全な超平面にはならないが、このときには、最小二乗法などで超平面に近似すればよい。

く 2— 2 > Nパラメータ同時推定方法の実装

以下では、 Nパラメータのサブサンプリンググリッド同時推定を実際に行う具体的な方法を説明する。まず、サブサンプリンググリッド同時推定を行うときに、前提としてサンプリンググリツドでの類似度最大位置はわかっており、その（変位）位置を r = ( r い r ₂,…， r _N)とする。類似度値 Rをパラメータ軸 s ； ( i = 1， 2，…， N )について偏微分した結果が 0 になる N次元超平面 Π；上には、 s _;パラメータ軸と平行な直線上の類似度値 R ( r + _{C l} ( i，— l )+ c ₂ ( i , j ))， R (r + _{C l} ( i , 0 ) + c ₂ ( i ₎ j )), R (r + c ₁ ( i , + l )+ c ₂ ( i , j )) の 3つの値をパラボラフィッティングによってサブサンプリングダリッド推定した 3 ^N - ¹個の位置、 c i， 1 ) p "_{C 2} ( i， j )) + c ₂ ( i , j ) ( j = 1 , 2 , …， 3 ^N—つが存在する。ただし、

【数 6 8】

_{(c }))} i?(r + c - l) + c₂( ))— i?(r + _Cl(/,+l) + _C2(,7))

' ² 2R(r + _Cl (i, -1) + c₂ (/, )) -4R(r + c, (i, 0) + c₂ (i, j)) + 2R(r + c_x (/, +1) + c₂ (i, j)) である。

ここで、 c i ( i， k ) は、 i 番目の要素だけが値 k ( k = _ 1， 0， + 1 )であり、他の要素は全て値 0であるような N次元べクトルである。たとえば、 c 丄（ 3， 1 ) = ( 0， 0， 1， 0，…， 0 ) である。また、 c ₂ ( i , j )は、 i番目の要素が 0で、他の各'要素は、一 1 , 0， 1のいずれかの値をとるような； ΐ 番目（ j = 1， 2， ···， 3 ^Ν—リの N次元べクトルである。たとえば、 0 ₂ (3 , 1 )= (— 1，一 1， 0，ー 1，-", _ 1 )でぁる。

これらの 3 Ν— ¹個の位置、 _{C l} ( i， l ) p _i (_{C 2} ( i， j )) + _{C 2} ( i， j )は、 N次元超平面 Π i上に存在するか、少なくとも最小二乗の意味で N次元超平面 Il iにフィットする。従って、 N次元超平面 Il iを

【数 6 9】

ai\^S\ + ^ai2^S2 +… + ^aiN^SN ⁼ 1

と表すと、 3 ^N— ¹個の位置、 C i ( i， 1 ) p i ( C ₂ ( i， j ) ) + c ₂ ( i , j

)に対して、

【数 7 0】 (/,1»₂ ',1))+ (/,1)

_Cl(,¾(c₂(z,2)) + c₂(,2)

_Cl (/， ( - ' - —

の関係が得られる。これを、次のように書き換える。

【数 7 1 】

M_A =b!

ただし、 M iは、 3 ^N— ¹行 N列の行列で、 a iは要素数 Nのベクトルである。 N次元超平面 Π iを表す係数 a _;は、一般化逆行列を用いた最小二乗法によって、次のように求めることができる。

【数 7 2】

このようにして求めた N個の N次元超平面 Il i ( i = 1， 2， ···， Ν)の交点として、 Νパラメ一タのサプサンプリングダリッド推定値を得ることができる。この交点は、次のように求めることができる。

【数 7 3】

«11 -- ^α\Ν "1"

α23 ■ ■ . α_2Ν S2

¹

―

¹

αΝ2 ^αΝ3 • ' ^αΝΝ―一 SN-

【数 7 4】一 1

―

以上の方法で Nパラメータの同時推定を行うことができるが、実際には N次元超平面の式を、同じ N個の未知数を含む次のような形式に表現してもよい。

【数 7 5】

ail^Sl + ^ai2 2 +■■■ + ^aiN^SN一 ^aiN+l

aii = ¹

その理由は、 N次元類似度関数が N次元対称になっても安定に超平面の交点が存在するようにするためである。

また、 N次元超平面 Il i上の 3 N— ¹個の位置を求めることで N次元超平面の係数を求めたが、この個数を減らすこともできる。たとえば、 N = 3のときには 3 ^N _ ¹ = 9だが、たとえば j = 3のときには、具体的に次のようになっている。

(- 1 , - 1 , 0 ) (0 , - 1 , 0 ) (+ 1 , - 1 , 0 )

(一 1 , 0 , 0 ) (0 , 0 , 0 ) (+ 1 , 0 , 0 )

(- 1 , + 1 , 0 ) ( 0 , + 1 , 0 ) (+ 1 , + 1 , 0 )

この中から、次のような組を採用することで、個数を 2 (N_ 1 )+ 1 個にすることができる。

(0 , - 1 , 0 )

(- 1 , 0 , 0 ) (0 , 0 , 0 ) (+ 1 , 0 , 0 )

( 0 , + 1， 0 ) < 3 >本発明による実験結果と従来手法による実験結果との比較第 2 3図に示す時系列画像を人工的に作成した。この時系列画像は、濃淡で表現した 2次元ガウス関数で構成されている。この実験で用いた 2次元ガウス関数には方向性（異方性）があり、しかもその方向性が 0 または 9 0度以外の方向になるように設定されている。このため、この画像から計算する類似度にも異方性があり、かつ回転角度が 0または 9 0度以外になる。

第 2 3図に示す画像は時系列画像の最初のフレームで、以後のフレームは最初のフレームに対して位置が変化せず回転角度だけがフレームごとに 0 . 1度ずつ変化する。時系列画像は全部で 3 1 フレームあり、最終フレームは先頭フレームに対して 3度回転した画像になっている。これに対して画像の位置は回転中心に対して移動しない。

第 2 4図に、最初のフレームに対する以後のフレームの回転角度を計測した結果を示す。 +印で示す従来方法は、画像を 6 X 6 = 3 6個の領域に分割し、各小領域ごとに平行移動量をマツチングによって計測し、得られた平行移動量を使って回転角度を推定した結果である。〇印で示す本発明による方法は、従来方法で計測した回転角度を初期推定値として本発明を適用し、さらに高精度に回転角度を計測した結果である。フレームごとに 0 . 1度ずつ回転角度が変化する状況が正確に計測できている

第 2 5図に、最初のフレームに対する以後のフレームの位置を計測した結果を示す。 +印で示す従来方法は、画像を 6 X 6 = 3 6個の領域に分割し、各小領域ごとに平行移動量をマッチングによって計測し、得られた平行移動量の平均として位置を推定した結果である。〇印で示す本発明による方法は、従来方法で計測した位置を初期推定値として本発明 6 を適用し、さらに高精度に位置を計測した結果である。位置が変化しない状況が正確に計測できている。

く 4 >本発明の他の実施例

本発明に係る画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法の他の実施例を以下のように説明する。

< 4 - 1 〉サブピクセル推定誤差低減方法との組み合わせ

数 6 0でサブサンプリングダリッド推定位置を求めるときに、 3位置の類似度を使ってパラボラフィッティングを用いているので、この推定値には固有の推定誤差を含んでいる。この推定誤差は、補間画像を利用することでキャンセルすることができる。ここでは、 2パラメータのときに画像間の水平方向変位に関するサブピクセル位置を推定するときを例に説明する。

マッチングに使う 2次元画像関数を I i u ! v ) , I ₂ ( u， v )とするとき、 S S Dとパラボラフィッティングによって推定する水平方向サブピクセル位置は、次のように表すことができる。

【数 7 6 】

【数 7 7】

ゝ

"

一方、画像 I （ u , V )の水平方向補間画像 I i； u ( u， V )は、【数 7 8】 ("， = ("— 1, + Λ (u,v)) と表すことができる。ただし、このときの（u， v )は整数である。

水平方向補間画像 I _{l i u} (u , v )は、 I i u' v )に対して（0. 5 , 0 ) だけ変位していると考えることができる。この補間画像を使って、次に示す S S D類似度でサブピクセル推定を行うと、推定結果も（0. 5 , 0 ) だけ変位していると考えることができるので、その変位を補正した推定結果は、次式で求めることができる。

【数 7 9】

R_iuM= ∑ { iuj )-I₂ii-s -t))²

【数 8 0】

― (— 1,0)— (ι,ο) ₀₅

d^t=0) 2¾ (- 1,0)— 4¾(0,0) + 2¾(1,0) '

数 7 8 も数 6 0 と同様に推定誤差を含むが、その位相が逆になつているので、次式によって推定誤差をキャンセルすることができる。

【数 8 1 】ノ

く 4 _ 2 >ァフィンパラメータ推定

画像間の対応がァフイン変換で表現できるとき、下記数 8 2の変形モデル中の 6個のパラメータを決定する必要がある。

【数 8 2】

ただし、（u 1 , ν 1 ), (u 2 , ν 2 )は、それぞれ画像 I 1 , I 2を表す座標で、画像 I 2を変形して画像 I 1に合わせている。離散的な位置で得られた類似度値を用いて、この 6つのパラメータを同時に高精度に推定することができる。

< 4 一 3 >射影パラメータ推定

画像間の対応が射影変換で表現できるとき、下記数 8 3の変形モデル中の 8個のパラメータを決定する必要がある。

【数 8 3】

a u₂ + α₂ν + aつ

a^u + a₈v₂ +丄

_ a₄u₂ + a₅v₂ + a₆

i 一

aつ u₂ + a₈v^ + 1

ただし、（u 1 , V 1 ) , ( u 2 , V 2 )は、それぞれ画像 I 1， I 2を表す座標で、画像 I 2を変形して画像 I 1 に合わせている。

離散的な位置で得られた類似度値を用いて、この 8つのパラメータを同時に高精度に推定することができる。

< 4 - 4 >高速探索手法との組み合わせ

本発明によるサブサンプリングダリッド推定方法は、サンプリンググリッド単位での対応が正しく得られた後の高精度化処理と考えることもできる。したがって、サンプリンググリッド単位での探索には、すでに提案されている各種の高速化手法を用いることができる。

例えば、画像の濃度情報を利用した高速探索手法としては、画像ビラミッドを用いた階層構造探索法、 S S Dや S A Dに上限値を設けて以後の積算を打ち切る手法などがある。また、画像の特徴を利用する高速探索方法としては、注目領域の濃度ヒストグラムを利用する方法などがある。

なお、本発明に係る画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法を実装したコンピュータ ' プログラムを、 C P Uを備えた情報処理端末（例えば、パソコン、ワークステーション等のコンピュータ）に実行させることによって、合成画像或いは実画像を用いて、多パラメータを同時に高精度に推定することができる。発明の効果

以上のように、本発明によれば画像間の平行移動、回転、スケーノレ変化を同時に高精度に推定することができる。即ち、本発明に係る画像のサブピクセノレマッチングにおける多パラメ一タ高精度同時推定方法によれば、画像間の対応に、平行移動があるときだけでなく、回転ゃスケール変化があるときにも、繰り返し計算を利用することなく、高精度にこれらの画像間対応パラメータを時に推定することができる。本発明では、繰り返し計算を利用しないので、従来のように計算ごとに画像を補間する必要が全くない。

また、本発明によれば、テンプレ一画像を用いて少ない枚数の補間画像を作成しておき、これらの補間画像を用いた画像間の類似度値を利用して、平行移動と回転やスケール変化を同時に高精度に推定することができる。本発明は、一般的に利用されているようなパラメータ最適化手法と異なり、繰り返し計算を用いないため、計算が容易でしかも計算時間が予測可能で、繰り返し計算を行うときに問題となる収束性を保証する必要もなく、初期値による不安定性も生じない。つまり、本発明によれば、従来方法において生じる収束性の問題や初期値の問題を排除することができる。産業上の利用可能性以下のように、本発明を色々な画像処理分野に適用することができる。例えば、リモートセンシングゃ航空写真を使った地図作製では、複数の画像をつなぎ合わせること、つまりモザィキングを行うことが多い。このとき、画像間の対応位置を求めるために、領域ベースのマッチングを行う。このときには、対応が正しいことはもちろん、対応が画素単位より細かな分解能で求まることが重要になう。さらに、多数の画像を利用して対応を求めるので、計算の高速性も重要である。領域ベースマツチングを使って画素分解能以上の対応を求めるときには、画素単位のとぴとびの位置で求まる類似度評価値を使って、フィッティング関数によるサブピクセル推定を行っているが、このときに本発明を適用することで、計算時間の増加がわずかで、はるかに高精度な対応位置を求めることができる。

特に、画像パターンに斜め成分が含まれるとき、つまり、地図作製などで道路交差点などのパターンが画像座標系に対して傾いて撮影されているときに、本発明の効果が一層発揮される。

また、ステレオビジョンでは、複数枚の画像間の対応位置を求めることが基本的な処理であり、このときの対応位置精度が最終的な結果精度に大きく影響を及ぼす。画像間の対応位置を求めるときには、ェピポーラ拘束などの拘束条件を利用するが、ェピポーラ拘束条件自体を求めるときにも画像間の対応を調べる必要があり、このときにはェピポーラ拘束を利用できない。従って、本発明を適用することによって、高精度にェピポーラ拘束条件を求めることが可能になるため、結果として高精度なステレオ処理を行うことができるようになる。

さらに、 M P E G圧縮を行うときには、隣接フレーム間の対応位置を正確に求めることが、高品質で高圧縮率を達成するために必要である。隣接フレーム間の対応位置は、通常は 1 Z 2画素単位で求めるが、このときには S ADや S S D類似度評価値を利用した 1次元の簡易手法を利用しているため、大きな誤差が含まれている可能性が在る。ところが、本発明は、従来の 1次元推定方法に対してわずかな計算量の増加で、より確実で高精度な画像間の対応を求めることができるため、 M P E G画像生成の圧縮率を向上することが可能になる。ぐ参考文献一覧 >

非特許文献 1 ：

清水雅夫 · 奥富正敏，「画像のマッチングにおける高精度なサブピクセル推定手法」，電子情報通信学会論文誌 D-II, 2001年 7月，第 J84- D- II卷 ,第 7号， P.1409-1418

非特許文献 2 ：

清水雅夫 ' 奥富正敏，「画像のマッチングにおける高精度なサブピクセル推定の意味と性質」，電子情報通信学会論文誌 D-II， 2002年 12月，第： Γ85 - D - II巻，第 12号， p.1791-1800

非特許文献 3 ：

マサオ - シミズ、マサトシ · オタトミ (Masao Shimizu and Masatoshi Okutorai) , 「プリサイスサブピクセルエスティメイシヨンオンエリアべィセドマッチング (Precise Sub-Pixel Estimation on Area - Based Matching)」，プロク . 8^th IEEE インターナショナルコンフアレンスオンコンピュータビジョン（ICCV2001) ( Proc. 8^th IEEE International Conference on Computer Vision (ICCV2001) ) , ^ 7ナダ，ノンクーノ一）， 2001 7月， p.90-97

非特許文献 4 ：マサオ . シミズ、マサトシ · ォクトミ (Masao Shimizu and Masatoshi Okutomi), 「アンアナリシスオフサブピクセルエスティメイシヨンエラーオンエリアべイセドイメージマッチング（An Analysis of Sub-Pixel Estimation Error on Area-Based Image Matching)」，プロク . 14^th インターナショナルコンファレンスォンデジタルシグナルプロセシング（DSP2002) ( Proc. 14^th International Conference on Digital Signal Processing (DSP2002) ) ，（ギリシア，サントリー二）， 2002年 7月，第 II巻， p.1239-1242 (W3B.4) 非特許文献 5 ：

C . · クエンティン ' デイビス、ゾハー ' Z . ' 力ノレ、デニス · M . · フジ一マン (C. Quentin Davis, Zoher Z. Karu and Dennis M. Freeman)，「ィクイノくレンスオフサブピクセルモーションエスティメイタスベイセドオンオプティカルフローアンドプロックマッチング (Equivalence of subpixel mot ion estimators based on optical flow and block matching)」， IEEE インターナショナルシンポジウムフォーコンピュータビジョン 1995 ( IEEE International Symposium for Computer Vision 1995) ，、米国フ口リダ州）， 1995年 11月，ρ.7-12

非特許文献 6 ：

サムソン ' J . · ティモネー、デニス · Μ. · フリーマン（Samson J. Timoner and Dennis M. Freeman) , 「マノレチイメーシグラジェントべイセドアルゴリズムフォーモーションエスティメイシヨン (Multi-image gradient-based algorithms for motion estimation)」，オプティカルエンジニアリング（ Optical Engineering) ，（米国 ), 2001年 9月，第 40卷，第 9号， p.2003-2016 非特許文献 7 ：

ジョナサン · W. · ブラント（Jonathan W. Brandt)，「インプノレープドアキユラシイングラジェントべイセドオプティカルフローェスティメシヨン (Improved Accuracy in gradi ent— based Optica丄 Flow Estimation)」，インターナショナノレジャーナルオフコンビュータピション ( International Journal of Computer Vision) ， (米国 ) , 1997年，第 25卷，第 1号， p.5-22

非特許文献 8 ：

Q . ' テン、 M. · Ν , ' ヒユーニッス（Q. Tian and M. N. Huhns)，「ァノレゴリズムフォーサブピクセノレレジストレイシヨン (Algorithms for Subpixel Registration) J ，コンピュータヒシヨン，グラフィックスアンドイメージプロセシング（ Computer Vision, Graphics and Image Processing) ， (米国 ), 1986年，第 35'号， p.220-233

非特許文献 9 ：

ショーン ' ボーマン、マーク · Α. · ロノくートソン、ロノート ' L .

• スティブンソン (Sean Borman, Mark A. Robertson and Robert L. Stevenson) , 「プロックマッチングサブピクセノレモーションエスティメイシヨンフロムノイジ一，アンダサンプルドフレームスアンェンパイリカノレノフォーマンスエバリュエーション

(Block-Matching Suo - Pixel Motion Estimation from Noisy, Under- Sampled Frames An Empirical Performance Evaluation)」， SPIE ビジュアルコミューニケイシヨンズアンドイメージプロセシング 1999 ( SPIE Visual Communications and Image Processing 1999) , (米国力リフォルニァ州 )

Claims

請求の範囲

1 . N ( Nは 4以上の整数である）個の画像間対応パラメータを軸とする N次元類似度空間において、離散的な位置で得られた画像間の N次元類似度値を利用して、前記 N個の画像間対応パラメータを高精度に同時推定する画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法であって、

前記画像間の N次元類似度値が、ある 1つのパラメータ軸に対して平行な直線上で最大または最小となるサブサンプリング位置を求め、求められた前記サプサンプリング位置を最も近似する N次元超平面を求めるステップと、

前記 N次元超平面を各パラメータ軸に対して N個求めるステップと、前記 N個の N次元超平面の交点を求めるステップと、

前記交点を前記 N次元類似度空間における N次元類似度の最大値または最小値を与える前記画像間対応パラメータのサブサンプリンググリッド推定位置とするステップと、

を有することを特徴とする画像のサプピクセルマッチングにおける多パラメータ高精度同時推定方法。

2 . 3個の画像間対応パラメータを軸とする 3次元類似度空間において、離散的な位置で得られた画像間の 3次元類似度値を利用して、前記 3 個の画像間対応パラメータを高精度に同時推定する画像のサブピクセルマッチングにおける 3パラメータ高精度同時推定方法であって、

前記画像間の 3次元類似度値が、ある 1つのパラメータ軸に対して平行な直線上で最大または最小となるサブサンプリング位置を求め、求められた前記サブサンプリング位置を最も近似する平面を求めるステップと、

前記平面を各パラメータ軸に対して 3個求めるステップと、

前記 3個の平面の交点を求めるステップと、

前記交点を前記 3次元類似度空間における 3次元類似度の最大値または最小値を与える前記画像間対応パラメ一.タのサブサンプリンググリッド推定位置とするステップと、

を有することを特徴とする画像のサブピクセルマッチングにおける 3 パラメ一タ高精度同時推定方法。

3 . 離散的に得られた画像間の 2次元類似度値を利用して、連続領域における 2次元類似度最大値または最小値の位置を高精度に推定する画像のサブピクセルマッチングにおける 2パラメータ高精度同時推定方法であって、

前記画像間の 2次元類似度値が、水平軸に対して平行な直線上で最大または最小となるサブサンプリング位置を求め、求められた前記サブサンプリング位置を最も近似する直線（水平極値線 H E L ) を求めるステップと、

前記画像間の 2次元類似度値が、垂直軸に対して平行な直線上で最大または最小となるサブサンプリング位置を求め、求められた前記サブサンプリング位置を最も近似する直線（垂直極値線 V E L ) を求めるステップと、

前記水平極値線 H E Lと前記垂直極値線 V E Lの交点を求めるステツプと、

前記交点を前記 2次元類似度の最大値または最小値を与えるサブピクセル推定位置とするステップと、を有することを特徴とする画像のサブピクセルマッチングにおける 2 パラメータ高精度同時推定方法。

4 . N ( Nは 4以上の整数である）個の画像間対応パラメータを軸とする N次元類似度空間において、離散的な位置で得られた画像間の N次元類似度値を利用して、前記 N個の画像間対応パラメータを高精度に同時推定するといつた処理をコンピュータに実行させる画像のサブピクセルマッチングにおける多パラメータ高精度同時推定プログラムであって、前記画像間の N次元類似度値が、ある 1つのパラメータ軸に対して平行な直線上で最大または最小となるサブサンプリング位置を求め、求められた前記サブサンプリング位置を最も近似する N次元超平面を求める機能と、

前記 N次元超平面を各パラメータ軸に対して N個求める機能と、前記 N個の N次元超平面の交点を求める機能と、

前記交点を前記 N次元類似度空間における N次元類似度の最大値または最小値を与える前記画像間対応パラメ一タのサプサンプリンググリッド推定位置とする機能と、

をコンピュータに実現させるための画像のサブピクセルマッチングにおける多パラメータ高精度同時推定プログラム。

5 . 3個の画像間対応パラメータを軸とする 3次元類似度空間において、離散的な位置で得られた画像間の 3次元類似度値を利用して、前記 3 個の画像間対応パラメータを高精度に同時推定するといつた処理をコンピュータに実行させる画像のサブピクセルマッチングにおける 3パラメータ高精度同時推定プログラムであって、前記画像間の 3次元類似度値が、ある 1つのパラメータ軸に対して平行な直線上で最大または最小となるサブサンプリング位置を求め、求められた前記サブサンプリング位置を最も近似する平面を求める機能と、前記平面を各パラメータ軸に対して 3個求める機能と、

前記 3個の平面の交点を求める機能と、

前記交点を前記 3次元類似度空間における 3次元類似度の最大値または最小値を与える前記画像間対応パラメータのサブサンプリングダリッド推定位置とする機能と、

をコンピュータに実現させるための画像のサブピクセルマッチングにおける 3パラメータ高精度同時推定プログラム。

6 . 離散的に得られた画像間の 2次元類似度値を利用して、連続領域における 2次元類似度最大値または最小値の位置を高精度に推定するといつた処理をコンピュータに実行させる画像のサプピクセルマッチングにおける 2パラメータ高精度同時推定プログラムであって、

前記画像間の 2次元類似度値が、水平軸に対して平行な直線上で最大または最小となるサブサンプリング位置を求め、求められた前記サブサンプリング位置を最も近似する直線（水平極値線 H E L ) を求める機能と、

前記画像間の 2次元類似度値が、垂直軸に対して平行な直線上で最大または最小となるサブサンプリング位置を求め、求められた前記サブサンプリング位置を最も近似する直線（垂直極値線 V E L ) を求める機能と、

前記水平極値線 H E L と前記垂直極値線 V E Lの交点を求める機能と前記交点を前記 2次元類似度の最大値または最小値を与えるサブピクセル推定位置とする機能と、

をコンピュータに実現させるための画像のサブピクセルマッチングにおける 2パラメータ高精度同時推定プログラム。