画像のサブピクセノレマッチングにおける多ノヽ。ラメータ高精度同時推 定方法及び多パラメータ高 度同時推定プ グラム
技術分野
本発明は、 例えば画像に る位置計測、 y モ一 卜センシング、 航空写 田
真を利用した地図作製、 ステレォビジョ ン 、 画像張り合わせ (モザィキ ング) 、 動画像位置合わせ 、 3次元モデリ ングなど多数の画像処理分野 で使用できる、 領域ベ一スマッチングを用レ、た推定方法及び推定プログ ラムに関し、 特に、 画像のサプピクセノレマ Vチングにおける多パラメ一 タ高精度同時推定方法及ぴ多パラメータ高 度 時推定プログラムに関 するものである。
背景技術
ステ レオ画像処理をはじめと して 、 卜ラクキング 、 画像計測、 リモー トセンシング、 画像レジス 卜レーシヨ ンなどの多 < の画像処理分野では
、 画像間変位を得るためにヽ 領域べースマ Vチングが基本的な処理と し て採用されている。
領域ベースマッチングは、 注目領域のサイズや形状を任意に設定でき ること、 注目画素に対して注目領域をオフセッ トできること、 計算が直 感的で直接的な実装が可能であることなどが特徴である。 領域ベースマ ツチングで画像間の変位をサブピクセルで求めるときには、 画素単位で 離散的に得られる類似度評価値を利用してサブピクセル変位を推定する 方法が一般的に利用されている。
画像間の対応を求めるためには、 類似度と呼ぶ評価値を利用する。 類 似度とは、 画像間の相対的な位置関係を入力、 その位置関係のときの画 像間の類似度を出力とする関数である。 類似度は、 画素単位の離散的な 位置で値が決まるので、 類似度だけをもとに画像間の対応位置関係を求 めると、 画素単位の分解能に制限される。 そこで、 類似度値をもとに補 間することによって、 サブピクセル分解能の画像間の対応を求める。 従来、 位置分解能を拡大するために、 類似度評価値をフィ ッティ ング 内揷することでサブピクセル推定を行う ことが多い。 しかし、 画像の平 行移動量をサブピクセル分解能で求める際に、 画像の水平方向と垂直方 向を独立にフィ ッティ ング内挿していたため、 十分な精度が得られなか つたという問題点があった。
要するに、 従来、 デジタル画像を使った領域ベースのマッチングでは 、 変位の推定分解能を向上させるために、 画像の水平 垂直方向につい て独立に類似度評価値を使ったサブピクセル推定を行っていた。
また、 従来、 濃度こ う配法を利用して画像間の変位を求めると、 はじ めからサブピクセル変位量を得ることができる。 濃度こ う配法では、 水 平方向と垂直方向を合わせて扱っている。 ただし、 画像間変位が 1画素 以上のときには画像を縮小する必要がある。 通常は、 画像スケールの変 '更と同時に実装する。 濃度こ う配法の実装は繰り返し計算になるので、 計算時間の見積も りや、 ハー ドウェアへの実装が困難であるという欠点 があった。
さらに、 画像を D F Tしてから複素共役積をもとめて逆 D F Tする従 来手法では、 注目領域のサイズが 2 nでなければならず、 各種テク -ッ クが必要である。 流体計測分野では多く用いられ、 計算量を小さく でき ることが特徴である。 しかし、 ビジョ ン分野では、 ほとんど利用されな
い。 しかも、 計測対象が平面であるという仮定を用いているので、 凹凸 がある計測対象には適用が困難であるという欠点があった。
従来は、 以下のよ う に詳細に説明されるよ うに、 画像の水平方向と垂 直方向を独立に補間推定していた。 しかし、 従来のこのよ うな方法によ ると、 第 1図に示すよ うに、 推定誤差が発生するという問題点があった ここでは、 画像を水平方向と垂直方向に独立と考え、 変位のサブピク セル推定も独立に行う従来方法を 「 1次元推定方法」 と称する。
従来の 1次元推定方法の問題点を説明するために、 まず、 画像間の水 平方向変位を求める問題を考える。 真の画像間変位を(d s , d t )、 異方 性を持った類似度の回転角度を Θ gとする。 1次元推定方法では、 離散 化類似度と して、 R (— 1, 0 )、 R ( 0, 0 )、 R ( 1, 0 ) (第 1 図の口)を 使い、 下記数 1 によつて (第 1 図のき)を推定した。
【数 1 】
Λ 一 (一 1,0)— i?(l,0)
ds 1,0)— 4Α(0,0) + 2^(1,0)
仮に上記数 1で直線 t = 0上の類似度最大位置を正しく推定できたと しても、 第 1 図から明らかなよ う に、 真の水平方向画像間変位 d s (第 1 図の▲の水平成分)に対して大きな推定誤差を含んでいる。 すなわち
、 次の条件の全てが真の と きには、 水平方向推定誤差が発生して、
^一 ≠0となる。
• 垂直方向変位 d t≠ 0。
• 2次元類似度が異方性を持つ。
- 異方性を持つ 2次元類似度の回転角度 0 g≠ 0。
大部分の画像が上記条件に当てはまる。
また、 垂直方向に関しても同様である。 例えば、 第 2図(a )に示す画 像中のコーナー領域の S S D自己類似度を求めると、 第 2図(b )のよ う になっている。 この自己類似度は異方性を持ち、 ø g≠ 0なので、 従来 の 1次元推定方法では、 サブピクセル推定誤差が発生する可能性がある ことを示している。 また、 第 3図(a )に示すテクスチャ画像を使ったサ ブピクセル推定においても、 推定誤差が発生する可能性を示している。
また、 コンピュータ ビジョ ンの分野によっては、 ェピポーラ拘束など の拘束条件を利用するこ とで探索範囲を 1次元に限定できるので、 1次 元信号の高精度なマツチングができれば十分な場合がある。 しかしなが ら、 2次元画像を使って、 高精度な 2次元変位を求める必要がある用途 も多い。 例えば、 動き推定、 動き推定による領域分割、 ターゲッ ト トラ ッキング、 モザィキング、 リモー トセンシング、 超解像などである。 画像の領域ベースマツチングにおいて、 画像間変位が平行移動だけで 表現できるときには、 従来から多く の手法が提案され、 実際に用いられ てきた。 たとえば、 代表的な手法と して、 領域ベースマッチングと類似 度補間手法を組み合わせた、 サブピクセル推定手法は、 次のよ う にして 画像間のサブピクセル変位を推定する。
対応位置を求める画像を、 f ( i , j )と g ( i, j )と した と き、 整数単 位の変位( t
x, t
y)に対する画像間の S ADを、 次のよ うに計算する。 【数 2】
た だ し 、 S A D は 輝 度 差 の 絶 対 値 の 和 (Sum of Absolute Differences)を表し、 Wは対応を求める注目領域を表す。 S ADは、 画 像が完全に一致したときに 0になり、 不一致が増えるに従って大きな値
をとる。 S ADは類似していない評価値を表すので、 非類似度である。
S ADの代わり に、 次の S S Dを用いることも多い。
【数 3 】
∑ {f(i )-g(i-t
x -t
y)f た だ し 、 S S D は輝度差 の 絶対値 の 2 乗和 (Sum of Squared Differences)を表す。 S S Dも画像が完全に一致したときに 0になり 、 不一致が増えるに従って大きな値をとる。 S S Dも類似していない評価 値を表すので、 非類似度である。
S A Dや S S Dの代わ り に、 次の相関係数(Z N C C : Zero-mean Normalized Cross-Correlation) を用!/ヽることもある。 Z N C Cは、 注 目領域内の画素濃度を統計データと見なし、 注目領域間の統計的な相関 値を計算している。
【数 4】
∑ {{f(U)-f){g(i-tx,j-ty)-g))
■^ZNCC lx ,ly)— I ; 7r
J ∑ (f(U)-f) x ∑ {g(i-tx,j-ty)-g) ただし、 /, は、 それぞれの領域内の濃度平均である。 R Z N C Cは 一 1から 1 までの値をと り、 画像が完全に一致したときに 1 になり 、 不 一致が増えるに従って小さな値をとる。 Z N C Cの特徴は、 画像間に濃 度やコン トラス トの変化があってもほとんど同じ類似度が得られること である。
Z N C Cは類似性の評価値を表すので類似度とよばれるが、 S ADや S S Dは非類似度を表す。 ここでは、 説明を簡単にするために、 以後は
S ADや S S D、 Z N C Cを 「類似度」 と統一して表記する。 類似度が最小値(S ADや S S Dのと き)または最大値(Z N C Cのと き)になる整数単位の変位(L, )を探索するこ とで、 画像間の整数単位 変位を得ることができる。 整数単位の変位を得た後で、 次のよ うにサブ ピクセル変位を推定する。
【数 5】
^-!)-^ + 1)
x 2R(ix-l)- R(ix) + 2R(ix + l)
, R(ty_-l)-R(tv + l) 一
dy― 2R(ty - 1) - R(ty) + 2R(ty + 1)
上記数 5 を用いて、 最終的に得る画像間サブピク セル変位は、 ( + , ^十 )となる。
このよ うな従来手法では、 画像間に回転やスケール変化があるときに 正しい対応を得るこ とができない問題があった。 画像間の回転角度がわ ずかでも、 2つの画像が異なるものと判断され、 対応位置が見つからな いことや、 誤った位置に対応を検出する問題があった。
一方、 画像間の対応が平行移動だけでは表現できない場合、 つま り、 画像間に回転やスケール変化があるときには、 回転やスケール変化も同 時に推定する必要がある。 従来、 このときには、 補間処理を用いて片方 の画像(テンプレー ト画像) を平行移動と回転やスケール変化をさせて からマッチングを行い、 類似度を計算しながら各パラメータを変化させ 、 類似度が最小値または最大値になるパラメータを探索する必要があつ た。 次に、 このパラメータ探索法を説明する。
f ( i, ;i )をテンプレー ト画像、 g ( i , j )を入力画像とするとき、 平 行移動( t x, t y)および回転角度 0 とスケール変化 s をパラメータ とす
る類似度 R S S Dを次のよ う に計算する。
【数 6】
RSSD(tx,ty s)= ∑ {f( j)-g(i,J,tx,ty,e,s)f ただし、 ^ ·,ゾ, ^ ,6>, は、 平行移動( t χ, t および回転角度 θ とス ケール変化 s を与えたと きの、 位置( i , ]· )における画像 g ( i , ]' )の補 間画像を表す。 捕間画像を作るときには、 双線形補間(Bi- Linear 補間) や双 3次補間(Bi- Cubic 補間) などを利用する。 また、 S S Dではなく 、 S ADや Z N C Cを利用してもよい。
何らかの方法で初期パラメータ( t x, t y, θ, 3 ) < ° >を求めて R s s D ( t x, t y, 0, S )< () >を計算し、 よ り小さな R S S Dを与える更新パラ メータ( t x, t y, s ^ 1 を探索する。 パラメータを更新しても結 果に変化がなく なるまで、 更新を続ける。 この と き、 Newton- Raphson5や Steepest (Gradent) Descent 法 (展急降下法 ) 、 Levenberg- Marquadt 法など数値的解法を用いる。
初期パラメータ ( t x, t y , 0, s )< ° >は、 たとえば、 画像間の対応 が平行移動だけで表現できる と仮定して通常の領域ベースマッチングに よって推定した( )を用いた( , 0,1)<Q>などを利用する。
このよ うな多パラメータ最適化では、 初期値が適切でないと正しい結 果が得られない問題がある。 また、 画像パタ ンゃノイズ、 撮影レンズ の光学歪みなどの影響で解が得られない問題もある。 さ らに、 繰り返し 計算を利用するので、 計算時間を見積もることができないといった難点 がある。 このため、 アルゴリ ズムを実装する上で、 完成したシステムの 総合応答時間を正確に見積もることができず、 ハー ドウ ア化すること がきわめて困難であった。 また、 計算時間の面では、 繰り返し計算の各
段階で画像を補間する必要があるが、 画像補間演算は演算量が多レ、ため
、 多く の計算時間が必要になる さらに、 推定精度の面では、 画像補間 手法によって補間画像の性質が異なるので、 採用する補間手法によって 最終的なパラメータ推定精 /スや 定誤差の性質が異なる点も大きな問題 であった。
本発明は上述のよ うな事情よ り なされたものであり 、 本発明の目的は
、 N次元類似度を考慮する とで 、 上記従来手法の問題点を解決し、 画 像間対応パラメータを少なレ、計算量で安定且つ高速に高精度に同時推定 できるよ うにした、 画像のサブピクセノレマツチングにおける多パラメ一 タ高精度同時推定方法及び多パラメ一タ高精度同時推定プロダラムを提 供することにある。 発明の開示
本発明は、 画像のサブピクセルマッチングにおける多パラメータ高精 度同時推定方法に関し、 本発明の上記目的は 、 N ( Nは 4以上の整数で ある) 個の画像間対応パラメ一タを軸とする N次元類似度空間において
、 離散的な位置で得られた画像間の N次元類似度値を利用して、 前記 N 個の画像間対応パラメータを高精度に同時推定する画像のサブピクセル マッチングにおける多パラメ一タ itei精度同時推定方法であって、 前記画 像間の N次元類似度値が、 ある 1つのパラメータ軸に対して平行な直線 上で最大または最小となるサブサンプリ ング位置を求め、 求められた前 記サブサンプリ ング位置を最も近似する N次元超平面を求めるステ ップ と、 前記 N次元超平面を各パラメータ軸に対して N個求めるステップと 、 前記 N個の N次元超平面の交点を求めるステップと、 前記交点を前記 N次元類似度空間における N次元類似度の最大値または最小値を与える
前記画像間対応パラメータのサブサンプリ ングダリ ッ ド推定位置とする ステップとを有するよ うにすることによつて効果的に達成される。
また、 本発明は、 画像のサブピクセルマッチングにおける 3パラメ一 タ高精度同時推定方法に関し、 本発明の上記目的は、 3個の画像間対応 パラメータを軸とする 3次元類似度空間において、 離散的な位置で得ら れた画像間の 3次元類似度値を利用して、 前記 3個の画像間対応パラメ ータを高精度に同時推定する画像のサブピクセルマッチングにおける 3 パラメータ高精度同時推定方法であって、 前記画像間の 3次元類似度値 が、 ある 1つのパラメータ軸に対して平行な直線上で最大または最小と なるサブサンプリ ング位置を求め、 求められた前記サブサンプリ ング位 置を最も近似する平面を求めるステップと、 前記平面を各パラメータ軸 に対して 3個求めるステップと、 前記 3個の平面の交点を求めるステツ プと、 前記交点を前記 3次元類似度空間における 3次元類似度の最大値 または最小値を与える前記画像間対応パラメータのサブサンプリ ンググ リ ッ ド推定位置とするステップとを有するよ うにすることによって効果 的に達成される。
更に、 本発明は、 画像のサブピクセルマッチングにおける 2パラメ一 タ高精度同時推定方法に関し、 本発明の上記目的は、 離散的に得られた 画像間の 2次元類似度値を利用して、 連続領域における 2次元類似度最 大値または最小値の位置を高精度に推定する画像のサブピクセルマッチ ングにおける 2パラメータ高精度同時推定方法であって、 前記画像間の 2次元類似度値が、 水平軸に対して平行な直線上で最大または最小とな るサブサンプリ ング位置を求め、 求められた前記サブサンプリ ング位置 を最も近似する直線 (水平極値線 H E L ) を求めるステップと、 前記画 像間の 2次元類似度値が、 垂直軸に対して平行な直線上で最大または最
0
小となるサブサンプリ ング位置を求め、 求められた前記サブサンプリ ン グ位置を最も近似する直線 (垂直極値線 V E L ) を求めるステップと、 前記水平極値線 H E Lと前記垂直極値線 V E Lの交点を求めるステップ と、 前記交点を前記 2次元類似度の最大値または最小値を与えるサブピ クセル推定位置とするステップとを有するよ うにすることによって効果 的に達成される。 図面の簡単な説明
第 1図は、 従来の 1次元サブピクセル推定方法を説明するための図で ある。 は、 s =— 1 , 0 , 1 での 3つの類似度の値を用いた従来の 1 次元サブピクセル推定方法によって推定された位置で、 d t≠ 0及び 0 g≠ 0の際に、 この推定値は真のピーク位置に対して誤差を有する。
第 2図は、 3次元再構成アプリ ケーシヨ ン用に一般的に使用される画 像例 ( a ) とその自己類似度 ( b ) を示す図である。 自己類似度マップ は、 自己類似度マップが k ≠ 1 及ぴ Θ g≠ 0の性質を有しているので、 従来の 1次元推定方法を用いることでサブピクセル推定誤差が生じるこ とを示している。
第 3図は、 0 ε = π / 2を有するテクスチヤ画像例とその自己類似度 を示す図である。
第 4図は、 2次元画像モデルとその 2次元類似度を示す図である。 ( a ) はび imaee= 0 . 7の画像モデルを示し、 画像のサイズは 1 1 X 1 1 [ 画素]である。 ( b ) は画像モデルの自己類似度を示し、 類似度の範囲 は 1 1 X I 1である。 ( s , t ) の暗い位置は高い類似度を有する 2枚 の画像の変位に対応する。 最も暗い位置の ( s, t ) は、 自己類似度の 性質で ( 0, 0 ) になる。
第 5図は、 画像全体の回転角度 0 gと コーナー角度 Θ 。を有する 2次 元コーナー画像モデルを示す図である。
第 6図は、 2次元コーナー画像モデルとその 2次元自己類似度を示す 図である。 (a )、 (b )、 ( c )は、 0 。 = π / 2、 σ image= 1の画像モデ ルで、 それぞれ 0 g = O , π / 8, π / 4である。 (d )、 (e )、 ( f )は 、 それぞれ( a )、 (b )、 ( c )に対応する類似度である。 (g )、 (h )、 ( i )は、 0 c = 7c / 4、 σ iraage= 1 の画像モデルで、 それぞれ 0 g = O, π / 8 , πΖ4である。 ( j )、 (k )、 ( 1 )は、 それぞれ(g )、 (h )、 ( i )に対応する類似度である。
第 7図は、 画像全体の回転角度 0 gと水平方向空間周波数 f uと垂直 方向空間周波数 f vを有する 2次元繰り返しテクスチャ画像モデルを示 す図である。
第 8図は、 2次元繰り返しテクスチャ画像モデルとその 2次元自己類 似度を示す図である。 (a )、 (b )、 (c )は、 f u = 0. 1 、 f v = 0. 1 の画像モデルで、 それぞれ 0 g = O , π / 8 , π Ζ 4である。 (d )、 ( e )、 ( f )は、 それぞれ )、 (b )、 (c )に対応する類似度である。 (g ) ( h )、 ( i )は、 f u = 0. 0 5、 f v = 0. 1 の画像モデルで、 それぞ れ 0 g = O, π / 8 , π Ζ 4である。 ( j )、 (k )、 ( 1 )は、 それぞれ( g )、 (h )、 ( i )に対応する類似度である。 自己類似度は一定の変位を 有する 2枚同様な画像から得られる。 画像のサイズは 1 1 X 1 1 [画素] で、 類似度の範囲は一 5から 5までである。
第 9図は、 画像全体の回転角度 0 gと水平標準偏差 σ と垂直標準偏差 k σを有する 2次元ガウス画像モデルを示す図である。
第 1 0図は、 2次元ガウス画像モデルとその 2次元自己類似度を示す 図である。 (a;)、 (b )、 (c )は、 σ = 2、 k = l の画像モデルで、 それ
ぞれ 0 g = O , % / S , πノ 4である。 (d)、 (e )、 ( f )は、 それぞれ (a )、 (b )、 ( c )に対応する類似度である。 (g )、 (h)、 ( i )は、 σ = 2、 k = 0. 5 の画像モデルで、 それぞれ 0 g = O, π / 8 , πΖ4で ある。 ( j )、 (k )、 ( 1 )は、 それぞれ(g )、 (h )、 ( i )に対応する類似 度である。 自己類似度は一定の変位を有する 2枚同様な画像から得られ る。 画像のサイズは 1 1 X 1 1 [画素]で、 類似度の範囲は一 5から 5ま でである。
第 1 1図は、 3種類異なった 2次元画像モデルと、 それらの 2次元自 己類似度と、 2次元類似度モデルに比較して 2次元自己類似度の部分図 を示す図である。 (a )は ^ 。ニ兀 、 σ iraage= 1、 0 g = Oを有する 2 次元コーナー画像モデルを示す。 (b )は f u = 0. 0 5 1、 f v = 0. 1 、 0 g = 0 を有する 2次元繰り返しテクスチャ画像モデルを示す。 (c ) は σ = 2、 k = 0. 5、 0 g = O を有する 2次元ガウス画像モデルを示 す。 (d )、 ( e )、 ( f )は、 それぞれ )、 (b )、 (c )に対応する類似度 である。 (g )、 (h )、 ( i )は、 整数位置(〇で表す)でサンプリ ングされ た(d )、 (e )、 ( f )の t = 0の水平部分図と、 2次元類似度モデル(点 線で表す)を示す。
第 1 2図は、 2次元連続的に類似度計算と離散的に類似度計算の例を 示す図である。
第 1 3図は、 (d s, d t) = (0. 2, 0. 4 )、 σ = 1、 k = 0. 7、 Θ g = π // 6 を有する 2次元類似度モデルを示す図である。 等高線は関数値 の 1 0 %から 9 0 %までに対応している。 (a )において、 2次元類似度 モデルの長軸が 0 g = π / 6を示す。 (b )において、 H E L (水平極値 線) と V E L (垂直極値線) の両方が 2次元類似度モデル(d s, d t)の ピーク値位置を通るが、 2次元類似度モデルの長軸或いは短軸と異なる
3
第 1 4図は、 H E Lと V E Lの推定プロセスを説明するための図であ る。 (a )において、 ·は 3本の水平線 t =— 1 、 t = 0、 t = l上の類 似度値 (口) から得られた推定サブピクセル位置を示し、 H E Lは最小 二乗で 3っ秦の位置から推定されることが可能である。 (b )において、 V E Lは同様なプロセスで推定されることが可能である。
第 1 5図は、 従来の 1次元推定方法及び本発明の実施例 1 に係る 2次 元推定方法にそれぞれ必要な類似度値の位置を示す図である。 2次元類 似度モデルは((1 5, (1 = (0. 2 , 0. 4 )、 σ = 1 、 k = 0. 3 s Θ g = π / 8を有する。
第 1 6図は、 推定誤差を比較するための図である。 (a )は比較用に使 用される画像モデルで、 即ち、 e g = 0、 Θ c = π / 4 σ iraage= 1. 0 の 2次元コーナーモデルである。 (b )は(a )の画像モデルの自己類似度 を示す。
第 1 7図は、 推定誤差を比較するための図である。 (a )は比較用に使 用される画像モデルで、 即ち、 θ β = π / 8、 ' 0 。 = π Ζ 4、 σ image= 1 . 0の 2次元コーナーモデルである。 (b )は(a )の画像モデルの自己類 似度を示す。
第 1 8図は、 推定誤差を比較するための図である。 (a )は比較用に使 用される画像モデルで、 即ち、 θ Β = π / 4、 Θ c = π / 4 , σ image= 1 . 0の 2次元コーナーモデルである。 (b )は(a )の画像モデルの自己類 似度を示す。
第 1 9図は、 重み関数とパラメータに依存する補間特性を説明するた めの図である。
第 2 0図は、 合成画像を使った実験結果を示す図である。
第 2 1図は、 実画像を使ったターゲッ ト トラッキング実験結果を示す 図である。
第 2 2図は、 本発明の実施例 2に係る 3パラメータ同時推定方法にお いて、 パラメータ s iに関する最大値を通る平面 を説明するための 模式図である。
第 2 3図は、 実験に用いた合成画像である。
第 2 4図は、 画像の回転計測結果を示す図である。
第 2 5図は、 画像の位置計測結果を示す図である。 発明を実施するための最良の形態
以下、 本発明の好適な実施例を図面及び数式を参照しながら説明する 実施例 1 :
本発明に係る画像のサブピクセルマツチングにおける多パラメータ高 精度同時推定方法の実施例 1では、 画像のサンプリ ング周期で求まって いる 2次元類似度を使って、 その 2次元類似度の最大値又は最小値を与 える 2次元サブピクセル変位 (つまり、 水平及ぴ垂直方向の画像間変位 ) を高精度に同時に推定するよ う にしている。
ここで、 画像を水平方向と垂直方向に独立と考え、 変位のサブピクセ ル推定も独立に行う従来方法を 「 1次元推定方法」 と称するのに対して 、 本発明の実施例 1 に係る画像のサブピクセルマッチングにおける多パ ラメータ高精度同時推定方法は、 2次元画像から計算した離散位置にお ける 2次元類似度を使って、 2次元サブピクセル推定を行なっているの で、 「画像のサブピクセルマッチングにおける高精度 2次元推定方法」 又は 「 2次元サブピクセル推定方法」 と称し、 更に、 略して 「 2次元推
定方法」 と呼ぶよ うにしている。
後述する本発明の実施例 1 に係る 2次元推定方法は、 領域ベースマツ チングを用いた高精度同時推定方法で、 従来の 「 1次元推定方法」 と比 較して計算量がわずかに増えるだけで、 圧倒的に高精度な 2次元サプピ クセル推定が可能である。'
( 1 ) 2次元画像モデルと 2次元類似度モデル
ここでは、 何種類かの画像モデルをと り あげ、 その 2次元類似度を考 える。 異なる画像モデルから得られる 2次元類似度が、 同じ 2次元類似 度モデルで近似できることを示す。
領域ベースマッチングとは、 2枚の画像の類似度を評価し、 その最大 または最小位置を 2枚の画像間の変位と して求めることである。 この類 似度は、 通常は画像のサンプリ ング周期と一致して、 とびとびの変位位 置に対して値が得られる。 画素単位でのマッチングは、 これらの類似度 の中から、 最大値または最小値を探すことに対応する。 サブピクセル推 定は、 これらの類似度を補間して、 サブピクセルでの最大値または最小 値を与えるサブピクセル変位位置を推定するこ とである。 以後の説明で は、 「最大または最小」 を単に 「最大」 と表現する。 S A Dや S S D類 似度を使う ときには 「最小」 、 相関類似度を使う ときには 「最大」 を意 味する。
( 1— 1 ) コーナーモデル
まず、 領域ベースマッチングとサブピクセル推定が可能な 2次元画像 モデルと して、 1次元画像モデル
【数 7 】
6
を単純に拡張して、 下記数 8で示すコーナー画像を考える。 ここで、 σ
imageは濃度ェッジのシャープさである。 このコーナー画像を第 4図(a ) に示す。
【数 8 】
ただし、 画像座標系を U — V、 類似度座標系 (変位座標系) を s _ t とする。
上記数 8で表す画像を参照画像と して、 また、 全く 同じ画像を入力画 像と して 2次元マッチングを行ったときの S S D類似度(本発明では、 S S D類似度を 「自己類似度」 と称するこ と もある)は、 下記数 9で求 めることができる。 S S D類似度は、 値が小さいほど類似していること を示すので、 この場合には暗い場所ほど類似性が高いことを示している 。 自己類似度は全く 同じ画像を使った類似度なので、 変位( s, t ) = (0 , 0 )の位置の類似度が最も小さい。 この類似度を第 4図(b )に示す。 【数 9 】
R(s,t)= ∑ (ls( j)-Is{i + s,j + t))2 ただし、 総和範囲は、 任意形状の注目範囲であるが、 第 4図(b )では 1 1 X 1 1 の矩形領域で計算した。
第 4図(a )では、 コーナーに剪断成分が含まれない、 つま り水平方向 の濃度変化が垂直位置に依存しないので、 2次元画像の水平方向と垂直 方向を独立に扱う ことができる。 このとき、 上記数 9の類似度も、 水平
方向と垂直方向を独立に扱う ことができる。 従って、 サブピクセル変位 位置を推定するときにも、 水平方向と垂直方向を独立に扱う ことができ る。
しかし、 実際の画像では、 必ずしも 9 0度のコーナーで構成されるわ けではない。 例えば、 建築物を地上から撮影したステレオ画像を使って 3次元情報を再構成するときには、 建築物のコーナー領域を、 他方の画 像との対応を求めるが、 コーナーが 9 0度に撮影されることはまれであ る (第 2図( a )参照) 。
そこで、 V == 0に濃度エッジを持つ 2枚の 2次元画像
【数 1 0】
Ia( ,v) = f(v)
ib(u^ = -fy)
を、 それぞれ左に 0 a、 右に Θ bだけ回転した画像を考える。
【数 1 1 】
Ia (u,v) = f(-u sin(0a ) + v cos(¾ ))
{u,v) = -f{u sin(¾ ) + v cos(¾ ))
この Θ a、 0 bを画像全体の回転角度 Θ gとコーナー角度 0 cを使って
、 次のように定義する。 '
このとき、 I a (u, v )と I b (u, v )を使って表す 2次元画像モデル I c ( U , V )を、 下記数 1 3で定義する。
Ic(u,v) = Ia(u,v)Ib(u,v)
2 · この 2次元画像モデルは、 第 5図に示すよ うに、 画像全体の回転角度 Θ
gとコーナー角度 Θ 。と 2次元濃度エッジのシャープさ σ
imageをパラメ ータに持つ。 O ≤ 0
g ≤ 7c / 4、 0 く 0 。≤ π Ζ 2の範囲を考慮する。 これ以外の範囲は、 画像の左右を反転すること と、 濃淡を反転すること で表現するこ とができる。 θ
δ= π Ζ4、 6 。 = π Ζ 2のときには、 上 記数 8 の単純な画像モデルと同一である。 第 6図(a )、 (b )、 ( c )、 ( g )、 ( h )、 ( i )に、 上記数 1 3で表す画像モデルの例を示す。 第 6図( d )、 (e )、 ( f )、 ( j )、 (k )、 ( 1 )に、 第 6図(a )、 (b )、 ( c )、 (g )、 (h)、 ( i )の 2次元画像に対応した類似度を示す。
( 1一 2 ) 繰り返しテクスチャモデル
類似度に方向依存性がないとき、 つま り類似度が等方性なら、 サブピ クセル推定を水平方向と垂直方向に独立に行っても誤差が発生しない。 しかし、 類似度に方向依存性があるとき (本発明では 「異方性」 と呼ぶ ) 、 つま り、 方向によって微分値が異なる ときには、 サブピクセル推定 を水平方向と垂直方向に独立に行う と誤差が発生する可能性がある。 上記数 1 3で示した 2次元画像モデル I c ( u, V )では、 Θ c ≠ % / 2 のときに自己類似度に異方性が現れた。 しかし、 直感的に理解できるよ う に、 これ以外にも自己類似度に異方性を生じさせるテクスチャが存在 する。 この例と して、 第 3図(a )に示す画像の S S D自己類似度を第 3
9
図(b )に示す。 テクスチャに含まれるコーナーは 0 。 - π / 2 なのに、 類似度に異方性が現れるている。
Θ c = π 2なのに自己類似度に異方性を生じさせる 2次元画像モデ ルと して、 下記数 1 4を考える。
【数 1 4】
I
t(u,v) = f
lu (cos(¾)w + sm' (0
g)v) f
lv {-sm(0
g)u + cos(¾)v)
ん (ァ) = sin(2 /v
上記数 1 4の 2次元画像モデル I t ( u , V )は、 第 7図に示すよ う に 、 u方向空間周波数 f u、 v方向空間周波数 f v、 画像の回転角度 0 gを パラメータに持つ。 0 ≤ θ Β≤ π Ζ 2の範囲を考慮する。 f u≠ f vのと きには、 自己類似度に異方性を生じる。 自己類似度の異方性は、 テクス チヤにおける空間周波数の異方性に相当する。 前節で導入した 2次元画 像モデル I c ( u, V )は、 Θ e≠ π / 2のときに、 空間周波数の異方性が 発生していると考えることができる。
この 2次元画像モデルと S S D自己類似度を第 8図に示す。
( 1— 3 ) ガウス関数モデル
自己類似度に異方性を生じさせる 2次元画像モデルと して、 下記数 1 5の 2次元ガウス関数を考えることができる。
【数 1 5】
Ig (u, v) = gauss u cos(^ ) + sin(^— \ σ ι gauss (- sin ( )+ v cos(0 ), ka)
l
gauss (x, σ) = ,—— e - 2び2
2πσ
ただし、 第 9図に示すよ う に、 σはガウス関数の標準偏差で、 kは異 方性係数( k 〉 0 )で、 Θ gは回転角度である。 0 ≤ Θ g≤ π Z 2の範囲 を考慮する。 この 2次元画像モデルと S S D自己類似度を第 1 0図に示 す。
( 1— 4 ) 2次元類似度モデル
1次元サブピクセル推定と異なり、 2次元サブピクセル推定では 2次 元画像モデルのパラメータ数が多いので、 2次元画像モデルから得られ る S S D類似度を直接検討するこ とは得策ではない。 ここで取り上げた 画像モデルは、 画像の性質の多く を含んでいるが、 実際用途で扱う画像 は、 ここで取り上げた画像モデルを複数を組み合わせたものや、 よ り高 次の画像が存在する。
そこで、 以後の検討では.、 これまでに検討した何種類かの画像モデル を直接使わず、 代わり に、 これらの画像モデルから得られる 2次元類似 度を近似する 2次元類似度モデルを検討する。 2次元類似度モデルと し て、 下記数 1 6で表す 2次元ガウス関数を採用する。
【数 1 6 】
R„ (s, t, ds,dt, σ, 1ζ,θ。~) = gauss s~ds) cos ( ) + (t-dt) sin ( ),び )
xgauss (— ― ) sin(( J + (t- ) cos ( ), ka^j ただし、 ( d s , d t)は画像間の真の変位で、 σはガウス関数の標準 偏差で、 kは異方性係数(k 〉 0 )で、 0 gは回転角度である。 O≤ 0 g ≤ π Ζ 2の範囲を考慮する。
2
比較のため、 ここで取り上げた 2次元画像モデルから得られる S S D 自己類似度の例と上記数 1 6の類似度の例を第 1 1 図に示す。 ただし、 ( d s , d t ) = ( 0, 0 )、 0 g = O、 k = l と したときに、 2次元画像モデ ルから計算した離散的な自己類似度を最もよく近似するよ うに、 上記数 1 6 のパラメータを数値計算で求めた。
以上の説明は、 連続領域で行ってきたが、 実際の画像データから得ら れる類似度は、 画素単位でのサンプリ ングになっている。 この様子を第 1 2図に示す。 本発明の実施例 1 に係る 2次元推定方法は、 このよ う に 離散化単位で得られた 2次元類似度を用いて、 連続領域での類似度最大 値を与える 2次元変位を高精度に推定するものである。
( 2 ) 本発明の実施例 1 に係る 2次元推定方法
( 2— 1 ) 本発明の実施例 1 に係る 2次元推定方法の原理く連続領域で の説明 >
ここでは、 前述した 2次元類似度モデルを使って、 本発明の実施例 1 に係る 2次元推定方法の原理を説明する。 本発明は、 離散化単位で得ら れた類似度値を使って、 連続領域での類似度最大値位置を高精度に推定 することを特徴と している。 ここでは、 本発明の実施例 1 の原理を連続 領域で説明する。
第 1 3図は 2次元類似度モデルを等高線で表示した図である。 この 2 次元類似度モデルのパラメータは、 (d s, d t ) = ( 0 . 2 , 0 . 4 )、 σ = 1 . 0、 k= 0 . 7、 0 ε = π / 6 である。 等高線は、 2次元類似度モデ ルの最大値に対して、 1 0 %から 9 0 %までレベルを示している。 2次 元類似度モデルの等高線は楕円になる。 この楕円の中心が、 2次元類似 度モデルの最大値位置である。 第 1 3図(a )には、 2次元類似度モデル の長軸を示してあるが、 この角度が回転角度 Θ gに相当する。
数 1 6 の 2次元類似度モデルを sで偏微分して 0 とおく ことで、 第 1 3図(b )の直線 s = a t + b を表す関係を得ることができる。
【数 1 7】
考慮する条件が k > 0なので、 上記数 1 7の各係数の分母≠ 0である 。 また、 2次元類似度モデルが等方性のとき、 つま り k = lのとき、 上 記数 1 7は s = d sとなり 、 推定誤差が発生しない。 本発明の実施例 1 では、 この直線を水平極値線 H E L (Horizontal Extremal Line)と称す る。 H E Lは第 1 3図(b )の等高線を表す楕円と水平直線との接点を通 る。
一方、 数 1 6の 2次元類似度モデルを tで偏微分して 0 とおく ことで 、 第 1 3図(b )の直線 t = A s + Bを表す関係を得るこ とができる。 【数 1 8】
t = As + B
=
数 1 7 と同様に、 各係数の分母≠ 0である。 また、 k = l のとき、 数 1 8は、 t = d tとなり、 推定誤差が発生しない。 本発明の実施例 1 で は、 この直線を垂直極値線 V E L (Vertical Extremal Line)と称する。 V E Lは第 1 3図(b )の等高線を表す楕円と垂直直線との接点を通る。
H E L と V E Lの交点は、 数 1 6 の 2次元類似度モデルを異なる方向 に偏微分したときに、 どちらの方向にも 0になる点であり、 これは 2次 元類似度モデルの類似度値を最大にする位置に他ならない。 実際に、 こ
の交点を計算すると、
【数 1 9】 aB + b Ί
s = = as
Ι-αΑ t = = dt
1-aA
となり、 当然のこと'ながら 2次元類似度モデルの変位( d s , d t )を表 している。
このときの分母≠ 0は、 H E Lと V E Lが交点を持っための条件であ る。 分母を計算すると、 次のよ う になる。
【数 2 0】
(1— 2 ) sin cos (1-A:2) sin θρ cos θρ
― sin2 + :2cos26>g k2 sin2 ¾ + cos26>g
— — 2 _
[sin26g + k2 cos20g〕〔 2 sin20g + cos20g〕
kの範囲は k〉 0なので、 この分母 l — a A≠ 0である。
まとめると、 2次元類似度の s方向微分と t方向微分は、 H E Lと V E Lの 2直線で表すことができ、 この 2直線の交点が 2次元類似度の最 大値位置になっている。 従って、 本発明の実施例 1では、 離散化単位で 得られた類似度値を使って H E Lと V E Lを求め、 その交点を計算すれ ば、 2次元サブピクセル推定を行う ことができる。
( 2— 2 ) 本発明の実施例 1 に係る 2次元推定方法の実装方法 <離散領 域への適用 >
以下では、 離散的に算出された画像間の類似度値を利用して、 連続領 域における類似度最大値位置を推定する本発明の実施例 1 に係る 2次元
推定方法を具体的に説明する。
まず、 離散的に得られている類似度値を使って、 H E Lを求める。 H E Lは水平方向について類似度最大値を通る直線なので、 2本以上の水 平ライン上でのサブピクセル類似度最大値位置が決定すれば、 H E Lを 求めることができる。 この様子を第 1 4図(a )に示す。 同心楕円は 2次 元類似度モデルの等高線を表す。 口位置で離散的に得られた類似度値を 使って、 直線で示す H E Lを求める。
第 1 4図(a )において、 直線 t = 0上での最大類似度を与える位置を ( (,=o),0)、 変位位置( s, t )での類似度を R ( s, t )とする と、
【数 2 1 】
Λ R(-1,0)-R(l,0)
" 0)― 2R(-1, 0)― 4R( , 0) + 2^(1, 0)
この推定結果には、 前章で示したよ う に推定誤差が含まれるが、 この ことについては次節で述べる。 直線 t = _ 1上と直線 t = 1上での最大 類似度を与える位置をそれぞれ( (ί=_υ,- 1), ( (ί=1),ι)とすると、
【数 2 2】 → 2i?(-l + - 1)- 4 ( い- l) + 2i?(l + —ぃ- 1) 1-1
【数 2 3】
Λ ^(— 1+ 1)一 ?(l +i=い 1) .
dsit=l) 2?(- 1+ " 1)- 4? ( い 1)+ 2 +
ただし、 i t =_い i t = iは、 直線 t =一 1上と直線 t = 1上で最大 類似度を与える整数位置オフセッ トである (後述する) 。
これら 3点の最大類似度位置を通る直線が H E Lである。 実際には、 画像パターンや画像に含まれるノィズゃ画像間の相違などのために、 こ
れら 3点は完全には直線上には乗らない可能性があるので、 最小二乗で 近似直線を求める。 この 3点を最小二乗で近似する直線は、 下記数 2 4 で求めることができる。
【数 2 4】
s = at + b a )
次に、 離散化単位で得られた類似度値を使って、 V E Lを求める。 V E Lは垂直方向について類似度最大値を通る直線なので、 2本以上の垂 直ライン上でのサブピクセル類似度最大値位置が決定すれば、 V E Lを 求めることができる。 この様子を、 第 1 4図(b )に示す。 同心楕円は、 2次元類似度モデルの等高線を表す。 口位置で離散化単位で得られた類 似度値を使って、 直線で示す V E Lを求める。
第 1 4図(b )において、 直線 s == 0上での最大類似度を与える位置を (0, (=。))とすると、
【数 2 5】
Λ ― ^(Ο,-Ι)-^(Ο,Ι)
" =。)― 2^(0,— 1)— 4R(0, 0) + 2R(0, 1)
直線 s =— 1上と直線 s = 1上での最大類似度を与える位置をそれぞ れ
とすると、
【数 2 6】
d
tis→ 2?(-i
5-H
=_
1H^(-i^=-
1^(-i,H
=_
1)
【数 2 7 ]
ただし、 i s =— 、 i s = は、 直線 s =— 1上と直線 s = 1上で最大 類似度を与える整数位置オフセッ トである。
これら 3点の最大類似度位置を通る直線が V E Lである。 この 3点を 最小二乗で近似する直線は、 下記数 2 8で求めることができる。
【数 2 8】
t = As + B
H E L と V E Lの交点、 即ち、 数 2 4 と数 2 8の交点が、 連続領域に おける 2次元類似度最大値のサブピクセル推定位置( , になつている
【数 2 9】
~ _aB + D
"s : Ι-αΑ
~ Ab + B ところで、 数 2 6、 数 2 7における直線 t =一 1上と直線 t = 1上で 最大類似度を与える整数位置オフセッ ト i t =—い i t = 1は、 必ずしも 0になる保証はない。 例えば、 第 1 5図( b )に示すのは、 ( d s , d t ) = (0 . 2 , 0. 4 )、 σ = 1 、 k= 0 . 3、 0 „ = π Ζ 8の 2次元類似度モ
デルだが、 このモデルに対する H E Lを求めるための、 直線 t =一 1上 の類似度最大値は s = _ 2付近にある。 従って、 ( を計算す るときには、 直線 t =一 1上と直線 t = 1上で最大類似度を与える整数 位置を再探索する必要がある。 垂直方向についても同様で
を計算するときには、 直線 s =— 1上と直線 s = 1上で最大類似度を与 える整数位置を再探索する必要がある。
このとき、 第 1 5図(b )に示す ± 3の範囲の類似度を使い、 一 2 ≤ i ≤ + 2を考慮している。 この探索範囲は、 多数の現実的な画像をもとに 決定した範囲である。 も しも、 2次元類似度モデルのパラメータ範囲に 制限がないとすると、 このときの再探索範囲は無限になってしま う。 そ の理由は、 ( d s, d t) = (0 , 0 )の と き、 数 1 7の H E Lについて、 下 記数 3 0の D (k, Θ g)を考えると、
D (k, 0 g)が最大値に近づく のは、 0 g→ O、 k→ 0のと きで、 D ( k, 0 g)→cos Θ g /sin 6 g→∞だ力、らである。 と ころで、 k→ 0のとき
、 2次元類似度の異方性が無限大になり、 H E Lと V E Lがほとんど一 致する。 もしもこのよ うな 2次元類似度を作り 出す画像があったと して も、 そのときには、 ほとんど同一になった H E Lと V E L上で類似度最 大値を検索すればよい。 たとえば、 数 3 0で D ( k , 0 g )→∞のと きに は、 V E L上の 3点(-1, —,)), (0, i(i=0)), (1, =υ)における類似度値を 求め、 パラボラフィ ッティ ングを行えばよい。
従来の 1次元推定では、 第 1 5図(a )に示す 5個の類似度値を用いて サブピクセル位置を推定していた。 このとき、 直線 t = 0上の 3点の類 似度(口印)を用いてサブピクセル推定を行って水平方向サブピクセル変 位(·印)と した。 また、 直線 s = 0上の 3点の類似度(口印)を用いてサ ブピクセル推定を行って垂直方向サブピクセル変位(鲁印)と した。 第 1 5図( a )に示す 2直線の交点が従来手法で求めた 2次元サブピクセル推 定値だが、 大きな推定誤差を含むことがわかる。
これに対して本発明の実施例 1 に係る 2次元推定方法は、 第 1 5図( b )に示す 2 5個の類似度値を用いて 2次元サブピクセル位置を推定す る。 H E Lと V E Lの交点は、 正確に 2次元類似度のサブピクセル最大 位置を通るので、 推定は極めて高精度である。 さ らに、 本発明の実施例 1に係る 2次元推定方法の計算量の増加は、 従来の 「 1次元推定方法」 と比較してわずかである。 領域ベースマッチングでは、 大部分の計算時 間は類似度値を計算しているが、 本発明の実施例 1 に係る 2次元推定方 法では既に得られている類似度値を利用するので、 計算時間の増加は少 ない。
( 2— 3 ) 本発明の実施例 1 に係る 2次元推定方法とサブピクセル推定 誤差低減方法との組合せ
数 2 1から数 2 3、 数 2 5から数 2 7において、 3位置の類似度を使 つてパラボラフィ ッティングによってサブピクセル位置を推定するとき には、 推定誤差が発生する。 この推定誤差は、 補間画像を利用すること でキャンセルするこ とができる。
数 2 1 から数 2 3、 数 2 5から数 2 7において求めているサブピクセ ル位置は、 従来どおり の 1次元推定にすぎないので、 非特許文献 1 に記 載された、 推定誤差を低減できるサブピクセル推定方法 (以下、 本発明
の実施例 1 に係る 2次元推定方法と区別するために、 非特許文献 1 に記 載されたサブピクセル推定方法を 「サブピクセル推定誤差低減方法」 と 称する) をそのまま適用することができる。 ここでは簡単に適用方法を 説明する。
マッチングに使う 2次元画像関数を I ( u, V )、 I 2 ( u , V )とする とき、 水平方向捕間画像 I i ; u ( u, V )は、
【数 3 1 】 tu iu,v) = -{lx{u - v) + Ix (u,v)) と表すことができる。 ただし、 このときの(U, V )は整数である。 水平 方向補間画像 I ェ i u ( u , V )は、 I i ( u, V )に対して( 0 . 5, 0 )だけ変 位していると考えることができる。 この補間画像を使って、 次に示す S S D類似度でサブピクセル推定を行う と、 推定結果も(0 . 5 , 0 )だけ変 位していると考えることができるので、 その変位を補正した推定結果は 、 下記数 3 .2、 数 3 3で求めることができる。 . 【数 3 2】 +り)2
数 3 3 も数 2 1 と同様に推定誤差を含むが、 その位相が逆になつてい るので、 下記数 3 4によって推定誤差をキャンセルすることができる。 【数 3 4】
同様にして、 水平ライン t = _ l、 t = l について、
+ —「0.5
【数 3 6】
^ ¾(- i+ ,i)-¾(i+ い 1)
d t=1) 2¾(- 1 + /=1,1)- '¾ ( い 1)+ 2 (1+ =1,1)
ただし、 i t i t = は、 直線 t = _ 1上と直線 t = 1上で R; u ( s , t )の最大類似度を与える整数位置オフセッ トである。 これらの値 は、 数 2 2、 数 2 3 とは異なる可能性がある。 数 3 5 と数 3 6 を使って 、 下記数 3 7、 数 3 8によつて推定誤差をキャンセルすることができる
垂直方向についても同様である。 垂直方向捕間画像 I l i v (u, v )は
【数 3 9】
v ( ) = 10, v— 1) + ( , v)) と表すこ とができる。 ただし、 このときの(u, v )は整数である。 垂直 方向補間画像 I i i v ( u, V )は、 I i ( u , V )に対して( 0, 0. 5 )だけ変 位していると考えることができる。 この補間画像を使って、 次に示す S S D類似度でサブピクセル推定を行う と、 推定結果も(0 , 0. 5 )だけ変 位していると考えることができるので、 その変位を補正した推定結果は 、 下記数 4 0、 数 4 1で求めることができる。
【数 4 0】
Riv(s^ =∑ ( ft )_ + ゾ+り) 【数 4 1 】
一
数 4 1 も数 2 5 と同様に推定誤差を含むが、 その位相が逆になつてい るので、 下記数 4 2によつて推定誤差をキャンセルすることができる。 【数 4 2】
同様にして、 垂直ライン s = _ 1、 s = lについて、
【数 4 3】 _ ¾(- 1,- 1+ )- ¾(- U+ 一 J
dit{→ 2¾(-l,-H- =_1)-4¾(-l,s=_1) + 2¾(-l?l + i=_1)
【数 4 4】
^ 一 Riv(} - + -Riv{l )
it(→ 2¾(l5-l + z=1)-4¾(l,z=1) + 2i?,(l,l + z=1)
+ 「0.5
ただし、 i s = _ 、 i s =丄は、 直線 s =— 1上と直線 s = 1上で R i v ( s , t )の最大類似度を与える整数位置オフセッ トである。 これらの値 は、 数 2 6、 数 2 7 とは異なる可能性がある。 数 4 3 と数 4 4を使って 、 下記数 4 5、 数 4 6 によって推定誤差をキャンセルすることができる
数 3 4、 数 3 7、 数 3 8、 数 4 2、 数 4 5、 数 4 6で計算した各ライ ン上のサブピクセル推定値は、 従来の 1次元推定方法によって推定され たサブピクセル推定値と比較して、 推定誤差が低減されている。 従って 、 サブピクセル推定誤差低減方法によって推定されたこれらの推定結果 を使って、 更に本発明の実施例 1 に係る 2次元推定方法で 2次元サブピ クセル推定を行う こ とで、 よ り高精度な 2次元サプピクセル推定が可能 になる。
【数 4 7】
― _aB + b
ds l^S"
― Ab + B
d t = =^
1 1 - aA
補間画像は、 水平方向と垂直方向にそ.,れぞれ 1回ずつ作ればよいので
、 計算量の増加は 1次元推定と同程度である。
( 3 ) 本発明の実施例 1 に係る 2次元推定方法による推定誤差と従来の 推定方法による推定誤差との比較
以下では、 2次元画像間の変位推定で、 従来一般的に使用されている 各種推定方法による推定誤差を本発明の実施例 1 に係る 2次元推定方法 による推定誤差と比較する。 前述した 2次元画像を使用して推定誤差を 比較することで、 同じ画像に対する比較を行う。
2次元サブピクセル推定誤差は、 水平方向と垂直方向の推定誤差を考 える必要がある。 と ころが、 推定誤差に影響するのは、 2次元画像が持 つ 3パラメータ と画像間の 2次元入力変位の合計 5パラメータになるの で、 全てを網羅することは困難である。 そこで、 代表的な 2次元画像を 用いて、 各方法による推定誤差を比較する。
( 3— 1 ) 本発明の実施例 1 に係る 2次元推定方法
代表的な 2次元画像と して、 前述したコーナー画像を使用し、 パラメ
ータと して 0 g = O, π / 8 , π / 4、 θ c = π / 4 , σ image= 1 . 0を 考える。 0 ≤ 0 g≤ π / 4以外の 2次元画像は、 画像の左右を反転する こ と と、 濃淡を反転することで表現することができるが、 実際の検討は 、 さらに多く の 2次元画像、 回転角度、 コーナー角度を用いて行ってい る。 他の 2次元画像でも、 2次元類似度が同じよ うな形になるときには 、 サブピクセル推定誤差は同じ傾向を示す。
サブピクセル推定誤差低減方法を適用した本発明の実施例 1 に係る 2 次元サブピク セル推定方法における水平方向推定誤差 error s と垂直方 向推定誤差 error tは、 数 4 7 を使って、 下記数 4 8 で表すこ とができ る。
【数 4 8】
errors d -d s
errort = dt ~ at
サブピクセル推定誤差低減方法を適用しないときの本発明の実施例 1 に係る 2次元サブピクセル推定方法における水平方向推定誤差 error s と垂直方向推定誤差 error tは、 数 2 9 を使って、 下記数 4 9 で表すこ とができる。
【数 4 9】
errors =ds - ds
errors t ~ dt
Θ g = 0 , π / 8 , π / 4の 3画像に対する数 4 8、 数 4 9の 2次元 サブピクセル推定誤差を、 それぞれ第 1 6 図、 第 1 7図、 第 1 8図の( c ) (d )、 ( e ) ( f )に示す。 ( c )と (d )は、 それぞれサブピクセル推定 誤差低減方法を適用した本発明の実施例 1 に係る 2次元サブピクセル推 定方法における水平方向推定誤差 error s と垂直方向推定誤差 error tを
示す。 (e )と ( f )は、 それぞれサブピクセル推定誤差低減方法を適用し ないときの本発明の実施例 1 に係る 2次元サブピクセル推定方法におけ る水平方向推定誤差 error sと垂直方向推定誤差 error tを示す。
第 1 6図は、 0 g = O の画像を使った結果を示すが、 このときには 2 次元類似度に異方性が生じない。 第 1 7図と第 1 8図は、 それぞれ 0 g π Ζ 8 と π / 4の画像を使つた結果を示し、 このときには 2次元類似 度に異方性が生じているにもかかわらず、 サブピクセル推定誤差は極め て小さい。
( 3— 2 ) 従来の 1次元サブピクセル推定方法
従来の 1次元推定方法は、 数 2 1 と数 2 5で求めることができる。 ま た、 非特許文献 1 に記載されたサブピクセル推定誤差低減方法を適用し た推定値は、 数 3 4 と数 4 2で求めるこ とができる。 ここでは、 数 2 1 と数 2 5を使ったときの推定誤差を比較検討する。
【数 5 0】
errors =^it,-ds 訓 r t = s, - dt
Θ g = 0 , π / 8 , π Ζ 4の 3画像に対する上記数 5 0 のサブピクセ ル推定誤差を、 それぞれ第 1 6図、 第 1 7図、 第 1 8図の(g )、 (h )に 示す。 (g )と (h )は、 それぞれ従来の 1次元推定方法における水平方向 推定誤差 errorsと垂直方向推定誤差 error tを示す。
第 1 6図は、 0 g = O の画像を使った結果を示すが、 このときには 2 次元類似度に異方性が生じない。 このときには、 従来の 1次元推定方法 でも推定誤差が生じない。 第 1 7図と第 1 8図は、 それぞれ 0 ε = π / 8 と π / 4の画像を使った結果を示し、 このときには 2次元類似度に異 方性が生じるが、 このときには大きな推定誤差が生じる。 推定誤差の大
きさは、 異方性を持つ 2次元類似度の回転角度と真の画像間変位に依存 する。
( 3 - 3 ) 従来の濃度こ う配法によるサブピクセル推定
濃度こ う配法では、 画像間における対応位置に濃度変化がないことを 仮定して、 水平方向移動量と垂直方向移動量の 2つの未知数を含む拘束 条件を画素ごとに得る。 したがって、 この 2つの未知数はこのままでは 求めることができないため、 注目領域を設定し、 注目領域中での拘束条 件の 2乗和を最小にするよ うに、 繰り返し計算によつて未知数を求める 。 このよ う にして得られる変位量には画素単位という制約がなく 、 サブ ピクセル単位を得ることができる。
一方、 画像補間手法では、 注目領域と周囲の探索領域を離散化単位よ り も密に補間す'る。 密に補間した単位で、 類似度最大値を探索する。 こ のときには、 濃度こ う配法と異なり、 画像間の移動量に対する制限はな い。
この 2種類のサブピクセル変位推定方法は、 全く異なる実装に見え、 異なる手法と して扱われていたが、 本質的に同一のものであることが示 されている (非特許文献 5を参照) 。 ここでは、 補間画像を作るときに 用いる補間関数の次数によってサブピクセル変位推定誤差が変化する様 子を確認する。 そこで、 1次補間を利用した補間画像によるサブピクセ ル推定結果を、 濃度こ う配法による結果と見なす。 さ らに、 高次の補間 関数を利用した補間画像によるサブピクセル推定結果も検討する。
( 3— 4 ) 従来のバイ リニア画像補間によるサブピクセル推定
サブピクセル変位を求める 2枚の画像を I i C u ' v ) I 2 (u , v )と する。 これらの画像は離散化サンプリ ングされているとする。 すなわち 、 u , vは整数である。 また、 画像間の変位を( d s , d t)と したと きに
、 0 ≤ d 3≤ 1 , 0 d t≤ l とする。 画像間の真の変位がこの範囲に ないときには、 画素単位のマツチングによつて画像全体を移動する。 バイ リ ニァ補間( 2方向 1 次補間)を利用 したサブピクセル推定値
( , )は、 下記数 5 1で表すこ とができる。
【数 5 1】
Qs, dt)二 argmin ( (,ゾ) I (i, j)Y
I ft J) =ひ一 Χ1 - dt) , J) + ds - - dtVi + i, J)
+(1一 ds)d 2 ( 7 + 1) + d + 1,7 + 1)
ただし、 総和範囲は任意形状の注目領域、 argminは値を最小にするよ うな( , の組を求める演算を表す。
Θ g = 0 , π / 8 , π / 4の 3画像に対する上記数 5 1 のサブピクセ ル推定誤差を、 それぞれ第 1 6図、 第 1 7図、 第 1 8図の( i)、 ( j )に 示す。 ( i )と U )は、 それぞれ水平方向推定誤差 errors と垂直方向推 定誤差 errortを示す。
第 1 6図は、 0 g = 0 の画像を使った結果を示すが、 このときには 2 次元類似度に異方性が生じない。 このときには、 推定誤差が生じない。 第 1 7図と第 1 8図は、 それぞれ e g - Tc Z S と π / 4 の画像を使った 結果を示し、 このときには 2次元類似度に異方性が生じるが、 このとき 推定誤差が生じる。 推定誤差の大きさは、 異方性を持つ 2次元類似度の 回転角度と真の画像間変位に依存する。
この推定誤差は、 第 1 6図、 第 1 7図、 第 1 8図の(c; )、 (d )の結果 よ り も大きい。 すなわち、 本発明の実施例 1 に係る 2次元推定方法は、 従来のパイ リニァ補間によるサブピクセル推定方法よ り も高精度に変位 を推定することができる。 パイ リニア捕間によるサブピクセル推定方法
は濃度こ う配法と等価なので、 本発明の実施例 1 に係る 2次元推定方法 は、 従来の濃度こう配法よ り も高精度にサブピクセル変位を推定するこ とができるとも言える。
また、 濃度こ う配法に相当する推定誤差は、 第 1 6図、 第 1 7図、 第 1 8図の(g )、 (h )の 1次元推定方法の結果よ り もはるかに小さい。 す なわち、 従来広く利用されてきた、 領域ベースマッチングを画素単位で 行い、 サブピクセル変位は類似度を利用して 1次元推定する手法よ り、 濃度こ う配法ははるかに高精度に 2次元サブピクセル変位を推定するこ とができる。 このため、 領域ベースマツチングょ り も濃度こ う配法の方 が高精度という認識があつたが、 本発明の実施例 1 に係る 2次元推定方 法を用いることで、 濃度こ う配法より もさ らに高精度にサブピクセル変 位を推定することができる。
( 3— 5 ) 従来のバイキュービック画像捕間によるサブピクセル推定 補間画像を作るときに、 よ り高次の項まで考慮するこ とで、 高精度な 補間画像を作ることができる。 パイキュービック補間( 2方向 3次補間) は、 補間したいサブピクセル画素位置の周囲 4 X 4の画素値を使う補間 方法である。 バイ キュービック補間を利用 したサブピクセル推定値 ( , は、 下記数 5 2で表すことができる。
【数 5 2】
Qs, dt) = ai'gmin (I, (i, )― Im ( j)Y
3 ( ) = i i z
2( ノ- l) /2 ',ゾ'一 1) J2(/+l,ゾ'一 1) 2(¾7-1)
/2 ',ゾ) /2(/ +1,ゾ) ' + 2,ゾ) h lx2 x
/2( ゾ ·+ΐ) /2 ;ゾ+1) /2(/+1,ゾ+1) /2(+25;+1) h lx3
J2( ゾ +2) I2(U+2) /2(+1, +2) I2(i+2,j+2)
hx2 =h(Q—
¾ = (- 1- )
ky3 = (1 - dt)
hy4 = (2 - dt)
ただし、 総和範囲は任意形状の注目領域、 argminは値を最小にするよ う な Qs, の組を求める演算を表す。 このとき、 重み関数 h (x )は、 sine関数をもとに各種提案されていて、 下記数 5 3が多く用いられてい る。
【数 5 3】
(α + 2)| |3 -(α + 3)|χ|2 +1 (if| 1)
h{x) =
+Sa | χ | -4α (if 1<| |<2)
0 (otherwise) ただし、 a は調整パラメータで、 a =
られる。
また、 下記数 5 4 も多く用いられる。
B、 Cは調整パラメータで、 B = 1、 C = 0のときにはキュービック Bスプライ ンを近似し、 B = 0、 C = 0 · 5 のときには Catmull— Romキ ユ ービック特性になる。 このよ うに、 重み係数の選ぴ方によって補間特 性が異なる。 ここでは、 数 5 3 の重み関数において、 パラメータ a =— 0. 5 5 を採用した。 ただし、 画像処理の教科書等に最も多く紹介され ているのは a =— 1である。 両者の特性の差については後述するが、 a =— 0. 5 5はサブピクセル推定誤差を小さ くするよ うに数値的に決定 した。
Θ g O ' Tc Z S ' Ti / の 3画像に対する数 5 2 のサブピクセル推定 誤差を、 それぞれ第 1 6図、 第 1 7図、 第 1 8図の(k )、 ( 1 )に示す。 (k )と ( 1 )は、 それぞれ水平方向推定誤差 error s と垂直方向推定誤差 error t す。
第 1 6 図は、 0 g = O の画像を使った結果を示すが、 このときには 2 次元類似度に異方性が生じない。 このときには、 推定誤差が生じない。 第 1 7図と第 1 8図は、 それぞれ 0 ε = π Ζ 8 と π / 4の画像を使った 結果を示し、 このときには 2次元類似度に異方性が生じるが、 このとき 推定誤差が生じる。 推定誤差の大きさは、 異方性を持つ 2次元類似度の 回転角度と真の画像間変位に依存する。
この推定誤差は、 第 1 6図、 第 1 7図、 第 1 8図の 2次元推定(c )、 (d )の結果と同程度である。 すなわち、 本発明の実施例 1 に係る 2次元 サブピクセル推定方法は、 最適なパラメータを選択したときの高次補間
画像を使ったサブピクセル推定と同程度の高精度であるという ことがで さる。
ところで、 数 5 3におけるパラメータ a について、 具体的な計算例を 示して説明する。 数 5 3は、 sine関数を有限範囲で近似した重み係数と 考えるこ とができる。 パラメータ aは、 その近似特性を調節するもので ある。 第 1 9図(a )、 (b )に、 & =ー 0 . 5 5のときの 11 ( )と、 整数 位置に値を持つ 1次元関数 f ( i )の補間結果を示す。 f ( i )は、 数 7 で σ image = 0 . 7 と したものである。 また、 第 1 9図( c ) 、 ( d )に、 a = 一 1 . 0のときの h (x )と、 整数位置に値を持つ 1次元関数 f ( i )の補 間結果を示す。
a =— 1 . 0は、 多く の画像処理の教科書などでバイキュービック補 間と して紹介されるパラメータである。 sine関数を良く近似しているが 、 少なく ともここで検討した関数 f ( i )を良好に補間している とは言い 難い。 a =— 0 . 5 5は、 sine関数の近似と してはそれほど良く ないが 、 関数 f ( i )を良好に補間している。
第 1 6 図から第 1 8図では、 ノ、"ラメータ a =— 0 . 5 5を用いたが、 この値はサブピクセル推定誤差を小さくするよ うに数値的に求めた結果 である。 a =— 0 . 5 を用いる とパイ リ ニア補間の結果と同程度、 a = 二 1 . 0 を用いるとバイ リ ニア補間を用いたサブピクセル推定結果よ り も誤差が大きく なる。
( 3— 6 ) 各方法による推定誤差の総合比較
以下では、 2次元画像のパラメータをよ り広範囲に変更して、 各手法 のサブピクセル推定誤差を比較検討する。 2次元画像は、 前述したコ ー ナー画像を使用する。 考慮するパラメータ と して、 回転角度を 0 g = O , π / 1 6 , 2 π / 1 6 , 3 π / 1 6 , 4 π / 1 6、 コーナー角度を 0
c = π / 4 , π / 3を考える。 合計 1 0種類の 2次元画像に対する推定 誤差を検討する。 また、 σ image= 1. 0を考える。
画像間変位は、 — 0. 5 ≤ d s≤ + 0. 5、 — 0. 5 ≤ d t≤ + 0. 5の 範囲で、 0. 1 [画素]ごとに与える。 このとき、 2次元推定誤差の大き さ、 H - + - 2の RM S誤差を評価した。
評価したサプピクセル推定方法は、 前述した各方法の他に、 従来の 1 次元推定方法に対するサブピクセル推定誤差低減方法を適用した推定結 果も評価した。 したがって、
• サブピクセル推定誤差低減方法を用いた本発明の実施例 1 に係る 2次 元推定 ( 2 D— E E C)
• サブピクセル推定誤差低減方法を用いない本発明の実施例 1 に係る 2 次元推定 (2 D)
• サブピクセル推定誤差低減方法を用いた 1次元推定 (1 D— E E C)
• サブピクセル推定誤差低減方法を用いない 1次元推定 (1 D)
• パイ リ ニア補間を用いた 2次元推定 (B i — L i n e a r )
• パイキュービック補間を用いた 2次元推定(a =— 0. 5 5 ) (B i ―
C u b i c )
の 6種類の推定方法の推定誤差を評価した。 評価した結果を表 1 に示す
【表 1】
表 1から次のことが分かった。
まず、 サブピクセル推定誤差低減方法を用いた 1次元推定( 1 D— Ε E C)は、 回転角度 0 g = O のときには、 従来の 1次元推定( 1 D)に対 して推定誤差を低減できる。 しかし、 回転角度 0 G ≠ 0のときには差が 現れない。 回転角度 0 Gは、 異方性がある類似度の回転角度に対応する 次に、 バイ リニア補間( B i — L i n e a r )やパイキュービック補間 (B i — C u b i c )を用いた 2次元推定は、 1次元推定(1 D)に対して 推定誤差が 2桁程度小さい。 この差は歴然である。 バイ リニア補間(B i 一 L i n e a r )を用いた 2次元推定は、 濃度こ う配法に対応する。 濃度こ う配法が高精度にサブピクセル推定ができる と考えられてきた理 由はここにある。
それから、 パイキュービック補間( B i — C u b i c )を用いた 2次元 推定は、 パイ リニア補間(B i - L i n e a r )を用いた 2次元推定よ り も高精度である。 しかし、 重み関数のパラメータによって結果は異なる
。 重み関数のパラメータを調整するという ことは、 補間フィルタの特性 を調整することに対応する。 すなわち、 画像に対して適切な補間フ ィル タを選択することで、 画像補間を用いたサブピクセル推定手法では精度 を向上させることができる。
最後に、 サブピクセル推定誤差低減方法を用いた本発明の実施例 1 に 係る 2次元推定( 2 D— E E C )は、 バイキュービック補間(B i — C u b i c )を用いた 2次元推定よ り も推定誤差が小さ く 、 しかも、 パラメ ータ調整の必要がない。 サブピクセル推定誤差低減方法を用いた本発明 の実施例 1 に係る 2次元推定(2 D— E E C )は、 サブピクセル推定誤差 低減方法を用いない本発明の実施例 1 に係る 2次元推定(2 D )よ り も計 算コス トが大きい。 そこで、 計算コス トを重視して推定結果は濃度こ う 配法と同程度でよいときにはサブピクセル推定誤差低減方法を用いない 本発明の実施例 1 に係る 2次元推定(2 D )を利.用し、 さ らに高精度な推 定結果を得たいときにはサブピクセル推定誤差低減方法を用いた本発明 の実施例 1 に係る 2次元推定( 2 D— E E C )を利用する、 という使い分 けも可能である。
( 4 ) 本発明の実施例 1 に係る 2次元推定方法を実装したコンピュータ
- プログラムによる推定実験
本発明の実施例 1 に係る 2次元推定方法を実装したコ ンピュータ · プ ログラムを、 C P Uを備えた情報処理端末 (例えば、 パソコ ン、 ワーク ステーショ ン等のコ ンピュータ) に実行させることによって、 合成画像 及ぴ実画像を用いて、 2次元サブピクセル推定実験を行った。 なお、 本 発明でいう コ ンピュータ ' プログラムは、 便宜上プログラムと略して称 することもある。
( 4 - 1 ) 合成画像を使った推定実験
前述したコーナー画像を作り、 2次元サブピクセル推定実験を行った 。 作成した合成画像は、 8 bitモノ ク ロ画像で、 画像サイズが 6 4 X 6
4 [画素]で、 注目範囲が 1 1 X 1 1 [画素]である。 画像にノィズは含ま れない。 画像のパラメータは、 a iraage= 1 . 0、 コーナー角度 θ 。 = π Ζ 4、 回転角度 S g ^ O ' Tc Z S , ノ 4である。 画像間変位は、 一 0 . 5 ≤ d s ≤ + 0 . 5 , — 0 . 5 ≤ d t + 0 . 5の範囲で、 0 . 1 [画素]ごと に与えた。
第 2 0図に従来の 1次元推定と、 サブピクセル推定誤差低減方法を適 用した本発明の実施例 1 に係る 2次元推定についての結果を示す。 第 2 0図において、 計算結果をメ ッシュで、 実験結果を ·で表す。 実験結果 と計算結果との相違の原因は、 画像が 8 bit量子化階調 ( 2 5 6階調) であることが考えられる。 また、 大きく段差がある部分は、 整数での最 大類似度を探索した結果が隣の画素位置に移動してしまったためと考え ることができる。 このよ う に隣の位置に移動してしま う ことは、 従来の 1次元推定方法の根本的な欠点である。
( 4— 2 ) 実画像を使った推定実験
マッチングに利用する画像から得られる 2次元類似度の回転角度 0 g 0のときには、 従来の 1次元推定方法でも推定誤差は発生しないが、 0 g≠ Oのときには、 大きな推定誤差が生じる可能性がある。 そこで、 マッチングパターンと して 2種類のパターンを用いたターゲッ ト トラッ キング実験を行った。
使用したマッチングパターンは、 円形パターンと傾いたエッジパター ンである。 これらのパターンを第 2 1 図(a )、 (e )に示す。 円形パター ンの大きさは、 直径が約 4 1 [画素]である。 また、 これらのパターンの
5 S D自己類似度を第 2 1 図(b )、 ( f )に示す。
円形パターンの自己類似度は等方性なので、 従来の 1次元推定方法と 本発明の実施例 1 に係る 2次元推定方法のどちらでも、 推定誤差が小さ いこ とが予想できる。 一方、 傾いたエッジパターンに対応する自己類似 度は異方性でかつ傾いているので、 従来の 1次元推定方法では推定誤差 が大きく、 本発明の実施例 1 に係る 2次元推定方法では推定誤差が小さ いことが予想できる。
マッチングパターンを厚紙に印刷して、 トラッキングターゲッ ト と し た。 ターゲッ トは、 ネジ送り式リニアステージ上を直線的に移動する。 ターゲッ トの移動を約 2 5 0枚の時系列画像で撮影し、 最初の画像を参 照パターンと して使い、 以後の画像中からターゲッ トを トラッキングし た。 注目領域サイズは 6 0 X 6 0 [画素] (第 2 1 図(a )、 (e )中の黒い 矩形領域) で、 探索領域は移動予測位置に対して ± 8 ( 1 7 X 1 7 )であ る。 ターゲッ トは画像上で右下方向にゆっく り移動する。 マッチングが 正しくでき、 サブピクセル推定に誤差がなければ、 計測軌跡は直線にな る。 従来の 1次元推定方法と本発明の実施例 1 に係る 2次元推定方法の どちらにも S S D自己類似度を使用し、 サブピクセル推定誤差低減方法 を適用したパラボラフィ ッティングによるサブピクセル推定を行った。 第 2 1 図( c;)、 ( d )に、 トラッキングパターンと して円形パターン使 つたときの計測結果を示す。 第 2 1図( c )は従来の 1次元推定方法、 第 2 1図(d )は本発明の実施例 1 に係る 2次元推定方法を使った結果であ る。 どちらの場合も、 サブピクセル推定誤差が小さ く、 軌跡は良好な直 線になっている。
第 2 1 図( g )、 ( h )に、 トラッキングパターンと して傾いたエッジパ ターン使ったときの計測結果を示す。 第 2 1 図(g )は従来の 1次元推定 方法、 (h )は本発明の実施例 1 に係る 2次元推定方法を使った結果であ
る。 従来の 1次元推定方法では、 非常に大きなサブピクセル推定誤差が 発生しているこ とが明らかである。
本発明の実施例 1 に係る 2次元推定方法では、 トラッキングパターン によらず推定誤差が小さいが、 円形パターンのときより も計測軌跡が直 線から外れている。 この理由は、 2次元類似度が 2次元ガウスモデルと 異なるため、 H E Lと V E Lを直線近似するときに誤差が含まれること が原因と考えられる。
現実的には、 このよ うな トラッキングパターンを利用することはまれ である。 しかし、 この実験は、 従来の 1次元推定方法を使う と、 マッチ ングパターンによっては、 予想外に大きなサブピクセル推定誤差が発生 する可能性があることを示している。 この実験では、 対象が直線上を移 動していることがわかっているので、 サプピクセル推定誤差を確認する ことができた。 しかし、 たとえば、 異なる方向から撮影した複数の画像 を使って、 建築物の 3次元情報を再構築するときなどには、 傾いたエツ ジパターンの領域をマツチング領域と して利用することもある。 従来の 1次元推定方法では、 このよ うなときに大きな推定誤差が発生するとい う問題点があった。
なお、 本発明の実施例 1では、 水平極値線 H E Lと垂直極値線 V E L を求める際、 3点を最小二乗で近似する直線を求める代わり に、 3点を 通る 2次曲線と して求めるこ とによ り、 直線近似による誤差を低減する よ うに本発明の実施例 1 に係る 2次元推定方法を拡張することもできる
実施例 2及び実施例 3 :
本発明に係る画像のサブピクセルマッチングにおける多パラメータ高
精度同時推定方法の実施例 2及び実施例 3 を次のよ うに説明する。 本発 明の実施例 2及び実施例 3の着眼点は以下の通りである。
( A ) 平行移動と回転、 または、 平行移動と回転とスケール変化を画像 間対応パラメータ (本発明では、 略してパラメータとも呼んでいる) に して、 これらのパラメータを軸とする多次元空間 (本発明では、 パラメ ータ空間或いは多次元類似度空間とも称する) において離散的な位置で 得られた類似度を利用する。 類似度は離散的な位置で計算しておけばよ いので、 繰り返し計算の必要がない。
( B ) 離散的な位置で得られた類似度は、 多次元空間 (つま り、 パラメ ータ空間) における連続関数である類似度をサンプリ ングしたものであ る と考える。
( C ) 現実的な仮定の下に類似度をモデル化したとき、 多次元空間にお ける各軸 (つまり、 パラメータ空間における各パラメータ軸) で類似度 を偏微分して 0 とおく ことで得られる超平面は、 類似度の最大値または 最小値を通る。 例えば、 類似性評価関数に S A Dや S S Dが採用された 場合に、 超平面は類似度の最小値を通る。 また、 類似度評価関数に Z N C Cが採用された場合に、 超平面は類似度の最大値を通る。
( D ) このよ うな超平面は、 多次元空間の軸の数 (つま り、 パラメータ 数) だけ求めることができる。 これらの超平面の交点座標は、 多次元空 間における類似度の最大値または最小値を与えるパラメータ と一致する ため、 これらの超平面の交点座標を求めることで、 多次元空間における 類似度の最大値または最小値を与えるパラメータを同時に求めるこ とが できる。
本発明に係る画像のサプピクセルマッチングにおける多パラメータ高 精度同時推定方法は、 サンプリ ンググリ ツ ドで離散的に得られた評価値
を使って、 高精度なサブサンプリ ンググリ ツ ド、 n度の評価値最大位置ま たは最小位置を推定する方法と考えることがでさる 0
画像間の対応を平行移動のみに限定して考 るとき (つま り、 本発明 の実施例 1 の場合) には、 このサンプリ ンググリ ク ドは画像を構成する 画素に相当する。 このため、 画素単位以上に高精度な平行移動量の表現 と して、 サプピクセルという表現が適切だつた o 従つて、 肓 U述したよ う に、 本発明の実施例 1 に係る画像のサブピクセルマツチングにおける多 パラメータ高精度同時推定方法を 「 2次元サブピクセル推定方法」 と も 呼んでいる。
しかし、 平行移動と回転、 または、 平行移動と回転とスケール変化を 画像間対応パラメータにする場合の本発明、 つま り 、 本発明の実施例 2 及び実施例 3に係る多パラメータ高精度同時 定方法では、 画素やサブ ピクセルといった表現は一般性を欠いているのでヽ 以後ではそれぞれサ ンプリ ンググリ ッ ド、 サプサンプリ ングダリ ク という表現を採用する o
< 1 >実施例 2'に係る 3パラメータ同時推定方法
く 1 一 1 > 3パラメータ同時推定方法の原理
ここでは、 本発明の実施例 2に係る 3パラメ一タ同時推定方法の原理 を説明する。 本発明では、 画像間の対応を探索するときには、 何らかの 類似度評価関数を利用して、 類似度評価関数の最小または最大を探索す る。 このとき得られる類似度は、 用いる類似度評価関数によっても異な るが、 それ以上に入力と して扱う画像によって異なる。
ここでは、 具体的な入力画像や類似度評価関数には触れず、 画像間の 類似度を次の 3次元ガウス関数で近似して、 これを 3次元類似度モデル とする。
【数 5 5】
Rg (Sj ,s2,s3) = gauss (/j, σ) x gauss (t2 ,k2a)x gauss (ら, k3a gauss (x, σ) = e
ただし、 ( s い s 2 , s 3) は探索パラメータ (つま り、 画像間対応パ ラメータ) で、 σ はガウス関数の標準偏差で、 (k 2, k 3)は異方性係数 (k 2 , k 3 > 0 )である。 また、 ( t い t 2, t 3)は、 次のよ う に( s い s 2, s 3)に対して回転と平行移動を行った結果である。
【数 5 6】
0[2 Sl
h = «21 *¾2 a23 —
. .«31 ¾2 ¾_ 一 d3
— 1 0 -sin^ 0 a2l a22 0 cos cos 3 0
"31 ¾2 0 sin^,
0 1 ただし、 ((! ぃ d
2 , d
3 )は探索パラメータ( S い S
2, S
3 )の正解値で 、 ( θ ! , θ
2, θ
3 )はそれぞれ( S い S
2, S
3 )の各軸回り の回転角度で、 0 ≤ Θ い Θ
2 , Θ s ^ Tt Z Zの範囲を考慮する。
この 3次元類似度モデルを s い s 2, s 3で偏微分して 0 とおく と、 次 の 3平面を得ることができる。
【数 5 7】
^12^13 2 卜 ί 2 βつ— ) = 0
3 ノ
【数 5 9】
Π , Π 2, Π 3は、 3次元空間内 (つま り、 s , s 2 , s 3を軸とするパ ラメータ空間) の 3平面を構成している。 この 3平面の交点は、 明らか に(d い d 2, d 3)であり、 正解パラメータ と一致する。 3平面の交点が 求まらない条件は、 3次元類似度モデルが 3次元未満に縮退した場合で ある。 このよ うな条件では、 k 2, k 3 = 0または∞となり 、 3次元類似 度モデルの条件と一致しない。
< 1 一 2 > 3パラメータ同時推定方法の実装
以下では、 3パラメータ同時推定方法において、 サブサンプリ ンググ リ ツ ド推定値を求める具体的な方法を説明する。 例えば、 この 3パラメ ータは、 平行移動量(d s, d t)と回転角度 0 と考えることができる。
前節 『 3パラメータ同時推定方法の原理』 で示したよ うに、 パラメ一 タ空間における類似度値を各パラメータ軸に関して微分して 0 とおく こ とで、 各パラメータの最大値位置または最小値位置を通る 3平面を作る ことができる。 従って、 サンプリ ンググリ ッ ドにおいて得られた類似度 値を用いて、 この 3平面を推定することができれば、 各パラメータの類
似度値の最大位置または最小位置をサブサンプリ ングダリ ッ ドにおいて 求めることができる。
まず、 平面 Π の求め方を説明する。 平面 Π i上の点は、 s i軸に沿つ て類似度を微分した結果が 0になる点だから、 s 軸に平行な直線上の 類似度値を使ってサブサンプリ ング位置を推定することで、 平面 上 の点をいくつか求めることができる。 第 2 2図はパラメータ軸 s に関 する最大値を通る平面 Il iを説明するための模式図である。 第 2 2図で は、 類似度値が得られているサンプリ ング位置を正方形で、 S l軸に平 行な直線上で求めたサブサンプリ ング推定位置を黒丸で示している。 類 似度値のダリ ッ ド単位最大値位置は、 ( r i , r 2, r 3)である。
( S い S 2 , S 3 )における類似度値を R ( S い S 2 , S 3 )とする と、 R ( r ! + i ! , r s + i ^ r s + i slU i i ^ i s ^— 1, 0, 1 )の 2 7点 の類似度値を使って、 平面 上の 9個の点(p 1 (r 2 + i 2, r 3 + i 3 r 2 + i 2, r 3 + i 3)を推定することができる。 推定には、 次のパラボラフ ィ ッティ ングを用いることができる。
【数 6 0】
R i -l,r2+ i2, r3 +ら)一 R(r】 + 1, r2 + i2,r3土 )
ら,' ら)一 2R{rx -l5r2+¾5r3 + ¾ ) - 4R(rj ,r2+i2,r3+i3) + 2R(r +l,r2 +i2,r3+i3) また、 後述するよ うに、 パラボラフィ ッティ ングによる推定誤差を低 減する手法を適用することもできる。
数 6 0のパラボラフィ ッティングを行う ときには、 R ( r 1 , r 2 + i 2 , r 3 + i 3)の類似度値が最大であることを前提と しているが、 画像パ ターンによってはこの前提が成立しない場合もある。 たとえば、 画像に 含まれるテクスチャのせん断変形が極端なときには、 i 2 = i 3 = ± 1 の位置で R ( r ! , r 2 + i 2 , r 3 + i 3 )が最大値にならないこ とがある
。 このときにも(r 2 + i 2 , r 3 + i 3 )を通りパラメータ軸 S lに平行な 直線上でサブサンプリ ンググリ ッ ド推定位置を求める必要がある。 この 場合には、 この直線上のサンプリ ンググリ ッ ド上に求まっている類似度 値の最大値位置を探索し、 修正最大値位置 r ェ 'に関して数 6 0のパラボ ラフイ ツティ ングを行えばよい。
以後の説明では、 数式表記を簡略化するために、 s ! - r ,→ s x , s 2 - r 2→ s 2 , s 3 - r a→ s 3のよ う に各パラメータ軸に沿って( r 1 , r 2, r 3 )だけ平行移動して( r x , r 2, r 3 )をパラメータ軸の原点位置 と考える。 このよ うな平行移動は、 グリ ッ ド単位での類似度最大位置を 原点に移動すること と等しく 、 本発明に関する一般性を失う ものではな い。 本発明に係る多パラメータ高精度同時推定方法によって求めたサブ サンプリ ングダリ ッ ド位置を最終的に( r 1; r 2 , r 3 )と加算するこ とで 、 平行移動する前のサプサンプリ ンググリ ッ ド位置を簡単に計算するこ とができる。
平面 Πェ上にあると期待される 9点のサブサンプリ ングダリ ッ ド位置 は、 実際の画像ではノイズや画像間の変形の影響で、 完全には平面上に ない可能性がある。 このため、 これらの 9点を最小二乗法によって平面 Π にあてはめる。 具体的には、 9点と平面 Π との s 軸の沿った距離 の 2乗和を最小にするよ うに係数を決めればよい。 平面 Π は、 次のよ うに求めることができる。
【数 6 1 】
rij: 4 0
= (l,l) + A(1,0)
+ A(l,-1)
_ ^l(-l.l)
+ (-1,0)
+ (-l,-l)
=—3 Α(1,1) + (0,1) + (-l,l)― ( A(l-l) + (0-1) + Pl{-1,-1)
~ _2 (A(I,D + (o,i) + A(-i,i) + Α(ΐ,ο) + Pi( ,o) + (-i,o) +
(l-i) + i(o,— l) + A(-i-i)
となる。 同様にして、' 平面 π2, π3は、 次のよ う に求めるこ とができる
【数 6 2】
Π
2: A
2s
l + B
2s
2 + C
2s
3 + = 0
D =— ^ (^2(1,1) + ^2(0,1) + 2(-l,l) + ^2(1,0) + ^2(0,0) + 1,0) +
一 1) + ^(O-l) + - 1)
【数 6 3】
Π,: + B3s2 + C3s3 +D3 = 0
4=ー3 P3(l,l) + ^(Ι,Ο) + ^3(1-1)一— ^(-Ι,Ι) + 3(-1,0) + - 1,-1) =—3 ^3(1,1) + P3(0,l) + P3(-l,l)― I ^(l-l) + 3(0, - 1) + 3( - 1,一 1)
C3 = 18
A = -2 (^(l.l) + ^3(0,1) + ^(-Ι,Ι) + -^3(1,0) + -^3(0,0) + ^3(-1,0) +
^3(1,-1) + ^3(0,-1) + ^(-l -l) 平面 Πい Π 2 , Π 3の交点(^ , )が、 サブサンプリ ング推定位置で、 次のよ う に求めるこ とができる。
【数 6 4】
【数 6 5 】
く 2 〉実施例 3に係る Nパラメータ同時推定方法
< 2 — 1 〉 Nパラメータ同時推定方法の原理
ここでは、 本発明の実施例 3 に係る Nパラメータ同時推定方法の原理 を説明する。 パラメータ数が 3 よ り 多いときにも、 本発明では同様の考 え方でサブサンプリ ングダリ ッ ド高精度同時推定をすることができる。 s ェから s Nまでの N個のパラメータによって類似度値が決定する と き に、 類似度値を次のよ う にガウス関数の n個の乗算と して表現する。 【数 6 6 】
N
Rgn (s, A, σ, k) = Αγ[ gauss(si , kta)
z=l
ただし、 s は N次元類似度空間における座標を表す N次元べク トルで 、 Aは N次元空間での回転と平行移動を表す行列で、 kはガウス関数 の異方性係数べク トル(N— 1次元)である。
このと き、 数 6 6で表される N次元類似度モデルを s ; ( i = 1 , 2 , 〜, N)で偏微分して 0 とおく ことで、 次のよ うな N個の N次元関係式を 得ることができる。
これらの関係式を連立させて解く ことで、 N次元類似度のサブサンプ リ ンググリ ッ ド推定値を得ることができる。 つまり、 それらの関係式の 解は、 N次元類似度のサブサンプリ ンググリ ッ ド推定値になるわけであ る。 なお、 N次元類似度モデルが数 6 6のガウス関数乗算モデル近似か らずれると、 数 6 7は完全な超平面にはならないが、 このときには、 最 小二乗法などで超平面に近似すればよい。
く 2— 2 > Nパラメータ同時推定方法の実装
以下では、 Nパラメータのサブサンプリ ンググリ ッ ド同時推定を実際 に行う具体的な方法を説明する。 まず、 サブサンプリ ンググリ ッ ド同時 推定を行う ときに、 前提と してサンプリ ンググリ ツ ドでの類似度最大位 置はわかっており、 その(変位) 位置を r = ( r い r 2,…, r N)とする。 類似度値 Rをパラメータ軸 s ; ( i = 1, 2,…, N )について偏微分し た結果が 0 になる N次元超平面 Π;上には、 s ;パラメータ軸と平行な 直線上の類似度値 R ( r + C l ( i,— l )+ c 2 ( i , j )), R (r + C l ( i
, 0 ) + c 2 ( i ) j )), R (r + c 1 ( i , + l )+ c 2 ( i , j )) の 3つの値を パラボラフィ ッティ ングによってサブサンプリ ングダリ ッ ド推定した 3 N - 1個の位置、 c i, 1 ) p "C 2 ( i, j )) + c 2 ( i , j ) ( j = 1 , 2 , …, 3 N—つが存在する。 ただし、
【数 6 8】
(c })) i?(r + c - l) + c2( ))— i?(r + Cl(/,+l) + C2(,7))
' 2 2R(r + Cl (i, -1) + c2 (/, )) -4R(r + c, (i, 0) + c2 (i, j)) + 2R(r + cx (/, +1) + c2 (i, j)) である。
ここで、 c i ( i, k ) は、 i 番目の要素だけが値 k ( k = _ 1, 0, + 1 )であり、 他の要素は全て値 0であるよ う な N次元べク トルである。 たとえば、 c 丄 ( 3, 1 ) = ( 0, 0, 1, 0,…, 0 ) である。 また、 c 2 ( i , j )は、 i番目の要素が 0で、 他の各'要素は、 一 1 , 0, 1のいずれかの 値をと るよ う な ; ΐ 番目 ( j = 1, 2, ···, 3 Ν—リの N次元べク トルである 。 たとえば、 0 2 (3 , 1 )= (— 1,一 1, 0,ー 1,-", _ 1 )でぁる。
これらの 3 Ν— 1個の位置、 C l ( i, l ) p i (C 2 ( i, j )) + C 2 ( i, j )は、 N次元超平面 Π i上に存在するか、 少なく と も最小二乗の意味で N次元超平面 Il iにフィ ッ トする。 従って、 N次元超平面 Il iを
【数 6 9】
ai\S\ + ai2S2 +… + aiNSN = 1
と表すと、 3 N— 1個の位置、 C i ( i, 1 ) p i ( C 2 ( i, j ) ) + c 2 ( i , j
)に対して、
【数 7 0】
(/,1»2 ',1))+ (/,1)
Cl(,¾(c2(z,2)) + c2(,2)
Cl (/, ( - ' - —
の関係が得られる。 これを、 次のよ うに書き換える。
【数 7 1 】
MA =b!
ただし、 M iは、 3 N— 1行 N列の行列で、 a iは要素数 Nのベク トル である。 N次元超平面 Π iを表す係数 a ;は、 一般化逆行列を用いた最 小二乗法によって、 次のよ うに求めることができる。
このよ う にして求めた N個の N次元超平面 Il i ( i = 1, 2, ···, Ν)の 交点と して、 Νパラメ一タのサプサンプリ ングダリ ッ ド推定値を得るこ とができる。 この交点は、 次のよ うに求めることができる。
【数 7 3】
«11 -- α\Ν "1"
α23 ■ ■ . α2Ν S2
1
―
1
αΝ2 αΝ3 • ' αΝΝ―一 SN-
【数 7 4】
一 1
以上の方法で Nパラメータの同時推定を行う ことができるが、 実際に は N次元超平面 の式を、 同じ N個の未知数を含む次のよ う な形式に 表現してもよい。
【数 7 5】
ailSl + ai2 2 +■■■ + aiNSN一 aiN+l
aii = 1
その理由は、 N次元類似度関数が N次元対称になっても安定に超平面 の交点が存在するよ う にするためである。
また、 N次元超平面 Il i上の 3 N— 1個の位置を求めることで N次元超 平面の係数を求めたが、 この個数を減らすこと もできる。 たとえば、 N = 3のときには 3 N _ 1 = 9だが、 たとえば j = 3のときには、 具体的に 次のよ う になっている。
(- 1 , - 1 , 0 ) (0 , - 1 , 0 ) (+ 1 , - 1 , 0 )
(一 1 , 0 , 0 ) (0 , 0 , 0 ) (+ 1 , 0 , 0 )
(- 1 , + 1 , 0 ) ( 0 , + 1 , 0 ) (+ 1 , + 1 , 0 )
この中から、 次のよ うな組を採用することで、 個数を 2 (N_ 1 )+ 1 個にすることができる。
(0 , - 1 , 0 )
(- 1 , 0 , 0 ) (0 , 0 , 0 ) (+ 1 , 0 , 0 )
( 0 , + 1, 0 )
< 3 >本発明による実験結果と従来手法による実験結果との比較 第 2 3図に示す時系列画像を人工的に作成した。 この時系列画像は、 濃淡で表現した 2次元ガウス関数で構成されている。 この実験で用いた 2次元ガウス関数には方向性(異方性) があり 、 しかもその方向性が 0 または 9 0度以外の方向になるよ うに設定されている。 このため、 この 画像から計算する類似度にも異方性があり、 かつ回転角度が 0または 9 0度以外になる。
第 2 3図に示す画像は時系列画像の最初のフ レームで、 以後のフ レー ムは最初のフ レームに対して位置が変化せず回転角度だけがフ レームご とに 0 . 1度ずつ変化する。 時系列画像は全部で 3 1 フ レームあり、 最 終フレームは先頭フ レームに対して 3度回転した画像になっている。 こ れに対して画像の位置は回転中心に対して移動しない。
第 2 4図に、 最初のフ レームに対する以後のフ レームの回転角度を計 測した結果を示す。 +印で示す従来方法は、 画像を 6 X 6 = 3 6個の領 域に分割し、 各小領域ごとに平行移動量をマツチングによって計測し、 得られた平行移動量を使って回転角度を推定した結果である。 〇印で示 す本発明による方法は、 従来方法で計測した回転角度を初期推定値と し て本発明を適用し、 さ らに高精度に回転角度を計測した結果である。 フ レームごとに 0 . 1度ずつ回転角度が変化する状況が正確に計測できて いる
第 2 5図に、 最初のフレームに対する以後のフレームの位置を計測し た結果を示す。 +印で示す従来方法は、 画像を 6 X 6 = 3 6個の領域に 分割し、 各小領域ごとに平行移動量をマッチングによって計測し、 得ら れた平行移動量の平均と して位置を推定した結果である。 〇印で示す本 発明による方法は、 従来方法で計測した位置を初期推定値と して本発明
6 を適用し、 さ らに高精度に位置を計測した結果である。 位置が変化しな い状況が正確に計測できている。
く 4 >本発明の他の実施例
本発明に係る画像のサブピクセルマッチングにおける多パラメータ高 精度同時推定方法の他の実施例を以下のよ うに説明する。
< 4 - 1 〉サブピクセル推定誤差低減方法との組み合わせ
数 6 0でサブサンプリ ングダリ ッ ド推定位置を求める ときに、 3位置 の類似度を使ってパラボラフィ ッティ ングを用いているので、 この推定 値には固有の推定誤差を含んでいる。 この推定誤差は、 補間画像を利用 するこ とでキャンセルするこ とができる。 ここでは、 2パラメ ータのと きに画像間の水平方向変位に関するサブピクセル位置を推定するときを 例に説明する。
マッチングに使う 2次元画像関数を I i u ! v ) , I 2 ( u, v )とする と き、 S S Dとパラボラフィ ッティングによって推定する水平方向サブピ クセル位置は、 次のよ う に表すことができる。
【数 7 7】
ゝ
一方、 画像 I ( u , V )の水平方向補間画像 I i; u ( u, V )は、 【数 7 8】 (", = ("— 1, + Λ (u,v))
と表すことができる。 ただし、 このときの(u, v )は整数である。
水平方向補間画像 I l i u (u , v )は、 I i u' v )に対して(0. 5 , 0 ) だけ変位していると考えるこ とができる。 この補間画像を使って、 次に 示す S S D類似度でサブピクセル推定を行う と、 推定結果も(0. 5 , 0 ) だけ変位していると考えるこ とができるので、 その変位を補正した推定 結果は、 次式で求めるこ とができる。
【数 7 9】
RiuM= ∑ { iuj )-I2ii-s -t))2
【数 8 0】
― (— 1,0)— (ι,ο) 05
d t=0) 2¾ (- 1,0)— 4¾(0,0) + 2¾(1,0) '
数 7 8 も数 6 0 と同様に推定誤差を含むが、 その位相が逆になつてい るので、 次式によって推定誤差をキャンセルすることができる。
【数 8 1 】 ノ
く 4 _ 2 >ァフィ ンパラメータ推定
画像間の対応がァフイ ン変換で表現できるとき、 下記数 8 2の変形モ デル中の 6個のパラメータを決定する必要がある。
ただし、 (u 1 , ν 1 ), (u 2 , ν 2 )は、 それぞれ画像 I 1 , I 2を表す 座標で、 画像 I 2を変形して画像 I 1に合わせている。
離散的な位置で得られた類似度値を用いて、 この 6つのパラメータを 同時に高精度に推定することができる。
< 4 一 3 >射影パラメータ推定
画像間の対応が射影変換で表現できるとき、 下記数 8 3の変形モデル 中の 8個のパラメータを決定する必要がある。
【数 8 3】
a u2 + α2ν + aつ
a^u + a8v2 +丄
_ a4u2 + a5v2 + a6
i 一
aつ u2 + a8v^ + 1
ただし、 (u 1 , V 1 ) , ( u 2 , V 2 )は、 それぞれ画像 I 1, I 2を表す 座標で、 画像 I 2を変形して画像 I 1 に合わせている。
離散的な位置で得られた類似度値を用いて、 この 8つのパラメータを 同時に高精度に推定することができる。
< 4 - 4 >高速探索手法との組み合わせ
本発明によるサブサンプリ ングダリ ッ ド推定方法は、 サンプリ ンググ リ ッ ド単位での対応が正しく得られた後の高精度化処理と考えることも できる。 したがって、 サンプリ ンググリ ッ ド単位での探索には、 すでに 提案されている各種の高速化手法を用いることができる。
例えば、 画像の濃度情報を利用した高速探索手法と しては、 画像ビラ ミ ッ ドを用いた階層構造探索法、 S S Dや S A Dに上限値を設けて以後 の積算を打ち切る手法などがある。 また、 画像の特徴を利用する高速探 索方法と しては、 注目領域の濃度ヒス トグラムを利用する方法などがあ る。
なお、 本発明に係る画像のサブピクセルマッチングにおける多パラメ
ータ高精度同時推定方法を実装したコンピュータ ' プログラムを、 C P Uを備えた情報処理端末 (例えば、 パソコン、 ワークステーショ ン等の コ ンピュータ) に実行させることによって、 合成画像或いは実画像を用 いて、 多パラメータを同時に高精度に推定することができる。 発明の効果
以上のよ うに、 本発明によれば 画像間の平行移動、 回転、 スケーノレ 変化を同時に高精度に推定することができる。 即ち、 本発明に係る画像 のサブピクセノレマッチングにおける多パラメ一タ高精度同時推定方法に よれば、 画像間の対応に、 平行移動があるときだけでなく、 回転ゃスケ ール変化があるときにも、 繰り返し計算を利用することなく、 高精度に これらの画像間対応パラメータを 時に推定することができる。 本発明 では、 繰り返し計算を利用しないので 、 従来のよ うに計算ごとに画像を 補間する必要が全く ない。
また、 本発明によれば、 テンプレ一 画像を用いて少ない枚数の補間 画像を作成しておき、 これらの補間画像を用いた画像間の類似度値を利 用して、 平行移動と回転やスケール変化を同時に高精度に推定すること ができる。 本発明は、 一般的に利用されているよ うなパラメータ最適化 手法と異なり、 繰り返し計算を用いないため、 計算が容易でしかも計算 時間が予測可能で、 繰り返し計算を行う ときに問題となる収束性を保証 する必要もなく 、 初期値による不安定性も生じない。 つま り、 本発明に よれば、 従来方法において生じる収束性の問題や初期値の問題を排除す ることができる。 産業上の利用可能性
以下のよう に、 本発明を色々な画像処理分野に適用することができる 。 例えば、 リ モー トセンシングゃ航空写真を使った地図作製では、 複数 の画像をつなぎ合わせること、 つま りモザィキングを行う ことが多い。 このとき、 画像間の対応位置を求めるために、 領域ベースのマッチング を行う。 このときには、 対応が正しいことはもちろん、 対応が画素単位 よ り細かな分解能で求まることが重要になう。 さ らに、 多数の画像を利 用して対応を求めるので、 計算の高速性も重要である。 領域ベースマツ チングを使って画素分解能以上の対応を求めるときには、 画素単位のと ぴとびの位置で求まる類似度評価値を使って、 フィ ッティング関数によ るサブピクセル推定を行っているが、 このときに本発明を適用すること で、 計算時間の増加がわずかで、 はるかに高精度な対応位置を求めるこ とができる。
特に、 画像パターンに斜め成分が含まれる とき、 つま り、 地図作製な どで道路交差点などのパターンが画像座標系に対して傾いて撮影されて いるときに、 本発明の効果が一層発揮される。
また、 ステレオビジョ ンでは、 複数枚の画像間の対応位置を求めるこ とが基本的な処理であり、 このときの対応位置精度が最終的な結果精度 に大きく影響を及ぼす。 画像間の対応位置を求めるときには、 ェピポー ラ拘束などの拘束条件を利用するが、 ェピポーラ拘束条件自体を求める ときにも画像間の対応を調べる必要があり、 このときにはェピポーラ拘 束を利用できない。 従って、 本発明を適用することによって、 高精度に ェピポーラ拘束条件を求めることが可能になるため、 結果と して高精度 なステレオ処理を行う ことができるよ う になる。
さ らに、 M P E G圧縮を行う ときには、 隣接フレーム間の対応位置を 正確に求めることが、 高品質で高圧縮率を達成するために必要である。
隣接フレーム間の対応位置は、 通常は 1 Z 2画素単位で求めるが、 この ときには S ADや S S D類似度評価値を利用した 1次元の簡易手法を利 用しているため、 大きな誤差が含まれている可能性が在る。 と ころが、 本発明は、 従来の 1次元推定方法に対してわずかな計算量の増加で、 よ り確実で高精度な画像間の対応を求めるこ とができるため、 M P E G画 像生成の圧縮率を向上することが可能になる。 ぐ参考文献一覧 >
非特許文献 1 :
清水雅夫 · 奥富正敏, 「画像のマッチングにおける高精度なサブピク セル推定手法」 ,電子情報通信学会論文誌 D-II, 2001年 7月,第 J84- D- II卷 ,第 7号, P.1409-1418
非特許文献 2 :
清水雅夫 ' 奥富正敏, 「画像のマッチングにおける高精度なサブピク セル推定の意味と性質」 ,電子情報通信学会論文誌 D-II, 2002年 12月,第 : Γ85 - D - II巻,第 12号, p.1791-1800
非特許文献 3 :
マサオ - シミズ、 マサ トシ · オタ ト ミ (Masao Shimizu and Masatoshi Okutorai) , 「プリ サイ ス サブピクセル エスティ メ イ シヨ ン オン エリアべィセ ド マッチング (Precise Sub-Pixel Estimation on Area - Based Matching)」 ,プロク . 8th IEEE インターナショナル コンフ ア レンス オン コ ンピュータ ビジ ョ ン (ICCV2001) ( Proc. 8th IEEE International Conference on Computer Vision (ICCV2001) ) , ^ 7ナダ,ノ ンクーノ 一), 2001 7月, p.90-97
非特許文献 4 :
マサオ . シミズ、 マサ トシ · ォク ト ミ (Masao Shimizu and Masatoshi Okutomi), 「アン アナリ シス オフ サブピクセル エスティ メイ シ ヨ ン エラー オン エ リ アべイ セ ド イ メ ージ マ ッ チング (An Analysis of Sub-Pixel Estimation Error on Area-Based Image Matching)」 ,プロク . 14th イ ンターナショ ナル コ ンフ ァ レンス ォ ン デ ジ タ ル シ グナル プ ロ セ シ ン グ (DSP2002) ( Proc. 14th International Conference on Digital Signal Processing (DSP2002) ) , (ギリ シア,サン ト リー二), 2002年 7月,第 II巻, p.1239-1242 (W3B.4) 非特許文献 5 :
C . · クエンティ ン ' デイ ビス、 ゾハー ' Z . ' 力ノレ、 デニス · M . · フ ジ 一 マ ン (C. Quentin Davis, Zoher Z. Karu and Dennis M. Freeman), 「ィクイノくレンス オフ サブピクセル モーショ ン エス ティメイタス ベイセ ド オン オプティカル フロー アン ド プロ ック マッチング (Equivalence of subpixel mot ion estimators based on optical flow and block matching)」 , IEEE イ ンターナシ ョ ナル シ ン ポ ジ ウ ム フ ォ ー コ ン ピ ュ ー タ ビ ジ ョ ン 1995 ( IEEE International Symposium for Computer Vision 1995) ,、米国フ口 リ ダ 州), 1995年 11月,ρ.7-12
非特許文献 6 :
サムソン ' J . · ティモネー、 デニス · Μ. · フ リ ーマン(Samson J. Timoner and Dennis M. Freeman) , 「マノレチイ メーシ グラジェン トべ イセ ド アルゴリ ズム フォー モーシ ョ ン エスティ メ イ シ ヨ ン (Multi-image gradient-based algorithms for motion estimation)」 , オプテ ィ カル エンジニア リ ン グ ( Optical Engineering) , (米国 ), 2001年 9月,第 40卷,第 9号, p.2003-2016
非特許文献 7 :
ジョナサン · W. · ブラン ト (Jonathan W. Brandt), 「インプノレープ ド アキユラシ イン グラジェン トべイセ ド オプティカル フロー ェ ス テ ィ メ シ ヨ ン (Improved Accuracy in gradi ent— based Optica丄 Flow Estimation)」,イ ンターナショナノレ ジャーナル オフ コンビュ ータ ピショ ン ( International Journal of Computer Vision) , (米国 ) , 1997年,第 25卷,第 1号, p.5-22
非特許文献 8 :
Q . ' テン、 M. · Ν , ' ヒ ユーニッス (Q. Tian and M. N. Huhns), 「ァノレ ゴ リ ズム フ ォ ー サブ ピ ク セノレ レ ジス ト レイ シ ヨ ン (Algorithms for Subpixel Registration) J , コンピュータ ヒシヨ ン, グ ラ フ ィ ッ ク ス ア ン ド イ メ ー ジ プロ セ シ ング ( Computer Vision, Graphics and Image Processing) , (米国 ), 1986年, 第 35'号 , p.220-233
非特許文献 9 :
ショ ーン ' ボーマン、 マーク · Α. · ロ ノく ー ト ソン、 ロ ノ ー ト ' L .
• ステ ィ ブンソ ン (Sean Borman, Mark A. Robertson and Robert L. Stevenson) , 「プロ ックマッチング サブピクセノレ モーショ ン エス ティ メイシヨ ン フロム ノイジ一,アンダ サンプル ド フ レーム ス アン ェンパ イ リカノレ ノ フォーマンス エ バ リ ュ エーショ ン
(Block-Matching Suo - Pixel Motion Estimation from Noisy, Under- Sampled Frames An Empirical Performance Evaluation)」 , SPIE ビ ジュアル コ ミ ューニケイシヨ ンズ アン ド イメージ プロセシング 1999 ( SPIE Visual Communications and Image Processing 1999) , (米 国力 リ フォルニァ州 )