JP5712925B2 - 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム - Google Patents

Description

本発明は、画像変換パラメータ算出装置、画像変換パラメータ算出方法および画像変換パラメータ算出プログラムに関する。

同一対象物を撮影した場合であっても、カメラ位置のずれ等の原因により、画像内における物体の位置がずれることがある。このような場合に、一つの画像を変換して、その画像に含まれる物体の位置が他の画像におけるその物体の位置と同じになるように、画像の位置合わせを行う。このような画像の位置合わせを行う変換の変換パラメータを求める手法は、特徴点ベースの手法と領域ベースの手法に分類できる。

特徴点ベースの手法は、位置合わせの対象とする２つの画像からそれぞれ特徴点を抽出し、画像間で特徴点を対応付けて、変換パラメータを求める手法である。

領域ベースの手法は、画像同士の輝度（画素値）の差が最小になるような変換を特定する方法である。この方法として勾配法が知られている。また、領域ベースの手法は、ルーカス・カナデ法（Lucas Kanade法）とも呼ばれている。

領域ベースの手法が、非特許文献１に記載されている。非特許文献１に記載された方法では、変換パラメータの更新量を求め、変換パラメータを更新することを繰り返しながら、変換パラメータを収束させる。非特許文献１では、変換パラメータの更新の態様を、加法的アルゴリズム（Additive Algorithm）と、合成的アルゴリズム（Compositional Algorithm ）とに分類している。加法的アルゴリズムは、変換パラメータに、変換パラメータの更新量を加算することによって、変換パラメータを更新するアルゴリズムである。合成的アルゴリズムは、変換パラメータに対して、変換パラメータの更新量を合成することによって、変換パラメータを更新するアルゴリズムである。

また、非特許文献１では、一方の画像を変換してもう一方の画像（基準画像）に合わせる場合に、変換される側の画像と基準画像のどちらに基づいて、変換パラメータの更新量を導出するかという観点から、フォワードアルゴリズムと、インバースアルゴリズムに分類している。フォワードアルゴリズムは、変換される側の画像に基づいて変換パラメータの更新量を求めるアルゴリズムである。インバースアルゴリズムは、基準画像に基づいて変換パラメータの更新量を求めるアルゴリズムである。

加法的アルゴリズムおよび合成的アルゴリズムが、それぞれフォワードアルゴリズムとインバースアルゴリズムに分類できるので、４種類のアルゴリズムが得られる。

また、非特許文献１に記載された方法を発展させた画像位置合わせ方法が特許文献１に記載されている。特許文献１に記載された方法では、入力画像と基準画像との位置合わせを行う際に、基準画像に注目領域を設定し、注目領域の全画素から、その注目領域の全画素より少ない画素を選択し、選択した画素のみを利用して、変換パラメータを推定する方法が記載されている。注目領域の全画素から、その全画素より少ない画素を選択する方法として、注目領域内の画素を空間的に間引く方法が示されている。より具体的には、注目領域内の画素から、空間的にとびとびの画素を選択することが示されている。例えば、注目領域内の画素に対して１０画素おきのとびとびの画素を選択することが示されている。

また、特許文献１には、基準画像の全ての画素の変形パラメータに対する偏微分に基づき、画素を選択することも記載されている。より具体的には、画素毎に、偏微分を判断し、その偏微分が閾値より大きい画素を選択することが示されている。また、画素毎に、偏微分から計算される重要度を判断し、その重要度が閾値より大きい画素を選択することも示されている。

また、特許文献２には、階層型ルーカス・カナデ法（Pyramidal Lucas Kanade法）が記載されている。階層型ルーカス・カナデ法では、位置合わせの対象とする画像間の変形の度合いが大きい場合でも、位置合わせができる。

特開２００９−１０４２２８号公報 特開２００９−１１６７３０号公報

エス． ベイカー（S. Baker），アイ． マシューズ（I. Matthews）、「ルーカス・カナデ ２０ イヤーズ オン： ア ユニファイング フレームワーク（Lucas-Kanade 20 Years On: A Unifying Framework）」，インターナショナル ジャーナル オブ コンピュータ ビジョン（International Journal of Computer Vision），第５６巻，第３号，pp.221-255，２００４年

特徴点ベースの手法には、適切な特徴点を抽出できない場合や、特徴点同士の対応付けが正確に行えない場合に、変換パラメータの精度が低下するという問題があった。

また、一般に、領域ベースの手法では、計算量が多いため高速に処理を実行することが困難であった。特許文献１に記載の方法では、選択した画素のみを利用して、変換パラメータを推定することによって、計算量を減少することができる。しかし、画像の大きさ（すなわち、画像内の画素数）に処理量が依存し、画像の大きさが巨大になれば、処理量は増加してしまう。例えば、特許文献１には、１０画素おきのとびとびの画素を選択する場合が示されているが、画像が大きくなるほど、選択する画素数も増加し、その結果、処理量が増加してしまう。特許文献２に記載された階層型ルーカス・カナデ法でも、処理対象画像が大きくなれば処理量が増加する。

また、特許文献１に記載された方法では、画素を空間的に間引く。この方法では、画像の画素値に周期性があると、選択した画素の画素値に偏りが生じてしまうという問題も生じる。例えば、画素を空間的に間引いて画素を選択するときの選択画素同士の間隔と、画素値の変化の周期が一致すると、選択した画素の画素値がいずれも同様の値になってしまい、精度よく変換パラメータを算出することができない。

そこで、本発明は、位置あわせの対象となる画像の大きさに依存しない処理量で、精度よく、画像位置あわせの変換パラメータを算出することができる画像変換パラメータ算出装置、画像変換パラメータ算出方法および画像変換パラメータ算出プログラムを提供することを目的とする。

本発明による画像変換パラメータ算出装置は、第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択する画素選択手段と、画素選択手段によって選択された画素である選択画素に関して、選択画素に対応する第２の画像の画素を変換したときの変換後の画素位置における画素値と第１の画像内の選択画素との差分を用いて変換パラメータの更新量を算出し、第２の画像の画素に対する変換の変換パラメータにその更新量を合成または加算することによって変換パラメータを更新する処理を、更新量が更新量に関する閾値よりも小さくなるまで繰り返すことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出するパラメータ導出手段とを備え、画素選択手段が、第１の画像からランダムに画素を抽出する画素抽出手段と、画素抽出手段によって抽出された画素の偏微分が画素の偏微分に関する閾値以上であるか否かを判定し、画素の偏微分が閾値以上であることを条件に、その画素を変換パラメータの導出に用いる画素として選択する基準判定手段とを含むことを特徴とする。
また、本発明による画像変換パラメータ算出装置は、第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択する画素選択手段と、画素選択手段によって選択された画素である選択画素に関して、選択画素に対応する第２の画像の画素を変換したときの変換後の画素位置における画素値と第１の画像内の選択画素との差分を用いて変換パラメータの更新量を算出し、第２の画像の画素に対する変換の変換パラメータにその更新量を合成または加算することによって変換パラメータを更新する処理を、更新量が更新量に関する閾値よりも小さくなるまで繰り返すことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出するパラメータ導出手段とを備え、画素選択手段が、第１の画像からランダムに画素を抽出する画素抽出手段と、画素抽出手段によって抽出された画素が第１の画像のノイズ領域の画素であるか否かをバイラテラルフィルタによって判定し、画素がノイズ領域の画素でないことを条件に、その画素を変換パラメータの導出に用いる画素として選択する基準判定手段とを含むことを特徴とする。

また、本発明による画像変換パラメータ算出方法は、第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択し、選択画素に対応する第２の画像の画素を変換したときの変換後の画素位置における画素値と第１の画像内の選択画素との差分を用いて変換パラメータの更新量を算出し、第２の画像の画素に対する変換の変換パラメータにその更新量を合成または加算することによって変換パラメータを更新する処理を、更新量が更新量に関する閾値よりも小さくなるまで繰り返すことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出し、第１の画像からランダムに画素を抽出し、抽出した画素の偏微分が画素の偏微分に関する閾値以上であるか否かを判定し、画素の偏微分が閾値以上であることを条件に、その画素を変換パラメータの導出に用いる画素として選択することを特徴とする。
また、本発明による画像変換パラメータ算出方法は、第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択し、選択画素に対応する第２の画像の画素を変換したときの変換後の画素位置における画素値と第１の画像内の選択画素との差分を用いて変換パラメータの更新量を算出し、第２の画像の画素に対する変換の変換パラメータにその更新量を合成または加算することによって変換パラメータを更新する処理を、更新量が更新量に関する閾値よりも小さくなるまで繰り返すことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出し、第１の画像からランダムに画素を抽出し、抽出した画素が第１の画像のノイズ領域の画素であるか否かをバイラテラルフィルタによって判定し、画素がノイズ領域の画素でないことを条件に、その画素を変換パラメータの導出に用いる画素として選択することを特徴とする。

また、本発明による画像変換パラメータ算出プログラムは、コンピュータに、第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択する画素選択処理、および、画素選択処理で選択された画素である選択画素に関して、選択画素に対応する第２の画像の画素を変換したときの変換後の画素位置における画素値と第１の画像内の選択画素との差分を用いて変換パラメータの更新量を算出し、第２の画像の画素に対する変換の変換パラメータにその更新量を合成または加算することによって変換パラメータを更新する処理を、更新量が更新量に関する閾値よりも小さくなるまで繰り返すことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出するパラメータ導出処理を実行させ、画素選択処理で、第１の画像からランダムに画素を抽出する画素抽出処理、および、画素抽出処理で抽出された画素の偏微分が画素の偏微分に関する閾値以上であるか否かを判定し、画素の偏微分が閾値以上であることを条件に、その画素を変換パラメータの導出に用いる画素として選択する基準判定処理を実行させることを特徴とする。
また、本発明による画像変換パラメータ算出プログラムは、コンピュータに、第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択する画素選択処理、および、画素選択処理で選択された画素である選択画素に関して、選択画素に対応する第２の画像の画素を変換したときの変換後の画素位置における画素値と第１の画像内の選択画素との差分を用いて変換パラメータの更新量を算出し、第２の画像の画素に対する変換の変換パラメータにその更新量を合成または加算することによって変換パラメータを更新する処理を、更新量が更新量に関する閾値よりも小さくなるまで繰り返すことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出するパラメータ導出処理を実行させ、画素選択処理で、第１の画像からランダムに画素を抽出する画素抽出処理、および、画素抽出処理で抽出された画素が第１の画像のノイズ領域の画素であるか否かをバイラテラルフィルタによって判定し、画素がノイズ領域の画素でないことを条件に、その画素を変換パラメータの導出に用いる画素として選択する基準判定処理を実行させることを特徴とする。

本発明によれば、位置あわせの対象となる画像の大きさに依存しない処理量で、精度よく、画像位置あわせの変換パラメータを算出することができる。

本発明の第１の実施形態の画像変換パラメータ算出装置の例を示すブロック図である。 第１の実施形態の処理経過の例を示すフローチャートである。 前処理（ステップＳ２）の処理経過の例を示すフローチャートである。 変換パラメータ計算処理（ステップＳ３）の処理経過の例を示すフローチャートである。 本発明の第２の実施形態の画像変換パラメータ算出装置の例を示すブロック図である。 第２の実施形態における画素選択処理の処理経過の例を示すフローチャートである。 本発明の第３の実施形態の画像変換パラメータ算出装置の例を示すブロック図である。 第３の実施形態の処理経過の例を示すフローチャートである。 第３の実施形態における１回目の前処理で∇Ｔ_Ｒの計算に用いるフィルタの例を示す説明図である。 本発明の第４の実施形態の画像変換パラメータ算出装置の例を示すブロック図である。 第４の実施形態の処理経過の例を示すフローチャートである。 本発明の最小構成の例を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。
加法的アルゴリズムと合成的アルゴリズムのいずれか一方と、フォワードアルゴリズムとインバースアルゴリズムのいずれか一方とを組み合わせることで４種類のアルゴリズムが得られる。本発明は、この４種類のアルゴリズムのいずれも適用可能である。以下の説明では、合成的アルゴリズムとインバースアルゴリズムとの組み合わせを本発明に適用した場合を例にして説明する。なお、合成的アルゴリズムとインバースアルゴリズムとを組み合わせたアルゴリズムを、以下、インバース・コンポジショナルアルゴリズムと称する。

実施形態１．
図１は、本発明の第１の実施形態の画像変換パラメータ算出装置の例を示すブロック図である。以下の説明では、本発明の画像変換パラメータ算出装置１が基準画像を保持し、外部から入力される入力画像内の物体の位置を基準画像内の物体の位置に合わせるように入力画像を変換する変換パラメータを算出する場合を例にして説明する。ただし、基準画像も入力画像と合わせて外部から入力される構成であってもよい。なお、以下の説明において、基準画像を記号Ｔで表し、入力画像を記号Ｉで表す場合がある。

本発明の画像変換パラメータ算出装置１は、画素選択手段２と、選択画素記憶手段５と、パラメータ導出手段６とを備える。

画素選択手段２は、基準画像からランダムに画素を選択する。基準画像から選択する画素数は、予め定めておけばよい。

基準画像および入力画像の画素数が一定数に定められている場合には（すなわち画像の大きさが固定的に定められている場合には）、基準画像から選択される画素の位置を予め所定数だけ決定しておけばよい。この画素選択位置は、規則性のないランダムな位置として予め決定しておく。この場合、画素選択手段２は、基準画像内の画素のうち、予め決定されている各画素選択位置から画素を選択すればよい。このように画素を選択すれば、基準画像の画素数が一定であるという前提の元で基準画像を入れ替えても、ランダムに画素を選択することができる。

また、画像位置合わせに用いる基準画像の画素数が一定数であるとは限らない場合には、画素選択手段２は、例えば、ｘ座標、ｙ座標それぞれに関して、画素の座標の最小値から最大値までの範囲で乱数を発生させ、発生させた乱数を座標値とする画素を選択すればよい。あるいは、画素選択手段２は、発生させる個々の乱数から画素を一意に特定できるように乱数を発生させ、発生させた乱数から一意に定まる画素を選択してもよい。そして、画素選択手段２は、乱数を発生させ、乱数によって定まる画素を選択する処理を所定回繰り返せばよい。なお、この場合、同一乱数が重複して発生すると、選択する画素も重複し、選択する画素数は、乱数発生回数より少なくなる。すなわち、所望の画素数を選択するために、乱数を所定回数発生させても、選択する画素数は所望の数より少なくなる場合があり得る。しかし、そのような画素の減少は無視できる程度である。画素選択手段２は、乱数が重複して発生した場合に、所望の画素数が得られるまで乱数発生回数を増加してもよいが、その分、処理量が増える。そのため、画素選択手段２は、乱数を発生させて画素を選択する処理を所定回数繰り返した時点で、画素選択を終了してもよい。

また、画素選択手段２は、基準画像の全画素をランダムな順番に並べた、画素のランダムな集合を作成し、その集合から、所定数の画素を選択してもよい。この場合にも、ランダムに画素を選択することができる。

なお、上記の画素選択処理は例示であり、画素選択手段２による画素選択処理は、上記の例に限定されない。画素選択手段２は、基準画像の画素をランダムに選択する処理であれば、他の方法で基準画像から画素を選択してもよい。

以下、画素選択手段２が基準画像Ｔから選択した各画素（選択画素）を記号で表す場合、記号Ｔ_Ｒで表すこととする。ただし、記号Ｔ_Ｒを用いずに、単に「選択画素」等のように記す場合もある。

選択画素記憶手段５は、画素選択手段２によって選択された基準画像の画素の位置および画素値（輝度値）を記憶する記憶装置である。画素選択手段２は、選択した画素の位置および画素値を選択画素記憶手段５に記憶させる。なお、画素選択手段２は、選択画素の位置として、例えば、座標を記憶させればよい。また、画素選択手段２が発生させる個々の乱数から画素を一意に特定でき、乱数の値が画素の位置を表す場合には、画素選択手段２は、座標ではなく、発生させた乱数の値を選択画素の位置を示す情報として記憶させてもよい。

パラメータ導出手段６は、画素選択手段２に選択された選択画素に関して処理を行うことによって、入力画像を基準画像に合うように変換させる変換パラメータを導出する。パラメータ導出手段６は、画素選択手段２に選択されていない画素に関する処理は実行しない。

パラメータ導出手段６は、前処理手段３と、パラメータ計算手段４とを含む。パラメータ計算手段４は、変換パラメータの更新量を求め、変換パラメータを更新することを繰り返すことによって、入力画像を基準画像に変換するための変換パラメータを決定する。このとき、パラメータ計算手段４は、予め定められた変換パラメータの初期値から処理を開始すればよい。この初期値から変換パラメータを更新していくことによって、パラメータ計算手段４は、変換パラメータを決定する。前処理手段３およびパラメータ計算手段４は、選択画素記憶手段５に記憶された選択画素の位置および画素値を参照して、選択画素に関して処理を行う。

前処理手段３は、パラメータ計算手段４の処理の前処理を実行する。

前処理手段３は、微分手段３１と、パラメータ更新量計算前処理手段３２とを有する。

微分手段３は、基準画像Ｔから選択した画素Ｔ_Ｒにおける微分（勾配）を計算する。この微分を、∇Ｔ_Ｒと表す。微分手段３は、各選択画素Ｔ_Ｒに関して∇Ｔ_Ｒを計算する。個々の選択画素について∇Ｔ_Ｒを計算する際に、微分手段３は、∇Ｔ_Ｒの計算対象としている選択画素の周辺の画素の画素値を用いる。すなわち、微分手段３は、基準画像Ｔ全体から∇Ｔ_Ｒを計算するのではなく、選択画素の周辺の画素から∇Ｔ_Ｒを計算する。本実施形態では、微分手段３は、選択画素に隣接する画素の画素値から∇Ｔ_Ｒを計算する。具体的な∇Ｔ_Ｒの計算方法については後述する。

パラメータ更新量計算前処理手段３２は、パラメータ計算手段４による変換パラメータの更新量計算の前処理を行う。パラメータ更新量計算前処理手段３２は、∇Ｔ_Ｒを用いて、この前処理を行う。本実施形態では、インバース・コンポジショナルアルゴリズムを適用した場合を例にして説明する。インバース・コンポジショナルアルゴリズムを適用したパラメータ更新量計算前処理手段３２については、後述する。

なお、他のアルゴリズムを適用した場合には、パラメータ更新量計算前処理手段３２は、そのアルゴリズムに応じて、前処理を行えばよい。

パラメータ計算手段４は、変換後画素値計算手段４１と、差分計算手段４２と、パラメータ更新量計算手段４３と、パラメータ更新手段４４と、条件判定手段４５とを備える。

変換後画素値計算手段４１は、基準画像Ｔから選択された選択画素に対応する入力画像Ｉ内の画素位置の座標を変換パラメータに基づいて変換し、画素値を補間する。変換後画素値計算手段４１は、この処理によって、選択画素に対応する入力画像の画素の座標を変換したときの変換後の画素位置における画素値を求める。なお、変換パラメータｐで画素位置Ｘの座標を変換することを、記号Ｗ（Ｘ；ｐ）で表すこととする。また、変換後画素値計算手段４１によって求められる変換後の画素値を、Ｉ（Ｗ（Ｘ；ｐ））で表すこととする。Ｉ（Ｗ（Ｘ；ｐ））は、画像全体に対する処理で求められるのではなく、選択画素に関する処理によって求められる。

なお、ここで、変換Ｗ（Ｘ；ｐ）の例を示す。例えば、平行移動は、変換パラメータｐとして、２つのパラメータ（ｐ_１，ｐ_２とする。）を用いて表すことができる。平行移動の場合、変換Ｗ（Ｘ；ｐ）は、以下に示す式（１）のように表すことができる。

また、例えば、アフィン変換は、変換パラメータｐとして、６個のパラメータ（ｐ_１〜ｐ_６とする。）を用いて表すことができる。アフィン変換の場合、変換Ｗ（Ｘ；ｐ）は、以下に示す式（２）のように表すことができる。

差分計算手段４２は、選択画素に対応する入力画像の画素の座標を変換したときの変換後の画素位置における画素値Ｉ（Ｗ（Ｘ；ｐ））と、基準画像Ｔからの選択画素の画素値（Ｔ_Ｒ（Ｘ）と記す。）との差分を計算する。すなわち、差分計算手段４２は、対応するＩ（Ｗ（Ｘ；ｐ））およびＴ_Ｒ（Ｘ）に関して、Ｉ（Ｗ（Ｘ；ｐ））−Ｔ_Ｒ（Ｘ）を計算する。

なお、選択画素Ｔ_Ｒの画素位置を座標（ｘ，ｙ）で表したときに、その画素の画素値をＴ_Ｒ（ｘ，ｙ）と記す場合もある。また、その周囲の画素の画素値に関しても、その座標を用いて、Ｔ_Ｒ（ｘ＋１，ｙ），Ｔ_Ｒ（ｘ−１，ｙ），Ｔ_Ｒ（ｘ，ｙ＋１），Ｔ_Ｒ（ｘ，ｙ−１）と記す。

パラメータ更新量計算手段４３は、前処理手段３の処理結果を用いて、変換パラメータの更新量を計算する。この変換パラメータの更新量をΔｐと記す。インバース・コンポジショナルアルゴリズムにおけるΔｐの計算方法については後述する。

パラメータ更新手段４４は、変換パラメータの更新量Δｐを用いて、現在の変換パラメータを更新する。ここでは、インバース・コンポジショナルアルゴリズムを適用した場合を例にしているので、パラメータ更新手段４４は、現在の変換パラメータにΔｐを合成することによって、変換パラメータを更新する。

インバース・コンポジショナルアルゴリズム以外のアルゴリズムを適用する場合、パラメータ更新量計算手段４３は、そのアルゴリズムに応じた方法でΔｐを計算すればよい。また、パラメータ更新手段４４も、そのアルゴリズムに応じた方法で変換パラメータを更新すればよい。

条件判定手段４５は、所定の条件が満たされたか否かを判定する。所定の条件が満たされた場合には、パラメータ更新手段４４が更新した最新の変換パラメータを、入力画像から基準画像への変換を表す変換パラメータであると決定する。

前処理手段３（微分手段３１およびパラメータ更新量計算前処理手段３２）とパラメータ計算手段４（変換後画素値計算手段４１、差分計算手段４２、パラメータ更新量計算手段４３、パラメータ更新手段４４および条件判定手段４５）とを含むパラメータ導出手段６と、画素選択手段２は、例えば、画像変換パラメータ算出プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、コンピュータのプログラム記憶装置（図示せず。）が画像変換パラメータ算出プログラムを記憶し、ＣＰＵがそのプログラムを読み込んで、そのプログラムに従って、画素選択手段２、およびパラメータ導出手段６に含まれる各手段として動作すればよい。また、図１に示す各手段が、それぞれ別のハードウェアで実現されていてもよい。

次に、動作について説明する。
図２は、第１の実施形態の処理経過の例を示すフローチャートである。なお、入力画像は既に画像変換パラメータ算出装置に入力されているものとする。

まず、画素選択手段２が、基準画像から、予め定められた数の画素をランダムに選択する（ステップＳ１）。既に説明したように、画素選択手段２は、例えば、乱数を発生させて、乱数に応じた画素を選択することを、予め定められた所定数だけ繰り返してもよい。あるいは、他の方法で、予め定められた数の画素をランダムに選択してもよい。また、乱数を利用して画素を選択する場合、乱数の重複により、選択画素数が所定数に達しないこともあるが、そのような画素の減少は無視し得る程度であるので、厳密に所定数の画素が選択されなくてもよい。

画素選択手段２は、ステップＳ１において、基準画像から選択した画素の画素位置および画素値を選択画素記憶手段５に記憶させる。

次に、前処理手段３が前処理を行う（ステップＳ２）。続いて、パラメータ計算手段４が、前処理の結果を用いて、変換パラメータの更新量を求め、変換パラメータを更新することを繰り返すことにより、変換パラメータを決定する（ステップＳ３）。

図３は、前処理（ステップＳ２）の処理経過の例を示すフローチャートである。前処理（ステップＳ２）において、まず、微分手段３１が、基準画像からランダムに選択された各選択画素における微分∇Ｔ_Ｒを計算する（ステップＳ１）。具体的には、微分手段３１は、ｘ方向の∇Ｔ_Ｒと、ｙ方向の∇Ｔ_Ｒとを計算する。選択画素Ｔ_Ｒの座標を（ｘ，ｙ）としたときに、その選択画素におけるｘ方向の∇Ｔ_Ｒおよびｙ方向の∇Ｔ_Ｒを、それぞれ∇Ｔ_Ｒｘ（ｘ，ｙ），∇Ｔ_Ｒｙ（ｘ，ｙ）と表すこととする。

第１の実施形態では、選択画素に関する∇Ｔ_Ｒを計算するときに、選択画素に隣接する画素の画素値を用いる。すなわち、微分手段３１は、∇Ｔ_Ｒｘ（ｘ，ｙ）を求める場合には、選択画素に対してフィルタ（−１ ０ １）を畳み込む処理を行う。具体的には、微分手段３１は、以下に示す式（３）の計算により、∇Ｔ_Ｒｘ（ｘ，ｙ）を算出する。

∇Ｔ_Ｒｘ（ｘ，ｙ）＝｛Ｔ_Ｒ（ｘ＋１，ｙ）−Ｔ_Ｒ（ｘ−１，ｙ）｝／２ 式（３）

また、微分手段３１は、∇Ｔ_Ｒｙ（ｘ，ｙ）を求める場合には、選択画素に対してフィルタ（−１ ０ １）^Ｔを畳み込む処理を行う。このＴは、転置行列を表す。すなわち、微分手段３１は、以下に示す式（４）の計算により、∇Ｔ_Ｒｙ（ｘ，ｙ）を算出する。

∇Ｔ_Ｒｙ（ｘ，ｙ）＝｛Ｔ_Ｒ（ｘ，ｙ＋１）−Ｔ_Ｒ（ｘ，ｙ−１）｝／２ 式（４）

次に、パラメータ更新量計算前処理手段３２は、選択画素毎に、変換Ｗ（Ｘ；ｐ）に関するヤコビアン行列を計算する（ステップＳ１２）。ただし、ここでは、変換Ｗ（Ｘ；ｐ）における（Ｘ；ｐ）は、（Ｘ；０）であるものとする。

Ｗ（Ｘ；ｐ）をｘ成分およびｙ成分で表し、Ｗ（Ｘ；ｐ）＝（Ｗ_ｘ（Ｘ；ｐ），Ｗ_ｙ（Ｘ；ｐ））^Ｔと表すと、Ｗ（Ｘ；ｐ）に関するヤコビアン行列は、以下に示す式（５）のように表される。

ヤコビアン行列は、画像全体に対する処理で求められるのではなく、選択画素に関する処理によって求められる。

ステップＳ１２の後、パラメータ更新量計算前処理手段３２は、選択画素毎に、ステップＳ１１で計算された∇Ｔ_Ｒと、ステップＳ１２で計算したヤコビアン行列との積を計算する。すなわち、以下に示す式（６）を計算する（ステップＳ１３）。

次に、パラメータ更新量計算前処理手段３２は、選択画素毎にステップＳ１３で求めた結果を用いて、ヘシアン行列Ｈを計算する（ステップＳ１４）。パラメータ更新量計算前処理手段３２は、以下に示す式（７）の計算により、ヘシアン行列Ｈを求めればよい。

ステップＳ１４を終えることで、前処理（図２に示すＳ２）を終える。

次に、前処理後に行われる変換パラメータ計算処理（図２に示すステップＳ３）について説明する。図４は、変換パラメータ計算処理（図２に示すステップＳ３）の処理経過の例を示すフローチャートである。

まず、変換後画素値計算手段４１は、基準画像Ｔから選択された選択画素に対応する入力画像Ｉ内の画素位置の座標を変換パラメータに基づいて変換し、画素値を補間する。変換後画素値計算手段４１は、この処理によって、選択画素に対応する入力画像の画素の座標を変換したときの変換後の画素位置における画素値Ｉ（Ｗ（Ｘ；ｐ））を計算する（ステップＳ２１）。変換後画素値計算手段４１は、この処理を、基準画像Ｔから選択された選択画素に対応する入力画像の画素毎に行う。

次に、差分計算手段４２は、ステップＳ２１で計算されたＩ（Ｗ（Ｘ；ｐ））と、基準画像Ｔから選択された選択画素の画素値Ｔ_Ｒ（Ｘ）との差分を計算する（ステップＳ２２）。すなわち、差分計算手段４２は、対応するＩ（Ｗ（Ｘ；ｐ））およびＴ_Ｒ（Ｘ）に関して、Ｉ（Ｗ（Ｘ；ｐ））−Ｔ_Ｒ（Ｘ）を計算する。

各選択画素についてＩ（Ｗ（Ｘ；ｐ））−Ｔ_Ｒ（Ｘ）が計算された後、パラメータ更新量計算手段４３は、前処理のステップＳ１３（図３参照）の計算結果と、ステップＳ２２で計算された差分とを用いて、以下に示す式（８）を計算する（ステップＳ２３）。

すなわち、パラメータ更新量計算手段４３は、ステップＳ１３の結果として得られる行列（式（６）参照）の転置行列に、ステップＳ２２で計算された差分を乗じる処理を、選択画素毎に行い、その乗算結果の総和を計算する。

次に、パラメータ更新量計算手段４３は、ステップＳ２３の計算結果と、ヘシアン行列とを用いて、変換パラメータの更新量Δｐを計算する（ステップＳ２４）。変換パラメータの更新量Δｐは、以下に示す式（９）で表すことができる。

すなわち、パラメータ更新量計算手段４３は、前処理のステップＳ１４（図３参照）で計算されたヘシアン行列Ｈの逆行列に、式（８）の計算結果を乗じることによって、Δｐを算出する。

次に、パラメータ更新手段４４は、以下に示す式（１０）により、変換パラメータにΔｐを合成し、変換パラメータを更新する（ステップＳ２５）。

式（１０）の右辺に示す以下の演算子

は、座標変換の合成を表す演算子である。また、座標変換の合成演算は、変換モデルに応じて異なる。ステップＳ２５では、変換モデルに応じた合成を行えばよい。

次に、条件判定手段４５は、変換パラメータの更新の繰り返しを終了する所定の条件が満たされたか否かを判定する（ステップＳ２６）。本実施形態では、条件判定手段４５は、直近のステップＳ２４で計算されたΔｐに関して、以下に示す式（１１）が成立しているか否かを判定し、式（１１）が成立しているならば、所定の条件が満たされたと判定する。

式（１１）の右辺のεは、予め定められた閾値である。すなわち、式（１１）は、変換パラメータの更新量Δｐが、定められた基準よりも小さいことを示している。この条件が満たされていると判定した場合（ステップＳ２６のＹｅｓ）、条件判定手段４５は、直近のステップＳ２５で計算した変換パラメータを、入力画像から基準画像への変換を表すパラメータとして決定する（ステップＳ２７）。

また、式（１１）が成立していない場合（ステップＳ２６のＮｏ）、条件判定手段４５は、所定の条件は満たされていないと判定する。この場合、パラメータ計算手段４は、直近のステップＳ２５で更新された変換パラメータを用いて、ステップＳ２１以降の処理を繰り返す。

また、パラメータ計算手段４は、ステップＳ２７で変換パラメータを決定することにより、処理を終了する。

本実施形態によれば、画素選択手段２が、基準画像からランダムに画素を選択し、パラメータ導出手段６が、その選択された画素に関して処理を行うことで、変換パラメータを導出する。画素選択手段２は、ランダムに画素を選択するので、基準画像の大きさに依存せずに、選択する画素数を一定数以下にすることができる。従って、基準画像の画素数が変化しても、変換パラメータ算出の処理コストを一定に抑えることができる。

特許文献１に記載された方法と本発明とを比較すると、特許文献１に記載された方法では、空間的にとびとびの画素を選択するので、基準画像の画素数が大きくなれば、選択する画素数も多くなり、その結果、変換パラメータ算出の処理コストも増えることになる。一方、本発明では、画素選択手段２が、基準画像の画素数に依存せずに、基準画像からランダムに画素を選択するので、基準画像の画素数に依らずに、選択画素数を一定に抑えることができる。その結果、本発明では、基準画像の画素数が多い場合であっても、変換パラメータ算出の処理コストを一定のまま抑えることができる。

また、本発明では、画素選択手段２が基準画像からランダムに画素を選択するので、基準画像の画素値に周期性があったとしても、選択する画素の画素値に偏りが生じることを防ぐことができる。従って、高い精度で変換パラメータを計算することができる。

実施形態２．
図５は、本発明の第２の実施形態の画像変換パラメータ算出装置の例を示すブロック図である。第１の実施形態と同様の構成要素については、図１と同一の符号を付し、詳細な説明を省略する。第２の実施形態の画像変換パラメータ算出装置１ａは、画素選択手段２ａと、選択画素記憶手段５と、パラメータ導出手段６とを備える。選択画素記憶手段５およびパラメータ導出手段６は、第１の実施形態と同様である。すなわち、第２の実施形態の画像変換パラメータ算出装置１ａは、第１の実施形態における画素選択手段２の代わりに、画素選択手段２ａを備える。

画素選択手段２ａは、基準画像からランダムに画素を抽出し、その画素が所定の基準を満たしている場合に、その画素を、変換パラメータの算出に用いる画素として選択する。画素選択手２ａは、この処理を繰り返すことにより、変換パラメータの算出に用いる画素を、定められた個数選択する。

画素選択手段２ａは、画素抽出手段２１と、基準判定手段２２とを含む。

画素抽出手段２１は、基準画像からランダムに画素を抽出する（取り出す）。ここで、「抽出」とは、単に画素を取り出すことを意味し、変換パラメータの算出に用いる画素として選択することとは区別する。

基準判定手段２２は、画素抽出手段２１に抽出された画素が基準を満たしているか否かを判定し、基準を満たしていれば、その画素を、変換パラメータの算出に用いる画素として選択する。この基準の例として、抽出された画素における偏微分が所定の閾値以上であるという基準が挙げられる。ただし、基準判定手段２２が判定する基準は、この基準に限定されない。例えば、「抽出された画素が、基準画像内のノイズの生じている領域の画素でない。」という基準を用いてもよい。

画素選択手段２ａ（画素抽出手段２１および基準判定手段２２）は、例えば、画像変換パラメータ算出プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵが、画像変換パラメータ算出プログラムを読み込んで、そのプログラムに従って、画素選択手段２ａの画素抽出手段２１、基準判定手段２２、およびパラメータ導出手段６に含まれる各手段として動作すればよい。また、図５に示す各手段が、それぞれ別のハードウェアで実現されていてもよい。

次に、第２の実施形態の動作について説明する。
本実施形態の画像変換パラメータ算出装置１ａも、図２に示すフローチャートの順に処理を実行する。すなわち、画素選択手段２ａが、基準画像から画素を選択する（ステップＳ１）。そして、前処理手段３が前処理を実行し（ステップＳ２）、パラメータ計算手段４が、入力画像Ｉから基準画像Ｔへの変換の変換パラメータを決定する（ステップＳ３）。ただし、第２の実施形態では、画素選択処理（ステップＳ１）が、第１の実施形態と異なる。

図６は、第２の実施形態における画素選択処理（ステップＳ１）の処理経過の例を示すフローチャートである。まず、画素抽出手段２１が、基準画像の全画素をランダムな順番に並べた、画素のランダムな集合を作成する（ステップＳ３１）。以下、この画素の集合をランダム集合と記す。

次に、画素抽出手段２１は、ランダム集合から１つの画素を抽出する（ステップＳ３２）。

次に、基準判定手段２２は、ステップＳ３２で抽出された画素が、予め定められた基準を満たしているか否かを判定する（ステップＳ３３）。基準として、変換パラメータの精度向上に寄与する基準を予め定めておく。ここでは、抽出された画素における変換パラメータに対する偏微分が所定の閾値以上であるという基準が予め定められている場合を例にして説明する。この場合、基準判定手段２２は、ステップＳ３２で抽出された画素に関して、変換パラメータに対する偏微分を計算し、その偏微分が所定の閾値以上であるか否かを判定する。偏微分が閾値以上であれば、基準を満たしている。また、偏微分が閾値未満であれば、基準を満たしていないことになる。

抽出された画素に関する偏微分が閾値未満である場合（ステップＳ３３のＮｏ）、画素選択手段２ａはステップＳ３２以降の処理を繰り返す。

また、抽出された画素に関する偏微分が閾値以上である場合（ステップＳ３３のＹｅｓ）、基準判定手段２２は、ステップＳ３２で抽出された画素を、変換パラメータの算出に用いる画素として選択する。そして、その画素の画素位置（座標）および画素値を選択画素記憶手段５に記憶させる。

続いて、基準判定手段２２は、変換パラメータの算出に用いる画素として選択した画素（選択画素）が所定数に達したか否かを判定する（ステップＳ３５）。例えば、基準判定手段２２は、選択画素記憶手段５に画素位置および画素値を記憶させた画素の数が所定数に達したか否かを判定すればよい。

選択画素が所定数に達していなければ、画素選択手段２ａはステップＳ３２以降の処理を繰り返す。

一方、選択画素が所定数に達したならば、画素選択手段２ａは、画素選択処理（ステップＳ１。図２参照。）を終了する。以降の、前処理（ステップＳ２）および変換パラメータ計算（ステップＳ３）は、第１の実施形態と同様であり、説明を省略する。

第２の実施形態では、画素選択手段２ａが、ランダムに抽出された画素であって、所定の基準を満たす画素を選択する。そして、前処理手段３およびパラメータ計算手段４が、その画素に関して処理を行って、変換パラメータを計算する。従って、第２の実施形態によれば、第１の実施形態と同様の効果が得られ、さらに、変換パラメータの精度を向上させることができる。

また、本実施形態では、基準画像からランダムに画素を抽出してから、基準判定手段２２が、その画素が基準を満たしているか否かを判定する。従って、基準画像の全画素について基準を満たしているか否かを判定するわけではないので、処理コストの増加を防止することができる。

また、本実施形態では、所望の選択画素数をいくつに定めたとしても、基準を満たす画素をランダムに所望数だけ選択することができる。特許文献１に記載された方法と本発明とを比較すると、特許文献１に記載された方法でも、画素の偏微分、または偏微分から計算した重要度が閾値以上となる画素を選択する。しかし、特許文献１に記載された方法は、空間的にとびとびの画素を選択するので、選択画素数を所望の数に抑えることができず、基準画像の画素数が多い場合には、選択画素数も増加していき、処理コストが増加してしまう。また、特許文献１に記載された方法において、とびとびの画素を抽出し、そのうち、偏微分が閾値以上の画素を所定個選択した時点で画素選択を終了することも考えられる。しかし、その場合には、選択画素が基準画像内の特定の領域（例えば上部）に偏っている等の問題が生じる。それに対し本発明では、ランダムに所望の数の画素を選択することができる。

なお、上記の例では、抽出された画素に関する偏微分を計算し、その偏微分と閾値とを比較する場合を示した。基準判定手段２２は、計算した偏微分からさらに、画素の良さを示す指標を計算し、その指標と、閾値とを比較してもよい。そして、指標が閾値以上であれば基準を満たし、指標が閾値未満であれば基準を満たさないと判定してもよい。なお、この「画素の良さ」とは、変換パラメータの精度を向上させることができるという観点による画素の適切さである。画素の偏微分も、この指標の一態様である。

また、基準判定手段２２は、この指標（偏微分の結果自体でもよい。）を、０〜１の範囲の値になるように変換し、乱数との比較によって、基準を満足しているか否かを判定してもよい。具体的には、基準判定手段２２は、指標を０〜１の範囲の値に変換する。そして、基準判定手段２２は、０〜１の範囲の値をとる乱数を発生させる。基準判定手段２２は、変換後の指標が乱数値以上であれば、基準を満たすと判定し、変換後の指標が乱数値未満であれば基準を満たさないと判定してもよい。このようにステップＳ３３の判定処理を行うことで、指標が小さな値となる画素が絶対に選ばれなくなることを防止することができる。すなわち、ランダムな画素選択の頑健性を向上させることができる。

また、ステップＳ３３の判定基準として、「抽出された画素が、基準画像内のノイズの生じている領域の画素でない。」という基準を用いてもよい。この場合、基準判定手段２２は、ステップＳ３３において、画素抽出手段２１に抽出された画素がノイズの生じている領域（以下、ノイズ領域と記す。）であるか否かを判定し、抽出された画素がノイズ領域の画素でなければ基準を満たしていると判定すればよい（ステップＳ３３のＹｅｓ）。また、抽出された画素がノイズ領域の画素であれば基準を満たしていないと判定すればよい（ステップＳ３３のＮｏ）。

ただし、抽出された画素がノイズ領域の画素であるか否かを判定するアルゴリズムとして、その抽出された画素に関する処理のみで判定を行うことができるアルゴリズムを採用する。このようなアルゴリズムを適用することで、基準画像の大きさに依らず、処理量を一定に抑えることができる。例えば、基準判定手段２２は、抽出された画素がノイズ領域の画素であるか否かを、バイラテラルフィルタ（Bilateral Filter）によって判定すればよい。

抽出された画素がノイズ領域の画素でないという基準を採用した場合でも、変換パラメータの精度を向上させることができる。

実施形態３．
図７は、本発明の第３の実施形態の画像変換パラメータ算出装置の例を示すブロック図である。第１の実施形態と同様の構成要素については、図１と同一の符号を付し、詳細な説明を省略する。第３の実施形態の画像変換パラメータ算出装置１ｂは、画素選択手段２と、選択画素記憶手段５と、パラメータ導出手段６ｂとを備える。画素選択手段２および選択画素記憶手段５は、第１の実施形態と同様である。

第３の実施形態では、パラメータ導出手段６ｂが、前処理およびパラメータ計算を１度行った後、更に、２回目の前処理およびパラメータ計算を行う。パラメータ導出手段６ｂは、１回目の前処理では、２回目の前処理に比べて、∇Ｔ_Ｒをぼかして計算する。そして、パラメータ導出手段６ｂは、２回目の前処理後のパラメータ計算では、１回目の前処理後のパラメータ計算で求めた変換パラメータを用いて、変換パラメータを計算する。

パラメータ導出手段６ｂは、前処理を実行する前処理手段３ｂと、前処理の結果を用いて変換パラメータを計算するパラメータ計算手段４とを備える。前処理手段３ｂが前処理を行い、パラメータ計算手段４がパラメータ計算を行う処理を、２回繰り返す。

前処理手段３ｂは、微分手段３１と、第２の微分手段３１ｂと、パラメータ更新量計算前処理手段３２とを備える。

微分手段３１は、第１の実施形態や第２の実施形態における微分手段３１と同様であり、選択画素における微分∇Ｔ_Ｒを計算する。ただし、微分手段３１は、２回目の前処理で∇Ｔ_Ｒを計算する。また、第２の微分手段３１ｂも、選択画素における微分∇Ｔ_Ｒを計算する。ただし、第２の微分手段３１ｂは、１回目の前処理で∇Ｔ_Ｒを計算する。

第２の微分手段３１ｂは、１回目の前処理で∇Ｔ_Ｒを計算する時に、微分手段３１が２回目の前処理で行う∇Ｔ_Ｒの計算に比べて、∇Ｔ_Ｒをぼかして計算する。具体的には、第２の微分手段３１ｂは、選択画素に隣接する画素だけでなく、さらにその周囲の画素も用いて∇Ｔ_Ｒを計算する。２回目の前処理において、微分手段３１は、第１の実施形態と同様に、選択画素に隣接する画素の画素値を用いて∇Ｔ_Ｒを計算する。すなわち、第２の微分手段３１ｂは、１回目の前処理において、２回目の前処理での微分手段３１による∇Ｔ_Ｒ計算よりも広い範囲の画素を用いて∇Ｔ_Ｒを計算する。

パラメータ更新量計算前処理手段３２は、第１の実施形態におけるパラメータ更新量計算前処理手段３２と同様であり、∇Ｔ_Ｒを用いて変換パラメータの更新量計算の前処理を行う。パラメータ更新量計算前処理手段３２は、１回目の前処理では、第２の微分手段３１ｂに計算された∇Ｔ_Ｒを用いて変換パラメータの更新量計算の前処理を行う。また、２回目の前処理では、微分手段３１に計算された∇Ｔ_Ｒを用いて変換パラメータの更新量計算の前処理を行う。

パラメータ計算手段４は、変換後画素値計算手段４１と、差分計算手段４２と、パラメータ更新量計算手段４３と、パラメータ更新手段４４と、条件判定手段４５とを備える。変換後画素値計算手段４１、差分計算手段４２、パラメータ更新量計算手段４３、パラメータ更新手段４４および条件判定手段４５は、それぞれ、第１の実施形態における変換後画素値計算手段４１、差分計算手段４２、パラメータ更新量計算手段４３、パラメータ更新手段４４、条件判定手段４５と同様の処理を行う。ただし、パラメータ計算手段４は、２回の前処理後にそれぞれパラメータ計算処理を行う。

前処理手段３ｂ（微分手段３１、第２の微分手段３１ｂおよびパラメータ更新量計算前処理手段３２）とパラメータ計算手段４（変換後画素値計算手段４１、差分計算手段４２、パラメータ更新量計算手段４３、パラメータ更新手段４４および条件判定手段４５）とを含むパラメータ導出手段６ｂと、画素選択手段２とは、例えば、画像変換パラメータ算出プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、コンピュータのプログラム記憶装置（図示せず。）が画像変換パラメータ算出プログラムを記憶し、ＣＰＵがそのプログラムを読み込んで、そのプログラムに従って、画素選択手段２、およびパラメータ導出手段６ｂに含まれる各手段として動作すればよい。また、図７に示す各手段が、それぞれ別のハードウェアで実現されていてもよい。

次に、動作について説明する。
図８は、第３の実施形態の処理経過の例を示すフローチャートである。まず、画素選択手段２が、基準画像から、予め定められた数の画素をランダムに選択する（ステップＳ４１）。ステップＳ４１の画素選択処理は、第１の実施形態におけるステップＳ１と同様である。

次に、前処理手段３ｂが１回目の前処理を行う（ステップＳ４２）。図３に示すフローチャートを参照して、１回目の前処理（ステップＳ４２）について説明する。

１回目の前処理（ステップＳ４２）では、まず、第２の微分手段３１ｂが、基準画像から選択された各選択画素における微分∇Ｔ_Ｒを計算する（ステップＳ１１）。具体的には、第２の微分手段３１ｂは、ｘ方向の∇Ｔ_Ｒｘ（ｘ，ｙ）と、ｙ方向の∇Ｔ_Ｒｙ（ｘ，ｙ）とを計算する。この点は第１の実施形態と同様である。ただし、第２の微分手段３１ｂは、１回目の前処理において、微分手段３１による２回目の前処理での∇Ｔ_Ｒ計算に比べて、∇Ｔ_Ｒをぼかして計算する。

図９は、１回目の前処理で∇Ｔ_Ｒの計算に用いるフィルタの例を示す説明図である。第２の微分手段３１ｂは、例えば、図９（ａ）に示すフィルタを用いて選択画素に対する畳み込みを実行することによって∇Ｔ_Ｒｘ（ｘ，ｙ）を計算すればよい。∇Ｔ_Ｒｘ（ｘ，ｙ）の計算には、例えば、中央の縦１列の要素が０であり、中央の縦１列より右側の各要素が１であり、中央の縦１列よりも左側の各要素が１であるフィルタを用いることができる（図９（ａ）参照）。なお、図９（ａ）による畳み込みは、図９（ｂ）に示す２つのフィルタの畳み込みに相当する。

同様に、第２の微分手段３１ｂは、例えば、図９（ｃ）に示すフィルタを用いて選択画素に対する畳み込みを実行することによって∇Ｔ_Ｒｙ（ｘ，ｙ）を計算すればよい。∇Ｔ_Ｒｙ（ｘ，ｙ）の計算には、例えば、中央の横１列の要素が０であり、中央の横１列よりも上側の各要素が−１であり、中央の横１列よりも下側の各要素が１であるフィルタを用いることができる（図９（ｃ）参照）。なお、図９（ｃ）による畳み込みは、図９（ｄ）に示す２つのフィルタの畳み込みに相当する。

図９（ａ），（ｃ）に示すフィルタは、１回目の前処理で∇Ｔ_Ｒの計算に用いるフィルタの例示であり、第２の微分手段３１ｂは他のフィルタを用いてもよい。

∇Ｔ_Ｒの計算後、パラメータ更新量計算前処理手段３２は、選択画素毎に、変換Ｗ（Ｘ；ｐ）に関するヤコビアン行列を計算する（ステップＳ１２）。次に、パラメータ更新量計算前処理手段３２は、選択画素毎に、ステップＳ１１で計算された∇Ｔ_Ｒと、ステップＳ１２で計算したヤコビアン行列との積を計算する（ステップＳ１３）。次に、パラメータ更新量計算前処理手段３２は、ヘシアン行列Ｈを計算する（ステップＳ１４）。ステップＳ１２〜Ｓ１４の処理は、第１の実施形態と同様である。

次に、パラメータ計算手段４が、１回目のパラメータ計算処理を行う（ステップＳ４３）。図４に示すフローチャートを参照して、１回目のパラメータ計算処理について説明する。

まず、変換後画素値計算手段４１は、基準画像Ｔから選択された選択画素に対応する入力画像Ｉ内の画素位置の座標を変換パラメータに基づいて変換し、画素値を補間する。変換後画素値計算手段４１は、この処理によって、Ｉ（Ｗ（Ｘ；ｐ））を計算する（ステップＳ２１）。次に、差分計算手段４２は、ステップＳ２１で計算されたＩ（Ｗ（Ｘ；ｐ））と、選択画素の画素値Ｔ_Ｒ（Ｘ）との差分を計算する（ステップＳ２２）。次に、パラメータ更新量計算手段４３は、１回目の前処理におけるステップＳ１３の計算結果と、ステップＳ２２で計算された差分とを用いて、式（８）の計算を行う（ステップＳ２３）。さらに、パラメータ更新量計算手段４３は、その計算結果と、ヘシアン行列とを用いて、変換パラメータの更新量Δｐを計算する（ステップＳ２４）。次に、パラメータ更新手段４４は、式（１０）により、変換パラメータにΔｐを合成し、変換パラメータを更新する（ステップＳ２５）。このステップＳ２１〜Ｓ２５の処理は、第１の実施形態と同様である。

ステップＳ２５の後、条件判定手段４５は、変換パラメータの更新の繰り返しを終了する所定の条件が満たされたか否かを判定する（ステップＳ２６）。この判定も、第１の実施形態ど同様に行えばよい。所定の条件が満たされていなければ（ステップＳ２６のＮｏ）、パラメータ計算手段４は、更新後の変換パラメータを用いて、ステップＳ２１以降の処理を繰り返す。所定の条件が満たされていれば（ステップＳ２６のＹｅｓ）、条件判定手段４５は、直近のステップＳ２５で計算した変換パラメータを、一回目の変換パラメータ計算結果として決定する（ステップＳ２７）。以上の処理によって、パラメータ計算手段４は、１回目のパラメータ計算処理（ステップＳ４３）を終了する。

次に、前処理手段３ｂは、２回目の前処理を実行する（ステップＳ４４）。図３に示すフローチャートを参照して、２回目の前処理（ステップＳ４４）について説明する。

２回目の前処理（ステップＳ４４）では、まず、微分手段３１が、基準画像から選択された各選択画素における微分∇Ｔ_Ｒを計算する（ステップＳ１１）。２回目の前処理では、微分手段３１は、∇Ｔ_Ｒをぼかさずに、第１の実施形態と同様に∇Ｔ_Ｒを計算する。すなわち、微分手段３１は、選択画素に隣接する画素の画素値を用いて、式（３）、式（４）の計算を行って、∇Ｔ_Ｒｘ（ｘ，ｙ）および∇Ｔ_Ｒｙ（ｘ，ｙ）を計算する。

∇Ｔ_Ｒの計算後、パラメータ更新量計算前処理手段３２は、１回目の前処理の時と同様に、ステップＳ１２〜Ｓ１４を行う。ただし、パラメータ更新量計算前処理手段３２は、微分手段３１によって計算された∇Ｔ_Ｒを用いてステップＳ１２〜Ｓ１４を行う。１回目の前処理（ステップＳ４２）と２回目の前処理（ステップＳ４３）とでは、微分手段３１による∇Ｔ_Ｒの計算と、第２の微分手段３１ｂによる∇Ｔ_Ｒの計算とが異なるだけで、他の処理内容は、同じである。ただし、∇Ｔ_Ｒの違いにより、得られる結果は、１回目の前処理と２回目の前処理で異なる。

次に、パラメータ計算手段４が、２回目のパラメータ計算処理を行う（ステップＳ４６）。２回目のパラメータ計算処理では、１回目のパラメータ計算処理（ステップＳ４３）で求めた変換パラメータを初期値として、図４に示すステップＳ２１〜Ｓ２６のループ処理を実行する。そして、ステップＳ２６で所定の条件が満たされていれば（ステップＳ２６のＹｅｓ）、条件判定手段４５は、直近のステップＳ２５で計算した変換パラメータを、２回目の変換パラメータ計算結果として決定する（ステップＳ２７）。ステップＳ２１〜Ｓ２７の各処理は、１回目のパラメータ計算処理（ステップＳ４３）と同様である。

この２回目のパラメータ計算処理（ステップＳ４５）内で実行するステップＳ２７で決定された変換パラメータが、最終的に求める変換パラメータとなる。

第３の実施形態によれば、１回目の前処理（ステップＳ４２）で∇Ｔをぼかして計算する。その結果、その後のパラメータ計算処理（ステップＳ４３）におけるループ処理（図４に示すステップＳ２１〜Ｓ２６参照）で、１回のループ処理当たりの変換パラメータの更新量が小さくならずに済む。また、局所解を得てしまって、真の解となる変換パラメータが得られなくなることを防止することができる。そして、２回目の前処理（ステップＳ４４）では∇Ｔをぼかさず、ステップＳ４３で計算した変換パラメータを元に、変換パラメータをより詳細に計算することができる。この結果、基準画像と入力画像との間の変化が大きい場合や、選択画素数が少ない場合であっても、解となる変換パラメータを安定的に求めることができる。また、高速に変換パラメータを求めることができる。

また、第３の実施形態において、１回目の前処理では、２回目の前処理に比べて、変換モデルのパラメータの自由度を減少させてもよい。例えば、１回目の前処理では、変換Ｗ（Ｘ；ｐ）として、パラメータ自由度２の平行移動を適用して演算を行い、２回目の前処理では、パラメータ自由度６のアフィン変換を適用して演算を行ってもよい。なお、変換モデルの適用のさせ方は、この例に限定されない。例えば、１回目の前処理で、平行移動を適用し、２回目の前処理でホモグラフィ変換をしてもよい。

この場合、変換後画素値計算手段４１、差分計算手段４２、パラメータ更新量計算手段４３およびパラメータ更新手段４４は、１回目の前処理後のパラメータ計算時には、１回目の前処理と同じ変換モデルを適用したＷ（Ｘ；ｐ）を用いて演算を行い、２回目の前処理後のパラメータ計算時には、２回目の前処理と同じ変換モデルを適用したＷ（Ｘ；ｐ）を用いて演算を行う。

実施形態４．
図１０は、本発明の第４の実施形態の画像変換パラメータ算出装置の例を示すブロック図である。第１の実施形態と同様の構成要素については、図１と同一の符号を付し、詳細な説明を省略する。第４の実施形態の画像変換パラメータ算出装置１ｃは、画素選択手段２と、選択画素記憶手段５と、パラメータ導出手段６ｃと、動体画素判定手段７とを備える。画素選択手段２および選択画素記憶手段５は、第１の実施形態と同様である。

第４の実施形態では、パラメータ導出手段６ｃが、前処理およびパラメータ計算を繰り返す。そして、前処理およびパラメータ計算が行われると、動体画素判定手段７が、選択画素の中から、画像間で動きのある被写体（以下、動体と記す。）に相当する領域（動体領域）の画素を除外する。動体領域の画素を用いて変換パラメータを計算すると、変換パラメータの精度が低下する。本実施形態では、動体画素判定手段７が、選択画素からそのような画素を除外し、再度、前処理およびパラメータ計算を行うことで、高精度の変換パラメータを導出する。

ただし、パラメータ導出手段６ｃは、前処理およびパラメータ計算を繰り返す場合、繰り返し回数が何回目であるかによって、前処理およびパラメータ計算の処理を一部、変更する。以下に示す例では、前処理およびパラメータ計算を３回繰り返す場合を例にして説明する。

パラメータ導出手段６ｃは、前処理を実行する前処理手段３ｃと、前処理の結果を用いて変換パラメータを計算するパラメータ計算手段４ｃとを備える。パラメータ計算手段４ｃが変換パラメータを計算すると、動体画素判定手段７が、その変換パラメータに基づいて、動体領域の画素を判定し、その画素を選択画素から除外する。その後、前処理手段３１ｃおよびパラメータ計算手段４ｃは、それぞれの処理を再度実行する。

前処理手段３ｃは、微分手段３１ｃと、パラメータ更新量計算前処理手段３２ｃとを備える。

微分手段３１ｃは、選択画素における微分∇Ｔ_Ｒを計算する。パラメータ更新量計算前処理手段３２ｃは、微分手段３１ｃに計算された∇Ｔ_Ｒを用いて変換パラメータの更新量計算の前処理を行う。微分手段３１ｃおよびパラメータ更新量計算前処理手段３２ｃの処理は、第１の実施形態における微分手段３１およびパラメータ更新量計算前処理手段３２の処理と同様である。ただし、前処理手段３ｃが前処理を複数回実行する点で第１の実施形態と異なる。

パラメータ計算手段４ｃは、変換後画素値計算手段４１ｃと、差分計算手段４２ｃと、パラメータ更新量計算手段４３ｃと、パラメータ更新手段４４ｃと、条件判定手段４５ｃとを備える。変換後画素値計算手段４１ｃ、差分計算手段４２ｃ、パラメータ更新量計算手段４３ｃ、パラメータ更新手段４４ｃ、条件判定手段４５ｃは、それぞれ、第１の実施形態における変換後画素値計算手段４１、差分計算手段４２、パラメータ更新量計算手段４３、パラメータ更新手段４４、条件判定手段４５と同様の処理を行う。ただし、パラメータ計算手段４ｃは、前処理毎にパラメータ計算処理を行う。また、条件判定手段４５ｃは、１回目から３回目までの各前処理後のパラメータ計算処理時において、後の回になるほど、ステップＳ２１〜Ｓ２６（図４参照）のループ処理の終了条件を厳しく設定して、条件判定を行う。この条件は、変換パラメータの収束判定条件であるということができる。

動体画素判定手段７は、１回目の前処理およびパラメータ計算の後に、その変換パラメータに基づいて、選択画素の中から動体領域の画素を判定し、その画素を選択画素から除外する。同様に、動体画素判定手段７は、２回目の前処理およびパラメータ計算の後に、その変換パラメータに基づいて、選択画素の中から動体領域の画素を判定し、さらに、その画素を選択画素から除外する。

前処理手段３ｃ（微分手段３１ｃおよびパラメータ更新量計算前処理手段３２ｃ）とパラメータ計算手段４ｃ（変換後画素値計算手段４１ｃ、差分計算手段４２ｃ、パラメータ更新量計算手段４３ｃ、パラメータ更新手段４４ｃおよび条件判定手段４５ｃ）とを含むパラメータ導出手段６ｃと、画素選択手段２と、動体画素判定手段７は、例えば、画像変換パラメータ算出プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、コンピュータのプログラム記憶装置（図示せず。）が画像変換パラメータ算出プログラムを記憶し、ＣＰＵがそのプログラムを読み込んで、そのプログラムに従って、画素選択手段２、動体画素判定手段７、およびパラメータ導出手段６ｃに含まれる各手段として動作すればよい。また、図１０に示す各手段が、それぞれ別のハードウェアで実現されていてもよい。

次に、動作について説明する。
図１１は、第４の実施形態の処理経過の例を示すフローチャートである。まず、画素選択手段２が、基準画像から、予め定められた数の画素をランダムに選択する（ステップＳ５１）。ステップＳ５１の画素選択処理は、第１の実施形態におけるステップＳ１と同様である。

次に、前処理手段３ｃが１回目の前処理を行う（ステップＳ５２）。図３に示すフローチャートを参照して、１回目の前処理（ステップＳ５２）について説明する。

１回目の前処理（ステップＳ５２）では、まず、微分手段３１ｃが、基準画像から選択された各選択画素における微分∇Ｔ_Ｒを計算する（ステップＳ１１）。具体的には、微分手段３１ｃは、ｘ方向の∇Ｔ_Ｒｘ（ｘ，ｙ）と、ｙ方向の∇Ｔ_Ｒｙ（ｘ，ｙ）とを計算する。この計算は第１の実施形態における∇Ｔ_Ｒの計算と同様である。具体的には、式（３）、式（４）の計算を行って、∇Ｔ_Ｒｘ（ｘ，ｙ）および∇Ｔ_Ｒｙ（ｘ，ｙ）を計算すればよい。

∇Ｔ_Ｒの計算後、パラメータ更新量計算前処理手段３２ｃは、選択画素毎に、変換Ｗ（Ｘ；ｐ）に関するヤコビアン行列を計算する（ステップＳ１２）。次に、パラメータ更新量計算前処理手段３２ｃは、選択画素毎に、ステップＳ１１で計算された∇Ｔ_Ｒと、ステップＳ１２で計算したヤコビアン行列との積を計算する（ステップＳ１３）。次に、パラメータ更新量計算前処理手段３２は、ヘシアン行列Ｈを計算する（ステップＳ１４）。ステップＳ１２〜Ｓ１４の処理も、第１の実施形態と同様である。

次に、パラメータ計算手段４ｃが、１回目のパラメータ計算処理を行う（ステップＳ５３）。図４に示すフローチャートを参照して、１回目のパラメータ計算処理について説明する。

まず、変換後画素値計算手段４１ｃは、基準画像Ｔから選択された選択画素に対応する入力画像Ｉ内の画素位置の座標を変換パラメータに基づいて変換し、画素値を補間する。変換後画素値計算手段４１ｃは、この処理によって、Ｉ（Ｗ（Ｘ；ｐ））を計算する（ステップＳ２１）。次に、差分計算手段４２ｃは、ステップＳ２１で計算されたＩ（Ｗ（Ｘ；ｐ））と、選択画素の画素値Ｔ_Ｒ（Ｘ）との差分を計算する（ステップＳ２２）。次に、パラメータ更新量計算手段４３ｃは、１回目の前処理におけるステップＳ１３の計算結果と、ステップＳ２２で計算された差分とを用いて、式（８）の計算を行う（ステップＳ２３）。さらに、パラメータ更新量計算手段４３ｃは、その計算結果と、ヘシアン行列とを用いて、変換パラメータの更新量Δｐを計算する（ステップＳ２４）。次に、パラメータ更新手段４４ｃは、式（１０）により、変換パラメータにΔｐを合成し、変換パラメータを更新する（ステップＳ２５）。このステップＳ２１〜Ｓ２５の処理は、第１の実施形態と同様である。

ステップＳ２５の後、条件判定手段４５ｃは、変換パラメータの更新の繰り返しを終了する所定の条件が満たされたか否かを判定する（ステップＳ２６）。ここでは、説明を簡単にするため、式（１１）が成立しているならば、所定の条件が満たされたと判定する場合を例にして説明する。式（１１）の右辺に用いる閾値εの値は、１回目のパラメータ計算処理（ステップＳ５３）が最も大きく、２回目のパラメータ計算処理（ステップＳ５６）、３回目のパラメータ計算処理（ステップＳ５９）の順に、小さくなっていくように設定する。すなわち、後のパラメータ計算処理ほど、ステップＳ２１〜Ｓ２６のループ処理の終了条件を厳しくする。ここでは、式（１１）を用いて終了判定を行う場合を例にしているが、他の終了条件を用いる場合にも同様である。

式（１１）が成立していなければ（ステップＳ２６のＮｏ）、パラメータ計算手段４ｃは、更新後の変換パラメータを用いて、ステップＳ２１以降の処理を繰り返す。

式（１１）が成立していれば（ステップＳ２６のＹｅｓ）、条件判定手段４５ｃは、直近のステップＳ２５で計算した変換パラメータを、一回目の変換パラメータ計算結果として決定する。以上の処理によって、パラメータ計算手段４ｃは、１回目のパラメータ計算処理（ステップＳ５３）を終了する。

次に、動体画素判定手段７は、ステップＳ５３で計算された変換パラメータを用いて、選択画素の中から動体領域の画素を判定し、その画素を選択画素から除外する（ステップＳ５４）。

動体画素判定手段７は、動体領域に該当する画素を、例えば、以下のように判定すればよい。動体画素判定手段７は、ステップＳ５３で計算した変換パラメータによって基準画像内の選択画素に変換される入力画像内の画素と、その変換画素とで、画素値の差分を計算する。動体画素判定手段７は、その差分が、予め定められた閾値以上であれば、その選択画素は動体領域の画素であると判定し、その差分が閾値未満であれば、その選択画素は動体領域の画素でないと判定すればよい。ただし、選択画素が動体領域の画素であるか否かを判定する方法は、この方法に限定されず、動体画素判定手段７は、他の方法で判定してもよい。

また、動体画素判定手段７は、動体領域の画素であると判定された選択画素を除外する時には、その選択画素の情報を選択画素記憶手段５から削除すればよい。

ステップＳ５４の後、前処理手段３１ｃは、除外されずに残った選択画素に関して、前処理を行う（ステップＳ５５）。この前処理は、２回目の前処理に該当する。

２回目の前処理（ステップＳ５５）では、前処理手段３１ｃは、除外されずに残っている選択画素に関して、１回目の前処理（ステップＳ５２）と同様の処理を行ってもよい。ただし、除外されずに残った選択画素に対するステップＳ１１〜Ｓ１３（図３参照）の処理は、１回目の前処理（ステップＳ５２）で行うステップＳ１１〜Ｓ１３の処理と同一の処理であり、同じ処理結果が得られる。従って、３回目の前処理では、ステップＳ１１〜Ｓ１３の処理を省略して、１回目の前処理（ステップＳ５２）におけるステップＳ１１〜Ｓ１３の結果を用いればよい。ただし、選択画素数が減少したことにより、ヘシアン行列Ｈに関しては、１回目の前処理と計算結果が異なる。従って、パラメータ更新量計算前処理手段３２ｃは、ヘシアン行列Ｈの計算（ステップＳ１４）に関しては、ステップＳ５５において省略せずに実行する。パラメータ更新量計算前処理手段３２ｃは、ヘシアン行列Ｈを式（７）の計算で求めればよい。

次に、パラメータ計算手段４ｃが、２回目のパラメータ計算処理を行う（ステップＳ５６）。２回目のパラメータ計算処理（ステップＳ５６）は、ステップＳ２６における判定で用いる式（１１）の右辺の閾値εを、１回目（ステップＳ５３）よりも小さな値に設定する他は、ステップＳ５３と同様である。

次に、動体画素判定手段７は、ステップＳ５６で計算された変換パラメータを用いて、選択画素の中から動体領域の画素を判定し、その画素を、選択画素から除外する（ステップＳ５７）。この処理は、ステップＳ５４と同様である。

ステップＳ５７の後、前処理手段３１ｃは、除外されずに残った選択画素に関して、前処理を行う（ステップＳ５８）。この前処理は、３回目の前処理に該当する。

３回目の前処理（ステップＳ５８）では、前処理手段３１ｃは、除外されずに残っている選択画素に関して、１回目の前処理（ステップＳ５２）と同様の処理を行ってもよい。ただし、既に説明したように、除外されずに残った選択画素に対するステップＳ１１〜Ｓ１３（図３参照）の処理は、１回目の前処理（ステップＳ５２）で行うステップＳ１１〜Ｓ１３の処理と同一の処理であり、同じ処理結果が得られる。従って、２回目の前処理と同様に、３回目の前処理でも、ステップＳ１１〜Ｓ１３の処理を省略して、１回目の前処理（ステップＳ５２）におけるステップＳ１１〜Ｓ１３の結果を用いればよい。ただし、選択画素数が減少したことにより、ヘシアン行列Ｈに関しては、１回目や２回目の前処理と計算結果が異なる。従って、パラメータ更新量計算前処理手段３２ｃは、ヘシアン行列Ｈの計算（ステップＳ１４）に関しては、ステップＳ５８において省略せずに実行する。パラメータ更新量計算前処理手段３２ｃは、ヘシアン行列Ｈを式（７）の計算で求めればよい。

次に、パラメータ計算手段４ｃが、３回目のパラメータ計算処理を行う（ステップＳ５９）。３回目のパラメータ計算処理（ステップＳ５９）は、ステップＳ２６における判定で用いる式（１１）の右辺の閾値εを、２回目（ステップＳ５６）よりも小さな値に設定する他は、ステップＳ５６と同様である。

条件判定手段４５ｃは、ステップＳ５９で得られた変換パラメータを、入力画像から基準画像への変換を表すパラメータとして決定する。

第４の実施形態によれば、パラメータ計算手段４ｃが計算した変換パラメータを用いて、動体画素判定手段７が、選択画素の中から動体領域に属する画素を判定し、その画素を除外する。そして、前処理手段３ｃおよびパラメータ計算手段４ｃは、除外されずに残った選択画素（すなわち、動体領域以外の選択画素）に関して処理を行って、変換パラメータを計算する。従って、入力画像と基準画像間で動きのある被写体の影響を受けずに、高い精度で変換パラメータを計算することができる。

なお、ステップＳ５７〜Ｓ５９の処理を行わずに、ステップＳ５６で得られた変換パラメータを、入力画像から基準画像への変換を表すパラメータとして決定してもよい。

また、ステップＳ５４において除外された選択画素の数が予め定めた閾値以下である場合には、パラメータ導出手段６ｃは、動体が存在しないと判定し、以降の処理を行わずに、ステップＳ５３で得られた変換パラメータを、入力画像から基準画像への変換を表すパラメータとして決定してもよい。同様に、ステップＳ５７において除外された選択画素の数が予め定めた閾値以下である場合にも、パラメータ導出手段６ｃは、動体が存在しないと判定し、以降の処理を行わずに、ステップＳ５６で得られた変換パラメータを、入力画像から基準画像への変換を表すパラメータとして決定してもよい。

また、ステップＳ５９の後にも、ステップＳ５７〜Ｓ５９の処理と同様の処理を繰り返してもよい。この繰り返し数は、特に限定されない。ただし、３回目の変換パラメータ計算（ステップＳ５９）までに、精度の高い変換パラメータが得られるので、処理量の増加を防ぐ観点からステップＳ５９で処理を終えることが好ましい。

また、上記の説明では、前処理手段３ｃが、１回目の前処理（ステップＳ５２、図１１参照）では、ステップＳ１１〜Ｓ１４（図３参照）を実行し、２回目以降の前処理では、ステップＳ１１〜Ｓ１３を省略してヘシアン行列Ｈの計算（ステップＳ１４）に関しては省略せずに実行する場合を示した。このとき、前処理手段３ｃは、２回目以降の前処理（ステップＳ５５，Ｓ５８）では、１回目の前処理におけるステップＳ１１〜Ｓ１３の結果を用いることで、ステップＳ１１〜Ｓ１３を省略している。上記の実施形態の変形例として、前処理手段３ｃが、２回目以降の前処理（ステップＳ５５，Ｓ５８）において、ヘシアン行列Ｈの計算（ステップＳ１４）に関しても省略し、パラメータ計算手段４ｃは、１回目の前処理で計算されたヘシアン行列Ｈを用いて、２回目以降のパラメータ計算（ステップＳ５６，Ｓ５９）を行う構成としてもよい。すなわち、２回目以降の前処理（ステップＳ５５，Ｓ５８）において、パラメータ更新量計算前処理手段３２ｃがヘシアン行列Ｈの計算を省略してもよい。なお、１回目の前処理では、前処理手段３ｃは、ヘシアン行列Ｈの計算を含むステップＳ１１〜Ｓ１４を全て省略せずに実行する。２回目以降の前処理でヘシアン行列の計算も省略することにより、前処理における処理量を減少させることができる。

１回目の前処理で計算されたヘシアン行列Ｈを用いて、パラメータ計算手段４ｃが２回目以降のパラメータ計算（ステップＳ５６，Ｓ５９）を行うということは、１回目の前処理で計算されたヘシアン行列Ｈを、ヘシアン行列の近似値として用いるということである。計算する変換パラメータの精度を高くする場合には、２回目以降のパラメータ計算（ステップＳ５６，Ｓ５９）でヘシアン行列の近似値を用いるのではなく、パラメータ更新量計算前処理手段３２ｃがヘシアン行列Ｈの計算を省略せずに実行する構成とすればよい。

一方、前処理の処理量を減少させる場合には、２回目以降の前処理（ステップＳ５５，Ｓ５８）で、ステップＳ１１〜Ｓ１３と同様にヘシアン行列の計算も省略する構成とすればよい。

また、第４の実施形態に第３の実施形態を適用してもよい。すなわち、１回目の前処理（ステップＳ５２）では、２回目以降の前処理（ステップＳ５５，Ｓ５８）に比べて、∇Ｔ_Ｒをぼかして計算してもよい。

また、第４の実施形態に第３の実施形態を適用する場合、１回目の前処理では、２回目以降の前処理に比べて、変換モデルのパラメータの自由度を減少させてもよい。例えば、１回目の前処理では、変換Ｗ（Ｘ；ｐ）として、パラメータ自由度２の平行移動を適用して演算を行い、２回目以降の前処理では、パラメータ自由度６のアフィン変換を適用して演算を行ってもよい。なお、変換モデルの適用のさせ方は、この例に限定されない。例えば、１回目の前処理で、平行移動を適用し、２回目以降の前処理でホモグラフィ変換をしてもよい。この場合、変換後画素値計算手段４１ｃ、差分計算手段４２ｃ、パラメータ更新量計算手段４３ｃおよびパラメータ更新手段４４ｃは、１回目の前処理後のパラメータ計算時（ステップＳ５３）には、１回目の前処理と同じ変換モデルを適用したＷ（Ｘ；ｐ）を用いて演算を行い、２回目以降の前処理後のパラメータ計算時（ステップＳ５６，Ｓ５９）には、２回目以降の前処理（ステップＳ５５，Ｓ５８）と同じ変換モデルを適用したＷ（Ｘ；ｐ）を用いて演算を行う。

第４の実施形態に第３の実施形態を適用する場合において、１回目の前処理と、２回目以降の前処理とでは、∇Ｔ_Ｒが異なることになる。従って、前処理手段３ｃは、２回目の前処理（ステップＳ５５）においてステップＳ１１〜Ｓ１４の処理を全てやり直す。３回目の前処理では、ステップＳ１１〜Ｓ１３の処理を省略し、２回目の前処理（ステップＳ５５）におけるステップＳ１１〜Ｓ１３の結果を用いればよい。ただし、既に説明したように、ヘシアン行列の計算（ステップＳ１４）はやり直す。

また、第３の実施形態および第４の実施形態において、画像変換パラメータ算出装置１ｂ，１ｃが、画素選択手段２（図７、図１０参照）の代わりに、画素選択手段２ａ（図５参照）を備え、第２の実施形態と同様の方法で、ランダムに画素を選択してもよい。

上記の各実施形態において、画像変換パラメータ算出装置が、変換パラメータを求めた後に、その変換パラメータを用いて入力画像を変換してもよい。

次に、本発明の最小構成の例について説明する。図１２は、本発明の最小構成の例を示すブロック図である。本発明の画像変換パラメータ算出装置は、画素選択手段２と、パラメータ導出手段６とを備える。

画素選択手段２は、第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択する。

パラメータ導出手段６は、画素選択手段によって選択された画素である選択画素に関して処理を行うことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出する。

そのような構成によれば、画素選択手段２は、第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択し、その選択画素に関して処理を行って変換パラメータを導出する。従って、基準画像の大きさに依存せずに、選択画素数を一定数以下に抑え、その結果、変換パラメータ算出の処理コストを一定に抑えることができる。また、ランダムに画素を選択するので、基準画像の画素値に周期性があったとしても、選択画素の画素値に偏りが生じることを防止できるので、精度よく変換パラメータを算出することができる。

なお、上記の実施形態には、以下の（付記１）〜（付記１２）に示すような画像変換パラメータ算出装置の特徴的な構成が開示されている。

（付記１）第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択する画素選択手段と、画素選択手段によって選択された画素である選択画素に関して処理を行うことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出するパラメータ導出手段とを備えることを特徴とする画像変換パラメータ算出装置。

（付記２）画素選択手段が、第１の画像からランダムに画素を抽出する画素抽出手段と、画素抽出手段によって抽出された画素が所定の基準を満たすか否かを判定し、その画素が基準を満たすことを条件に、その画素を変換パラメータの導出に用いる画素として選択する基準判定手段とを含む付記１に記載の画像変換パラメータ算出装置。

（付記３）基準判定手段が、画素抽出手段によって抽出された画素の偏微分に基づいて、その画素が基準を満たすか否かを判定する付記２に記載の画像変換パラメータ算出装置。

（付記４）基準判定手段が、画素抽出手段によって抽出された画素が第１の画像のノイズ領域の画素であるか否かを判定し、画素がノイズ領域の画素でないという基準を満たすことを条件に、画素を変換パラメータの導出に用いる画素として選択する付記２に記載の画像変換パラメータ算出装置。

（付記５）パラメータ導出手段が導出した変換パラメータを用いて、画素選択手段によって選択された選択画素のうち動体の領域の画素となる選択画素を判定し、動体の領域の画素と判定した選択画素を、画素選択手段によって選択された選択画素から除外する動体画素判定手段を備え、パラメータ導出手段が、動体画素判定手段によって除外されずに残った選択画素に関して処理を行うことによって、第２の画像を第１の画像に変換する変換パラメータを再度導出する付記１から付記４のうちのいずれかに記載の画像変換パラメータ算出装置。

（付記６）パラメータ導出手段が、画素選択手段によって選択された各選択画素における微分を算出する微分手段（例えば、第３の実施形態における微分手段３１）と、微分手段よりも広範囲の画素の画素値から各選択画素における微分を算出する第２の微分手段（例えば、第３の実施形態における第２の微分手段３１ｂ）と、画素選択手段によって選択された各選択画素におけるヤコビアン行列と、選択画素群に関するヘシアン行列を算出するパラメータ更新計算前処理手段（例えば、パラメータ更新量計算前処理手段３２）と、予め定められた収束判定条件が満たされるまで、選択画素における微分、ヤコビアン行列およびヘシアン行列を用いて変換パラメータの更新を繰り返すパラメータ計算手段とを含み、第２の微分手段が、各選択画素における微分を算出し、パラメータ更新計算前処理手段が、その微分を用いてヤコビアン行列およびヘシアン行列を算出し、パラメータ計算手段が、その微分、ヤコビアン行列およびヘシアン行列を用いて、１回目のパラメータ更新繰り返し処理を行い、微分手段が、各選択画素における微分を算出し、パラメータ更新計算前処理手段が、その微分を用いてヤコビアン行列およびヘシアン行列を算出し、パラメータ計算手段が、その微分、ヤコビアン行列およびヘシアン行列を用いて、２回目のパラメータ更新繰り返し処理を行う付記１から付記４のうちのいずれかに記載の画像変換パラメータ算出装置。

（付記７）第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択する画素選択部と、画素選択部によって選択された画素である選択画素に関して処理を行うことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出するパラメータ導出部とを備えることを特徴とする画像変換パラメータ算出装置。

（付記８）画素選択部が、第１の画像からランダムに画素を抽出する画素抽出部と、画素抽出部によって抽出された画素が所定の基準を満たすか否かを判定し、前記画素が前記基準を満たすことを条件に、前記画素を変換パラメータの導出に用いる画素として選択する基準判定部とを含む付記７に記載の画像変換パラメータ算出装置。

（付記９）基準判定部が、画素抽出部によって抽出された画素の偏微分に基づいて、前記画素が基準を満たすか否かを判定する付記８に記載の画像変換パラメータ算出装置。

（付記１０）基準判定部が、画素抽出部によって抽出された画素が第１の画像のノイズ領域の画素であるか否かを判定し、前記画素がノイズ領域の画素でないという基準を満たすことを条件に、前記画素を変換パラメータの導出に用いる画素として選択する付記８に記載の画像変換パラメータ算出装置。

（付記１１）パラメータ導出部が導出した変換パラメータを用いて、画素選択部によって選択された選択画素のうち動体の領域の画素となる選択画素を判定し、動体の領域の画素と判定した選択画素を、画素選択部によって選択された選択画素から除外する動体画素判定部を備え、パラメータ導出部が、動体画素判定部によって除外されずに残った選択画素に関して処理を行うことによって、第２の画像を第１の画像に変換する変換パラメータを再度導出する付記７に記載の画像変換パラメータ算出装置。

（付記１２）パラメータ導出部が、画素選択部によって選択された各選択画素における微分を算出する微分部（例えば、第３の実施形態における微分手段３１）と、前記微分部よりも広範囲の画素の画素値から各選択画素における微分を算出する第２の微分部（例えば、第３の実施形態における第２の微分手段３１ｂ）と、画素選択部によって選択された各選択画素におけるヤコビアン行列と、選択画素群に関するヘシアン行列を算出するパラメータ更新計算前処理部（例えば、パラメータ更新量計算前処理手段３２）と、予め定められた収束判定条件が満たされるまで、選択画素における微分、ヤコビアン行列およびヘシアン行列を用いて変換パラメータの更新を繰り返すパラメータ計算部とを含み、第２の微分部が、各選択画素における微分を算出し、パラメータ更新計算前処理部が、前記微分を用いてヤコビアン行列およびヘシアン行列を算出し、パラメータ計算部が、前記微分、ヤコビアン行列およびヘシアン行列を用いて、１回目のパラメータ更新繰り返し処理を行い、微分部が、各選択画素における微分を算出し、パラメータ更新計算前処理部が、前記微分を用いてヤコビアン行列およびヘシアン行列を算出し、パラメータ計算部が、前記微分、ヤコビアン行列およびヘシアン行列を用いて、２回目のパラメータ更新繰り返し処理を行う付記７に記載の画像変換パラメータ算出装置。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００９年９月２８日に出願された日本出願特願２００９−２２３０３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

産業上の利用の可能性

本発明は、画像位置合わせにおける画像の変換パラメータを算出する画像変換パラメータ算出装置に好適に適用される。

１，１ａ，１ｂ，１ｃ 画像変換パラメータ算出装置
２，２ａ 画素選択手段
３，３ｂ，３ｃ 前処理手段
４，４ｃ パラメータ計算手段
５ 選択画素記憶手段
６，６ｂ，６ｃ パラメータ導出手段
７ 動体画素判定手段
２１ 画素抽出手段
２２ 基準判定手段
３１，３１ｃ 微分手段
３１ｂ 第２の微分手段
３２，３２ｃ パラメータ更新量計算前処理手段
４１，４１ｃ 変換後画素値計算手段
４２，４２ｃ 差分計算手段
４３，４３ｃ パラメータ更新量計算手段
４４，４４ｃ パラメータ更新手段
４５，４５ｃ 条件判定手段

Claims (11)

1. 第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択する画素選択手段と、
   前記画素選択手段によって選択された画素である選択画素に関して、選択画素に対応する第２の画像の画素を変換したときの変換後の画素位置における画素値と第１の画像内の前記選択画素との差分を用いて変換パラメータの更新量を算出し、前記第２の画像の画素に対する変換の変換パラメータに前記更新量を合成または加算することによって変換パラメータを更新する処理を、前記更新量が更新量に関する閾値よりも小さくなるまで繰り返すことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出するパラメータ導出手段とを備え、
   前記画素選択手段は、
   前記第１の画像からランダムに画素を抽出する画素抽出手段と、
   前記画素抽出手段によって抽出された画素の偏微分が画素の偏微分に関する閾値以上であるか否かを判定し、前記画素の偏微分が前記閾値以上であることを条件に、前記画素を変換パラメータの導出に用いる画素として選択する基準判定手段とを含む
   ことを特徴とする画像変換パラメータ算出装置。
2. 選択画素に対応する第２の画像内の画素と、当該画素をパラメータ導出手段が導出した変換パラメータによって変換した画素との間で画素値の差分を計算し、当該差分が閾値以上となる選択画素を、動体の領域の画素と判定し、動体の領域の画素と判定した選択画素を、画素選択手段によって選択された選択画素から除外する動体画素判定手段を備え、
   パラメータ導出手段は、動体画素判定手段によって除外されずに残った選択画素に関して処理を行うことによって、第２の画像を第１の画像に変換する変換パラメータを再度導出する
   請求項１に記載の画像変換パラメータ算出装置。
3. パラメータ導出手段は、
   画素選択手段によって選択された各選択画素における微分を算出する微分手段と、
   前記微分手段よりも広範囲の画素の画素値から各選択画素における微分を算出する第２の微分手段と、
   画素選択手段によって選択された各選択画素におけるヤコビアン行列と、選択画素群に関するヘシアン行列を算出するパラメータ更新計算前処理手段と、
   予め定められた収束判定条件が満たされるまで、選択画素における微分、ヤコビアン行列およびヘシアン行列を用いて変換パラメータの更新を繰り返すパラメータ計算手段とを含み、
   第２の微分手段が、各選択画素における微分を算出し、
   パラメータ更新計算前処理手段が、前記微分を用いてヤコビアン行列およびヘシアン行列を算出し、
   パラメータ計算手段が、前記微分、ヤコビアン行列およびヘシアン行列を用いて、１回目のパラメータ更新繰り返し処理を行い、
   微分手段が、各選択画素における微分を算出し、
   パラメータ更新計算前処理手段が、前記微分を用いてヤコビアン行列およびヘシアン行列を算出し、
   パラメータ計算手段が、前記微分、ヤコビアン行列およびヘシアン行列を用いて、２回目のパラメータ更新繰り返し処理を行う
   請求項１または請求項２に記載の画像変換パラメータ算出装置。
4. 第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択する画素選択手段と、
   前記画素選択手段によって選択された画素である選択画素に関して、選択画素に対応する第２の画像の画素を変換したときの変換後の画素位置における画素値と第１の画像内の前記選択画素との差分を用いて変換パラメータの更新量を算出し、前記第２の画像の画素に対する変換の変換パラメータに前記更新量を合成または加算することによって変換パラメータを更新する処理を、前記更新量が更新量に関する閾値よりも小さくなるまで繰り返すことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出するパラメータ導出手段とを備え、
   前記画素選択手段は、
   前記第１の画像からランダムに画素を抽出する画素抽出手段と、
   前記画素抽出手段によって抽出された画素が第１の画像のノイズ領域の画素であるか否かをバイラテラルフィルタによって判定し、前記画素がノイズ領域の画素でないことを条件に、前記画素を変換パラメータの導出に用いる画素として選択する基準判定手段とを含む
   ことを特徴とする画像変換パラメータ算出装置。
5. 選択画素に対応する第２の画像内の画素と、当該画素をパラメータ導出手段が導出した変換パラメータによって変換した画素との間で画素値の差分を計算し、当該差分が閾値以上となる選択画素を、動体の領域の画素と判定し、動体の領域の画素と判定した選択画素を、画素選択手段によって選択された選択画素から除外する動体画素判定手段を備え、
   パラメータ導出手段は、動体画素判定手段によって除外されずに残った選択画素に関して処理を行うことによって、第２の画像を第１の画像に変換する変換パラメータを再度導出する
   請求項４に記載の画像変換パラメータ算出装置。
6. 第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択し、
   選択した画素である選択画素に関して、選択画素に対応する第２の画像の画素を変換したときの変換後の画素位置における画素値と第１の画像内の前記選択画素との差分を用いて変換パラメータの更新量を算出し、前記第２の画像の画素に対する変換の変換パラメータに前記更新量を合成または加算することによって変換パラメータを更新する処理を、前記更新量が更新量に関する閾値よりも小さくなるまで繰り返すことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出し、
   前記第１の画像からランダムに画素を抽出し、
   抽出した画素の偏微分が画素の偏微分に関する閾値以上であるか否かを判定し、前記画素の偏微分が前記閾値以上であることを条件に、前記画素を変換パラメータの導出に用いる画素として選択する
   ことを特徴とする画像変換パラメータ算出方法。
7. 第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択し、
   選択した画素である選択画素に関して、選択画素に対応する第２の画像の画素を変換したときの変換後の画素位置における画素値と第１の画像内の前記選択画素との差分を用いて変換パラメータの更新量を算出し、前記第２の画像の画素に対する変換の変換パラメータに前記更新量を合成または加算することによって変換パラメータを更新する処理を、前記更新量が更新量に関する閾値よりも小さくなるまで繰り返すことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出し、
   前記第１の画像からランダムに画素を抽出し、
   抽出した画素が第１の画像のノイズ領域の画素であるか否かをバイラテラルフィルタによって判定し、前記画素がノイズ領域の画素でないことを条件に、前記画素を変換パラメータの導出に用いる画素として選択する
   ことを特徴とする画像変換パラメータ算出方法。
8. 選択画素に対応する第２の画像内の画素と、当該画素を変換パラメータによって変換した画素との間で画素値の差分を計算し、当該差分が閾値以上となる選択画素を、動体の領域の画素と判定し、動体の領域の画素と判定した選択画素を、選択した選択画素から除外し、
   除外されずに残った選択画素に関して処理を行うことによって、第２の画像を第１の画像に変換する変換パラメータを再度導出する
   請求項６または請求項７に記載の画像変換パラメータ算出方法。
9. コンピュータに、
   第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択する画素選択処理、および、
   前記画素選択処理で選択された画素である選択画素に関して、選択画素に対応する第２の画像の画素を変換したときの変換後の画素位置における画素値と第１の画像内の前記選択画素との差分を用いて変換パラメータの更新量を算出し、前記第２の画像の画素に対する変換の変換パラメータに前記更新量を合成または加算することによって変換パラメータを更新する処理を、前記更新量が更新量に関する閾値よりも小さくなるまで繰り返すことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出するパラメータ導出処理を実行させ、
   前記画素選択処理で、
   前記第１の画像からランダムに画素を抽出する画素抽出処理、および
   前記画素抽出処理で抽出された画素の偏微分が画素の偏微分に関する閾値以上であるか否かを判定し、前記画素の偏微分が前記閾値以上であることを条件に、前記画素を変換パラメータの導出に用いる画素として選択する基準判定処理を実行させるための画像変換パラメータ算出プログラム。
10. コンピュータに、
    第１の画像からランダムに、予め定められた所定数または当該所定数以下の画素を選択する画素選択処理、および、
    前記画素選択処理で選択された画素である選択画素に関して、選択画素に対応する第２の画像の画素を変換したときの変換後の画素位置における画素値と第１の画像内の前記選択画素との差分を用いて変換パラメータの更新量を算出し、前記第２の画像の画素に対する変換の変換パラメータに前記更新量を合成または加算することによって変換パラメータを更新する処理を、前記更新量が更新量に関する閾値よりも小さくなるまで繰り返すことによって、第１の画像とともに画像位置あわせの対象となる第２の画像を第１の画像に変換する変換パラメータを導出するパラメータ導出処理を実行させ、
    前記画素選択処理で、
    前記第１の画像からランダムに画素を抽出する画素抽出処理、および
    前記画素抽出処理で抽出された画素が第１の画像のノイズ領域の画素であるか否かをバイラテラルフィルタによって判定し、前記画素がノイズ領域の画素でないことを条件に、前記画素を変換パラメータの導出に用いる画素として選択する基準判定処理を実行させるための画像変換パラメータ算出プログラム。
11. コンピュータに、
    選択画素に対応する第２の画像内の画素と、当該画素をパラメータ導出処理で導出された変換パラメータによって変換した画素との間で画素値の差分を計算し、当該差分が閾値以上となる選択画素を、動体の領域の画素と判定し、動体の領域の画素と判定した選択画素を、画素選択処理で選択された選択画素から除外する処理を実行させ、
    除外されずに残った選択画素に関してパラメータ導出処理を再度実行させることによって、第２の画像を第１の画像に変換する変換パラメータを再度導出させる
    請求項９または請求項１０に記載の画像変換パラメータ算出プログラム。

Images