JP5733706B2 - 画像処理装置、方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、方法、及びプログラムに係り、特に、マルチバンド画像を用いて色再現処理を行なう画像処理装置、方法、及びプログラムに関する。

非特許文献１や非特許文献２に示されるような、ＲＧＢ（３バンド）デジタルカメラとデジタルカメラが持つ本来のR（赤）、G（緑）、B（青）の各色に対応するフィルタの透過波長の一部のみを透過するカラーフィルタを組み合わせて４バンド以上のマルチバンド画像を撮影し、得られたマルチバンド画像からＲＧＢ画像等を生成する技術が知られている。

非特許文献１及び非特許文献２の場合には、例えば、図１４に示すように、ＲＧＢカメラ５０１ａ及びカラーフィルタ５０１ｂを組み合わせた画像入力部５０１により３バンド画像１を得ると共に、ＲＧＢカメラ５０２ａを有する画像入力部５０２により３バンド画像１を得ることにより、フィルタの厚み等による光学収差や、対応する被写体上の同一点が画像上で異なる位置に記録されている２種類の３バンド画像が得られ、６バンド画像を得て、従来の画像処理装置５０３の対応点探索部５０３ａにより、３バンド画像１及び３バンド画像２の対応点を検出し、画像変形処理部５０３ｂにより、３バンド画像１及び３バンド画像２の何れか一方を幾何的に変形させ、他方の画像に一致させる事でマルチバンド画像を生成している。そして、色再現処理部５０３ｃにより、上記得られた全てのバンドの画像を用いて色再現演算を行ない、その結果からＲＧＢ画像を生成している（図１５も参照）。

橋本勝、"６バンド分光画像による浮世絵のアーカイブと高精度色再現"、人文科学とシンポジウム（じんもんこん）2008, pp.305-310, Dec., 2008 土田勝、川西隆仁、大和淳司、伊藤康一、青木孝文、" 色再現を目的としたステレオ式ワンショット６バンド撮影システム"、画像の認識・理解シンポジウム（MIRU）2010, デモセッション, No. DS-1, pp. 1310-1311, July 2010

しかしながら、上記非特許文献１及び２では、フィルタ無しで撮影した画像とフィルタ有りで撮像した画像のどちらの画像を基準画像/変形対象の画像にすべきか明示されていない。フィルタ有りで撮影した画像を基準画像とした場合、対応点探索や画像変形が失敗したときには、色再現結果画像上への偽色の発生や、見た目の色が著しく不自然な画像（色再現性の低下）等といった画質の著しい低下や、基準画像を用いての画質の回復が困難になってしまう、という問題がある。

本発明は、上記の問題を解決するためになされたもので、従来手法よりも色再現結果の精度が向上する画像処理装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明の画像処理装置は、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との対応点を複数検出する対応点検出手段と、前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように前記第１カラー画像を変形した第３カラー画像を生成する画像変形手段と、前記画像取得手段によって取得された前記第２カラー画像及び前記画像変形手段によって生成された前記第３カラー画像の前記対応点の位置ずれ量が閾値以上であるか否かを判定する画像変形結果判定手段と、前記画像変形結果判定手段によって前記対応点の位置ずれ量が閾値以上であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像を用いて、被写体の色再現処理を行い、前記画像変形結果判定手段によって前記対応点の位置ずれ量が閾値未満であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像及び前記画像変形手段によって生成された前記第３カラー画像を用いて、被写体の色再現処理を行う色再現処理手段とを含んで構成されている。

第２の発明の画像処理方法は、画像取得手段、対応点検出手段、検出対応点数結果判定手段、画像変形手段、画像変形結果判定手段、及び色再現処理手段を含む画像処理装置における画像処理方法であって、前記画像取得手段によって、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得し、前記対応点検出手段によって、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との対応点を複数検出し、前記検出対応点数判定手段によって、前記対応点検出手段によって取得された前記第１カラー画像及び前記第２カラー画像間で検出された対応点の数が閾値以上であるか否かを判定し、前記対応点数がある閾値以上である場合には前記画像変形手段によって、前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように前記第１カラー画像を変形した第３カラー画像を生成し、前記画像変形結果判定手段によって、前記画像取得手段によって取得された前記第２カラー画像及び前記画像変形手段によって生成された前記第３カラー画像の前記対応点の位置ずれ量が閾値以上であるか否かを判定し、前記色再現処理手段によって、前記画像変形結果判定手段によって前記対応点の位置ずれ量が閾値以上であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像を用いて、被写体の色再現処理を行い、前記画像変形結果判定手段によって前記対応点の位置ずれ量が閾値未満であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像及び前記画像変形手段によって生成された前記第３カラー画像を用いて、被写体の色再現処理を行う。前記検出対応点判定手段において検出された対応点数が閾値未満と判定された場合には、前記画像取得手段によって取得された前記第２カラー画像を用いて、被写体の色再現処理を行う。

このように、カラーフィルタの無い第２撮影手段により撮影された第２カラー画像を基準画像として、十分な数の対応点が得られなかった場合には、第２カラー画像を用いて、被写体の色再現処理を行う。また十分な数の対応点が得られた場合には、各対応点の位置が一致するように、カラーフィルタとを有する第１撮影手段により撮影された第１カラー画像を変形した第３カラー画像を生成し、第３カラー画像との対応点の位置ずれ量が閾値以上である場合に、第２カラー画像を用いて、被写体の色再現処理を行う。これらの処理により、従来手法よりも色再現結果の精度が向上する。

なお、色再現処理は、被写体の色（例えば、スペクトル、分光反射率、色、ＲＧＢ/多原色画素値等）を計算（推定）し、計算した値を画素値とする色再現結果画像(例えば、スペクトル画像、分光反射率画像、ＲＧＢ画像等々）を生成する処理をいう。

また、第３の発明の画像処理装置は、第１の発明または第２の発明の画像処理装置において、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との各々を小領域画像に分割する画像分割処理手段と、画像貼り合わせ処理手段とを更に含み、前記対応点検出手段は、前記小領域画像毎に、前記画像取得手段によって取得された前記第１カラー画像の前記小領域画像と、前記第２カラー画像の対応する前記小領域画像との対応点を複数検出し、前記画像変形手段は、前記小領域画像毎に、前記対応点検出手段によって検出された前記対応点に基づいて、各対応点の位置が一致するように前記第１カラー画像の前記小領域画像を変形した第３カラー画像の小領域画像を生成し、前記画像変形結果判定手段は、前記小領域画像毎に、前記画像取得手段によって取得された前記第２カラー画像の前記小領域画像及び前記画像変形手段によって生成された前記第３カラー画像の対応する前記小領域画像の前記対応点の位置ずれ量が閾値以上であるか否かを判定し、前記色再現処理手段は、前記小領域画像毎に、前記画像変形結果判定手段によって前記小領域画像について前記対応点の位置ずれ量が閾値以上であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像の前記小領域画像を用いて、前記小領域画像における被写体の色再現処理を行い、前記画像変形結果判定手段によって前記小領域画像について前記対応点の位置ずれ量が閾値未満であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像の前記小領域画像及び前記画像変形手段によって生成された前記第３カラー画像の対応する前記小領域画像を用いて、前記小領域画像における被写体の色再現処理を行い、前記画像貼り合わせ処理手段は、前記色再現処理を行った各小領域画像から一枚の画像を生成する。

第３の発明の画像処理装置は、小領域画像に分割した後は、上記の第１の発明もしくは第２の発明と同様の方法に基づき、小領域画像毎に色再現画像を生成し、得られた小領域毎の色再現画像結果を貼り合せ、１枚の色再現画像を得る。

第４の発明の画像処理装置は、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との各々を小領域画像に分割する画像分割処理手段と、前記小領域画像毎に、前記画像取得手段によって取得された前記第１カラー画像の前記小領域画像と、前記第２カラー画像の対応する前記小領域画像との対応点を複数検出する対応点検出手段と、前記小領域画像毎に、前記対応点検出手段によって前記小領域画像について検出された前記対応点に基づいて、各対応点の位置が一致するように前記第１カラー画像の前記小領域画像を変形した第３カラー画像の小領域画像を生成する画像変形手段と、前記小領域画像毎に、前記画像取得手段によって取得された前記第２カラー画像の前記小領域画像及び前記画像変形手段によって生成された前記第３カラー画像の対応する前記小領域画像の前記対応点の位置ずれ量が閾値以上であるか否かを判定する画像変形結果判定手段と、前記画像変形結果判定手段によって前記対応点の位置ずれ量が閾値以上であると判定された前記小領域画像の各々について、前記第２カラー画像の前記小領域画像から、前記第１カラー画像の対応する前記小領域画像を推定する画像推定手段と、前記画像変形結果判定手段によって前記対応点の位置ずれ量が未満以上であると判定された前記小領域画像に対応する前記第１カラー画像の前記小領域画像、及び前記画像推定手段によって推定された前記第１カラー画像の前記小領域画像を貼り合わせた画像を生成する画像貼り合わせ手段と、前記画像取得手段によって取得された前記第２カラー画像及び前記画像貼り合わせ処理手段によって生成された画像を用いて、被写体の色再現処理を行う色再現処理手段と、を含んで構成されている。

このように、小領域画像毎に、カラーフィルタの無い第２撮影手段により撮影された第２カラー画像を基準画像として、各対応点の位置が一致するように、カラーフィルタとを有する第１撮影手段により撮影された第１カラー画像を変形した第３カラー画像を生成し、小領域画像毎に、第３カラー画像との対応点の位置ずれ量が閾値以上である場合に、第２カラー画像を用いて、被写体の色再現処理を行うことにより、従来手法よりも色再現結果の精度が向上する。

また、本発明のプログラムは、コンピュータを、上記の画像処理装置を構成する各手段として機能させるための画像処理プログラムである。

以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、カラーフィルタの無い第２撮影手段により撮影された第２カラー画像を基準画像として、各対応点の位置が一致するように、カラーフィルタとを有する第１撮影手段により撮影された第１カラー画像を変形した第３カラー画像を生成し、第３カラー画像との対応点の位置ずれ量が閾値以上である場合に、第２カラー画像を用いて、被写体の色再現処理を行うことにより、従来手法よりも色再現結果の精度が向上する、という効果が得られる。

第１の実施の形態に係る画像処理装置の構成を示す概略図である。 マルチバンド画像を入力する画像入力装置の一例を示す図である。 （Ａ）カラーフィルタの透過波長の一例を示す図、及び（Ｂ）カラーフィルタにより得られるバンドの一例を示す図である。 第１の実施の形態に係る画像処理装置における対応点検出部の構成の一例を示す図である。 第１の実施の形態に係る画像処理装置における色再現処理ルーチンの内容を示すフローチャートである。 第２の実施の形態に係る画像処理装置の構成を示す概略図である。 第２の実施の形態に係る画像処理装置における色再現処理ルーチンの内容を示すフローチャートである。 他の例に係る画像処理装置の構成を示す概略図である。 第３の実施の形態に係る画像処理装置の構成を示す概略図である。 第３の実施の形態に係る画像処理装置における色再現処理ルーチンの内容を示すフローチャートである。 第４の実施の形態に係る画像処理装置の構成を示す概略図である。 第４の実施の形態に係る画像処理装置における色再現処理ルーチンの内容を示すフローチャートである。 マルチバンド画像を入力する画像入力装置の一例を示す図である。 従来の画像処理装置の構成を示す概略図である。 分光撮影の原理イメージを示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

［第１の実施の形態］
＜システム構成＞
第１の実施の形態に係る画像処理装置について説明する。

第１の実施の形態に係る画像処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する色再現処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、対応点検出部１４、画像変形処理部１５、画像変形結果判定部１６、変形結果画像出力部１７、色再現処理部１８、及び色再現処理部１９を含んだ構成で表すことができる。

画像処理装置１０には、画像入力部１１で撮影されて得られた３バンド画像１と、画像入力部１２で撮影されて得られたＲＧＢ（３バンド）画像２とが入力される。画像入力部１１は、ＲＧＢカメラ１１ａを有しており、画像入力部１２は、ＲＧＢカメラ１２ａを有している。ＲＧＢカメラ１１ａ及びＲＧＢカメラ１２ａは、共にＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor )等のセンサ及びＲＧＢ各色のフィルタを備えたデジタルカメラである。図２に示すように、画像入力部１１は、ＲＧＢカメラ１１ａの他、該ＲＧＢカメラ１１ａが有する本来のＲ、Ｇ、Ｂの各色に対応するフィルタの透過波長の一部のみを透過するカラーフィルタ１１ｂを備えている（図３（Ａ）参照）。画像入力部１１及び画像入力部１２により、６つのバンドの各々のデジタル信号値が、６バンド画像の画素値として得られる（図３（Ｂ）参照）。以下では、マルチバンド画像の一例として６バンド画像を例に挙げて説明するが、マルチバンド画像を６バンド画像に限定するものではない。また画像入力部１１におけるカラーフィルタはカメラが有する波長感度の一部のみを透過するバンドパスフィルタでも良い。また画像入力部１１におけるカメラは白黒カメラでも良い。

画像処理装置１０の対応点検出部１４は、画像入力部１１から入力された３バンド画像１のデータ、及び画像入力部１２から入力された３バンド画像２のデータに基づいて、フィルタ無しで撮影した３バンド画像２を基準画像とし、フィルタを用いて撮影された３バンド画像１と３バンド画像２の２枚の３バンド画像間での対応点を複数検出する。

２枚の３バンド画像間での対応点の検出は、例えば、位相限定相関法（参考文献（青木孝文、伊藤康一、柴原琢磨、長嶋聖、「位相限定相関法に基づく高精度マシンビジョン−ピクセル分解能の壁を越える画像センシング技術をめざして−」、Fundamentals Review Vol.1 No.1）を参照）に従って行えばよい。この場合には、図４に示すように、対応点検出部１４は、白黒画像生成部１１２ａ、１１２ｂと、位相画像生成部１１３ａ、１１３ｂと、相関画像生成部１１４と、対応点検出部１１５とを含んだ構成で表すことができる。この対応点検出部１４によれば、白黒画像生成部１１２ａ、１１２ｂで、３バンド画像１及び３バンド画像２から白黒画像を各々生成し、位相画像生成部１１３ａ及び１１３ｂで、生成された白黒画像各々から位相画像を生成する。そして、相関画像生成部１１４で、生成された２つの位相画像から相関画像を生成し、対応点検出部１１５で、生成された相関画像における相関値が最大の座標に基づいて２画像間のずれ量を求めて対応点を検出する。相関値が最大の座標を求めるに当たり、例えばガウス関数等を内挿することによりサブピクセル精度でのずれ量、対応点の座標を検出することも可能である。

対応点検出部１４は、上記の対応点の検出の結果として、検出された対応点の数、及び３バンド画像１、２における対応点の座標およびズレ幅を出力する。

画像変形処理部１５は、得られた対応点の検出結果を用いて、カラーフィルタ１１ｂを装着して撮影した画像（３バンド画像１）を変形させて、新たな３バンド画像（３バンド画像３）を生成する。

画像変形処理部１５による変形処理では、対応点検出部１４で得られた対応点情報を元に画像変形パラメータ（射影変換の場合には水平/垂直方向のずれ量、３軸（Ｘ軸、Ｙ軸、Ｚ軸）それぞれに対する回転角度、倍率。スプライン補完等の非線形手法に基づく場合には、そのモデルパラメータ）を算出し、算出した画像変形パラメータを仮定した変形モデル（射影変換や非線形変換）に適用して、３バンド画像２と各対応点の位置が一致するように３バンド画像１に対して変形処理を施す。なお、画像変形における手法は、ここでは特に限定しないが、例えば、射影変換（線形変換）もしくは非線形的な画像変形処理を施す。

画像変形結果判定部１６は、３バンド画像２と３バンド画像３とに基づいて、画像変形が正しく行われたか否かを判定する。判定処理では、３バンド画像２と３バンド画像３の間での対応点が同じ座標上に存在するかを判断するために、画像間での対応点の位置ずれ量を再度計算する。また、対応点間の位置ずれ量（距離）に関する閾値を予め設定（閾値の決め方は限定しない）しておき、例えば、対応点間の平均二乗誤差が閾値以下であれば、正しく画像変形が行われたと判定し、閾値以上であれば正しく画像変形が行われなかったと判定する。なお、対応点間の平均二乗誤差が、対応点間の位置ずれ量の一例である。

変形結果画像出力部１７は、画像変形結果判定部１６によって正しく画像変形が行われたと判定された場合に得られた３バンド画像２および３バンド画像３をメモリ上に展開、モニタ上へ表示、もしくはファイルへ出力する。

色再現処理部１８は、画像変形結果判定部１６によって正しく画像変形が行われなかったと判定された場合に、３バンド画像２のみを用いた被写体の色再現処理を行い、色再現結果画像を生成して出力する。

色再現処理では、３バンド画像２、色再現パラメータ（撮影時の照明光スペクトルやカメラの感度などの分光反射率推定に必要な情報、および再現したい照明環境での照明光スペクトルや表示デバイスの特性）に基づいて、３バンド画像２から写っている被写体の色（スペクトル、分光反射率、色、RGB/多原色信号値）をウィナー推定法等により算出し、色再現結果画像（分光反射率画像、もしくはRGB/多原色画像）を生成して出力する。

例えば、ウィナー推定法を用いて、３バンド画像２から画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。そして、分光反射率画像から、例えば、ＲＧＢ画像を生成する場合には、例えば、上記生成した分光反射率画像に対して、予め定めた再現したい照明環境での照明光スペクトル及び予め定めた表示デバイスの特性を用いて、ＲＧＢ画像を生成すればよい。具体的には、予め定めた再現したい照明環境での照明光スペクトルと各画素に対応する推定された分光反射率の各波長の値を掛け合わせ反射光スペクトルを算出し、更に各画素に等色関数を掛け合わせＸＹＺ測色値を求める。各画素について計算されたＸＹＺ測色値から表示デバイスの特性（ＸＹＺ測色値と表示デバイスのＲＧＢ値の関係式、およびトーンカーブなど表示デバイスに関する入出力の関係）に基づきＲ値、Ｇ値、及びＢ値を計算し、各画素の画素値を、計算したＲＧＢ値とするＲＧＢ画像を生成する。予め等色関数と表示デバイスの特性からスペクトル-ＲＧＢ値変換行列を求めておき、反射スペクトルに対し該当行列を掛け合わせ、さらにトーンカーブによる補正を経てＲＧＢ画像を生成してもよい。

色再現処理部１９は、画像変形結果判定部１６によって正しく画像変形が行われたと判定された場合に、３バンド画像２および３バンド画像３を用いて、色再現処理を行い、色再現結果画像を生成して出力する。

色再現処理では、３バンド画像２、３バンド画像３、色再現パラメータ（撮影時の照明光スペクトルやカメラの感度などの分光反射率推定に必要な情報、および再現したい照明環境での照明光スペクトルや表示デバイスの特性）に基づいて、３バンド画像２及び３バンド画像３から、写っている被写体の色（スペクトル、分光反射率、色、RGB/多原色信号値）をウィナー推定法等により算出し、色再現結果画像（分光反射率画像、もしくはRGB/多原色画像）を生成して出力する。

＜画像処理装置の作用＞
次に、第１の実施の形態に係る画像処理装置１０の作用について説明する。まず、画像入力部１１及び画像入力部１２により、３バンド画像１及び３バンド画像２が撮影された後、画像処理装置１０によって、図５に示す色再現処理ルーチンが実行される。

ステップＳ１０１において、画像入力部１１で撮影された３バンド画像１のデータ及び画像入力部１２で撮影された３バンド画像２のデータを取得する。

ステップＳ１０２において、上記ステップＳ１０１で取得した３バンド画像１及び３バンド画像２の間における対応点を複数検出する。そして、ステップＳ１０３において、上記ステップＳ１０２で検出された対応点の情報に基づいて、上記ステップＳ１０１で取得した３バンド画像１に対して画像変形処理を行って、３バンド画像３を生成する。

次のステップＳ１０４では、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ１０３で生成された３バンド画像３の間における対応点の位置ずれ量（例えば平均二乗誤差）を計算する。そして、ステップＳ１０５において、上記ステップＳ１０４で計算された位置ずれ量が閾値以上であるか否かを判定する。計算された位置ずれ量が閾値以上である場合には、ステップＳ１０６において、３バンド画像２のみを用いて、被写体の色再現処理を行い、色再現処理の結果を出力し、色再現処理ルーチンを終了する。

一方、上記ステップＳ１０５で、計算された対応点の位置ずれ量が閾値未満であると判定された場合には、ステップＳ１０７において、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ１０３で生成された３バンド画像３を出力する。次のステップＳ１０８では、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ１０３で生成された３バンド画像３を用いて、被写体の色再現処理を行い、色再現処理の結果を出力し、色再現処理ルーチンを終了する。

以上説明したように、第１の実施の形態の画像処理装置によれば、カラーフィルタの無いＲＧＢカメラにより撮影された３バンド画像２を基準画像として、各対応点の位置が一致するように、カラーフィルタを装着したＲＧＢカメラにより撮影された３バンド画像１を変形した３バンド画像３を生成し、３バンド画像３との対応点の位置ずれ量（例えば平均二乗誤差）が閾値以上である場合に、３バンド画像２のみを用いて、被写体の色再現処理を行うことにより、従来手法よりも色再現結果の精度および色再現結果画像の画質が向上する。

画像変形処理に失敗した場合のエッジ周辺の偽色は（面積は微小だが）人の目には極めて目立つ。それに対して、３原色画像から色再現処理を行っても大きな劣化は人には感じられない。従って、画像の変形処理に失敗し、マルチバンド撮影の生成に失敗した場合でも、最低でも現在一般的に用いられている３バンド画像からの色再現結果とほぼ同等の精度が保証される。

［第２の実施の形態］
＜システム構成＞
次に、第２の実施の形態について説明する。なお、第２の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。

第２の実施の形態の画像処理装置２１０を構成するコンピュータは、機能的には、図６に示すように、対応点検出部１４、検出対応点数判定部２１４、画像変形処理部１５、画像変形結果判定部１６、変形結果画像出力部１７、色再現処理部１８、及び色再現処理部１９を含んだ構成で表すことができる。

検出対応点数判定部２１４は、対応点検出部１４で検出された対応点の数が閾値以上（例えば、画像変形処理が射影変形である場合の閾値は6点以上）であるか否かを判定し、検出された対応点の数が閾値以上であれば、画像の変形に十分な数の対応点が検出されたと判定し、一方、検出された対応点の数が閾値未満であれば、画像の変形に十分な数の対応点が検出されなかったと判定する。

検出対応点数判定部２１４によって、画像の変形に十分な数の対応点が検出されたと判定された場合には、画像変形処理部１５が、対応点検出部１４で得られた対応点の情報を用いて、カラーフィルタ１１ｂを装着して撮影した３バンド画像２を変形させて、新たな３バンド画像３を生成する。

検出対応点数判定部２１４によって、画像の変形に十分な数の対応点が検出されなかったと判定された場合、色再現処理部１８は、３バンド画像２のみを用いた被写体の色再現処理を行い、色再現結果画像を生成して出力する。

＜画像処理装置の作用＞
次に、図７を参照して、第２の実施の形態の画像処理装置２１０で実行される色再現処理ルーチンについて説明する。なお、第１の実施の形態における色再現処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ１０１において、画像入力部１１で撮影された３バンド画像１のデータ及び画像入力部１２で撮影された３バンド画像２のデータを取得する。

ステップＳ１０２において、上記ステップＳ１０１で取得した３バンド画像１及び３バンド画像２の間における対応点を複数検出する。そして、ステップＳ２０１において、上記ステップＳ１０２で検出された対応点の数が閾値以上であるか否かを判定する。検出された対応点の数が閾値以上である場合には、ステップＳ１０３へ移行するが、一方、検出された対応点の数が閾値未満である場合には、ステップＳ１０６へ移行する。

ステップＳ１０３では、上記ステップＳ１０１で取得した３バンド画像１に対して画像変形処理を行って、３バンド画像３を生成する。次のステップＳ１０４では、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ１０３で生成された３バンド画像３の間における対応点の位置ずれ量（例えば平均二乗誤差）を計算する。そして、ステップＳ１０５において、上記ステップＳ１０４で計算された対応点の位置ずれ量が閾値以上であるか否かを判定する。計算された対応点の位置ずれ量が閾値以上である場合には、ステップＳ１０６において、３バンド画像２を用いて、被写体の色再現処理を行い、色再現処理の結果を出力し、色再現処理ルーチンを終了する。

一方、上記ステップＳ１０５で、計算された対応点の位置ずれ量が閾値未満であると判定された場合には、ステップＳ１０７において、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ１０３で生成された３バンド画像３を出力する。次のステップＳ１０８では、上記ステップＳ１０１で取得した３バンド画像２及び上記ステップＳ１０３で生成された３バンド画像３を用いて、被写体の色再現処理を行い、色再現処理の結果を出力し、色再現処理ルーチンを終了する。

以上説明したように、第２の実施の形態の画像処理装置によれば、カラーフィルタの無いＲＧＢカメラにより撮影された３バンド画像２を基準画像として、各対応点の位置が一致するように、カラーフィルタを装着したＲＧＢカメラにより撮影された３バンド画像１を変形した３バンド画像３を生成し、画像変形に十分な対応点の数が検出されなかった場合、及び３バンド画像３との対応点の位置ずれ量が閾値以上である場合に、３バンド画像２を用いて、被写体の色再現処理を行うことにより、従来手法よりも色再現結果の精度が向上する。

なお、上記の第１の実施の形態及び第２の実施の形態において、画像変形結果判定部１６によって正しく画像変形が行われなかったと判定された場合に、再度、画像変形を行って、画像変形結果判定部１６での判定をやり直すようにしてもよい。例えば、図８に示すように、画像変形結果判定部１６によって正しく画像変形が行われなかったと判定された場合に、画像変形処理部２１５によって、再度、画像変形処理を行い、画像変形結果判定部１６によって正しく画像変形が行われたと判定されるまで繰り返す。ある設定回数を超えた場合には正しい画像変形は不可能と判断し、色再現処理部１８によって、３バンド画像２のみを用いて色再現処理を行う。

［第３の実施の形態］
＜システム構成＞
次に、第３の実施の形態について説明する。なお、第３の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０と同様の構成については、同一符号を付して詳細な説明を省略する。

第３の実施の形態の画像処理装置３１０を構成するコンピュータは、機能的には、図９に示すように、画像分割処理部３１２、色再現結果画像生成部３１４、及び画像貼り合わせ処理部３１６を含んだ構成で表すことができる。

画像分割処理部３１２は、画像入力部１１で得られた３バンド画像１及び画像入力部１２で得られた３バンド画像２の各々を小領域画像に分割する。３バンド画像１は、３バンド画像２の小領域画像と同じサイズ、もしくは３バンド画像２を分割して得られた小領域よりも大きなサイズの領域に分割される。３バンド画像１、３バンド画像２を小領域画像に分割する際には、分割した小領域画像を最終的に１枚の画像に復元する際に画像の欠落を防ぐため、３バンド画像１および３バンド画像２ともに、分割した小領域の画像には重なりがあることが好ましい。

また、画像分割処理部３１２は、計算処理の高速化を考慮して、一辺の画素数を２のべき乗、64 pixel, 128 pixel, 256pixel、などとした小領域画像に分割することが好ましい。

色再現結果画像生成部３１４は、対応点検出部１４、画像変形処理部１５、画像変形結果判定部１６、変形結果画像出力部１７、色再現処理部１８、及び色再現処理部１９を含み、対応点検出部１４、画像変形処理部１５、画像変形結果判定部１６、変形結果画像出力部１７、色再現処理部１８、及び色再現処理部１９の各々が、画像分割処理部３１２によって分割された、対応する３バンド画像１の小領域画像及び３バンド画像２の小領域画像の組み合わせ毎に、上記の第１の実施の形態と同様の処理を行う。色再現結果画像生成部３１４は、小領域画像毎に、当該小領域画像の色再現結果画像を出力する。なお色再現結果画像生成部３１４は、上記の第２の実施の形態と同様の処理を行っても良い。

画像変形処理部１５では、小領域内で局所的な対応点のみが画像変形パラメータに影響を与えるため、画像全体から得られた対応点すべてを使うよりも精度良く、撮影画像間の位置ずれを補正できる。

また、画像貼り合わせ処理部３１６は、色再現結果画像生成部３１４によって生成された小領域画像毎の色再現結果画像をタイリングして、小領域画像に分割する前の元画像のサイズの画像となるように１枚の画像に貼り合わせて、色再現結果画像を生成し、出力する。

＜画像処理装置の作用＞
次に、図１０を参照して、第３の実施の形態の画像処理装置３１０で実行される色再現処理ルーチンについて説明する。なお、第１の実施の形態における色再現処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ１０１において、画像入力部１１で撮影された３バンド画像１のデータ及び画像入力部１２で撮影された３バンド画像２のデータを取得する。

ステップＳ３０２において、上記ステップＳ１０１で取得した３バンド画像１及び３バンド画像２の各々を、小領域画像に分割する。ステップＳ３０３において、上記ステップＳ３０２で分割された小領域画像のうち、処理対象の小領域画像として、対応する３バンド画像１及び３バンド画像２の各々の小領域画像の組み合わせを設定する。

そして、ステップＳ３０４において、処理対象として設定された３バンド画像１及び３バンド画像２の各々の小領域画像に対して、上記第１の実施の形態で説明した図５に示す色再現処理ルーチンと同様の処理を実行して、当該小領域画像に対する色再現結果画像を生成する。

ステップＳ３０５では、全ての小領域画像について、上記ステップＳ３０３、Ｓ３０４の処理を実行したか否かを判定し、上記ステップＳ３０３、Ｓ３０４の処理を実行していない小領域画像が存在する場合には、上記ステップＳ３０３に戻り、当該小領域画像を、処理対象として設定する。一方、全ての小領域画像について、上記ステップＳ３０３、Ｓ３０４の処理を実行したと判定された場合には、ステップＳ３０６へ移行する。

ステップＳ３０６では、上記ステップＳ３０４で得られた各小領域画像に対する色再現結果画像を貼り合わせて、１枚の色再現結果画像を生成して出力し、色再現処理ルーチンを終了する。

以上説明したように、第３の実施の形態の画像処理装置によれば、小領域画像毎に、カラーフィルタの無いＲＧＢカメラにより撮影された３バンド画像２を基準画像として、各対応点の位置が一致するように、カラーフィルタを装着したＲＧＢカメラにより撮影された３バンド画像１を変形した３バンド画像３を生成し、小領域画像毎に、３バンド画像３との対応点の位置ずれ量（例えば平均二乗誤差）が閾値以上である場合に、３バンド画像２の当該小領域画像のみを用いて、被写体の色再現処理を行うことにより、従来手法よりも色再現結果の精度および画質が向上する。

画像変形処理に失敗した場合のエッジ周辺の偽色は（面積は微小だが）人の目には極めて目立つ。それに対して、画像変形処理に失敗した小領域を3原色で処理する場合は、全体としてはごく僅かな面積となるため、3原色画像から色再現処理としても大きな劣化は人には感じられない。小領域画像の変形処理に失敗した場合でも、最低でも３バンド画像からの色再現精度が保証される。

なお、上記の実施の形態では、色再現結果画像生成部３１４が、対応点検出部１４、画像変形処理部１５、画像変形結果判定部１６、変形結果画像出力部１７、色再現処理部１８、及び色再現処理部１９を含んだ構成で表わされる場合を例に説明したが、これに限定されるものではない。色再現結果画像生成部３１４が、対応点検出部１４、検出対応点数判定部２１４、画像変形処理部１５、画像変形結果判定部１６、変形結果画像出力部１７、色再現処理部１８、及び色再現処理部１９を含んだ構成で表わされるようにしてもよい。この場合には、対応点検出部１４、検出対応点数判定部２１４、画像変形処理部１５、画像変形結果判定部１６、変形結果画像出力部１７、色再現処理部１８、及び色再現処理部１９の各々が、画像分割処理部３１２によって分割された、対応する３バンド画像１の小領域画像及び３バンド画像２の小領域画像の組み合わせ毎に、上記の第２の実施の形態と同様の処理を行う。

［第４の実施の形態］
＜システム構成＞
次に、第４の実施の形態について説明する。なお、第４の実施の形態の画像処理装置について、第１の実施の形態の画像処理装置１０及び第３の実施の形態の画像処理装置３１０と同様の構成については、同一符号を付して詳細な説明を省略する。

第４の実施の形態の画像処理装置４１０を構成するコンピュータは、機能的には、図１１に示すように、画像分割処理部３１２、小領域変形判定部４１４、画像バンド数変換処理部４１６、画像貼り合わせ処理部４１８、変形結果画像出力部４２０、及び色再現処理部４２２を含んだ構成で表すことができる。なお、画像バンド数変換処理部４１６が、画像推定手段の一例である。

小領域変形判定部４１４は、対応点検出部１４、検出対応点数判定部２１４、画像変形処理部１５、及び画像変形結果判定部１６を含み、対応点検出部１４、検出対応点数判定部２１４、画像変形処理部１５、及び画像変形結果判定部１６の各々が、画像分割処理部３１２によって分割された、対応する３バンド画像１の小領域画像及び３バンド画像２の小領域画像の組み合わせ毎に、上記の第２の実施の形態と同様の処理を行う。小領域変形判定部４１４は、小領域画像毎に、３バンド画像１の当該小領域画像及び３バンド画像３の当該小領域画像と、検出対応点数判定部２１４の判定結果と、画像変形結果判定部１６の判定結果とを出力する。また、小領域変形判定部４１４は、上記の第１の実施形態と同様の処理を行っても良い。

画像バンド数変換処理部４１６は、検出対応点数判定部２１４によって画像の変形に十分な数の対応点が検出されなかったと判定された小領域画像、及び画像変形結果判定部１６によって正しく画像変形が行われなかったと判定された小領域画像の各々について、３バンド画像２の当該小領域画像から、画像入力部１１で得られるであろう３バンド画像１の当該小領域画像を推定して生成し、画像変形後の３バンド画像３の当該小領域画像と画像データを置き換える。

３バンド画像１の推定処理では、３バンド画像２の当該小領域画像から分光反射率を推定し、撮影時の照明光スペクトル、および画像入力部１１の光学特性を用いて、画像入力部１１で得られるのと同等の画像の当該小領域画像を推定する。例えば、３バンド画像２の当該小領域画像からウィナー推定法などを用いて画素毎の分光反射率を推定し、推定した分光反射率を画素値とする分光反射率画像を生成する。生成した分光反射率画像に対して、予め定めた撮影時の照明光スペクトルを掛け合わせて観察される反射光スペクトルを算出し、得られた反射光スペクトルに対し、画像入力部１１におけるカメラ１１ａとカラーフィルタ１１ｂを総合した予め定めた分光感度を掛け合わせることで、画像入力部１１で得られたであろう信号値を画素毎に算出し、画像入力部１１で得られるのと同等の画像の当該小領域画像を生成する。

画像貼り合わせ処理部４１８は、画像変形結果判定部１６によって正しく画像変形が行われたと判定された小領域画像に対応する３バンド画像３の各小領域画像と、画像バンド数変換処理部４１６によって生成された各小領域画像とを貼り合わせ、オリジナル画像サイズの３バンド画像３を生成する。あるいは、３バンド画像２を更に用いて、１枚の６バンド画像を生成するようにしてもよい。

変形結果画像出力部４２０は、画像貼り合わせ処理部４１８によって生成された３バンド画像３、及び３バンド画像２からなる２種類の３バンド画像（もしくは１枚の６バンド画像）をメモリ上に展開、モニタ上へ表示、もしくはファイルへ出力する。

色再現処理部４２２は、画像貼り合わせ処理部４１８によって生成された３バンド画像３、及び３バンド画像２からなる２種類の３バンド画像（もしくは１枚の６バンド画像）を用いて、色再現処理部１９と同様に、被写体の色再現処理を行い、色再現結果画像を生成して出力する。

＜画像処理装置の作用＞
次に、図１２を参照して、第４の実施の形態の画像処理装置４１０で実行される色再現処理ルーチンについて説明する。なお、第１の実施の形態、第２の実施の形態及び第３の実施の形態における色再現処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ１０１において、画像入力部１１で撮影された３バンド画像１のデータ及び画像入力部１２で撮影された３バンド画像２のデータを取得する。

ステップＳ３０２において、上記ステップＳ１０１で取得した３バンド画像１及び３バンド画像２の各々を、小領域画像に分割する。ステップＳ３０３において、上記ステップＳ３０２で分割された小領域画像のうち、処理対象の小領域画像として、対応する３バンド画像１及び３バンド画像２の各々の小領域画像の組み合わせを設定する。

そして、ステップＳ４０４において、処理対象として設定された３バンド画像１及び３バンド画像２の各々の小領域画像に対して、上記第１の実施の形態で説明した図７に示す色再現処理ルーチンのステップＳ１０１、Ｓ１０２、Ｓ２０１、Ｓ１０３、Ｓ１０４、Ｓ１０５と同様の処理を実行して、当該小領域画像に対して、対応点検出、検出対応点数の判定、画像変形、及び画像変形結果の判定を行う。

ステップＳ３０５では、全ての小領域画像について、上記ステップＳ３０３、Ｓ４０４の処理を実行したか否かを判定し、上記ステップＳ３０３、Ｓ４０４の処理を実行していない小領域画像が存在する場合には、上記ステップＳ３０３に戻り、当該小領域画像を、処理対象として設定する。一方、全ての小領域画像について、上記ステップＳ３０３、Ｓ４０４の処理を実行したと判定された場合には、ステップＳ４０６へ移行する。

ステップＳ４０６では、上記ステップＳ４０４で得られた各小領域画像に対する判定結果に基づいて、画像の変形に十分な数の対応点が検出されなかったと判定された小領域画像、及び画像変形結果判定部１６によって正しく画像変形が行われなかったと判定された小領域画像の各々について、３バンド画像２の当該小領域画像から、画像入力部１１で得られるであろう３バンド画像１の当該小領域画像を推定して生成し、３バンド画像３の当該小領域画像と画像データを置き換える。

ステップＳ４０７では、上記ステップＳ４０６で置き換えられた結果の３バンド画像３の各小領域画像を貼り合わせて、１枚の３バンド画像３を生成する。次のステップＳ４０８では、上記ステップＳ１０１で取得した３バンド画像２、及び上記ステップＳ４０７で生成した３バンド画像３を用いて、被写体の色再現処理を行い、色再現処理の結果を出力し、色再現処理ルーチンを終了する。

以上説明したように、第４の実施の形態の画像処理装置によれば、小領域画像毎に、カラーフィルタの無いＲＧＢカメラにより撮影された３バンド画像２を基準画像として、各対応点の位置が一致するように、カラーフィルタを装着したＲＧＢカメラにより撮影された３バンド画像１を変形した３バンド画像３を生成し、小領域画像毎に、３バンド画像３との対応点の位置ずれ量（例えば平均二乗誤差）が閾値以上である場合に、３バンド画像２の当該小領域画像を用いて、３バンド画像１と同様の画像を推定し、小領域画像を貼り合わせた画像を用いて、被写体の色再現処理を行うことにより、従来手法よりも色再現結果の精度が向上する。

なお、上記の実施の形態では、小領域変形判定部４１４が、対応点検出部１４、検出対応点数判定部２１４、画像変形処理部１５、及び画像変形結果判定部１６を含んだ構成で表わされる場合を例に説明したが、これに限定されるものではない。小領域変形判定部４１４が、上記の第１の実施の形態で説明した対応点検出部１４、画像変形処理部１５、及び画像変形結果判定部１６を含んだ構成で表わされるようにしてもよい。この場合には、画像バンド数変換処理部４１６は、画像変形結果判定部１６によって正しく画像変形が行われなかったと判定された小領域画像の各々について、３バンド画像２の当該小領域画像から、画像入力部１１で得られるであろう３バンド画像１の当該小領域画像を推定するようにすればよい。

また、上記第１〜第４の実施の形態では、２つの３バンド画像（計６バンド画像）が画像処理装置に入力される例について説明したが、マルチバンド画像であれば、これに限定されないのはもちろんである。

また、上記第１〜第４の実施の形態では、マルチバンド画像を入力する画像入力装置として、ＲＧＢカメラ１１ａ及びカラーフィルタ１１ｂを有する画像入力部１１と、ＲＧＢカメラ１２ａを有する画像入力部１２とを例に挙げて説明したが、これに限定されない。例えば、図１３に示すように、ＲＧＢカメラと、単色カラーフィルタを備えた単色（白黒）カメラを複数台組み合わせた多眼式カメラシステムにも適用可能である。また画像入力部１１におけるカラーフィルタはカメラが有する波長感度の一部のみを透過するバンドパスフィルタでも良い。また画像入力部１１におけるカメラは白黒カメラでも良い。

また、上記第１〜第４の実施の形態では、２つの画像入力部により３バンド画像１及び３バンド画像２が同期して撮像される場合を例に説明したが、これに限定されるものではなく、１つの画像入力部から時系列で撮像される３バンド画像１及び３バンド画像２を用いてもよい。この場合には、カラーフィルタの装着及び非装着を切替える機構を設け、カラーフィルタを装着した状態で３バンド画像１を撮像し、カラーフィルタを外した状態で３バンド画像２を撮像するようにすればよい。また、３つ以上の画像入力部を有していても構わない。

また、上述の画像処理装置は、内部にコンピュータシステムを有しているが、コンピュータシステムは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０、２１０、３１０、４１０画像処理装置
１１ａ カメラ
１１ｂ カラーフィルタ
１１ 画像入力部
１２ａ カメラ
１２ 画像入力部
１４ 対応点検出部
１５ 画像変形処理部
１６ 画像変形結果判定部
１８、１９、４２２ 色再現処理部
１９ 色再現処理部
２１４ 検出対応点数判定部
３１２ 画像分割処理部
３１４ 色再現結果画像生成部
３１６、４１８画像貼り合わせ処理部
４１４ 小領域変形判定部
４１６ 画像バンド数変換処理部

Claims (7)

1. カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との対応点を複数検出する対応点検出手段と、
   前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように前記第１カラー画像を変形した第３カラー画像を生成する画像変形手段と、
   前記画像取得手段によって取得された前記第２カラー画像及び前記画像変形手段によって生成された前記第３カラー画像の前記対応点の位置ずれ量が閾値以上であるか否かを判定する画像変形結果判定手段と、
   前記画像変形結果判定手段によって前記対応点の位置ずれ量が閾値以上であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像を用いて、被写体の色再現処理を行い、前記画像変形結果判定手段によって前記対応点の位置ずれ量が閾値未満であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像及び前記画像変形手段によって生成された前記第３カラー画像を用いて、被写体の色再現処理を行う色再現処理手段と、
   を含む画像処理装置。
2. 前記対応点検出手段によって検出された前記対応点の数が、所定値以上であるか否かを判定する検出対応点数判定手段を更に含み、
   前記画像変形手段は、前記検出対応点数判定手段によって前記対応点の数が、所定値以上であると判定された場合に、各対応点の位置が一致するように前記第１カラー画像を変形した前記第３カラー画像を生成し、
   前記色再現処理手段は、前記検出対応点数判定手段によって前記対応点の数が、所定値未満であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像を用いて、前記色再現処理を行う請求項１記載の画像処理装置。
3. 前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との各々を小領域画像に分割する画像分割処理手段と、
   画像貼り合わせ処理手段とを更に含み、
   前記対応点検出手段は、前記小領域画像毎に、前記画像取得手段によって取得された前記第１カラー画像の前記小領域画像と、前記第２カラー画像の対応する前記小領域画像との対応点を複数検出し、
   前記画像変形手段は、前記小領域画像毎に、前記対応点検出手段によって検出された前記対応点に基づいて、各対応点の位置が一致するように前記第１カラー画像の前記小領域画像を変形した第３カラー画像の小領域画像を生成し、
   前記画像変形結果判定手段は、前記小領域画像毎に、前記画像取得手段によって取得された前記第２カラー画像の前記小領域画像及び前記画像変形手段によって生成された前記第３カラー画像の対応する前記小領域画像の前記対応点の位置ずれ量が閾値以上であるか否かを判定し、
   前記色再現処理手段は、前記小領域画像毎に、前記画像変形結果判定手段によって前記小領域画像について前記対応点の位置ずれ量が閾値以上であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像の前記小領域画像を用いて、前記小領域画像における被写体の色再現処理を行い、前記画像変形結果判定手段によって前記小領域画像について前記対応点の位置ずれ量が閾値未満であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像の前記小領域画像及び前記画像変形手段によって生成された前記第３カラー画像の対応する前記小領域画像を用いて、前記小領域画像における被写体の色再現処理を行い、
   前記画像貼り合わせ処理手段は、前記色再現処理を行った各小領域画像から一枚の画像を生成する請求項１又は２記載の画像処理装置。
4. カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との各々を小領域画像に分割する画像分割処理手段と、
   前記小領域画像毎に、前記画像取得手段によって取得された前記第１カラー画像の前記小領域画像と、前記第２カラー画像の対応する前記小領域画像との対応点を複数検出する対応点検出手段と、
   前記小領域画像毎に、前記対応点検出手段によって前記小領域画像について検出された前記対応点に基づいて、各対応点の位置が一致するように前記第１カラー画像の前記小領域画像を変形した第３カラー画像の小領域画像を生成する画像変形手段と、
   前記小領域画像毎に、前記画像取得手段によって取得された前記第２カラー画像の前記小領域画像及び前記画像変形手段によって生成された前記第３カラー画像の対応する前記小領域画像の前記対応点の位置ずれ量が閾値以上であるか否かを判定する画像変形結果判定手段と、
   前記画像変形結果判定手段によって前記対応点の位置ずれ量が閾値以上であると判定された前記小領域画像の各々について、前記第２カラー画像の前記小領域画像から、前記第１カラー画像の対応する前記小領域画像を推定する画像推定手段と、
   前記画像変形結果判定手段によって前記対応点の位置ずれ量が未満以上であると判定された前記小領域画像に対応する前記第１カラー画像の前記小領域画像、及び前記画像推定手段によって推定された前記第１カラー画像の前記小領域画像を貼り合わせた画像を生成する画像貼り合わせ手段と、
   前記画像取得手段によって取得された前記第２カラー画像及び前記画像貼り合わせ処理手段によって生成された画像を用いて、被写体の色再現処理を行う色再現処理手段と、
   を含む画像処理装置。
5. 前記小領域画像毎に、前記対応点検出手段によって前記小領域画像について検出された前記対応点の数が、所定値以上であるか否かを判定する検出対応点数判定手段を更に含み、
   前記画像変形手段は、前記小領域画像毎に、前記検出対応点数判定手段によって前記小領域画像について前記対応点の数が所定値以上であると判定された場合、各対応点の位置が一致するように前記第１カラー画像の前記小領域画像を変形した前記第３カラー画像の小領域画像を生成し、
   前記画像推定手段は、更に、前記検出対応点数判定手段によって前記対応点の数が所定値未満であると判定された前記小領域画像の各々について、前記第２カラー画像の前記小領域画像から、前記第１カラー画像の対応する前記小領域画像を推定する請求項４記載の画像処理装置。
6. 画像取得手段、対応点検出手段、画像変形手段、画像変形結果判定手段、及び色再現処理手段を含む画像処理装置における画像処理方法であって、
   前記画像取得手段によって、カメラが撮影可能な色の一部の波長を透過するカラーフィルタを用いて撮影された第１カラー画像、及び前記カラーフィルタを用いずに撮影された第２カラー画像を取得し、
   前記対応点検出手段によって、前記画像取得手段によって取得された前記第１カラー画像と前記第２カラー画像との対応点を複数検出し、
   前記画像変形手段によって、前記対応点検出手段によって検出された前記複数の対応点に基づいて、各対応点の位置が一致するように前記第１カラー画像を変形した第３カラー画像を生成し、
   前記画像変形結果判定手段によって、前記画像取得手段によって取得された前記第２カラー画像及び前記画像変形手段によって生成された前記第３カラー画像の前記対応点の位置ずれ量が閾値以上であるか否かを判定し、
   前記色再現処理手段によって、前記画像変形結果判定手段によって前記対応点の位置ずれ量が閾値以上であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像を用いて、被写体の色再現処理を行い、前記画像変形結果判定手段によって前記対応点の位置ずれ量が閾値未満であると判定された場合、前記画像取得手段によって取得された前記第２カラー画像及び前記画像変形手段によって生成された前記第３カラー画像を用いて、被写体の色再現処理を行う
   画像処理方法。
7. 請求項１〜請求項５の何れか１項に記載の画像処理装置を構成する各手段として、コンピュータを機能させることを特徴とするプログラム。