JP6154781B2

JP6154781B2 - 画像処理方法及び画像処理システム

Info

Publication number: JP6154781B2
Application number: JP2014106295A
Authority: JP
Inventors: 勝土田; 柏野　邦夫; 邦夫柏野; 淳司大和
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2014-05-22
Filing date: 2014-05-22
Publication date: 2017-06-28
Anticipated expiration: 2034-05-22
Also published as: JP2015222200A

Description

本発明は、画像処理方法及び画像処理システムに係り、特に、カメラで撮影した画像間で対応点の探索を行う画像処理方法及び画像処理システムに関する。

従来より、多眼ステレオカメラおよび多眼ステレオ式マルチバンドカメラでは、複数の視点から撮影された視差画像から得られた対応点を用いることで、被写体の形状を推定することができる。被写体の形状を精度良く推定するためには、被写体表面上の密な対応点を得ることが必要である。しかし用いるカメラが２台の場合、オクルージョンの影響で一方の画像における対応点が検出できない場合がある。この問題を解決する方法の一つとして、３台以上のカメラを用いる多眼ステレオ法が、対応点検出精度の向上に有効であることは広く知られている。また多眼ステレオ法において、被写体の形状・奥行き推定に使用する画像を撮影した視点（カメラ間の距離）が近い場合には、オクルージョンの影響が比較的少ない一方で、画像上での対応点の位置ずれ量が小さい。このことは、被写体の形状・奥行き推定精度低下の原因の一つとなる。そこで、カメラ間の距離が近い画像間で得られた対応点と、カメラ間の距離を離して撮影した画像間で得られた対応点を組み合わせることで、被写体の形状・奥行き推定精度を測る手法も提案されている（例えば、非特許文献１）。

非特許文献１などで述べられている多眼ステレオカメラで使用される各視点のカメラの分光感度特性は、一般には全て等しい（同じカメラが使用されている）。また、一般に普及しているRGBカメラ（カラーカメラ）を使用した場合でも、被写体表面のテクスチャの色が正確に記録・再現できない場合がある。この問題を解決するため、非特許文献２のような全てのカメラの分光感度特性が異なる単色カメラから構成される、また非特許文献３のような複数の単色カメラとカラーカメラから構成される、多眼ステレオ式マルチバンドカメラが提案されている。

佐藤、大田、「カメラマトリクスを用いた高精細ステレオ SEA における隠れ検出法の検討」、電子情報通信学会技術研究報告. IE, 画像工学 95(582), 67-74, 1996-03-15 M. Tsuchida, T. Kawanishi, K. Kashino, and J. Yamato, "A stereo nine-band camera for accurate color and spectrum reproduction", Proc. ACM SIGGRAPH2012 Poster, (Article No. 18), 2012 M. Tsuchida, K. Kashino, and J. Yamato, "An eleven-band stereoscopic camera system for accurate color and spectral reproduction", Proc. Color and Imaging Conference, pp. 14-19, 2013

しかしながら、多眼ステレオ式マルチバンドカメラでは、各視点のカメラの分光感度特性は全てが等しいとは限らない。多眼ステレオ式マルチバンドカメラで得られる各カラーチャンネル画像に関して、カメラ間の分光感度に重なりが少ない、もしくはカメラ間の分光感度の中心波長が離れている画像ペアほど、各カラーチャンネル画像の見えが大きく異なる。この事は、カメラの分光感度の半値幅が狭いほど顕著である。例えば、白黒カメラに狭帯域バンドパスフィルタを取り付けた場合に、画像の見えが大きく異なる。このことが、多眼ステレオ式マルチバンドカメラにおける、単色画像間での対応点検出精度が低下し、その結果、奥行き情報（被写体の形状情報）推定精度低下の原因の一つとなっている。

本発明は、上記の問題を解決するためになされたもので、従来手法より、精度良く対応点を探索することができる画像処理方法及び画像処理システムを提供することを目的とする。

上記目的を達成するために、本発明の画像処理方法は、各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順又は降順に番号を割り当て、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置し、前記複数の単色カメラによって、画像を撮影し、画像処理装置によって、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、探索された対応点を出力する。
また、本発明の画像処理方法は、前記画像処理装置によって、多色カメラで撮影した画像を、前記単色カメラで撮影した画像との間で対応点の探索が可能な画像に変換することを更に含み、前記複数の単色カメラを配置することは、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置し、かつ、前記多色カメラを、前記単色カメラで挟み込むように、又は囲むように配置し、前記画像を撮影することは、前記複数の単色カメラ及び前記多色カメラによって、画像を撮影し、前記画像処理装置によって前記対応点を探索することは、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、かつ、前記単色カメラで撮影した画像と前記変換された画像との間で対応点を探索し、探索された対応点を出力するようにしてもよい。

本発明の画像処理システムは、各々分光感度特性が異なる複数の単色カメラを含み、前記複数の単色カメラに、分光感度の中心波長の昇順又は降順に番号を割り当て、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置した画像撮影装置と、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、探索された対応点を出力する画像処理装置と、を含んで構成されている。
また、本発明の画像処理システムの画像撮影装置は、多色カメラを更に含み、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置し、かつ、前記多色カメラを、前記単色カメラで挟み込むように、又は囲むように配置し、前記画像処理装置は、前記多色カメラで撮影した画像を、前記単色カメラで撮影した画像との間で対応点の探索が可能な画像に変換し、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、かつ、前記単色カメラで撮影した画像と前記変換された画像との間で対応点を探索し、探索された対応点を出力するようにしてもよい。

以上説明したように、本発明の画像処理方法及び画像処理システムによれば、各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順又は降順に番号を割り当て、割り当てられた番号が連続しないように、前記複数の単色カメラを配置し、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索することにより、従来手法より、精度良く対応点を探索することができる、という効果が得られる。

第１の実施の形態に係る画像処理システムの構成を示す概略図である。（Ａ）画像撮影装置の一例を示す図、及び（Ｂ）各カメラの分光感度の一例を示す図である。第１の実施の形態に係る画像処理システムの画像処理装置における画像処理ルーチンの内容を示すフローチャートである。第２の実施の形態に係る画像処理システムの構成を示す概略図である。（Ａ）画像撮影装置の一例を示す図、及び（Ｂ）カメラ番号と配置の一例を示す図である。各単色カメラの分光感度の一例を示す図である。多色カメラの分光感度の一例を示す図である。第２の実施の形態に係る画像処理システムの画像処理装置における画像処理ルーチンの内容を示すフローチャートである。カメラ番号と配置の他の例を示す図である。第３の実施の形態に係る画像処理システムの構成を示す概略図である。第３の実施の形態に係る画像処理システムの画像処理装置における画像処理ルーチンの内容を示すフローチャートである。第４の実施の形態に係る画像処理システムの構成を示す概略図である。第４の実施の形態に係る画像処理システムの画像処理装置における画像処理ルーチンの内容を示すフローチャートである。画像撮影装置の一例を示す図である。各単色カメラの分光感度の一例を示す図である。各多色カメラの分光感度の一例を示す図である。画像撮影装置の一例を示す図である。多色カメラの分光感度の一例を示す図である。カラーフィルタの分光透過特性の一例を示す図である。多色カメラの分光感度の一例を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

［第１の実施の形態］
＜システム構成＞
第１の実施の形態に係る画像処理システムについて説明する。

図１に示すように、第１の実施の形態に係る画像処理システム１０は、画像撮影装置２０と、画像処理装置３０とを備えている。

画像撮影装置２０は、各々分光感度特性が異なる複数の単色カメラ２１１〜２１Ｎを有している。複数の単色カメラ２１１〜２１Ｎに、分光感度の中心波長の昇順に番号を割り当て、割り当てられた番号が連続しないように、複数の単色カメラ２１１〜２１Ｎを、一方向（例えば、水平方向）に配置する。ただし、Ｎは３以上の整数である。

例えば、図２に示すように、４台の単色カメラが水平方向に配置されている。単色カメラの分光感度の中心波長（最大ピーク波長）の昇順に、カメラ１、２、３、４と番号を割り当てると、カメラの配置は左からカメラ３、１、４、２となる。

なお、割り当てられた番号が連続しないように、複数の単色カメラ２１１〜２１Ｎを、垂直方向に配置してもよい。割り当てられた番号が連続しないように、複数の単色カメラ２１１〜２１Ｎを、二方向（例えば、水平方向及び垂直方向）に配置してもよい。また、単色カメラは、カラーフィルタと白黒カメラの組み合わせで構成されていても良い。

また、画像撮影装置２０では、複数の単色カメラ２１１〜２１Ｎに同期信号が入力され、カメラ間で同期した状態で、複数の単色カメラ２１１〜２１Ｎによって画像が撮影される。画像撮影装置２０は、カメラの台数分のグレースケール画像を出力する。このように、各単色カメラは同期した状態で画像撮影が行われることにより、被写体もしくはカメラが動いている状態で動画像として記録する場合であっても、対応可能である。

画像処理装置３０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する画像処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、対応点探索部３１、撮影条件記憶部３２、奥行き情報推定部３３、及びマルチバンド画像生成部３４を含んだ構成で表すことができる。

画像処理装置３０には、画像撮影装置２０で撮影されて得られた複数のグレースケール画像、及びグレースケール画像と当該グレースケール画像を撮影したカメラとの対応関係が入力される。

画像処理装置３０の対応点探索部３１は、画像撮影装置２０から入力された複数のグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、画像のペアの各々について、ペア間で対応点を探索する。

対応点探索部３１は、対応点探索処理部３１１と対応点記憶部３１２とから構成される。

対応点探索処理部３１１は、画像撮影装置２０から入力された複数のグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、各カメラの分光感度の中心波長の昇順に番号を割り当てて番号が連続しないように並べた配置における順番が連続した２台のカメラからの画像のペア間の各々について、当該ペア間で対応点の探索を行う。対応点の探索手法は、既存の手法を利用する。

例えば、上記図２の例では、カメラ１および２の画像ペア間、カメラ３および４の画像ペア間で対応点探索が行われる。更に、カメラ２および３の画像ペア間で対応点探索が行われてもよい。

対応点探索処理部３１１は、順番が連続した２台のカメラからの画像のペア間の各々について、探索された対応点の各画像上における座標、及び対応点探索に使用した画像のペアと、当該画像のペアの撮影に使用したカメラとの対応関係を出力する。

対応点記憶部３１２には、対応点探索で使用した画像ペアを撮影したカメラと、検出された対応点の画像上の座標とが関連付けされた状態で記録される。具体的には、対応点記憶部３１２には、検出された対応点の各画像上における座標、及び対応点探索に使用した画像ペアと、その画像ペアの撮影に使用したカメラとの対応関係が関連付けて記憶される。

撮影条件記憶部３２には、予め計測された単色カメラ２１１〜２１Ｎの各々の分光感度特性、および単色カメラ２１１〜２１Ｎの各々の姿勢情報や焦点距離、画角などの光学系特性の情報が記憶されている。単色カメラ２１１〜２１Ｎの各々の姿勢や位置情報や焦点距離、画角などの光学系特性の情報は、構造やテクスチャが既知である被写体の撮影画像から推定し、その結果を撮影条件記憶部３２に記憶させても良い。また撮影時の照明光スペクトルや、被写体表面の色や分光反射率の特性に関する統計情報も、撮影条件記憶部３２に記憶されていても良い。

奥行き情報推定部３３は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、順番が連続した２台のカメラからの画像のペア間の各々について、当該画像のペア間で得られた対応点の情報および撮影条件から、検出された対応点に対応した、被写体表面の座標を推定し、奥行き情報として出力する。なお、奥行き情報の推定方法としては、既存手法を用いればよいため、詳細な説明を省略する。また、画像のペア間の各々について推定された奥行き情報を統合し、統合した結果を出力してもよい。

マルチバンド画像生成部３４は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、順番が連続した２台のカメラからの画像のペア間の各々について、検出された対応点を用いて、基準とする視点の画像と参照画像間での変形パラメータを算出し、その結果に基づき参照画像の画像変形を行い、任意のカメラの視点におけるマルチバンド画像を生成し、出力する。画像変形は既存手法を利用する。

マルチバンド画像生成部３４は、更に、マルチバンド画像から色再現に使用する、各カメラの分光感度特性、撮影時の照明光スペクトル、被写体表面の分光反射率に関する統計情報を出力する。例えば、教師データとして使用する分光反射率データ群の相関行列、共分散行列を出力する。分光反射率データ群から得られた主成分の相関行列等を出力しても良い。

生成されたマルチバンド画像は、推定された三次元形状などのテクスチャ画像として使用される。

＜画像処理システムの作用＞
次に、第１の実施の形態に係る画像処理システム１０の作用について説明する。まず、複数の単色カメラ２１１〜２１Ｎが同期して画像を撮影し、複数の単色カメラ２１１〜２１Ｎによって撮影された複数のグレースケール画像が、画像処理装置３０に入力されると、画像処理装置３０によって、図３に示す画像処理ルーチンが実行される。

ステップＳ１０１において、複数の単色カメラ２１１〜２１Ｎによって撮影された複数のグレースケール画像を取得する。

ステップＳ１０２において、上記ステップＳ１０１で取得した複数のグレースケール画像のうち、順番が連続した２台のカメラからの画像のペアについて、当該画像のペア間における対応点を探索する。

ステップＳ１０４では、上記ステップＳ１０２で対応点探索を行った画像のペアの各々に対し、当該ペアについて探索された対応点に基づいて、奥行き情報を推定する。次のステップＳ１０５では、上記ステップＳ１０４で推定された画像のペアの各々に対する奥行き情報を統合して出力する。

そして、ステップＳ１０６では、上記ステップＳ１０２で対応点探索を行った画像のペアの各々について探索された対応点に基づいて、基準画像を撮影したカメラの視点におけるマルチバンド画像を生成する。次のステップＳ１０７では、上記ステップＳ１０６で生成したマルチバンド画像を出力して、画像処理ルーチンを終了する。

以上説明したように、第１の実施の形態の画像処理システムによれば、各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順に番号を割り当て、割り当てられた番号が連続しないように、複数の単色カメラを配置し、割り当てられた番号が連続する単色カメラのペアの各々について、当該ペアの単色カメラで撮影した画像間で対応点を探索することにより、従来手法より、精度良く対応点を探索することができる。

また、分光感度の中心波長が近いカラーチャンネルの画像間、すなわち、画像の見えが近い画像間で対応点探索を行うことで、単色カメラの画像間での対応点検出精度が向上する。また、得られた対応点の画像上での位置情報を用いて、被写体の形状、奥行き情報を推定するため、奥行き情報（被写体の形状情報）の推定結果が向上する。

また、対応点の検出精度と奥行き情報（被写体の形状情報）の推定精度が向上した結果、多眼式マルチバンドカメラによる被写体表面のテクスチャの色再現精度も更に向上する。

［第２の実施の形態］
＜システム構成＞
次に、第２の実施の形態について説明する。なお、第２の実施の形態の画像処理システムについて、第１の実施の形態の画像処理システム１０と同様の構成については、同一符号を付して詳細な説明を省略する。

図４に示すように、第２の実施の形態の画像処理システム２１０の画像撮影装置２２０は、各々分光感度特性が異なる複数の単色カメラ２１１〜２１Ｎと、多色カメラ２２１とを有している。多色カメラ２２１は、例えば、ＲＧＢカメラであり、分光感度特性が単色カメラ２１１〜２１Ｎと異なっている。ただし、Ｎは２以上の整数である。

複数の単色カメラ２１１〜２１Ｎに、分光感度の中心波長の昇順に番号を割り当て、割り当てられた番号が連続しないように、複数の単色カメラ２１１〜２１Ｎを、二方向（例えば、水平方向及び垂直方向）に配置する。また、多色カメラ２２１は、単色カメラ２１１〜２１Ｎに挟まれる、もしくは囲まれるように配置される。

例えば、図５（Ａ）、（Ｂ）に示すように、中央に多色カメラであるカメラ９が配置され、カメラ９の周囲に、単色カメラである８台のカメラ１〜８が配置される。

このとき、図６に示す分光感度が、単色カメラである８台のカメラの各々の分光感度であり、カメラの分光感度の中心波長（最大ピーク波長）の昇順にカメラ１〜８と番号を割り当てる。図７に示す分光感度が、多色カメラであるカメラ９の分光感度である。カメラの配置は、上段の左からカメラ１、７、２、中段の左からカメラ３、９、４、下段の左からカメラ５、８、６とする。

第２の実施の形態の画像処理システム２１０の画像処理装置２３０を構成するコンピュータは、機能的には、上記図４に示すように、グレースケール画像生成部２３１、対応点探索部３１、撮影条件記憶部３２、奥行き情報推定部３３、及びマルチバンド画像生成部３４を含んだ構成で表すことができる。

グレースケール画像生成部２３１は、多色カメラ２２１で撮影された画像をグレースケール画像に変換して、出力する。例えば、グレースケール画像生成部２３１は、各画素において、多色カメラ２２１の各カラーチャンネルの画素値の平均値（(R+G+B)/3）を算出し、各画像について算出された平均値からなる１枚のグレースケール画像を出力する。

対応点探索部３１は、画像撮影装置２２０から入力された複数のグレースケール画像、グレースケール画像生成部２３１により出力されたグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、画像のペアの各々について、ペア間で対応点を探索する。

対応点探索処理部３１１は、画像撮影装置２２０から入力された複数のグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、各単色カメラの分光感度の中心波長の昇順に番号を割り当てて番号が連続しないように並べた配置における順番が連続した２台の単色カメラからの画像のペア間の各々について、当該ペア間で対応点の探索を行う。更に、グレースケール画像生成部２３１からの出力画像と、各単色カメラの画像間での対応点探索を行う。対応点の探索手法は、既存の手法を利用する。

例えば、上記図５の例では、カメラ１および２の画像ペア間、カメラ３および４の画像ペア間、カメラ５および６の画像ペア間、カメラ７および８の画像ペア間で対応点探索が行われる。更に、カメラ９から得られたグレースケール画像と、カメラ１〜８の各画像との画像ペア間でも対応点探索が行われる。また更に、カメラ２および３の画像ペア間、カメラ４および５の画像ペア間、カメラ６および７の画像ペア間、カメラ１およびカメラ６の画像ペア間、カメラ２およびカメラ５の画像ペア間で対応点探索を行っても良い。

対応点探索処理部３１１は、対応点探索が行われた画像ペア間の各々について、探索された対応点の各画像上における座標、及び対応点探索に使用した画像のペアと、当該画像のペアの撮影に使用したカメラとの対応関係を出力する。

撮影条件記憶部３２には、予め計測された単色カメラ２１１〜２１Ｎ、多色カメラ２２１の各々の分光感度特性、および単色カメラ２１１〜２１Ｎ、多色カメラ２２１の各々の姿勢情報や焦点距離、画角などの光学系特性の情報が記憶されている。

奥行き情報推定部３３は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、対応点探索が行われた画像ペア間の各々について、当該画像のペア間で得られた対応点の情報および撮影条件から、検出された対応点に対応した、被写体表面の座標を推定し、奥行き情報として出力する。また、画像のペア間の各々について推定された奥行き情報を統合して、出力してもよい。

マルチバンド画像生成部３４は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、対応点探索が行われた画像ペア間の各々について、検出された対応点を用いて、基準とする視点の画像と参照画像間での変形パラメータを算出し、その結果に基づき参照画像の画像変形を行い、任意のカメラの視点におけるマルチバンド画像を生成し、出力する。

マルチバンド画像生成部３４は、更に、マルチバンド画像から色再現に使用する、各カメラの分光感度特性、撮影時の照明光スペクトル、被写体表面の分光反射率に関する統計情報を出力する。

＜画像処理システムの作用＞
次に、図８を参照して、第２の実施の形態の画像処理システム２１０の画像処理装置２３０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ２０１において、複数の単色カメラ２１１〜２１Ｎによって撮影された複数のグレースケール画像、及び多色カメラ２２１によって撮影された画像を取得する。

ステップＳ２０２において、上記ステップＳ２０１で取得した、多色カメラ２２１によって撮影された画像を、グレースケール画像に変換する。

そして、ステップＳ２０３において、上記ステップＳ２０１で取得した複数のグレースケール画像のうち、順番が連続した２台の単色カメラからの画像のペアの各々について、当該画像のペア間における対応点を探索する。更に、上記ステップＳ２０２で得られたグレースケール画像と、上記ステップＳ２０１で取得した複数のグレースケール画像の各々との画像のペアの各々について、当該画像のペア間における対応点を探索する。

ステップＳ１０４では、上記ステップＳ２０３で対応点探索を行った画像のペアの各々に対し、当該ペアについて探索された対応点に基づいて、奥行き情報を推定する。次のステップＳ１０５では、上記ステップＳ１０４で推定された画像のペアの各々に対する奥行き情報を統合して出力する。

そして、ステップＳ１０６では、上記ステップＳ２０３で対応点探索を行った画像のペアの各々について探索された対応点に基づいて、基準画像を撮影したカメラの視点におけるマルチバンド画像を生成する。次のステップＳ１０７では、上記ステップＳ１０６で生成したマルチバンド画像を出力して、画像処理ルーチンを終了する。

以上説明したように、第２の実施の形態の画像処理システムによれば、各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順に番号を割り当て、割り当てられた番号が連続しないように、複数の単色カメラを配置し、多色カメラを、単色カメラで挟み込むように、又は囲むように配置し、割り当てられた番号が連続する単色カメラのペアの各々について、当該ペアの単色カメラで撮影した画像間で対応点を探索し、単色カメラで撮影した画像と変換されたグレースケール画像との間で対応点を探索することにより、従来手法より、精度良く対応点を探索することができる。

また、分光感度の中心波長が近いカラーチャンネルの画像間及び分光感度に重なりがあるカラーチャンネルの画像間、すなわち、画像の見えが近い画像間で対応点探索を行うことで、単色カメラの画像間での対応点検出精度が向上する。その結果、奥行き情報（被写体の形状情報）の推定結果が向上する。

また、多色カメラを単色カメラで挟み込む、もしくは囲む様に配置することで、カメラ間の距離が近い画像間で得られた対応点と、カメラ間の距離を離して撮影した画像間から得られた対応点の両方が、奥行き情報（被写体の形状情報）の推定に利用でき、その推定精度が向上する。

なお、上記図５の例では、分光感度の中心波長が近いカメラを水平方向及び垂直方向に配置した場合を例に説明したが、これに限定されるものではなく、分光感度が近いカメラを対角方向に配置してもよい。例えば、図９に示すように、単色カメラの分光感度の中心波長（最大ピーク波長）の昇順にカメラ１〜８とし、ＲＧＢカメラはカメラ９とする。カメラの配置は、上段の左からカメラ１、７、３、中段の左からカメラ５、９、６、下段の左からカメラ４、８、２とする。

また、多色カメラが１台である場合を例に説明したが多色カメラを複数台配置してもよい。

［第３の実施の形態］
＜システム構成＞
次に、第３の実施の形態について説明する。なお、第３の実施の形態の画像処理システムについて、第１の実施の形態の画像処理システム１０及び第２の実施の形態の画像処理システム２１０と同様の構成については、同一符号を付して詳細な説明を省略する。

図１０に示すように、第３の実施の形態の画像処理システム３１０の画像撮影装置２２０は、各々分光感度特性が異なる複数の単色カメラ２１１〜２１Ｎと、多色カメラ２２１とを有している。

第３の実施の形態の画像処理システム３１０の画像処理装置３３０を構成するコンピュータは、機能的には、上記図１０に示すように、カラーチャンネル分解部３３１、対応点探索部３１、撮影条件記憶部３２、奥行き情報推定部３３、及びマルチバンド画像生成部３４を含んだ構成で表すことができる。

カラーチャンネル分解部３３１は、多色カメラ２２１で撮影された画像に基づいて、各カラーチャンネルに対応したグレースケール画像を生成して、出力する。例えば、カラーチャンネル分解部３３１は、多色カメラ２２１であるＲＧＢカメラで撮影されたＲＧＢ画像（カラーチャンネル数：３）から、Ｒチャンネル、Ｇチャンネル、Ｂチャンネルの各画像に相当する、計３枚のグレースケール画像を生成して出力する。

対応点探索部３１は、画像撮影装置２２０から入力された複数のグレースケール画像、カラーチャンネル分解部３３１により出力された各カラーチャンネルのグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、画像のペアの各々について、ペア間で対応点を探索する。

対応点探索処理部３１１は、画像撮影装置２２０から入力された複数のグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、各単色カメラの分光感度の中心波長の昇順に番号を割り当てて番号が連続しないように並べた配置における順番が連続した２台の単色カメラからの画像のペア間の各々について、当該ペア間で対応点の探索を行う。更に、各単色カメラの画像と、該当する単色カメラの分光感度に最も近い、カラーチャンネルについてカラーチャンネル分解部３３１から出力されたグレースケール画像との間での対応点探索を行う。対応点の探索手法は、既存の手法を利用する。

例えば、上記図５の例では、カメラ１および２の画像ペア間、カメラ３および４の画像ペア間、カメラ５および６の画像ペア間、カメラ７および８の画像ペア間で対応点探索が行われる。更に、カメラ１と２の各画像と、カメラ９のＢチャンネルの画像との画像ペア間、カメラ３〜５の各画像とカメラ９のＧチャンネルの画像との画像ペア間、カメラ６〜８の各画像とカメラ９のＲチャンネルの画像との画像ペア間でも、対応点探索が行われる。また更に、カメラ１およびカメラ６の画像ペア間、カメラ２およびカメラ５の画像ペア間、カメラ２および３の画像ペア間、カメラ４および５の画像ペア間、カメラ６および７の画像ペア間で対応点探索を行っても良い。

奥行き情報推定部３３は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、対応点探索が行われた画像のペア間の各々について、当該画像のペア間で得られた対応点の情報および撮影条件から、検出された対応点に対応した、被写体表面の座標を推定し、奥行き情報として出力する。また、画像のペア間の各々について推定された奥行き情報を統合して、出力してもよい。

マルチバンド画像生成部３４は、検出された対応点の各画像上における座標、対応点探索で使用した画像ペアとその画像ペアの撮影に使用したカメラとの対応関係、及び撮影条件記憶部３２に記憶されている各種情報に基づいて、対応点探索が行われた画像のペア間の各々について、検出された対応点を用いて、基準とする視点の画像と参照画像間での変形パラメータを算出し、その結果に基づき参照画像の画像変形を行い、任意のカメラの視点におけるマルチバンド画像を生成し、出力する。

＜画像処理システムの作用＞
次に、図１１を参照して、第３の実施の形態の画像処理システム３１０の画像処理装置３３０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態及び第２の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ３０１において、上記ステップＳ２０１で取得した、多色カメラ２２１によって撮影された画像から、各カラーチャンネルのグレースケール画像を生成する。

そして、ステップＳ３０２において、上記ステップＳ２０１で取得した複数のグレースケール画像のうち、順番が連続した２台の単色カメラからの画像のペアの各々について、当該画像のペア間における対応点を探索する。更に、上記ステップＳ２０１で取得した複数のグレースケール画像の各々と、上記ステップＳ３０１で得られたグレースケール画像のうち、該当する単色カメラの分光感度に最も近いカラーチャンネルについてのグレースケール画像との画像のペアの各々について、当該画像のペア間における対応点を探索する。

ステップＳ１０４では、上記ステップＳ３０２で対応点探索を行った画像のペアの各々に対し、当該ペアについて探索された対応点に基づいて、奥行き情報を推定する。次のステップＳ１０５では、上記ステップＳ１０４で推定された画像のペアの各々に対する奥行き情報を統合して出力する。

そして、ステップＳ１０６では、上記ステップＳ３０２で対応点探索を行った画像のペアの各々について探索された対応点に基づいて、基準画像を撮影したカメラの視点におけるマルチバンド画像を生成する。次のステップＳ１０７では、上記ステップＳ１０６で生成したマルチバンド画像を出力して、画像処理ルーチンを終了する。

以上説明したように、第３の実施の形態の画像処理システムによれば、各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順に番号を割り当て、割り当てられた番号が連続しないように、複数の単色カメラを配置し、多色カメラを、単色カメラで挟み込むように、又は囲むように配置し、割り当てられた番号が連続する単色カメラのペアの各々について、当該ペアの単色カメラで撮影した画像間で対応点を探索し、単色カメラで撮影した画像と、多色カメラ２２１で撮影した画像に関する当該単色カメラの分光感度に最も近いカラーチャンネルについてのグレースケール画像との間で対応点を探索することにより、従来手法より、精度良く対応点を探索することができる。
また、多色カメラが１台である場合を例に説明したが多色カメラを複数台配置してもよい。

［第４の実施の形態］
＜システム構成＞
次に、第４の実施の形態について説明する。なお、第４の実施の形態の画像処理システムについて、第１の実施の形態の画像処理システム１０及び第２の実施の形態の画像処理システム２１０と同様の構成については、同一符号を付して詳細な説明を省略する。

図１２に示すように、第４の実施の形態の画像処理システム４１０の画像撮影装置２２０は、各々分光感度特性が異なる複数の単色カメラ２１１〜２１Ｎと、多色カメラ２２１とを有している。

第４の実施の形態の画像処理システム４１０の画像処理装置４３０を構成するコンピュータは、機能的には、上記図１２に示すように、単色画像生成部４３１、対応点探索部３１、撮影条件記憶部３２、奥行き情報推定部３３、及びマルチバンド画像生成部３４を含んだ構成で表すことができる。

単色画像生成部４３１は、多色カメラ２２１で撮影された画像に基づいて、ウィナー推定法等の既存技術を用いて、多色カメラ２２１で撮影された画像から分光反射率画像を生成し、さらに撮影時の照明光スペクトルと各単色カメラ２１１〜２１Ｎの分光感度特性を用いた撮影シミュレーションにより、各単色カメラ２１１〜２１Ｎと同じ分光感度特性のカメラで撮影した際に得られるものと同等の、単色画像を各々生成する。生成される単色画像の枚数は単色カメラ２１１〜２１Ｎの台数に等しい。

単色画像生成部４３１は、分光反射率画像生成部４３１１及び複数単色画像生成部４３１２を備えている。

分光反射率画像生成部４３１１は、多色カメラ２２１で撮影された画像と、撮影条件記憶部３２に記憶された、多色カメラ２２１の分光感度特性、撮影時の照明光スペクトル、及び被写体表面の分光反射率に関する統計情報に基づいて、ウィナー推定法等の従来手法を用いた、画像上の各画素に関する分光反射率の推定を行い、分光反射率画像を生成する。被写体表面の分光反射率に関する統計情報としては、例えば、教師データとして使用する分光反射率データ群の相関行列、共分散行列を用いればよい。分光反射率データ群から得られた主成分の相関行列等でも良い。

複数単色画像生成部４３１２は、分光反射率画像生成部４３１１によって生成された分光反射率画像と、撮影条件記憶部３２に記憶された撮影時の照明光スペクトル、および各単色カメラの分光感度特性とに基づいて、分光反射率画像上の各画素値に対し、撮影時の照明光スペクトルおよび各単色カメラの分光感度特性を掛け合わせることにより、各単色カメラ２１１〜２１Ｎと同じ分光感度特性のカメラで撮影したときに得られるものと同等の単色画像を各々生成する。

対応点探索部３１は、画像撮影装置２２０から入力された複数のグレースケール画像、単色画像生成部４３１により出力された各単色カメラ２１１〜２１Ｎに対応する単色画像、及びグレースケール画像とカメラとの対応関係に基づいて、画像のペアの各々について、ペア間で対応点を探索する。

対応点探索処理部３１１は、画像撮影装置２２０から入力された複数のグレースケール画像、及びグレースケール画像とカメラとの対応関係に基づいて、各単色カメラの分光感度の中心波長の昇順に番号を割り当てて番号が連続しないように並べた配置における順番が連続した２台の単色カメラからの画像のペア間の各々について、当該ペア間で対応点の探索を行う。更に、各単色カメラの画像と、単色画像生成部４３１で生成された該当する単色カメラと同じ分光感度特性を用いて生成された単色画像との間での対応点探索を行う。対応点の探索手法は、既存の手法を利用する。

例えば、上記図５の例では、カメラ１および２の画像ペア間、カメラ３および４の画像ペア間、カメラ５および６の画像ペア間、カメラ７および８の画像ペア間で対応点探索が行われる。更に、カメラ１の画像と、カメラ１に対応する単色画像との画像ペア間、カメラ２の画像と、カメラ２に対応する単色画像との画像ペア間、カメラ３の画像と、カメラ３に対応する単色画像との画像ペア間、カメラ４の画像と、カメラ４に対応する単色画像との画像ペア間、カメラ５の画像と、カメラ５に対応する単色画像との画像ペア間、カメラ６の画像と、カメラ６に対応する単色画像との画像ペア間、カメラ７の画像と、カメラ７に対応する単色画像との画像ペア間、及びカメラ８の画像と、カメラ８に対応する単色画像との画像ペア間でも、対応点探索が行われる。また更に、カメラ２および３の画像ペア間、カメラ４および５の画像ペア間、カメラ６および７の画像ペア間で対応点探索を行っても良い。

＜画像処理システムの作用＞
次に、図１３を参照して、第４の実施の形態の画像処理システム４１０の画像処理装置４３０で実行される画像処理ルーチンについて説明する。なお、第１の実施の形態及び第２の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ４０１において、上記ステップＳ２０１で取得した、多色カメラ２２１によって撮影された画像から、分光反射率画像を生成する。ステップＳ４０２では、上記ステップＳ４０１で生成された分光反射率画像から、複数の単色カメラ２１１〜２１Ｎの各々に対応する単色画像を生成する。

そして、ステップＳ４０３において、上記ステップＳ２０１で取得した複数のグレースケール画像のうち、順番が連続した２台の単色カメラからの画像のペアの各々について、当該画像のペア間における対応点を探索する。更に、上記ステップＳ２０１で取得した複数のグレースケール画像の各々と、上記ステップＳ４０２で得られた単色画像のうち、該当する単色カメラと同じ分光感度特性のカメラで撮影した際に得られるものと同等の、単色画像との画像のペアの各々について、当該画像のペア間における対応点を探索する。

ステップＳ１０４では、上記ステップＳ４０３で対応点探索を行った画像のペアの各々に対し、当該ペアについて探索された対応点に基づいて、奥行き情報を推定する。次のステップＳ１０５では、上記ステップＳ１０４で推定された画像のペアの各々に対する奥行き情報を統合して出力する。

そして、ステップＳ１０６では、上記ステップＳ４０３で対応点探索を行った画像のペアの各々について探索された対応点に基づいて、基準画像を撮影したカメラの視点におけるマルチバンド画像を生成する。次のステップＳ１０７では、上記ステップＳ１０６で生成したマルチバンド画像を出力して、画像処理ルーチンを終了する。

以上説明したように、第４の実施の形態の画像処理システムによれば、各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順に番号を割り当て、割り当てられた番号が連続しないように、複数の単色カメラを配置し、多色カメラを、単色カメラで挟み込むように、又は囲むように配置し、割り当てられた番号が連続する単色カメラのペアの各々について、当該ペアの単色カメラで撮影した画像間で対応点を探索し、単色カメラで撮影した画像と、当該単色カメラと同じ分光感度特性を用いて生成された単色画像との間で対応点を探索することにより、従来手法より、精度良く対応点を探索することができる。

なお、上記の実施の形態では、多色カメラが１台である場合を例に説明したが多色カメラを複数台配置してもよい。

［第５の実施の形態］
＜システム構成＞
次に、第５の実施の形態について説明する。なお、第５の実施の形態の画像処理システムは、第３の実施の形態の画像処理システム３１０と同様の構成であるため、同一符号を付して詳細な説明を省略する。

第５の実施の形態では、画像撮影装置において、多色カメラを複数台用いている点が、第３の実施の形態と異なっている。

第５の実施の形態に係る画像処理システムの画像撮影装置２２０は、例えば、図１４に示すように、分光感度特性が異なる３つの単色カメラ（図１５参照）と、分光感度特性が等しい２つの多色カメラであるＲＧＢカメラ（図１６参照）とを備えている。図１４では、カメラ４と５がＲＧＢカメラで、それぞれ単色カメラであるカメラ１、２、３に挟まれている。また単色カメラであるカメラ１、２、３の分光感度はそれぞれ、ＲＧＢカメラの３つのカラーチャンネルのうちのいずれかと重なりを持っている。

カラーチャンネル分解部３３１は、カメラ４で撮影された画像を、各カラーチャンネルのグレースケール画像（Ｒ４、Ｇ４、Ｂ４）に分解し、カメラ５で撮影された画像を、各カラーチャンネルのグレースケール画像（Ｒ５、Ｇ５、Ｂ５）に分解する。

対応点探索部３１では、以下の（１）、（２）に示す画像ペア間での対応点探索が行われる。なお、対応点探索を、（１）に示す画像ペア間のみ、また（１）及び（２）に示す画像ペア間に対して行っても良い。

（１）隣接しないカメラの画像ペアとして、カメラ１とカメラ２の画像ペア、カメラ２とカメラ３の画像ペア、カメラ１とカメラ５のＢ５の画像ペア、カメラ３とカメラ４のＲ４の画像ペア、カメラ４のＲ４とカメラ５のＲ５の画像ペア、カメラ４のＧ４とカメラ５のＧ５の画像ペア、及びカメラ４のＢ４とカメラ５のＢ５の画像ペアの各画像ペア間で、対応点探索が行われる。

（２）隣接するカメラの画像ペアとして、カメラ１とカメラ４のＢ４の画像ペア、カメラ４のＧ４とカメラ２の画像ペア、カメラ２とカメラ５のＧ５の画像ペア、及びカメラ５のＲ５とカメラ３の画像ペアの各画像ペア間で、対応点探索が行われる。

なお、第５の実施の形態に係る画像処理システムの他の構成及び作用については、第３の実施の形態と同様であるため、説明を省略する。

［第６の実施の形態］
＜システム構成＞
次に、第６の実施の形態について説明する。なお、第６の実施の形態の画像処理システムは、第３の実施の形態の画像処理システム１０及び第５の実施の形態の画像処理システムと同様の構成であるため、同一符号を付して詳細な説明を省略する。

第６の実施の形態では、複数の多色カメラの分光感度特性が異なっている点が、第５の実施の形態と異なっている。

第６の実施の形態に係る画像処理システムの画像撮影装置２２０は、例えば、図１７に示すように、分光感度特性が異なる３つの単色カメラ（上記図１５参照）と、分光感度特性が異なる２つの多色カメラであるＲＧＢカメラとを備えている。カメラ４は、図１８に示すカメラ５と同じ分光感度を有するＲＧＢカメラのカメラレンズの前に、図１９に示す透過特性を有するカラーフィルタを取り付けることで構成され、実質的に、図２０に示すように、カメラ５とは異なる分光感度を有する。

対応点探索部３１では、第５の実施の形態と同様に、上記の（１）、（２）に示す画像ペア間での対応点探索が行われる。なお、対応点探索を、（１）に示す画像ペア間のみ、また（１）及び（２）に示す画像ペア間に対して行っても良い。

なお、第６の実施の形態に係る画像処理システムの他の構成及び作用については、第３の実施の形態と同様であるため、説明を省略する。

上記の第１〜第６の実施の形態では、複数の単色カメラ２１１〜２１Ｎに、分光感度の中心波長の昇順に番号を割り当てる場合を例に説明したが、これに限定されるものではなく、複数の単色カメラ２１１〜２１Ｎに、分光感度の中心波長の降順に番号を割り当てもよい。

また、上述の画像処理装置は、内部にコンピュータシステムを有しているが、コンピュータシステムは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０、２１０、３１０、４１０画像処理システム
２０、２２０画像撮影装置
３０、２３０、３３０、４３０画像処理装置
３１対応点探索部
３２撮影条件記憶部
３３奥行き情報推定部
３４マルチバンド画像生成部
２１１単色カメラ
２２１多色カメラ
２３１グレースケール画像生成部
３１１対応点探索処理部
３１２対応点記憶部
３３１カラーチャンネル分解部
４３１単色画像生成部
４３１１分光反射率画像生成部
４３１２複数単色画像生成部

Claims

各々分光感度特性が異なる複数の単色カメラに、分光感度の中心波長の昇順又は降順に番号を割り当て、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置し、
前記複数の単色カメラによって、画像を撮影し、
画像処理装置によって、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、探索された対応点を出力する
画像処理方法。
前記画像処理装置によって、多色カメラで撮影した画像を、前記単色カメラで撮影した画像との間で対応点の探索が可能な画像に変換することを更に含み、
前記複数の単色カメラを配置することは、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置し、かつ、前記多色カメラを、前記単色カメラで挟み込むように、又は囲むように配置し、
前記画像を撮影することは、前記複数の単色カメラ及び前記多色カメラによって、画像を撮影し、
前記画像処理装置によって前記対応点を探索することは、割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、かつ、前記単色カメラで撮影した画像と前記変換された画像との間で対応点を探索し、探索された対応点を出力する請求項１記載の画像処理方法。
前記画像処理装置によって前記多色カメラで撮影した画像を変換することは、グレースケール画像生成部によって、前記多色カメラで撮影した画像を、前記単色カメラで撮影した画像との間で対応点の探索が可能な画像として、グレースケール画像に変換する請求項２記載の画像処理方法。
前記画像処理装置によって前記多色カメラで撮影した画像を変換することは、カラーチャンネル分解部によって、前記多色カメラで撮影した画像を、前記単色カメラで撮影した画像との間で対応点の探索が可能な画像として、各カラーチャネル毎に前記画像を分解して得られた各カラーチャネル毎の画像のグレースケール画像に変換する請求項２記載の画像処理方法。
前記画像処理装置によって前記多色カメラで撮影した画像を変換することは、単色画像生成部によって、前記多色カメラで撮影した画像から、分光反射率画像を生成し、予め求められた撮影時の照明光スペクトルと前記複数の単色カメラの分光感度特性とを用いて、前記複数の単色カメラの各々に対し、前記分光反射率画像を、前記単色カメラで撮影した画像を推定して生成した単色画像に変換する請求項２記載の画像処理方法。
各々分光感度特性が異なる複数の単色カメラを含み、前記複数の単色カメラに、分光感度の中心波長の昇順又は降順に番号を割り当て、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置した画像撮影装置と、
割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、探索された対応点を出力する画像処理装置と、
を含む画像処理システム。
前記画像撮影装置は、多色カメラを更に含み、割り当てられた番号が連続しないように、前記複数の単色カメラを、一方向及び二方向の何れか一方に配置し、かつ、前記多色カメラを、前記単色カメラで挟み込むように、又は囲むように配置し、
前記画像処理装置は、前記多色カメラで撮影した画像を、前記単色カメラで撮影した画像との間で対応点の探索が可能な画像に変換し、
割り当てられた番号が連続する前記単色カメラのペアの各々について、前記ペアの単色カメラで撮影した画像間で対応点を探索し、かつ、前記単色カメラで撮影した画像と前記変換された画像との間で対応点を探索し、探索された対応点を出力する請求項６記載の画像処理システム。