JP6478579B2 - 撮像ユニット、撮像装置、及び画像処理システム - Google Patents

Description

本発明は、４種類以上の波長帯の分光画像群から構成されるマルチバンド画像の生成に関する。

マルチバンド画像は、撮影する物体が何に属するかを識別したり、物体がどのような状態であるのかを調べたりするのに有効であり、リモートセンシング、バイオ、医学、マシンビジョン等の様々な分野で活用されている。また、コンピュータグラフィックスの分野では物体の色彩を忠実に表現するために、マルチバンド画像が活用されている。マルチバンド画像は、空間方向に２次元、波長方向に１次元の合計３次元で構成されており、空間分解能、波長分解能、時間分解能は取得方法により異なる。

特許文献１は、撮像素子上に分光透過率の異なるカラーフィルタをアレイ状に配置することによってマルチバンド画像を取得する方法を提案している。特許文献２は、符号化マスクと分散素子を用いた圧縮センシング光学系と画像推定処理を組み合わせることにより、マルチバンド画像を取得する方法を提案している。特許文献１、２に記載の方法は、１回の撮影によりマルチバンド画像を取得することができるため、時間分解能が高いという利点がある。

なお、非特許文献１は、ＴｗＩＳＴ（Ｔｗｏ−ＳｔｅｐＩｔｅｒａｔｉｖｅ Ｓｈｒｉｎｋａｇｅ／Ｔｈｒｅｓｈｏｌｄｉｎｇ）アルゴリズム等の高速な画像推定処理アルゴリズムについて提案している。

米国特許出願公開第２０１０／０１４０４６１号明細書 米国特許出願公開第２００７／０２９６９６５号明細書

J. M. Bioucas-Dias and M. A. T. Figueiredo, "A new TwIST: two-stepiterative shrinkage/thresholding algorithms for image restoration," IEEE Trans. on Image Processing, vol. 16, Dec. 2007.

特許文献１に記載の方法は、１画素に１波長帯（バンド）の光しか入射しないため、波長分解能を上げると入射光量が低下し、撮影感度が低下する。一方、特許文献２に記載の方法は、複数回結像光学系を使用するため、システムが大型化になる。

本発明は、小型の構成で１回の撮影で高感度にマルチバンド画像を取得することが可能な撮像ユニット、撮像装置、及び画像処理システムを提供することを目的とする。

本発明の撮像ユニットは、被写体像を光電変換するＭ×Ｎ個の画素を含む撮像素子と、前記撮像素子の被写体側に配置されたカラーフィルタを有し、前記カラーフィルタは前記複数の画素のそれぞれに対応した複数のフィルタセグメントを備え、前記複数のフィルタセグメントは、互いに分光透過率の異なる複数種類のフィルタセグメントを含み、所定の条件を満足することを特徴とする。

本発明によれば、小型の構成で１回の撮影で高感度にマルチバンド画像を取得することが可能な撮像ユニット、撮像装置、及び画像処理システムを提供することができる。

本発明のマルチバンド画像取得システムの撮像素子を示す概略図である。 図１に示すカラーフィルタを示す概略図である。 本発明のマルチバンド画像取得システムにより取得できるバンドを説明する図である。 図２に示すカラーフィルタの分光透過率特性の一例を示す図である。 バンド幅と図２に示すフィルタセグメントの分光透過率特性の関係を説明する図である。 本発明のカラーフィルタの分光特性構造を説明する図である。 図２に示すカラーフィルタの分光特性の一例を示す図である。 図２に示すカラーフィルタの透過率特性の値の一例を示す図である。 図２に示すカラーフィルタの透過率特性の分布の一例を示す図である。 図２に示すカラーフィルタの構成例を説明する図である。 図１０に示すカラーフィルタの製造方法を説明する概略図である。 本発明のマルチバンド画像取得システムのブロック図、外観斜視図、及び部分斜視図である。（実施例１） 図１２に示すシステムコントローラの動作を示すフローチャートである。（実施例１） 図１３に示す画像推定方法によって撮影画像から生成されるマルチバンド画像をシミュレーションにより求めた結果を示す図である。（実施例１） 図１４のマルチバンド画像の分光特性を正解の分光透過率と比較したグラフである。（実施例１） 本発明のマルチバンド画像取得システムのブロック図とシステム構成図である。（実施例２）

図１は、本実施形態のマルチバンド画像取得システム（画像処理システム）の撮像ユニット１１０を示す概略図である。マルチバンド画像取得システムは、４種類以上の波長帯（バンド）の分光画像群から構成されるマルチバンド画像を取得する。撮像ユニット１１０は、撮像素子１１１と、その被写体側に配置されたカラーフィルタ１３０と、を有する。撮像素子１１１は被写体を撮像するＭ×Ｎ個の複数の画素を有する。

図２は、カラーフィルタ１３０の構成を示す概略図である。同図に示すように、カラーフィルタ１３０は、それぞれが被写体からの光を受光する複数のフィルタセグメント１３１を有し、各フィルタセグメント１３１がカラーフィルタとして機能する。複数のフィルタセグメント１３１は、２次元的に（アレイ状に）配置されている。各フィルタセグメント１３１は、撮像素子１１１の複数の画素の一つに対応する。複数のフィルタセグメント１３１は、被写体からの光のうち透過する波長帯が互いに異なる分光透過率を有する第１乃至第Ｚのフィルタセグメント１３２を含む。例えば、複数のフィルタセグメント１３１は、第１のフィルタセグメント１３２から第Ｚのフィルタセグメント１３２の組を複数有してもよい。この場合、各組の第１のフィルタセグメント１３２から第Ｚのフィルタセグメント１３２の配列は異なっている（不規則になっている）。

図３は、カラーフィルタ１３０の分光特性を適宜選択することにより、取得できる波長帯を説明する図であり、横軸は波長λ、縦軸は分光透過率Ｔである。図３（ａ）は測定波長帯域をＬ種類の波長帯のマルチバンド画像を取得する例を示している。図３（ｂ）は波長帯間の間隔を空けてＬ種類の波長帯のマルチバンド画像を取得する例を示している。図３（ｃ）は隣接する波長帯が重複したＬ種類の波長帯のマルチバンド画像を取得する例を示している。

図４は、波長帯数Ｌ＝４、フィルタセグメント数Ｚ＝１６の分光透過率特性の一例を示す図であり、横軸は波長λ、縦軸は分光透過率Ｔである。第１のフィルタセグメントから第１６のフィルタセグメントはいずれも互いに異なる分光透過率特性を有しており、単一の波長帯の光のみ透過させるフィルタセグメントから、複数の波長帯の光を透過させるフィルタセグメントが存在する。単一の波長帯の光のみ透過させるフィルタセグメントは原色フィルタ、複数の波長帯の光を透過させるフィルタセグメントは補色フィルタの機能を有し、複数の補色フィルタを用いることで入射光を多く取り入れることができる。

なお、「異なる分光透過率特性」とは、被写体からの光のうち透過する波長帯が互いに異なることを意味する。例えば、図４の第１のフィルタセグメントの特性と、それと波長帯ｋ_１における分光透過率Ｔの値が低い特性など、波長帯が同じで分光透過率のみが異なる場合を含まない。また、対象となる波長帯が決定された後は、同一波長帯内で透過する波長帯が互いに異なるもの（例えば、決定された波長帯ｋ_１の短波長領域と長波長領域のみをそれぞれ透過する場合）も含まない。

図４に示す分光特性を有するフィルタセグメントがカラーフィルタ１３０にそれぞれ均等な数だけ配置された場合、各波長帯に入射する光量はそれぞれ入射光量の５０％となる。これは、同じく波長帯数４で特許文献１のように原色フィルタをアレイ状に配置した場合の値の２５％と比べて高い値となっており、撮像ユニット１１０を用いると入射光を多く取り入れることが可能になることが分かる。

本実施形態では、波長帯の数を増やしても多くの入射光を取り込むことができるように、Ｌを４以上の整数、波長帯ｋ（ｋ＝１，２，・・，Ｌ）の光を受光する画素数をＰ_ｋとしたとき、以下の条件が満足される。

カラーフィルタ１３０は複数の補色フィルタを含んでいるため、撮像素子１１１は各バンドが混色した情報を有する画素を多数含んでいる。従って、波長帯数Ｌのマルチバンド画像を得るためには混色した情報を有する画素から各波長帯成分を分離する必要がある。

本実施形態では、混色した波長帯情報を有する画素から各波長帯成分を分離するため、後述する画像推定処理を用いている。数式（１）、（２）は多くの入射光量を取り込み、かつ、画像推定処理時に混色した画素から各波長帯成分を分離しやすくするための条件式である。

数式（１）は、通常よりも多くのフィルタセグメントを有することを意味する。数式（１）の下限値を超えると、各波長帯成分の分離が容易になるが、取り込める入射光量が低下し、上限値を超えると、取り込める入射光量は増加するが、各波長帯成分の分離が困難になる。

数式（２）は、１画素が複数の波長帯に対応する光を受光することを意味する。波長帯数Ｌに対して数式（２）を満たす数の分光特性を有するカラーフィルタ数がないと、多くの入射光量を取り込みことと、画像推定処理時に混色した波長帯情報を有する画素から各波長帯の成分を分離しやすくすることを両立することが困難になる。

なお、画像推定処理時に混色した波長帯情報を有する画素から各波長帯成分を分離しやすくするためには、第１のフィルタセグメント１３２から第Ｚのフィルタセグメント１３２が不規則に配置されている点も重要である。

図５は、波長帯幅とフィルタセグメント１３１の分光特性の関係を説明する図であり、横軸は波長λ、縦軸は分光透過率Ｔである。図５に示すように、フィルタセグメント１３１の分光透過率の違いにより、各波長帯に入射する光量が異なる。入射光量を増やし、高感度に撮影するために、波長帯ｋにおける平均透過率が以下の条件を満足する画素を、波長帯ｋの光を受光する画素としている。

ここで、λ_ｋ−１、λ_ｋはそれぞれ波長帯ｋの短波長端の波長、長波長端の波長、Ｔ（λ）は波長帯ｋに対応するフィルタセグメント１３１の分光透過率である。

波長帯１について数式（３）を満たせば波長帯１の光を受光する画素となり、数式（３）を満たさない場合は波長帯１の光を受光する画素とはならない。このことは隣接する波長帯においても同様である。なお、図５（ｈ）に示すフィルタセグメントの分光透過率の場合、当画素は波長帯１、波長帯２の光を受光する画素となる。

図６は、カラーフィルタ１３０の分光特性構造を３次元的に表現した図である。波長帯ｋ（ｋ＝１、２、・・、Ｌ）に対応するカラーフィルタの透過率特性の分布をＦ_k（ｉ，ｊ）（ただし、ｉ＝１，２，・・，Ｍ、ｊ＝１，２，・・，Ｎ）とすると、波長帯数Ｌの場合は、図６のように表すことができる。ここで、Ｆ_ｋ（ｉ，ｊ）は数式（３）の左辺で計算される平均透過率を指す。このとき、カラーフィルタ１３０は以下の条件を満足する。

ここで、Ｒ_{ｋ１，ｋ２}は波長帯ｋ_１と波長帯ｋ_２の分光透過率部の分布Ｆ_ｋ１、Ｆ_ｋ２の相互相関であり、数式（４）（５）は各波長帯間の相互相関の平均値を表している。Ｒ_{ｋ１、ｋ２}は波長帯ｋ_１と波長帯ｋ_２の相互相関が全くないときに０．５となり、正の相関が強いほど１．０に近づき、負の相関が強いほど０．０に近づく。

画像推定処理で混色した波長帯情報を有する画素から各波長帯成分を分離する際には各波長帯間の相互相関が無いほうがよく、数式（４）（５）はその適切な範囲を示したものである。また、第１乃至第Ｚのフィルタセグメント１３２が不規則に配置されているという状態を表現する数式にもなっている。

なお、数式（４）は以下の条件を満足すると更に良い。

図７は、画素数６４×６４、波長帯数４に対するカラーフィルタ１３０の分光透過率特性の一例を示す図である。図７において、白い部分は光が透過し、黒い部分は光が透過しないことを意味している。なお、ここでは、Ｆ_k（ｉ，ｊ）の透過率分布を乱数により与えている。このときの数式（４）の値は０．５０１１となっており、各波長帯間の相互相関はほとんどみられない。

図８は画素数６４×６４、波長帯ｋに対するカラーフィルタ１３０の透過率特性の値のバリエーションを示す図である。図８の右側に示すのは、左側の図に記載の直線における透過率の断面プロファイルである。Ｆ_k（ｉ，ｊ）の最小値は図８（ａ）に示すように０でもよいし、図８（ｂ）、（ｃ）に示すように０以外でもよい。また、図８（ｄ）に示すように多諧調の透過率分布を持っていてもよい。図８（ｂ）〜（ｄ）に示す透過率分布を与えることにより、より多くの光量を取り入れることが可能になるが、光量の増加と共に、画像推定処理時に混色した波長帯情報を有する画素から各波長帯成分を分離することが困難になる。Ｆ_k（ｉ，ｊ）の最小値であるｍｉｎ（Ｆ_ｋ（ｉ，ｊ））と最大値であるｍａｘ（Ｆ_ｋ（ｉ，ｊ））の比は以下の条件を満足することが好ましい。

図９は、画素数６４×６４、波長帯ｋに対するフィルタセグメント１３１の透過率特性の分布のバリエーションを示す図である。Ｆ_k（ｉ，ｊ）の最小透過率を有する画素数をＰ_ｍｉｎ、Ｆ_k（ｉ，ｊ）の最大透過率を有する画素数をＰ_ｍａｘとしたとき、図９（ａ）はＰ_ｍａｘ／Ｐ_ｍｉｎ＝０．２５、図９（ｂ）はＰ_ｍａｘ／Ｐ_ｍｉｎ＝１、図９（ｃ）はＰ_ｍａｘ／Ｐ_ｍｉｎ＝４となっている。Ｐ_ｍａｘ／Ｐ_ｍｉｎを大きくするとより多くの光量を取り入れることが可能になるが、光量の増加と共に、画像推定処理時に混色した波長帯情報を有する画素から各波長帯成分を分離することが困難になる。Ｐ_ｍａｘ／Ｐ_ｍｉｎは以下の条件を満足することが好ましい。

図１０は、カラーフィルタ１３０の構成例を説明する図である。カラーフィルタ１３０は、各波長帯に対応したカラーフィルタ層１３３が積層された構成となっている。

図１１は、カラーフィルタ層１３３の製造方法を説明するための概略図である。まず、図１１（ａ）に示す透明基板１３４に、図１１（ｂ）に示すフォトレジスト１３５を塗布し、その後、パターニング工程、リフトオフ工程を経ることにより、図１１（ｃ）に示すカラーフィルタ１３０のネガパターンを形成する。このネガパターン上に、図１１（ｄ）に示すように、波長帯ｋの波長帯域の光のみを反射、もしくは、吸収する光学素子（ノッチフィルタ、特定の波長帯の光を吸収する吸収材料、プラズモニックフィルタなど）１３６を形成する。最後に、図１１（ｅ）に示すように、ネガパターンを除去することでカラーフィルタ層１３３を作製する。

図１１（ｅ）の光学素子１３６が形成されている部分は波長帯ｋの波長帯域のみ光を透過させず、光学素子１３６が形成されていない部分は全ての波長域の光を透過させる。従って、各波長帯に対応したカラーフィルタ層１３３を積層させることにより、カラーフィルタ１３０を実現することができる。カラーフィルタ層１３３での反射損失を低減させるために反射防止膜を付けてもよい。なお、図１０、１１は、カラーフィルタ１３０の製造方法の一例に過ぎない。

カラーフィルタ１３０を用いることにより、１回結像系でありながら、高感度で１回の撮影によりマルチバンド画像を圧縮した画像を取得することができる。

本実施形態は、多くの入射光量を取り込み、かつ、画像推定処理時に混色した波長帯情報を有する画素から各波長帯成分を分離しやすくするため、各波長帯の画素を図７に示すような不規則に配置している。そのため、ベイヤー配列のように画素を規則的に配置した際に問題となる色モアレが原理的に発生しにくい。従って、撮像ユニット１１０は光学ローパスフィルタを用いなくても性能を維持することができる場合もある。

次に、図１２、１３を参照して、Ｍ×Ｎ画素からなるマルチバンド画像が圧縮された撮影画像ｇから、Ｍ×Ｎ画素×Ｌ種類の波長帯のマルチバンド画像ｆを推定する画像推定処理について説明する。

図１２（ａ）は、実施例１のマルチバンド画像取得システム１００のブロック図である。図１２（ｂ）は、マルチバンド画像取得システム１００の一例の外観斜視図である。図１２（ｃ）は、画像取得部１０１の一例を示す図である。

マルチバンド画像取得システム１００は、画像取得部１０１、Ａ／Ｄコンバータ１０２、画像処理部１０３、記憶部１０４、記録媒体１０５、表示部１０６、システムコントローラ１０７、駆動制御部１０８、及び、状態検知部１０９を有する。マルチバンド画像取得システム１００は、図１２（ｂ）に示すレンズ一体型撮像装置や、交換レンズと撮像装置本体から構成される撮像システムであってもよい。

画像取得部１０１は、図１２（ｃ）に示すように、被写体像を形成する不図示の１回結像光学系（撮影光学系）１２０、被写体像を光電変換する図１に示す撮像ユニット１１０を有する。Ａ／Ｄコンバータ１０２は、撮像素子１１１からのアナログ信号をデジタル信号に変換する。画像処理部（画像処理手段）１０３は、デジタル信号に各種の画像処理を施すと共に画像推定処理を行う。記憶部（記憶手段）１０４は、フィルタセグメント１３１の分光透過率に関する情報、各種の制御情報、変数、中間値、プログラム、画像処理部１０３によって処理された画像信号を記憶し、ＲＯＭ、ＲＡＭ、その他の各種メモリを有する。記録媒体１０５は、ＤＶＤ−ＲＯＭなど非一時的なコンピュータ可読媒体を含む。表示部１０６は、液晶ディスプレイなどから構成され、撮像しようとする画像や、記憶部１０４や記録媒体１０５に記憶された撮像画像、各種制御情報を表示する。システムコントローラ１０７は、各部の動作を制御する制御手段であり、マイクロコンピュータから構成される。駆動制御部１０８は、結像光学系のフォーカスレンズ、ズームレンズ、絞り、手振れ補正レンズなどの駆動を制御する。状態検知部１０９は、マルチバンド画像取得システム１００の撮影条件を含む各種の状態を検出する検出手段である。

図１３は、システムコントローラ１０７が撮影画像からマルチバンド画像を得るための動作を示すフローチャートであり、「ｓ」はステップを表している。図１３に示すフローチャートはコンピュータに各ステップを実行させるためのプログラムとして実現することができる。

まず、Ｓ１０１では、画像取得部１０１、Ａ／Ｄコンバータ１０２を経て、デジタル化された撮影画像ｇを取得する。次に、Ｓ１０２では、画像処理部１０３にて、推定画像ｆの初期値を与える。次に、Ｓ１０３では、画像処理部１０３にて、評価関数を計算する。次に、Ｓ１０４では、画像処理部１０３にて、Ｓ１０３で計算された評価関数が閾値より小さいか大きいかの判断を行う。評価関数が閾値より小さい場合は推定画像ｆが確からしいものとみなし、推定画像ｆを出力して処理を終了する。評価関数が閾値より大きい場合は推定画像ｆの推定が不十分とみなしてＳ１０５に進み、推定処理のループ数をカウントし、設定回数に達した場合は処理を終了する。ループ数が設定回数に達していない場合は、Ｓ１０６に進み、画像処理部１０３にて推定画像ｆの更新を行う。以降、最終的に処理が終了するまで、Ｓ１０３〜Ｓ１０６を繰り返す。最終的に得られた推定画像ｆは記録媒体１０５に記録、もしくは、表示部１０６に表示される。

実施例１の画像推定処理は、カラーフィルタ１３０の透過率特性Ｆ_ｋ（ｉ，ｊ）を用いた評価関数を用いる。透過率特性Ｆ_ｋ（ｉ，ｊ）は既知であり、記憶部１０４にその情報が記憶されている。波長帯ｋの推定画像をｆ_ｋ（ｉ，ｊ）とすると、カラーフィルタ１３０を通して撮影される画像ｇ’は数式（８）で表される。

ただし、ηはノイズ項である。従って、推定画像ｆが妥当であるかどうかは式（９）により評価することができる。

以上のように、カラーフィルタの１３０の透過率特性Ｆ_ｋ（ｉ，ｊ）と撮影画像ｇを用いることで、推定画像ｆ_ｋ（ｉ，ｊ）の確からしさを確認することができる。評価関数としては数式（９）のようなＬ２−ノルムに限ったものではなく、カラーフィルタ１３０の透過率特性Ｆ_ｋ（ｉ，ｊ）を用いていれば良く、例えば、数式（９’）のようなＬ１−ノルムでも構わない。

但し、数式（９）、（９’）を最小化するようにｆ_ｋ（ｉ，ｊ）を推定するだけでは不十分である。なぜなら、透過率特性Ｆ_ｋ（ｉ，ｊ）＝０となっている部分は数式（９）、（９’）により推定することは不可能であるからである。従って、数式（９）、（９’）で推定した画像ｆ_ｋ（ｉ，ｊ）はＦ_ｋ（ｉ，ｊ）＝０の部分が画素欠陥（欠落している画像情報）になりやすい。

そこで、画素欠陥部を補間する処理も併せて行うことが好ましい。具体的には、評価関数として数式（１０）を用いる。

ここで、φ（ｆ）は正則化項と呼ばれ、この正則化項の効果により画素欠陥部の補間処理を行うことができる。γは正則化項の効果を調整するパラメータであり、撮影画像ｇの種類により適宜調整が必要である。

なお、正則化項φ（ｆ）としては、例えば、数式（１１）に示すＴＶ（ＴｏｔａｌＶａｒｉａｔｉｏｎ）ノルム正則化項が挙げられる。

ただし、正則化項φ（ｆ）は上記に限ったものではない。

また、図１３に示す一連の画像推定処理を行うに際して、非特許文献１のＴｗＩＳＴアルゴリズム等の高速な画像推定処理アルゴリズムを用いてもよい。

図１４は、マルチバンド画像取得システム１００により取得される撮影画像とそこから生成されるマルチバンド画像をシミュレーションにより求めた結果を示す図である。シミュレーションに用いた画像は２５６×２５６画素の３１波長帯であり、画像推定処理にＴｗＩＳＴアルゴリズムを用いた。

図１４（ａ）は、フィルタセグメント１３１の透過率特性Ｆ_ｋ（ｉ，ｊ）の一部（ｋ＝１、１６、３１）を示した図である。図１４（ｂ）は、撮影画像ｇを示す図である。図１４（ｃ）は、正解画像のマルチバンド画像からＲＧＢ画像を生成した画像である。図１４（ｄ）は、推定画像ｆ_ｋ（ｉ，ｊ）のマルチバンド画像からＲＧＢ画像を生成した画像である。このようにマルチバンド画像から、表示用の画像を生成してもよい。

図１５（ａ）は、図１４（ｃ）、（ｄ）の対応点Ａの分光透過率を比較した結果であり、図１５（ｂ）は、図１４（ｃ）、（ｄ）の対応点Ｂの分光透過率を比較した結果である。図１５において、横軸は波長（ｎｍ）、縦軸は分光透過率である。図１５の点線は正解の分光透過率であり、実線は実施例１の画像推定方法によって推定された分光透過率である。この結果より、本実施例の方法によって分光透過率が精度良く推定できていることが確認できる。

実施例１によれば、図１２（ｂ）に示す小型のコンパクトデジタルカメラでも高感度にマルチバンド画像を取得することが可能になる。

実施例１では、撮像装置の画像処理部がマルチバンド画像を生成する処理を行っているが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として鮮鋭化処理を行ってもよい。図１６（ａ）は、実施例２のマルチバンド画像取得システムのブロック図である。図１６（ｂ）は、そのシステム構成図である。実施例２は、撮像装置２０１と画像処理装置２０３が分離している点が実施例１と異なる。

一眼レフカメラなどの撮像装置２０１を用いて撮影画像ｇを取得する。次に、撮影画像ｇは、ＳＤカード２０２−１やハードディスク２０２−２などの記憶媒体２０２に記録される。記録された撮影画像ｇは、ＵＳＢケーブルや各種のネットワーク（ＬＡＮ、インターネット）と通信部２０４を通して、画像処理装置２０３内の記憶部２０５に保存される。画像処理装置２０３には、ＰＣ２０３−１やクラウドコンピューティング２０３−２を適用することができる。その後、画像処理部２０６により画像推定処理が行われ、推定画像ｆが算出される。算出された推定画像ｆは記憶部２０５に保存、液晶ディスプレイなどの表示装置２０７に表示、もしくは、プリンタなどの出力装置２０８に出力される。

実施例２のように、負荷のかかる画像推定処理をＰＣ２０３−１やクラウドコンピューティング２０３−２を用いて行うことで、ユーザーは手軽に高感度なマルチバンド画像を得ることができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した電子補正方法を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、および該プログラムを記憶した記憶媒体は本発明を構成することになる。

本発明は、マルチバンド画像を取得する分野に適用することができる。

１１０・・・撮像ユニット、１１１・・・撮像素子、１３０・・・カラーフィルタ、１３１・・・フィルタセグメント、１３２・・・第１のフィルタセグメント〜第Ｚのフィルタセグメント

Claims (14)

1. 被写体像を光電変換するＭ×Ｎ個の画素を含む撮像素子と、
   前記撮像素子の被写体側に配置されたカラーフィルタを有し、
   前記カラーフィルタは前記複数の画素のそれぞれに対応した複数のフィルタセグメントを備え、
   前記複数のフィルタセグメントは、互いに分光透過率の異なる複数種類のフィルタセグメントを含み、
   Ｌを４以上の整数、Ｚを前記フィルタセグメントの種類の数、第ｋ波長帯（ｋ＝１、２、・・、Ｌ）の光を受光する前記撮像素子の画素数をＰ _ｋ としたとき、
   
   なる条件を満足し、
   第ｋ _１ 波長帯（ｋ_１＝１，２，・・，Ｌ）に対応する分光透過率の分布をＦ_ｋ１ （ｉ，ｊ）（ただし、ｉ＝１，２，・・，Ｍ、ｊ＝１，２，・・，Ｎ）、第ｋ _２ 波長帯（ｋ_２＝１，２，・・，Ｌ）に対応する前記分光透過率の分布をＦ_ｋ２ （ｉ，ｊ）とするとき、
   
   なる条件を満足することを特徴とする撮像ユニット。
2. 前記第ｋ波長帯に対応するフィルタセグメントの分光透過率の分布をＦ_ｋ（ｉ，ｊ）、Ｆ _ｋ（ｉ，ｊ）の最小値をｍｉｎ（Ｆ _ｋ （ｉ，ｊ））、Ｆ _ｋ（ｉ，ｊ）の最大値をｍａｘ（Ｆ _ｋ （ｉ，ｊ））とするとき、
   
   なる条件を満足することを特徴とする請求項１に記載の撮像ユニット。
3. 第ｋ波長帯に対応するフィルタセグメントの分光透過率の分布をＦ_ｋ（ｉ，ｊ）、Ｆ_ｋ（ｉ，ｊ）の最小透過率を有する画素の数をＰ_ｍｉｎ、Ｆ_ｋ（ｉ，ｊ）の最大透過率を有する画素の数をＰ_ｍａｘとするとき、
   
   なる条件を満足することを特徴とする請求項１または２に記載の撮像ユニット。
4. 前記フィルタセグメントは、ノッチフィルタを有することを特徴とする請求項１乃至３のうちいずれか１項に記載の撮像ユニット。
5. 前記フィルタセグメントは、特定の波長帯の光を吸収する吸収材料から構成されることを特徴とする請求項１乃至４のうちいずれか１項に記載の撮像ユニット。
6. 光学ローパスフィルタを有しないことを特徴とする請求項１乃至５のうちいずれか１項に記載の撮像ユニット。
7. 前記複数のフィルタセグメントは、互いに分光透過率の異なる第１のフィルタセグメントから第Ｚのフィルタセグメントからなるフィルタセグメントの組を複数含み、各組の前記第１のフィルタセグメントから前記第Ｚのフィルタセグメントの配列は異なることを特徴とする請求項１乃至６のうちいずれか１項に記載の撮像ユニット。
8. 前記複数のフィルタセグメントは、複数の波長帯の光を透過させるフィルタセグメントを含むことを特徴とする請求項１乃至７のうちいずれか１項に記載の撮像ユニット。
9. 第ｋ波長帯の短波長端の波長をλ_ｋ−１、第ｋ波長帯の長波長端の波長をλ_ｋ、第ｋ波長帯に対応するフィルタセグメントの分光透過率をＴ（λ）とするとき、
   
   なる条件を満足することを特徴とする請求項１乃至８のうちいずれか１項に記載の撮像ユニット。
10. 請求項１乃至９のうちいずれか１項に記載の撮像ユニットを有することを特徴とする撮像装置。
11. 前記カラーフィルタの各フィルタセグメントの前記分光透過率に関する情報を記憶する記憶手段と、
    前記撮像ユニットから得られる信号と前記記憶手段に記憶された前記情報に基づいて、４種類以上の波長帯の分光画像群から構成されるマルチバンド画像を生成する画像処理手段と、
    を有することを特徴とする請求項１０に記載の撮像装置。
12. 前記画像処理手段は、複数の波長帯に対応する光を受光する各画素から各波長帯の成分を分離することを特徴とする請求項１１に記載の撮像装置。
13. 前記画像処理手段は、各波長帯の成分を分離する際に、欠落している画像情報を補間する処理を行うことを特徴とする請求項１１または１２に記載の撮像装置。
14. 請求項１乃至９のうちいずれか１項に記載の撮像ユニットを有する撮像装置と、
    前記撮像装置の前記撮像素子から得られる信号と前記カラーフィルタの各フィルタセグメントの前記分光透過率に関する情報に基づいて、４種類以上の波長帯の分光画像群から構成されるマルチバンド画像を生成する画像処理装置と、
    を有する画像処理システム。