図1は、本実施形態のマルチバンド画像取得システム(画像処理システム)の撮像ユニット110を示す概略図である。マルチバンド画像取得システムは、4種類以上の波長帯(バンド)の分光画像群から構成されるマルチバンド画像を取得する。撮像ユニット110は、撮像素子111と、その被写体側に配置されたカラーフィルタ130と、を有する。撮像素子111は被写体を撮像するM×N個の複数の画素を有する。
図2は、カラーフィルタ130の構成を示す概略図である。同図に示すように、カラーフィルタ130は、それぞれが被写体からの光を受光する複数のフィルタセグメント131を有し、各フィルタセグメント131がカラーフィルタとして機能する。複数のフィルタセグメント131は、2次元的に(アレイ状に)配置されている。各フィルタセグメント131は、撮像素子111の複数の画素の一つに対応する。複数のフィルタセグメント131は、被写体からの光のうち透過する波長帯が互いに異なる分光透過率を有する第1乃至第Zのフィルタセグメント132を含む。例えば、複数のフィルタセグメント131は、第1のフィルタセグメント132から第Zのフィルタセグメント132の組を複数有してもよい。この場合、各組の第1のフィルタセグメント132から第Zのフィルタセグメント132の配列は異なっている(不規則になっている)。
図3は、カラーフィルタ130の分光特性を適宜選択することにより、取得できる波長帯を説明する図であり、横軸は波長λ、縦軸は分光透過率Tである。図3(a)は測定波長帯域をL種類の波長帯のマルチバンド画像を取得する例を示している。図3(b)は波長帯間の間隔を空けてL種類の波長帯のマルチバンド画像を取得する例を示している。図3(c)は隣接する波長帯が重複したL種類の波長帯のマルチバンド画像を取得する例を示している。
図4は、波長帯数L=4、フィルタセグメント数Z=16の分光透過率特性の一例を示す図であり、横軸は波長λ、縦軸は分光透過率Tである。第1のフィルタセグメントから第16のフィルタセグメントはいずれも互いに異なる分光透過率特性を有しており、単一の波長帯の光のみ透過させるフィルタセグメントから、複数の波長帯の光を透過させるフィルタセグメントが存在する。単一の波長帯の光のみ透過させるフィルタセグメントは原色フィルタ、複数の波長帯の光を透過させるフィルタセグメントは補色フィルタの機能を有し、複数の補色フィルタを用いることで入射光を多く取り入れることができる。
なお、「異なる分光透過率特性」とは、被写体からの光のうち透過する波長帯が互いに異なることを意味する。例えば、図4の第1のフィルタセグメントの特性と、それと波長帯k1における分光透過率Tの値が低い特性など、波長帯が同じで分光透過率のみが異なる場合を含まない。また、対象となる波長帯が決定された後は、同一波長帯内で透過する波長帯が互いに異なるもの(例えば、決定された波長帯k1の短波長領域と長波長領域のみをそれぞれ透過する場合)も含まない。
図4に示す分光特性を有するフィルタセグメントがカラーフィルタ130にそれぞれ均等な数だけ配置された場合、各波長帯に入射する光量はそれぞれ入射光量の50%となる。これは、同じく波長帯数4で特許文献1のように原色フィルタをアレイ状に配置した場合の値の25%と比べて高い値となっており、撮像ユニット110を用いると入射光を多く取り入れることが可能になることが分かる。
本実施形態では、波長帯の数を増やしても多くの入射光を取り込むことができるように、Lを4以上の整数、波長帯k(k=1,2,・・,L)の光を受光する画素数をPkとしたとき、以下の条件が満足される。
カラーフィルタ130は複数の補色フィルタを含んでいるため、撮像素子111は各バンドが混色した情報を有する画素を多数含んでいる。従って、波長帯数Lのマルチバンド画像を得るためには混色した情報を有する画素から各波長帯成分を分離する必要がある。
本実施形態では、混色した波長帯情報を有する画素から各波長帯成分を分離するため、後述する画像推定処理を用いている。数式(1)、(2)は多くの入射光量を取り込み、かつ、画像推定処理時に混色した画素から各波長帯成分を分離しやすくするための条件式である。
数式(1)は、通常よりも多くのフィルタセグメントを有することを意味する。数式(1)の下限値を超えると、各波長帯成分の分離が容易になるが、取り込める入射光量が低下し、上限値を超えると、取り込める入射光量は増加するが、各波長帯成分の分離が困難になる。
数式(2)は、1画素が複数の波長帯に対応する光を受光することを意味する。波長帯数Lに対して数式(2)を満たす数の分光特性を有するカラーフィルタ数がないと、多くの入射光量を取り込みことと、画像推定処理時に混色した波長帯情報を有する画素から各波長帯の成分を分離しやすくすることを両立することが困難になる。
なお、画像推定処理時に混色した波長帯情報を有する画素から各波長帯成分を分離しやすくするためには、第1のフィルタセグメント132から第Zのフィルタセグメント132が不規則に配置されている点も重要である。
図5は、波長帯幅とフィルタセグメント131の分光特性の関係を説明する図であり、横軸は波長λ、縦軸は分光透過率Tである。図5に示すように、フィルタセグメント131の分光透過率の違いにより、各波長帯に入射する光量が異なる。入射光量を増やし、高感度に撮影するために、波長帯kにおける平均透過率が以下の条件を満足する画素を、波長帯kの光を受光する画素としている。
ここで、λk−1、λkはそれぞれ波長帯kの短波長端の波長、長波長端の波長、T(λ)は波長帯kに対応するフィルタセグメント131の分光透過率である。
波長帯1について数式(3)を満たせば波長帯1の光を受光する画素となり、数式(3)を満たさない場合は波長帯1の光を受光する画素とはならない。このことは隣接する波長帯においても同様である。なお、図5(h)に示すフィルタセグメントの分光透過率の場合、当画素は波長帯1、波長帯2の光を受光する画素となる。
図6は、カラーフィルタ130の分光特性構造を3次元的に表現した図である。波長帯k(k=1、2、・・、L)に対応するカラーフィルタの透過率特性の分布をFk(i,j)(ただし、i=1,2,・・,M、j=1,2,・・,N)とすると、波長帯数Lの場合は、図6のように表すことができる。ここで、Fk(i,j)は数式(3)の左辺で計算される平均透過率を指す。このとき、カラーフィルタ130は以下の条件を満足する。
ここで、Rk1,k2は波長帯k1と波長帯k2の分光透過率部の分布Fk1、Fk2の相互相関であり、数式(4)(5)は各波長帯間の相互相関の平均値を表している。Rk1、k2は波長帯k1と波長帯k2の相互相関が全くないときに0.5となり、正の相関が強いほど1.0に近づき、負の相関が強いほど0.0に近づく。
画像推定処理で混色した波長帯情報を有する画素から各波長帯成分を分離する際には各波長帯間の相互相関が無いほうがよく、数式(4)(5)はその適切な範囲を示したものである。また、第1乃至第Zのフィルタセグメント132が不規則に配置されているという状態を表現する数式にもなっている。
なお、数式(4)は以下の条件を満足すると更に良い。
図7は、画素数64×64、波長帯数4に対するカラーフィルタ130の分光透過率特性の一例を示す図である。図7において、白い部分は光が透過し、黒い部分は光が透過しないことを意味している。なお、ここでは、Fk(i,j)の透過率分布を乱数により与えている。このときの数式(4)の値は0.5011となっており、各波長帯間の相互相関はほとんどみられない。
図8は画素数64×64、波長帯kに対するカラーフィルタ130の透過率特性の値のバリエーションを示す図である。図8の右側に示すのは、左側の図に記載の直線における透過率の断面プロファイルである。Fk(i,j)の最小値は図8(a)に示すように0でもよいし、図8(b)、(c)に示すように0以外でもよい。また、図8(d)に示すように多諧調の透過率分布を持っていてもよい。図8(b)〜(d)に示す透過率分布を与えることにより、より多くの光量を取り入れることが可能になるが、光量の増加と共に、画像推定処理時に混色した波長帯情報を有する画素から各波長帯成分を分離することが困難になる。Fk(i,j)の最小値であるmin(Fk(i,j))と最大値であるmax(Fk(i,j))の比は以下の条件を満足することが好ましい。
図9は、画素数64×64、波長帯kに対するフィルタセグメント131の透過率特性の分布のバリエーションを示す図である。Fk(i,j)の最小透過率を有する画素数をPmin、Fk(i,j)の最大透過率を有する画素数をPmaxとしたとき、図9(a)はPmax/Pmin=0.25、図9(b)はPmax/Pmin=1、図9(c)はPmax/Pmin=4となっている。Pmax/Pminを大きくするとより多くの光量を取り入れることが可能になるが、光量の増加と共に、画像推定処理時に混色した波長帯情報を有する画素から各波長帯成分を分離することが困難になる。Pmax/Pminは以下の条件を満足することが好ましい。
図10は、カラーフィルタ130の構成例を説明する図である。カラーフィルタ130は、各波長帯に対応したカラーフィルタ層133が積層された構成となっている。
図11は、カラーフィルタ層133の製造方法を説明するための概略図である。まず、図11(a)に示す透明基板134に、図11(b)に示すフォトレジスト135を塗布し、その後、パターニング工程、リフトオフ工程を経ることにより、図11(c)に示すカラーフィルタ130のネガパターンを形成する。このネガパターン上に、図11(d)に示すように、波長帯kの波長帯域の光のみを反射、もしくは、吸収する光学素子(ノッチフィルタ、特定の波長帯の光を吸収する吸収材料、プラズモニックフィルタなど)136を形成する。最後に、図11(e)に示すように、ネガパターンを除去することでカラーフィルタ層133を作製する。
図11(e)の光学素子136が形成されている部分は波長帯kの波長帯域のみ光を透過させず、光学素子136が形成されていない部分は全ての波長域の光を透過させる。従って、各波長帯に対応したカラーフィルタ層133を積層させることにより、カラーフィルタ130を実現することができる。カラーフィルタ層133での反射損失を低減させるために反射防止膜を付けてもよい。なお、図10、11は、カラーフィルタ130の製造方法の一例に過ぎない。
カラーフィルタ130を用いることにより、1回結像系でありながら、高感度で1回の撮影によりマルチバンド画像を圧縮した画像を取得することができる。
本実施形態は、多くの入射光量を取り込み、かつ、画像推定処理時に混色した波長帯情報を有する画素から各波長帯成分を分離しやすくするため、各波長帯の画素を図7に示すような不規則に配置している。そのため、ベイヤー配列のように画素を規則的に配置した際に問題となる色モアレが原理的に発生しにくい。従って、撮像ユニット110は光学ローパスフィルタを用いなくても性能を維持することができる場合もある。
次に、図12、13を参照して、M×N画素からなるマルチバンド画像が圧縮された撮影画像gから、M×N画素×L種類の波長帯のマルチバンド画像fを推定する画像推定処理について説明する。
図12(a)は、実施例1のマルチバンド画像取得システム100のブロック図である。図12(b)は、マルチバンド画像取得システム100の一例の外観斜視図である。図12(c)は、画像取得部101の一例を示す図である。
マルチバンド画像取得システム100は、画像取得部101、A/Dコンバータ102、画像処理部103、記憶部104、記録媒体105、表示部106、システムコントローラ107、駆動制御部108、及び、状態検知部109を有する。マルチバンド画像取得システム100は、図12(b)に示すレンズ一体型撮像装置や、交換レンズと撮像装置本体から構成される撮像システムであってもよい。
画像取得部101は、図12(c)に示すように、被写体像を形成する不図示の1回結像光学系(撮影光学系)120、被写体像を光電変換する図1に示す撮像ユニット110を有する。A/Dコンバータ102は、撮像素子111からのアナログ信号をデジタル信号に変換する。画像処理部(画像処理手段)103は、デジタル信号に各種の画像処理を施すと共に画像推定処理を行う。記憶部(記憶手段)104は、フィルタセグメント131の分光透過率に関する情報、各種の制御情報、変数、中間値、プログラム、画像処理部103によって処理された画像信号を記憶し、ROM、RAM、その他の各種メモリを有する。記録媒体105は、DVD−ROMなど非一時的なコンピュータ可読媒体を含む。表示部106は、液晶ディスプレイなどから構成され、撮像しようとする画像や、記憶部104や記録媒体105に記憶された撮像画像、各種制御情報を表示する。システムコントローラ107は、各部の動作を制御する制御手段であり、マイクロコンピュータから構成される。駆動制御部108は、結像光学系のフォーカスレンズ、ズームレンズ、絞り、手振れ補正レンズなどの駆動を制御する。状態検知部109は、マルチバンド画像取得システム100の撮影条件を含む各種の状態を検出する検出手段である。
図13は、システムコントローラ107が撮影画像からマルチバンド画像を得るための動作を示すフローチャートであり、「s」はステップを表している。図13に示すフローチャートはコンピュータに各ステップを実行させるためのプログラムとして実現することができる。
まず、S101では、画像取得部101、A/Dコンバータ102を経て、デジタル化された撮影画像gを取得する。次に、S102では、画像処理部103にて、推定画像fの初期値を与える。次に、S103では、画像処理部103にて、評価関数を計算する。次に、S104では、画像処理部103にて、S103で計算された評価関数が閾値より小さいか大きいかの判断を行う。評価関数が閾値より小さい場合は推定画像fが確からしいものとみなし、推定画像fを出力して処理を終了する。評価関数が閾値より大きい場合は推定画像fの推定が不十分とみなしてS105に進み、推定処理のループ数をカウントし、設定回数に達した場合は処理を終了する。ループ数が設定回数に達していない場合は、S106に進み、画像処理部103にて推定画像fの更新を行う。以降、最終的に処理が終了するまで、S103〜S106を繰り返す。最終的に得られた推定画像fは記録媒体105に記録、もしくは、表示部106に表示される。
実施例1の画像推定処理は、カラーフィルタ130の透過率特性Fk(i,j)を用いた評価関数を用いる。透過率特性Fk(i,j)は既知であり、記憶部104にその情報が記憶されている。波長帯kの推定画像をfk(i,j)とすると、カラーフィルタ130を通して撮影される画像g’は数式(8)で表される。
ただし、ηはノイズ項である。従って、推定画像fが妥当であるかどうかは式(9)により評価することができる。
以上のように、カラーフィルタの130の透過率特性Fk(i,j)と撮影画像gを用いることで、推定画像fk(i,j)の確からしさを確認することができる。評価関数としては数式(9)のようなL2−ノルムに限ったものではなく、カラーフィルタ130の透過率特性Fk(i,j)を用いていれば良く、例えば、数式(9’)のようなL1−ノルムでも構わない。
但し、数式(9)、(9’)を最小化するようにfk(i,j)を推定するだけでは不十分である。なぜなら、透過率特性Fk(i,j)=0となっている部分は数式(9)、(9’)により推定することは不可能であるからである。従って、数式(9)、(9’)で推定した画像fk(i,j)はFk(i,j)=0の部分が画素欠陥(欠落している画像情報)になりやすい。
そこで、画素欠陥部を補間する処理も併せて行うことが好ましい。具体的には、評価関数として数式(10)を用いる。
ここで、φ(f)は正則化項と呼ばれ、この正則化項の効果により画素欠陥部の補間処理を行うことができる。γは正則化項の効果を調整するパラメータであり、撮影画像gの種類により適宜調整が必要である。
なお、正則化項φ(f)としては、例えば、数式(11)に示すTV(TotalVariation)ノルム正則化項が挙げられる。
ただし、正則化項φ(f)は上記に限ったものではない。
また、図13に示す一連の画像推定処理を行うに際して、非特許文献1のTwISTアルゴリズム等の高速な画像推定処理アルゴリズムを用いてもよい。
図14は、マルチバンド画像取得システム100により取得される撮影画像とそこから生成されるマルチバンド画像をシミュレーションにより求めた結果を示す図である。シミュレーションに用いた画像は256×256画素の31波長帯であり、画像推定処理にTwISTアルゴリズムを用いた。
図14(a)は、フィルタセグメント131の透過率特性Fk(i,j)の一部(k=1、16、31)を示した図である。図14(b)は、撮影画像gを示す図である。図14(c)は、正解画像のマルチバンド画像からRGB画像を生成した画像である。図14(d)は、推定画像fk(i,j)のマルチバンド画像からRGB画像を生成した画像である。このようにマルチバンド画像から、表示用の画像を生成してもよい。
図15(a)は、図14(c)、(d)の対応点Aの分光透過率を比較した結果であり、図15(b)は、図14(c)、(d)の対応点Bの分光透過率を比較した結果である。図15において、横軸は波長(nm)、縦軸は分光透過率である。図15の点線は正解の分光透過率であり、実線は実施例1の画像推定方法によって推定された分光透過率である。この結果より、本実施例の方法によって分光透過率が精度良く推定できていることが確認できる。
実施例1によれば、図12(b)に示す小型のコンパクトデジタルカメラでも高感度にマルチバンド画像を取得することが可能になる。
実施例1では、撮像装置の画像処理部がマルチバンド画像を生成する処理を行っているが、パーソナルコンピュータ(PC)や専用の装置が画像処理装置として鮮鋭化処理を行ってもよい。図16(a)は、実施例2のマルチバンド画像取得システムのブロック図である。図16(b)は、そのシステム構成図である。実施例2は、撮像装置201と画像処理装置203が分離している点が実施例1と異なる。
一眼レフカメラなどの撮像装置201を用いて撮影画像gを取得する。次に、撮影画像gは、SDカード202−1やハードディスク202−2などの記憶媒体202に記録される。記録された撮影画像gは、USBケーブルや各種のネットワーク(LAN、インターネット)と通信部204を通して、画像処理装置203内の記憶部205に保存される。画像処理装置203には、PC203−1やクラウドコンピューティング203−2を適用することができる。その後、画像処理部206により画像推定処理が行われ、推定画像fが算出される。算出された推定画像fは記憶部205に保存、液晶ディスプレイなどの表示装置207に表示、もしくは、プリンタなどの出力装置208に出力される。
実施例2のように、負荷のかかる画像推定処理をPC203−1やクラウドコンピューティング203−2を用いて行うことで、ユーザーは手軽に高感度なマルチバンド画像を得ることができる。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した電子補正方法を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、および該プログラムを記憶した記憶媒体は本発明を構成することになる。