JP7063378B2 - 撮像装置及び撮像方法 - Google Patents

Description

本開示は、撮像装置及び撮像方法に関する。

圧縮センシングと呼ばれる、必要とされるデータよりも少ない観測データから画像等の対象を復元する技術が開発されつつある。圧縮センシングにおいて、対象を復元するためのアルゴリズムとして、例えば、非特許文献１に記載されているＡＤＭＭ（ａｌｔｅｒｎａｔｉｎｇ ｄｉｒｅｃｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ｍｕｌｔｉｐｌｉｅｒｓ）アルゴリズムといったアルゴリズムが用いられる。

Ｓ．Ｂｏｙｄ，Ｎ．Ｐａｒｉｋｈ，Ｅ．Ｃｈｕ ｅｔ ａｌ，Ｄｉｓｔｒｉｂｕｔｅｄ Ｏｐｔｉｍｉｚａｔｉｏｎ ａｎｄ Ｓｔａｔｉｓｔｉｃａｌ Ｌｅａｒｎｉｎｇ ｖｉａ ｔｈｅ Ａｌｔｅｒｎａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｉｅｒｓ，Ｆｏｕｎｄａｔｉｏｎ ａｎｄ Ｔｒｅｎｄｓ ｉｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ３，１－１２２，２０１０．

画像等の撮像は、一般に、高速に行われることが好ましい。そのため、圧縮センシング技術を用いる場合も、観測データの取得や取得した観測データからの画像の構築を含む撮像処理の高速化が望まれている。

本開示は、上記課題を解決するために、撮像処理の速度向上を可能とする撮像装置等を提供することを主たる目的とする。

本開示の一態様における撮像装置は、画像を示す二次元信号が透過する領域を有し、二次元信号が透過する領域に二次元信号の少なくとも一部を遮断する部位が設けられているフィルタと、フィルタを透過した二次元信号のパワーを検出する検出器と、フィルタに結像した二次元信号と二次元信号の少なくとも一部を遮断する部位の分布との位置関係とがそれぞれ異なる場合に検出した複数のパワーに基づいて、二次元信号が表す画像を再構築する再構築手段と、を備える。

また、本開示の一態様における撮像方法は、画像を示す二次元信号が透過する領域を有し、二次元信号が透過する領域に二次元信号の少なくとも一部を遮断する部位が設けられているフィルタを透過した二次元信号のパワーを検出し、フィルタに結像した二次元信号と二次元信号の少なくとも一部を遮断する部位の分布との位置関係とがそれぞれ異なる場合に検出した複数のパワーに基づいて、二次元信号が表す画像を再構築する。

本開示によると、撮像処理の速度向上を可能とする撮像装置等を提供することができる。

実施形態における撮像装置を示す図である。 実施形態における撮像装置の詳細な構成例を示す図である。 実施形態における撮像装置にて用いられる変換行列を求める場合の構成例を示す図である。 フィルタのパターンと変換行列との関係を示す図である。 再構築される画像の例を示す図である。 パワーの観測の際に用いられるフィルタのパターンの例を示す図である。 図５Ａに示す二次元信号と、フィルタのパターンとの位置関係を変化させた例を示す図である。 二次元信号とフィルタのパターンとの位置関係の変化が、パターン制御部によって制御される場合の構成例を示す図である。 二次元信号とフィルタのパターンとの位置関係が変化する場合の一例を示す図である。 二次元信号とフィルタのパターンとの位置関係が変化する場合の一例を示す図である。 二次元信号とフィルタのパターンとの位置関係が変化する場合の一例を示す図である。 実施形態における撮像装置の動作を示すフローチャートである。 実施形態の変形例における撮像装置の一例を示す図である。 シミュレーション例におけるオリジナルの画像の例を示す図である。 シミュレーション例において再構築される画像の例を示す図である。

本開示の実施形態について、図面を参照して説明する。図１は、実施形態における撮像装置を示す図である。

図１に示すとおり、実施形態における撮像装置１００は、フィルタ１１０と、検出器１２０と、再構築部１３０とを備える。フィルタ１１０は、画像を示す二次元信号が透過する領域を有し、二次元信号が透過する領域に、二次元信号の少なくとも一部を遮断する部位が設けられている。検出器１２０は、フィルタ１１０を透過した二次元信号のパワーを検出する。再構築部１３０は、二次元信号とフィルタ１１０における二次元信号の少なくとも一部を遮断する部位の分布との位置関係とがそれぞれ異なる場合に検出した複数の二次元信号のパワーに基づいて、二次元信号が表す画像を再構築する。

以下の実施形態において、二次元信号は、例えば、レンズによって結像される可視光線等の光の像である。つまり、二次元信号は、レンズ等の信号を収束させる素子によって収束され、結像する面において、全体又はその一部分で何らかの像を表す信号である。

撮像装置１００は、より具体的な例として、図２に示す構成を備える。図２に示す構成では、撮像装置１００は、上述した各要素に加えて、更に、パターン制御部１１１と、レンズ１１と、アイリス１２と、散乱媒質１３とを備える。図２に示す構成では、二次元信号は、例えば可視光線であることを想定する。

撮像装置１００によって再構築される画像は、レンズ１１によって得られる。レンズによって得られる像は、フィルタ１１０に結像される。つまり、フィルタ１１０は、通常、レンズ１１によって得られる像が結像する位置に配置される。また、アイリス１２及び散乱媒質１３は、より高い精度で画像を再構築するために必要に応じて設けられる。アイリス１２は雑信号を遮断する。散乱媒質１３は、フィルタ１１０を透過した信号を均質にする。

また、パターン制御部１１１は、二次元信号と、フィルタ１１０における二次元信号の少なくとも一部を遮断する部位の分布との位置関係を変化させるようにフィルタ１１０の制御を行う。以下、本実施形態において、フィルタ１１０における二次元信号の少なくとも一部を遮断する部位の分布を、フィルタ１１０のパターン又は単にパターンと呼ぶ場合がある。

撮像装置１００は、上述した圧縮センシングの技術を用いて画像を再構築する。より詳しくは、フィルタ１１０のパターンを透過し、検出器１２０によって検出された信号のパワーに基づいて、信号によって表される画像を再構築する。検出器１２０によって検出されるパワーの数は、再構築される画像の画素数よりも少ない数である。

画像の再構築は、フィルタ１１０のパターンに応じて求められた変換行列Ｄを用いて、圧縮センシングの技術の一つであるＡＤＭＭアルゴリズムに沿って行われる。以下、変換行列Ｄを求める手順、及び、当該変換行列Ｄを用いた、ＡＤＭＭアルゴリズムに基づく、画像を再構築する手順について説明する。

なお、以下の変換行列を決定する手順及び画像を再構築する手順の説明においては、二次元信号は可視光線であることを想定する。また、再構築される画像は、一般的な可視光の画像であることを想定する。ただし、後述のように、二次元信号は、可視光線には限られず、可視光線以外の電磁波や、超音波を含む音波といった信号であってもよい。

最初に、変換行列Ｄを求める手順について説明する。変換行列Ｄは、一例として、図３に示す構成を用いて求められる。変換行列Ｄの行数及び列数は、再構築される画像の画素数に応じて定められる。以下においては、再構築される画像をｘとし、画像ｘは、横がｍ画素、縦がｎ画素の画像であると想定する。以下、変換行列Ｄを求める手順を、キャリブレーション工程又は単にキャリブレーションと呼ぶ場合がある。

図３に示す例において、信号発生器１４から発生した信号は、フィルタ１１０を透過する。そして、フィルタ１１０を透過した光が二次元信号検出器１５にて検出される。フィルタ１１０は、信号発生器１４又は二次元信号検出器１５と対向する面に、二次元信号が透過する領域を有する。そして、フィルタ１１０のこの領域に、二次元信号の少なくとも一部を遮断する部位が設けられている。フィルタ１１０における二次元信号の少なくとも一部を遮断する部位として、二次元信号の一部が遮断され一部が透過する半透過の部位、及び二次元信号が遮断されて透過しない非透過の部位が含まれる。また、二次元信号の少なくとも一部を遮断する部位以外の部位は、二次元信号がそのまま透過する部位であると想定する。これらの詳細については後述する。

また、図３に示す例では、フィルタ１１０の二次元信号が透過する領域は、好ましくは、信号発生器１４から発生した信号の進行方向と垂直な方向を向くように配置される。

信号発生器１４は、検出器１２０にて検出される信号に応じた二次元信号を発生する。信号発生器１４は、好ましくは、検出器１２０によって検出される二次元信号の波長と近い波長の信号を発生させる。例えば、二次元信号が可視光線である場合、信号発生器１４は、可視光を発生する。

信号発生器１４は、検出器１２０によって検出される可視光や電磁波等の波長に応じた所望の信号を発生可能であれば、具体的な構成等は特に限定されない。ただし、信号発生器１４は、フィルタ１１０のパターンに対して均一に照射できる、すなわち、パターンの各領域に対して照射される信号のパワーの差がなるべく小さいことが好ましい。

二次元信号検出器１５は、信号発生器１４から発生し、フィルタ１１０を透過した信号のパワーを計測する。二次元信号検出器１５は、詳細を後述する検出器１２０と異なり、信号の位置毎のパワーを検出する。そのため、二次元信号検出器１５として、撮像装置１００によって再構築される画像の画素数以上の画素数であるセンサが用いられる。二次元信号検出器１５の感度特性は、検出器１２０の感度特性と近いことが好ましい。

信号が可視光線である場合には、二次元信号検出器１５として、一般的なＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのカメラ等が用いられる。また、二次元信号検出器１５として、例えば、信号が紫外線であれば紫外線カメラが、信号が近赤外線であればＩｎＧａＡｓ（インジウムガリウムヒ素）カメラが、中遠赤外線であれば熱画像カメラ等が、それぞれ用いられる。二次元信号検出器１５の画素数や縦横比を含む画素の配置は、再構築する画像の画素数や画素の配置に応じて定められる。

信号発生器１４から発生し、フィルタ１１０を透過した信号のパワーは、二次元信号検出器１５の画素とフィルタ１１０の上述したパターンとの位置関係に応じて、画素毎に変化する。つまり、二次元信号検出器１５は、二次元信号検出器１５の画素とフィルタ１１０パターンとの位置関係に応じて画素毎に変化した、信号発生器１４からの信号のパワーを検出する。

また、二次元信号検出器１５が検出する信号のパワーは、フィルタ１１０のパターンや、フィルタ１１０が回転等することによってフィルタ１１０のパターンと二次元信号検出器１５の画素との位置関係が変化することによって変化する。変換行列Ｄは、上述のように得られた複数のパワーに基づいて求められる。

図３に示す構成を用いた変換行列Ｄを求める手順について、図４を参照して更に説明する。図４の（Ａ）は、フィルタ１１０のパターンの例を模式的に示す。図４の（Ａ）に示す例では、フィルタ１１０のパターンにおいては、画素を単位として、信号が遮断されて透過しない領域は黒い四角で、信号がそのまま透過する領域は白い四角で表されている。

この場合に、まず、信号発生器１４が信号を発生し、二次元信号検出器１５は、フィルタ１１０を透過した信号を検出する。二次元信号検出器１５によって検出された信号のパワーは、フィルタ１１０における二次元信号の少なくとも一部を遮断する部位の分布に応じて、画素毎に異なる大きさとなる。

図４の（Ａ）に示す例では、二次元信号検出器１５によって検出される画素毎の信号のパワーは、フィルタ１１０において二次元信号が透過する領域の画素については相対的に大きな値となる。同様に、二次元信号検出器１５によって検出される画素毎の信号のパワーは、フィルタ１１０において二次元信号の少なくとも一部が遮断される部位の画素については相対的に小さな値となる。そして、二次元信号検出器１５が検出した画素毎の信号のパワーは、図４の（Ａ）に示す矢印のように並べると、図４の（Ｂ）のＤ_１に示すように、ｍ×ｎ次元のベクトルとして表される。

なお、図４の（Ｂ）に示す例では、信号のパワーは、ｍ×ｎ次元の２値のベクトルとして表される。大きな値のパワーが検出された画素に対応するベクトルの要素は白い四角で、小さな値のパワーが検出された画素に対応するベクトルの要素は黒い四角で表される。

このような画素毎のパワーの検出は、二次元信号検出器１５の画素とフィルタ１１０のパターンとの位置関係が異なる場合の各々に対して繰り返し行われる。二次元信号検出器１５の画素とフィルタ１１０のパターンとの位置関係の変化は、例えば、二次元信号検出器１５の画素と、フィルタ１１０の特定のパターンとの位置関係を変化させて行われてもよい。また、二次元信号検出器１５の画素とフィルタ１１０のパターンとの位置関係の変化は、二次元信号の少なくとも一部を遮断する部位の分布が異なるフィルタ１１０を用いることで行われてもよい。

二次元信号検出器１５の画素とフィルタ１１０の特定のパターンとの位置関係の変化は、例えば、信号が透過する方向を軸にしてフィルタ１１０を回転させることによって行われる。また、二次元信号検出器１５の画素とフィルタ１１０の特定のパターンとの位置関係の変化は、信号が透過する方向と交わる方向にフィルタ１１０を移動させることによって行われてもよい。

なお、二次元信号検出器１５の画素とフィルタ１１０のパターンとの位置関係の変化の際には、信号発生器１４、フィルタ１１０及び二次元信号検出器１５の位置関係（図３における信号が進む方向での距離等）は変化させないようにする。

図４の（Ａ）には、二次元信号検出器１５の画素とフィルタ１１０のパターンとの位置関係を変化させた場合の例が模式的に示されている。そして、二次元信号検出器１５の画素とフィルタ１１０のパターンとの位置関係を変化させて繰り返し行われるパワーの検出において、二次元信号検出器１５にて検出された画素毎の信号のパワーから、複数のベクトルが求められる。すなわち、二次元信号検出器１５の画素とフィルタ１１０のパターンとの位置関係を変化させてｋ回のパワーの観測を行うことにより求められたｋ個のベクトルＤ_１からＤ_ｋによって、変換行列Ｄが構成される。すなわち、変換行列Ｄの各行は、フィルタ１１０のあるパターンの二次元信号検出器１５との画素に対する特定の位置関係に対して求められたベクトルＤ_ｉ（１≦ｉ≦ｋ）である。

次に、ＡＤＭＭアルゴリズムに基づく、画像を再構築する手順を説明する。この場合には、上述した手順によって求められた変換行列Ｄが用いられる。また、以下の手順において、再構築される画像ｘは、上述のように、横がｍ画素、縦がｎ画素の画像であることを想定する。

撮像装置１００においては、フィルタ１１０のパターンを透過し、検出器１２０で検出された、二次元信号のパワーが複数用いられる。複数の二次元信号のパワーは、それぞれ、検出器１２０によって、二次元信号と、フィルタ１１０における二次元信号の少なくとも一部を遮断する部位の分布との位置関係を変化させて検出されたパワーである。

撮像装置１００による画像の再構築に際しては、フィルタ１１０を、変換行列Ｄを求める場合と同様の状態にして、ｋ回の二次元信号のパワーの観測が行われる。つまり、検出器１２０が二次元信号のパワーを検出する場合には、変換行列Ｄを求める場合と同じパターンのフィルタ１１０が用いられる。また、ｋ回の二次元信号のパワーの観測の各々において、フィルタ１１０と二次元信号との位置関係は、フィルタ１１０と二次元信号検出器１５の二次元信号と対応する画素との位置関係と同じ位置関係とされる。

ｋ回のパワーの観測が行われる例を図５Ａ、図５Ｂ、図５Ｃを用いて説明する。図５Ａは、再構築される画像の例を示す。この像を表す光線がレンズ１１にて収束される。図５Ｂは、パワーの観測の際に用いられるフィルタ１１０のパターンの例を示す。図５Ｃは、図５Ａに示す二次元信号と、フィルタ１１０のパターンとの位置関係を変化させた例を示す。すなわち、図５Ｂに示すフィルタ１１０を用いて図５Ａに示す像を表す画像を再構築する場合には、一例として、図５Ｃに示すように、二次元信号とフィルタ１１０のパターンとの位置関係を変化させてパワーの観測が行われる。

なお、本実施形態において、検出器１２０は、二次元信号のパワーの分布等の位置情報を検出せず、信号のパワーのみを検出する検出器である。そのため、検出器１２０によって検出される二次元信号のパワーは、フィルタ１１０を透過した場合における、再構築しようとする画像の全ての画素の信号強度の和となる。

この場合に、撮像装置１００によって再構築される画像ｘについて、変換行列Ｄのいずれかの行を構成するベクトルＤ_ｉに対応するパターンに対して検出器１２０によって検出される信号のパワーｊ_ｉは、以下の（１）式のような関係にて表される。

（１）式において、ｄ^ｉ _ｋは、上述したベクトルＤ_ｉに含まれるｍ×ｎ個の要素を表し、ｘ_ｋは、画像ｘに含まれるｍ×ｎ個の画素の各々の強度を表す値を、順に整列して並べた値を表す。ｄ^ｉ _ｋとｘ_ｋは、それぞれ画像において対応する位置における値である。

検出器１２０による信号のパワーの検出を、変換行列Ｄのいずれかの行に相当するＤ_１からＤ_ｋの各々に対応するパターンに対して行う場合を想定する。この場合に、Ｄ_１からＤ_ｋの各々に対して検出されたｋ個の信号のパワーｊ_ｉについてのベクトルＪに関して、以下の（２）式の関係が得られる。

（２）式のＤ、ｘ及びＪの各々について、添字は、各々を表す行列の要素数を示す。Ｄ_ｋ×ｍｎは、ｋ行×（ｍ×ｎ）列の変換行列である。すなわち、変換行列Ｄ_ｋ×ｍｎは、（ｍ×ｎ）個の要素をそれぞれ含むｋ個のベクトルＤ_ｉ（ｉ＝１～ｋ）で構成される。ｘ_ｍｎ×１は、（ｍ×ｎ）行のベクトルである。Ｊ_ｋ×１はｋ行のベクトルである。以下説明において、添字が付されないＤ、ｘ及びＪの各々は、上記と同じ内容を表す。

圧縮センシングにおいては、画像を再構築するために、以下の（３）式に示す最小化問題の解が求められる。すなわち、（３）式のＬ１ノルム解を求めることにより、上述したｋ個の信号のパワーの検出結果から、画像ｘが再構築される。

（３）式において、||ｘ||_１は、ｘのＬ１ノルムを表す。

上述した解は、ＡＤＭＭアルゴリズムを用いて求められる。まず、以下の（４）式で表されるコスト関数を考慮する。

（４）式は、ラグランジュ未定乗数法におけるコスト関数である。また、（４）式において、νは、ラグランジュ未定乗数を表す。

（３）式において、Ｌ１ノルムについてのｘとその他のｘとを区別するため、新たな変数ｚを導入する。（４）式に示されるＬ（ｘ）を最小化する問題は、以下の（５）式に示す条件付の最小化問題に置き換えられる。（５）式において、λは、ラグランジュ未定乗数法のコスト係数を示す。

そして、拡張ラグランジュ法の手続に沿って、以下の（６）式に示される新たなコスト関数が最小化される。

（６）式において、ｕ［ｔ］は、制約付最適化問題を適当な初期点から反復計算を行う勾配法により解く際に、最適解に収束させる補助項を示す。（６）式をｘについて微分すると、以下の（７）式が得られる。

（７）式を０とするｘとして、以下の（８）式が得られる。

（８）式のように得られたｘを、元の（６）式へ代入すると、（６）式は、以下の（９）式のような形となる。

（９）式は、νに関して２次関数であると考えることができる。そのため、（９）式が最小化される最適解は、以下の（１０）式にて表される。

得られた（１０）式を（８）式へ代入すると、以下の（１１）式が得られる。

上述した、反復計算を行う勾配法により求められる。（１１）式に対して、勾配法を適用すると、ｘ、ｚ及びｕに対して、反復計算のｔ＋１回目の値を示す式として、以下の（１２）式として示す式が得られる。

ただし

本実施形態において、反復計算は、一回のみ行う場合を想定する。この場合には、ｚ［ｔ＋１］及びｕ［ｔ＋１］は、考慮の必要がなくなる。また、ｚ［ｔ］及びｕ［ｔ］の初期化が必要となるが、ｚ［０］及びｕ［０］は、０であってもよい。そのため、再構築される画像ｘとして、以下の（１３）式が得られる。

一方、ＡＤＭＭアルゴリズムは、スパース性が期待できる基底が、ある変換を通して見つかる場合に、大きな効果を発揮する。信号がスパースであるとは、信号の多くの成分が０であるという性質を意味する。そのため、画像ｘの再構築においては、一般に、ｘを、スパース性を有する空間へ変換する必要がある。つまり、スパース性を有する空間において画像が再構築される。

スパース化は、例えば、画像ｘを離散フーリエ変換又はウェーブレット変換することで実現される。そこで、以下の（１４）式に示すように、スパース変換行列Φを用いて、画像ｘをスパース化する。スパース変換行列Φは、例えば、離散フーリエ変換行列又はウェーブレット変換行列のいずれかである。そして、上述したＡＤＭＭアルゴリズムにより、Ｑが求められる。

（１４）式は、スパース変換行列Φの逆行列Φ^－１を用いて、以下の（１５）式に示す形に変換される。

また、（１５）式は（２）式に示す関係を用いて、更に以下の（１６）式に示す形に変換される。

スパース変換行列Φが離散フーリエ変換又はウェーブレット変換行列である場合には、Φの共役転置行列を添字の＋で表し、Φ^＋とすると、ΦとΦ^＋とは互いに逆行列となる。
そのため、（１６）式から、以下の（１７）式が得られる。

（１７）式において、未知数はＱとなる。そこで、下記の（１８）式に示すようにＬ１ノルムの最小解を求めることにより、Ｑの近似解Ｑ”を求める。

（１８）式に対しては、上述した（３）式に対して（１６）式を得た例と同様にして、以下の（１９）式が得られる。

（１９）式において、Ｐは、(D'_k×mn・Ф⁺)⁺・inv[(D'_k×mn・Ф⁺)・(D'_k×mn・Ф⁺)⁺]を表す。

すなわち、Ｑの近似解であるＱ”を求め、求めたＱ”と上述したФ^＋を用いることにより、再構築の対象となる画像ｘが求められる。

二次元信号検出器１５又は検出器１２０による観測回数ｋは、一般に、再構築される画像ｘの画素数であるｍ×ｎと比較して少ない回数でよい。例えば、上述したスパース化が適切に行われる場合には、二次元信号検出器１５又は検出器１２０による観測回数は、画素数の数％（パーセント）程度であってもよい。すなわち、撮像装置１００は、圧縮センシングの一手法であるＡＤＭＭアルゴリズムを用いることにより、二次元信号とフィルタ１１０のパターンとの位置関係を変化させて得られる少ない観測データからの画像の再構築を可能とする。

なお、二次元信号検出器１５又は検出器１２０による観測回数ｋは、上述した例に限られず、再構築される画像に求められる画質やスパース化の程度に応じて適宜定められる。

続いて、本実施形態における撮像装置１００の各要素の詳細を説明する。

レンズ１１は、撮像装置１００によって再構築される画像を結像する。レンズ１１は、フィルタ１１０に画像を結像するように配置される。

二次元信号が可視光線である場合には、レンズ１１は、例えば一般的な光学レンズである。なお、図２において、レンズ１１は一枚のレンズとして図示されているが、レンズ１１はこれに限られない。レンズ１１は、複数のレンズによって構成されてもよい。レンズ１１の具体的な構成は、フィルタ１１０の構成や、検出器１２０の構成又は種類等といった条件に応じて、適宜定められる。

また、二次元信号が、可視光線以外の電磁波や音波である場合には、信号の種類に応じて、二次元信号を収束させる適切な構成がレンズ１１として用いられる。例えば、レンズ１１として、反射鏡が用いられてもよい。

アイリス１２及び散乱媒質１３は、上述のように、撮像装置１００によるより高い精度での画像の再構築のために、必要に応じて設けられる。

アイリス１２は、レンズにより集められる信号に含まれる雑信号を遮断する。一例として、二次元信号が可視光線である場合には、アイリス１２として、一般的な光学レンズの絞り機構が用いられる。

また、散乱媒質１３は、検出器１２０に向かう信号のうち、レンズ１１によって収束されていないオフフォーカスの信号を分散させる。散乱媒質１３が設けられることにより、レンズ１１によって収束された二次元信号が、検出器１２０に向かう方向に対して均一化される。散乱媒質１３として、例えば曇りガラスや、アルミナ等の微粒子の塊等が、二次元信号の種類に応じて用いられる。

また、散乱媒質１３は、図２に示すように、検出器１２０が信号を検出する面と密着させることが好ましい。このような構成とすることで、検出器１２０の検出面からの二次元信号の反射によるパワーの損失が軽減される。

アイリス１２及び散乱媒質１３が設けられることにより、検出器１２０によって検出される信号に含まれるノイズの除去や、検出器１２０によって検出される二次元信号のパワーの損失の軽減等が可能となる。これにより、検出器１２０によって検出される二次元信号のパワーの検出精度が向上する。そして、より高画質での画像の再構築が可能となる。

なお、アイリス１２及び散乱媒質１３の各々は、必要に応じて設けられる。アイリス１２及び散乱媒質１３の一方又は両方は、検出対象となる二次元信号の種類、その他の構成要素との関係や、再構築される画像に対して求められる画質等の状況によっては、設けられなくてもよい。

フィルタ１１０は、二次元信号が透過する領域を有する。そして、フィルタ１１０の当該領域には、二次元信号の少なくとも一部を遮断する部位（つまり、他の部位と二次元信号の透過率が異なる部位）が設けられている。撮像装置１００において、フィルタ１１０は、レンズ１１によって画像が結像される位置に配置される。

本実施形態において、フィルタ１１０における二次元信号の少なくとも一部を遮断する部位の分布は特に制限されない。つまり、フィルタ１１０においては、任意の透過率の部位が任意の場所に設けられている。フィルタ１１０における二次元信号の少なくとも一部を遮断する部位は、再構築される画像の画素と対応して設けられてもよいし、画素と関係なく設けられてもよい。

フィルタ１１０における二次元信号の少なくとも一部を遮断する部位及びその分布について、更に説明する。

なお、フィルタ１１０の二次元信号が透過する領域において、二次元信号の少なくとも一部を遮断する部位以外の部位では、二次元信号は遮断されずに透過する。すなわち、二次元信号の少なくとも一部を遮断する部位以外の部位においては、二次元信号は、フィルタ１１０の材質に応じた透過率にてフィルタ１１０を透過する。

フィルタ１１０における二次元信号の少なくとも一部を遮断する部位としては、非透過の部位、又は半透過の部位が含まれる。非透過の部位においては、二次元信号は遮断されて透過しないか、二次元信号が実質的に透過しないとして扱える程度に低い透過率の部位が非透過の部位とされてもよい。半透過の部位においては、二次元信号は、一部が遮断され、残りが透過する。半透過の部位において、二次元信号の透過率は特に制限されない。また、フィルタ１１０における二次元信号の少なくとも一部を遮断する部位として、複数の半透過の部位が含まれる場合には、各々の部位における二次元信号の透過率は、同じであってもよいし、異なっていてもよい。検出器１２０の感度分解能に応じた範囲で、透過率がより多くの段階となるように半透過の部位が設けられることにより、ノイズの少ない画像の再構築が可能となる。

また、フィルタ１１０における二次元信号の少なくとも一部を遮断する部位の分布には、周期性があってもよいし、擬似的にランダムな分布、周期性がないランダムな分布であってもよい。

フィルタ１１０における二次元信号の少なくとも一部を遮断する部位の分布に周期性がある場合には、再構築される画像には、当該周期に応じたノイズが現れる場合がある。そのため、パターンにおける透過率の変化は、完全にランダムな変化であることが最も好ましく、少なくとも、単純な解析式の重ね合わせ以外の形で表される擬似ランダムな変化であることが好ましい。単純な解析式の重ね合わせには、例えば、周波数が数種類程度の三角関数の和や積、又はこれらの線形加算等が含まれる。パターンにおける透過率の変化がランダム又は擬似ランダムであることで、透過率の変化に周期性がある場合等と比較して、ノイズの少ない画像の再構築が可能となる。

フィルタ１１０は、二次元信号が可視光線である場合には、ガラス等の光に対して透過量が調整できる材料が用いられる。ガラスの表面に透過率を低下させる模様を適宜選択された手法により形成することによって、パターンが設けられる。また、二次元信号が可視光線以外の電磁波である場合には、フィルタ１１０として、例えば金属材料等が用いられる。二次元信号が音波である場合には、フィルタ１１０として、例えば、メタルマスクといった音響インピーダンスを変化させる材料が用いられる。

また、撮像装置１００においては、上述のように、二次元信号とフィルタ１１０のパターンとの位置関係を変化させて検出されたパワーに基づいて、画像が再構築される。そして、二次元信号とフィルタ１１０のパターンとの位置関係の変化には、二次元信号とフィルタ１１０の特定のパターンと二次元信号との位置関係を変化させることによって行われる。そこで、パターン制御部１１１は、二次元信号とフィルタ１１０のパターンとの位置関係が変化するように、フィルタ１１０の位置を制御する。

上述のように、二次元信号とフィルタ１１０のパターンとの位置関係の変化は、例えば、二次元信号が透過する方向を軸にしてフィルタ１１０を回転させることによって行われる。また、二次元信号とフィルタ１１０のパターンとの位置関係の変化は、信号が透過するフィルタの平面において任意の面内方向にフィルタ１１０を移動させてもよい。例えば、信号を透過する方向は光軸方向であり、光軸方向をｚ方向としたときに、パターンとの位置関係の変化はｘ－ｙ平面の中の任意方向である。そこで、パターン制御部１１１は、二次元信号とフィルタ１１０のパターンとの位置関係を変化させるように、フィルタ１１０の位置を変化させる制御を行う。

なお、パターン制御部１１１による二次元信号とフィルタ１１０のパターンとの位置関係は、変換行列Ｄを求める場合におけるフィルタ１１０のパターンと二次元信号検出器１５の画素との位置関係と同じとなるように制御される。

図６は、二次元信号とフィルタ１１０のパターンとの位置関係が変化するように、パターン制御部１１１によってフィルタ１１０の位置が制御される場合の構成例を示す。図６に示す例では、フィルタ１１０の二次元信号が透過する一方の面に対向して、散乱媒質１３及び検出器１２０が配置されている。すなわち、図６に示す例では、フィルタ１１０の散乱媒質１３と対向する面と反対側から二次元信号がフィルタ１１０へ入射し、フィルタ１１０のパターンが描かれた面に結像することが想定される。

また、図６に示す例において、フィルタ１１０には、回転軸１１２が設けられている。つまり、フィルタ１１０は、回転軸１１２を中心として回転可能な構成となっている。そして、パターン制御部１１１は、二次元信号がレンズ１１によって結像される位置において、フィルタ１１０を回転せることにより、二次元信号とフィルタ１１０のパターンとの位置関係が変化するように制御する。

なお、フィルタ１１０の移動は、図６に示す例に限られない。フィルタ１１０の移動によって、二次元信号とフィルタ１１０のパターンとの位置関係が変化する場合の例について、図７Ａ、図７Ｂ、図７Ｃを用いて説明する。なお、図７Ａ、図７Ｂ、図７Ｃの各々において、白黒の模様がフィルタ１１０に設けられたパターンである。この場合において、フィルタ１１０の黒く描かれた領域は、上述した非透過の部位であり、フィルタ１１０の白く描かれた領域は、二次元信号がそのまま透過する部位であると想定する。また、図７Ａ、図７Ｂ、図７Ｃの各々において、顔は、再構築される画像であると想定する。

図７Ａにおいては、フィルタ１１０のパターンは、再構築される画像である顔の中心部分を軸とするようにして回転する。また、図７Ｂにおいては、また、再構築される画像である顔は、パターンの中心から外れた箇所に位置するようにフィルタ１１０が配置される。そして、フィルタ１１０のパターンは、パターンの中心部分を軸とするようにして回転する。更に、図７Ｃにおいては、フィルタ１１０は、回転しつつ、パターンが設けられた面に沿った方向に移動する。

パターン制御部１１１は、図６に示した例に限らず、図７Ａ、図７Ｂ、図７Ｃに示すようにフィルタ１１０の位置を制御してもよい。パターン制御部１１１によるフィルタ１１０の位置の制御は、これらの例に限られない。そして、これらの例に示すように、フィルタ１１０を回転又は移動させつつ検出器１２０が二次元信号のパワーを検出することにより、画像の再構築に必要となる複数の二次元信号のパワーが高速に検出可能となる。

なお、パターン制御部１１１による具体的な位置の制御の手法や、フィルタ１１０の位置を変化させる機構については、公知の手法や機構が適宜用いられる。

また、二次元信号とパターンとの位置関係の変化に周期性がある場合には、再構築される画像に周期性に応じたノイズが表れる場合がある。したがって、二次元信号とパターンとの位置関係の変化は、フィルタ１１０のパターンにおける透過率の変化と同様に、周期性がないランダムな変化、またはランダムな変化に近い変化であることが好ましい。

例えば、図７Ａ、図７Ｂ、図７Ｃにおいて、図７Ａに示す場合には、パターンの回転の中心となる、顔の中心部分を軸とした、円周状のノイズが生じることが想定される。また、図７Ｂに示す例では、パターンの回転の中心部分を軸として、扇形のノイズが生じることが想定される。これに対して、図７Ｃでは、パターンの移動方向に応じたノイズが生じるが、生じるノイズは、図７Ａ又は図７Ｂの例と比較して小さくなる、又は周期性が小さく目立たないノイズとなることが想定される。そのため、図７Ａ、図７Ｂ、図７Ｃの例において、再構築される画像に含まれるノイズを少なくする又は目立たないものとするためには、図７Ｃに示す例に示すようにフィルタ１１０を移動させることが好ましい。

また、二次元信号とフィルタ１１０のパターンとの位置関係の変化は、上述のように、二次元信号の少なくとも一部を遮断する部位の分布が異なるフィルタ１１０を用いて行われてもよい。例えば、フィルタ１１０に二次元信号の透過率が異なる部位を変化させる機構が設けられている場合には、当該機構によって、フィルタ１１０の二次元信号が透過する領域における少なくとも一部を遮断する部位の分布を変化させてもよい。また、複数のフィルタ１１０を用いることによって、二次元信号とフィルタ１１０のパターンとの位置関係の変化が行われてもよい。

検出器１２０は、上述のように、フィルタ１１０を透過した二次元信号のパワーを検出する。検出器１２０として、二次元信号の波長やその他の条件に応じて、特定の波長又は波長帯の可視光や電磁波のパワーを検出する一般的な検出器が適宜用いられる。

本実施形態において、検出器１２０は、信号のパワーの大きさを検出する。すなわち、検出器１２０は、信号のパワーの分布等の位置情報を検出しなくてもよい。検出器１２０は、１画素のセンサであればよく、アレイ状のセンサのように、二次元信号のパワーの位置情報を検出するセンサである必要はない。撮像装置１００は、検出する波長帯等によっては高価な場合があるアレイ状等のセンサを用いることなく、二次元の画像の取得を可能とする。

検出器１２０として、二次元信号の波長やその他の条件に応じて、スペックルパターンのパワーを検出可能な一般的な検出器が適宜用いられる。検出器１２０として、ＣＣＤカメラ又はＣＭＯＳイメージセンサを備えるカメラ、紫外線カメラ、ＩｎＧａＡｓカメラ、熱画像カメラ等が、二次元信号の波長やその他の条件に応じて適宜用いられる。

検出器１２０が検出可能な信号のパワーの階調は、特に制限されない。検出器１２０の感度分解能が高く、二次元信号のパワーがより多くの階調にて検出される場合には、感度分解能に応じた多くの段階の透過率の部位を含むフィルタ１１０を用いることで、ノイズの少ない画像の再構築が可能となる。

再構築部１３０は、検出器１２０によって検出された複数の信号のパワーに基づき、予め上述のように求められた変換行列Ｄを用いて、画像を再構築する。検出器１２０によって検出される複数の信号の各々は、二次元信号とフィルタ１１０の二次元信号の少なくとも一部を遮断する部位の分布とが異なる場合に検出されるパワーである。

再構築部１３０は、より詳細には、検出器１２０によるｋ回の検出により得られた信号のパワーに基づいて、上述した（１８）式の関係を用いて、Ｑを求める。上述のように、Ｑは、画像ｘを離散フーリエ変換又はウェーブレット変換して得られる値である。そして、Ｑが求められると、再構築部１３０は、スパース変換行列Φの逆行列Φ^－１を用いて画像を再構築する。本実施形態では、この場合に再構築される画像は、単色の画像であることを想定する。

再構築部１３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とメモリを含むハードウェアと、画像を再構築するソフトウェアとを適宜組み合わせることによって実現される。再構築部１３０の具体的な構成は特に限定されず、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、専用のハードウェア等によって実現されてもよい。再構築部１３０には、図３を用いて説明したキャリブレーション工程の手順によって、変換行列Ｄを求める機能が含まれてもよい。

続いて、図８に示すフローチャートを参照して、撮像装置１００の動作の一例を説明する。なお、以下の動作の説明では、フィルタ１１０のパターンに対して、図３を用いて説明したキャリブレーション工程の手順によって変換行列Ｄが予め求められていることを想定する。

最初に、レンズ１１を透過した、画像を示す二次元信号を、フィルタ１１０の二次元信号が透過する領域に結像させる（ステップＳ１０１）。つまり、二次元信号は、フィルタ１１０の二次元信号が透過する領域は、上述のように、二次元信号の少なくとも一部を遮断する部位が設けられている。つまり、二次元信号は、フィルタ１１０のパターンに結像される。

検出器１２０は、フィルタ１１０のパターンに結像され、フィルタを透過した二次元信号のパワーを検出する（ステップＳ１０２）。

次に、再構築部１３０は、予め定められた観測回数であるｋ回のステップＳ１０２におけるパワーの観測が行われたか否かを判定する（ステップＳ１０３）。観測回数が予め定めた回数に達していない場合（ステップＳ１０３：Ｎｏ）には、二次元信号とフィルタ１１０のパターンとの位置関係が変化するように、二次元信号とフィルタ１１０のパターンとの位置関係が変化するよう制御される（ステップＳ１０４）。この制御は、例えばパターン制御部１１１によって行われる。また、この場合において、二次元信号とフィルタ１１０のパターンとの位置関係は、変換行列Ｄを求める場合における二次元信号検出器１５の画素とフィルタ１１０のパターンとの位置関係のいずれかと同じとなるように制御される。そして、ステップＳ１０２に戻り、検出器１２０は二次元信号のパワーを検出する。

観測回数が予め定めた回数に達している場合には（ステップＳ１０３：Ｙｅｓ）、再構築部１３０は、ステップＳ１０２において検出された複数のパワーに基づいて、画像を再構築する（ステップＳ１０５）。すなわち、再構築部１３０は、検出器１２０によるｋ回の観測を通じて得られた信号のパワーに基づき、予め求められた変換行列Ｄを用いて、画像を再構築する。

以上のとおり、本実施形態における撮像装置１００は、画像を示す二次元信号と、フィルタ１１０の少なくとも一部を遮断する部位の分布との位置関係とを変化させて（異なる場合に）検出された複数の二次元信号のパワーに基づいて、画像を再構築する。撮像装置１００による画像の再構築の際に検出されるパワーの観測回数は、再構築される画像の画素数と比較して少ない回数である。また、二次元信号と、フィルタ１１０における少なくとも一部を遮断する部位の分布との位置関係は、例えばフィルタ１１０を適宜移動させることによって、容易に変化させることができる。したがって、撮像装置１００は、撮像処理の速度向上を可能とする。

また、撮像装置１００が備える検出器１２０は、位置情報を検出せず、信号のパワーのみを検出する検出器であればよい。そのため、例えば遠赤外線の検出器のように、検出器のアレイ化が価格を含む様々な理由で困難な場合にも、撮像装置１００によって当該波長帯の信号に対する二次元画像が容易に取得可能となる。

（変形例）
上述した撮像装置１００には、変形例が考えられる。

撮像装置１００では、単色の画像が再構築された。しかしながら、撮像装置１００は、いわゆる多色の装置、すなわち、複数の波長に対する画像を再構築する装置であってもよい。

図９は、撮像装置が、複数の波長に対する画像を再構築する場合の構成の一例を示す。図９に示す例では、撮像装置１０１は、検出器１２０に代えて検出器１２１を備える。検出器１２１は、複数の画素を有するセンサである。検出器１２１として、例えば二次元方向に画素を配置したアレイセンサや、ラインセンサが用いられるが、検出器１２１の種類は特に限られない。

そして、検出器１２１の各々の画素は、特定の波長を選択的に透過させるフィルタが設けられること等により、それぞれ異なる波長又は波長帯を検出する構成となっている。

撮像装置１０１では、再構築する画像の波長に応じて、検出器１２１の当該波長に対応する素子が選択される。そして、選択された素子によって検出された複数二次元信号のパワーに基づいて、画像が再構築される。選択される素子を変更して画像の再構築が繰り返し行われることにより、多数の波長に対する画像の再構築が可能となる。

なお、画像を再構築する際に用いられる変換行列Ｄは波長毎に異なる。そのため、波長毎に変換行列Ｄが予め求められる。画像の再構築に際しては、波長に応じた変換行列Ｄが用いられる。そして、異なる波長に対する画像の再構築が繰り返し行われることにより、多数の波長に対する画像が再構築される。

また、複数の波長に対する画像を再構築する装置は、撮像装置１０１には限られない。例えば、光源によって光を照射された対象の画像を再構築する場合には、光源に分光機構を設け、撮像装置１００が複数の波長の各々に対する画像を再構築することで、複数の波長に対する画像の再構築が可能となる。

撮像装置１０１等により、多数の波長に対する画像の再構築が可能となる。つまり、撮像装置１０１等により、ハイパースペクトルイメージングが可能となる。

（シミュレーション例）
上述した撮像装置１００により、画像が再構築されることを、シミュレーションにより確認した。

再構築される画像は、縦横とも１２８画素の画像とした。また、フィルタ１１０のパターン及びパターンの位置の制御は、図７Ｃに示すとおりとした。パターンが０．２度回転する毎に、信号のサンプリングを行った。

このような条件において、オリジナルの画像、及びオリジナルの画像について画素数の１０％（パーセント）のサンプリングを行った場合に再構築された画像を、それぞれ図１０Ａ及び図１０Ｂに示す。図１０Ａ、図１０Ｂに示すように、オリジナルの画像と再構築された画像とを比較すると、人物の輪郭、画像の明暗、及び帽子のアクセサリの一部が再構築された画像に復元されることが確認できた。

上述のように、フィルタ１１０のパターンが０．２度回転する毎にサンプリングを行うことを想定すると、パターンが１回転する毎に１８００回のサンプリングが可能となる。また、１２８×１２８画素の画像の再構築において、上述のように、画素数の１０％（パーセント）のサンプリングが必要であることを想定すると、パターンが１回転する毎に、１枚の画像の再構築に必要なサンプリングが行われることとなる。

したがって、パターンの回転数が１８００ｒｐｍ（回数／分）である場合を想定すると、１秒間に３０枚程度の画像の再構築が可能となる。すなわち、撮像装置１００により、画像の再構築を伴う撮像処理の速度向上が可能であることが確認できた。

本開示の実施形態は上記実施形態に限定されるものではない。本開示の実施形態の構成は、当業者が理解し得る様々な変更をすることができる。また、実施形態における構成は、本開示のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。

この出願は、２０１８年３月２０日に出願された日本出願特願２０１８－０５２２２２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ 撮像装置
１１０ フィルタ
１１１ パターン制御部
１１２ 回転軸
１２０ 検出器
１３０ 再構築部
１１ レンズ
１２ アイリス
１３ 散乱媒質
１４ 信号発生器
１５ 二次元信号検出器

Claims (8)

1. 画像を示す二次元信号が透過する領域を有し、前記領域に前記二次元信号の少なくとも一部を遮断する部位が設けられているフィルタと、
   前記フィルタを透過した前記二次元信号のパワーを検出する検出器と、
   前記フィルタに結像した二次元信号と前記部位の分布との位置関係とがそれぞれ異なる場合に検出した複数の前記パワーに基づいて、前記部位の分布及び前記位置関係の各々に対して求められた、波長に応じて異なる変換行列を用いて、ＡＤＭＭ（ａｌｔｅｒｎａｔｉｎｇ ｄｉｒｅｃｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ｍｕｌｔｉｐｌｉｅｒｓ）アルゴリズムにより、前記二次元信号が表す画像を再構築する再構築手段と、
   を備える撮像装置。
2. 前記位置関係が変化するように前記フィルタの位置を制御するパターン制御手段を備える、
   請求項１に記載の撮像装置。
3. 前記パターン制御手段は、前記フィルタを、前記二次元信号が結像する位置において回転することにより、前記位置関係が変化するように前記フィルタの位置を制御する、
   請求項２に記載の撮像装置。
4. 前記パターン制御手段は、前記フィルタを、前記二次元信号が結像する位置において前記二次元信号が透過する方向と交わる方向に移動することにより、前記位置関係が変化するように前記フィルタの位置を制御する、
   請求項２又は３に記載の撮像装置。
5. 前記フィルタは、前記二次元信号の少なくとも一部を遮断する部位として、前記二次元信号を遮断する非透過の部位を含む、
   請求項１から４のいずれか一項に記載の撮像装置。
6. 前記フィルタは、前記二次元信号の少なくとも一部を遮断する部位として、前記二次元信号の一部を透過し一部を遮断する半透過の部位を含む、
   請求項１から５のいずれか一項に記載の撮像装置。
7. 前記検出器は、検出する前記二次元信号の波長が異なる複数の画素を有し、
   前記再構築手段は、複数の波長の前記二次元信号の各々に関して検出された複数の前記パワーに基づいて、前記複数の波長の各々に前記画像を再構築する、
   請求項１から６のいずれか一項に記載の撮像装置。
8. 画像を示す二次元信号が透過する領域を有し、前記領域に前記二次元信号の少なくとも一部を遮断する部位が設けられているフィルタを透過した前記二次元信号のパワーを検出し、
   前記フィルタに結像した前記二次元信号と前記部位の分布との位置関係とがそれぞれ異なる場合に検出した複数の前記パワーに基づいて、前記部位の分布及び前記位置関係の各々に対して求められた、波長に応じて異なる変換行列を用いて、ＡＤＭＭ（ａｌｔｅｒｎａｔｉｎｇ ｄｉｒｅｃｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ｍｕｌｔｉｐｌｉｅｒｓ）アルゴリズムにより、前記二次元信号が表す画像を再構築する、
   撮像方法。

Images