JP6984736B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

医療現場や、精密機器の故障検査、低破壊が要求される考古学の調査等において、細径のスコープや画像伝送装置といったイメージング装置が用いられている。例えば、特許文献１には、内視鏡によるレーザ治療において、治療を必要とする広範囲の表面面積を自動的に撮影するための光学系に関する技術が記載されている。

一方、圧縮センシングと呼ばれる、必要とされるデータよりも少ない観測データから画像等の対象を復元する技術が開発されつつある。圧縮センシングにおいて、対象を復元するためのアルゴリズムとして、例えば、非特許文献１に記載されているＡＤＭＭ（ａｌｔｅｒｎａｔｉｎｇ ｄｉｒｅｃｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ｍｕｌｔｉｐｌｉｅｒｓ）アルゴリズムといったアルゴリズムが用いられる。

特開２０１２−０９８７４３号公報

Ｓ．Ｂｏｙｄ，Ｎ．Ｐａｒｉｋｈ，Ｅ．Ｃｈｕ ｅｔ ａｌ，Ｄｉｓｔｒｉｂｕｔｅｄ Ｏｐｔｉｍｉｚａｔｉｏｎ ａｎｄ Ｓｔａｔｉｓｔｉｃａｌ Ｌｅａｒｎｉｎｇ ｖｉａ ｔｈｅ Ａｌｔｅｒｎａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｉｅｒｓ，Ｆｏｕｎｄａｔｉｏｎ ａｎｄ Ｔｒｅｎｄｓ ｉｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ３，１−１２２，２０１０．

上述した用途に用いられる装置は、その大きさによって撮影可能な箇所が制限される場合がある。すなわち、特許文献１に記載の技術に対して、より狭い空間においても利用可能なイメージング装置が求められている。

本発明は、上記課題を解決するためになされたものであって、狭小な空間において利用可能な撮像装置等を提供することを主たる目的とする。

本発明の一態様における撮像装置は、光源が発した光を伝送する導波路と、導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出する検出器と、それぞれ異なる条件によって導波路へ光を入射して得られた複数のパワーに基づいて、対象の画像を再構築する再構築手段と、を備える。

また、本発明の一態様における撮像方法は、導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出し、それぞれ異なる条件によって導波路へ光を入射して得られた複数のパワーに基づいて、対象の画像を再構築する。

本発明によると、狭小な空間において利用可能な撮像装置等を提供することができる。

本発明の実施形態における撮像装置を示す図である。 本発明の実施形態における撮像装置の詳細な構成例を示す図である。 本発明の実施形態における撮像装置において用いられる変換行列を求める場合の構成例を示す図である。 本発明の実施形態における撮像装置で用いられるスペックルパターンの例を示す図である。 本発明の実施形態における撮像装置で用いられるスペックルパターンと変換行列との関係を示す図である。 本発明の実施形態における撮像装置の動作を示すフローチャートである。 本発明の実施形態の変形例における撮像装置の一例を示す図である。 本発明の実施形態の変形例における撮像装置の他の一例を示す図である。 本発明の実施形態の変形例における撮像装置の他の一例を示す図である。 本発明の実施形態の変形例における撮像装置の他の一例を示す図である。 本発明のシミュレーション例において再構築される画像の例を示す図である。

本発明の実施形態について、添付の図面を参照して説明する。図１は、本発明の実施形態における撮像装置を示す図である。

図１に示すとおり、本発明の実施形態における撮像装置は、導波路１１０と、検出器１２０と、再構築部１３０とを備える。導波路１１０は、光を伝送する。検出器１２０は、導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出する。再構築部１３０は、それぞれ異なる条件によって導波路へ光を入射して得られた複数のパワーに基づいて、対象の画像を再構築する。

撮像装置１００は、より具体的な一例として、図２に示す構成を備える。図２に示す構成例では、撮像装置１００は、上述した各要素に加えて、光源１１と、変調器１２と、変調制御部１３と、光学系１４と、ビームスプリッタ１５と、レンズプローブ１６とを備える。そして、撮像装置１００は、ターゲット１７の像を再構築する。

なお、図２において、実線の矢印は、光源１１から発生した光が進む方向を表し、点線の矢印は、ターゲット１７から反射した光が進む方向を示す。

光源１１は、対象へ照射される光を発生させる。本実施形態において、光源１１は、主に単一の波長の光を発生させる。変調器１２は、光源１１が発生した光を変調する。本実施形態における光の変調についての詳細は後述する。変調制御部１３は、変調器１２による変調の状態を制御する。変調器１２によって変調された光は、適宜設けられた光学系１４を通って導波路１１０へ入射する。ビームスプリッタ１５は、導波路１１０へ入射して対象へ照射する光と、対象から反射した光とを分離する。

なお、図２及び後述する図３に示す例において、光源１１から生じた光は、導波路１１０の各図における左側の端部から導波路１１０へ入射し、各図における右側の端部から出射する。以下の説明では、導波路１１０の端部のうち、光源１１から生じた光が入射する端部（図２又は図３では左側の端部）を入射端と呼び、光源１１から生じた光が入射する端部（図２又は図３では右側の端部）を出射端と呼ぶ場合がある。

撮像装置１００は、上述した圧縮センシングの技術を用いて画像を再構築する。より詳しくは、撮像装置１００は、導波路１１０から出射して対象に照射され、検出器１２０によって検出された光のパワーに基づいて画像を再構築する。

一般に、導波路１１０の出射端から出射した光が何らかの対象に照射されると、干渉等の理由によりスペックルパターンが生じる。発生するスペックルパターンは、導波路１１０へ入射される光に応じて変化する。撮像装置１００は、このような導波路１１０からの出射光の近接場のスペックルパターンの多様性を利用し、圧縮センシングの技術に基づいて画像を再構築する。このような手法により、再構築される画像の画素数と比較して少ない観測データでの画像の再構築が可能となる。以下の説明において、導波路１１０の出射端から出射した光によって発生するスペックルパターンを、単にスペックルパターンと呼ぶ場合がある。

スペックルパターンについて更に説明する。上述のように、導波路１１０の出射端から出射した近接場光によって、スペックルパターンが生じる。導波路１１０が延在する方向をｚ方向（図２及び３において導波路１１０内の実線の矢印が指し示す方向）とし、導波路１１０の断面方向（図２及び３において導波路１１０内の実線の矢印と直交する上方向）をｘ方向とし、紙面の下から上へ向かう方向をｙ方向とする。そして、角速度ωを有する光ビームが導波路１１０へ入射される場合を想定する。この場合に、スペックルパターンに関して、マルチモードの導波路である導波路１１０の入射端における光電場強度分布をＥ_ｉｎとし、出射端における光電場強度分布をＥ_ｏｕｔとすると、Ｅ_ｉｎとＥ_ｏｕｔとの関係は以下の（１）式にて表される。

（１）式においては、また、（１）式において、ｚ方向の波数ｋ_ｚは、ｋ_ｚ＝２π／λ＊ｃｏｓαである。ｋ_ｚを表す式において、αは入射光の入射角度であり、λは、入射光の波長である。

すなわち、導波路１１０がマルチモード導波路であることを想定すると、導波路１１０に入射された入射光は、入射角等に応じて異なる導波モードの光を励起する。また、入射光は、導波路１１０の内面に複数回反射する。これらの理由により、出射光であるＥ_ｏｕｔの強度分布は、例えば擬似ランダムな分布となる。擬似ランダムな分布は、本質的にランダムな分布とは異なり、規則性がある。またそれとともに、擬似ランダムな分布は、例えばガウス分布、ベルヌーイ分布などの伝統的な分布とは異なり、規則性が一見してわからない。ファイバ出射面のスペックルの擬似ランダムな分布は、入射光線の光線追跡を行い、複数の入射光線を線形加算することによって、推測することができる。

そして、このＥ_ｏｕｔの強度分布は、（１）式に示すように、入射光の入射角度や波長に応じて変化する。つまり、導波路１１０からの出射光によって生じるスペックルパターンは、入射光の入射角度や波長に応じて変化する。また、スペックルパターンは、入射光の波面（つまり同位相である点の集合によって構成される面）によっても変化し得る。

そこで、撮像装置１００は、入射光の入射角度、波長又は波面等を含む入射光の条件を変化させることで変化する複数のスペックルパターンを利用して、ＡＤＭＭアルゴリズムに基づき画像を再構築する。以下の説明において、「波面を変化」させるとは、同一の地点における光の位相を変化させることを意味する。

なお、以下の説明において、導波路１１０へ入射される入射光の入射角度、波長又は波面等の入射光の条件を変化させることを変調と呼ぶ。

画像の再構築は、スペックルパターンに応じて求められた変換行列Ｄを用いて、圧縮センシングの技術の一つであるＡＤＭＭアルゴリズムに沿って行われる。以下、変換行列Ｄを求める手順、及び、当該変換行列Ｄを用いた、ＡＤＭＭアルゴリズムに基づく、画像を再構築する手順について説明する。

続いて、変換行列Ｄを求める手順について説明する。変換行列Ｄは、一例として、図３に示す構成を用いて求められる。変換行列Ｄの行数及び列数は、再構築される画像の画素数に応じて定められる。以下においては、再構築される画像をｘとし、画像ｘは、横がｍ画素、縦がｎ画素の画像であると想定する。以下、変換行列Ｄを求める手順を、キャリブレーション工程又は単にキャリブレーションと呼ぶ場合がある。

図３に示す構成において、導波路１１０、光源１１、変調器１２、変調制御部１３及び光学系１４は、図２に示す要素とそれぞれ同様の要素である。また、図３では、導波路１１０の出射端と対向してカメラ１８が設けられている。カメラ１８は、例えば、撮像装置１００によって再構築される画像の画素数以上の画素数であるセンサを有する。そして、導波路１１０の出射端から出射した近接場光のスペックルパターンが、カメラ１８のセンサ面に結像される。

なお、カメラ１８として、光源１１が発生する光の波長に応じたカメラが用いられる。光源１１が発生する光が可視光線である場合には、カメラ１８として、一般的なＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのカメラ等が用いられる。また、例えば、光が紫外線であれば紫外線カメラが、近赤外線であればＩｎＧａＡｓ（インジウムガリウムヒ素）カメラが、中遠赤外線であれば熱画像カメラ等が、それぞれカメラ１８として用いられる。カメラ１８の画素数や縦横比を含む画素の配置は、再構築する画像の画素数や画素の配置に応じて定められる。カメラ１８の感度特性は、検出器１２０の感度特性と近いことが好ましい。

また、変換行列Ｄを求める場合と、画像が再構築される場合との双方において、同じスペックルパターンが用いられる必要がある。そのため、図３に示す導波路１１０、光源１１、変調器１２及び光学系１４の各要素として、通常は、求められた変換行列Ｄを用いる撮像装置１００の要素と同じ要素が用いられる。また、これらの要素を配置する際の位置関係は、求められた変換行列Ｄを用いる撮像装置１００と同じ条件となる必要がある。

スペックルパターンの分布は、上述した（１）式に示すように、入射光の変調に応じて変化する。つまり、導波路１１０からの出射光によって生じるスペックルパターンは、入射光の入射角度や波長に応じて変化する。また、スペックルパターンは、入射光の波面によっても変化し得る。以下の例では、入射光の入射角度、波長又は波面等を含む入射光の条件を変調させて得られる複数のスペックルパターンに基づいて変換行列Ｄが求められる。

変換行列Ｄを求める際には、まず光源１１が光を発生し、変調器１２が、光源１１が発生させた光を変調する。図３に示す例では、導波路１１０への入射光の入射角度を変化させることにより入射光を変調する場合の例を想定する。この例では、変調器１２は、反射面の角度を変化させることができるガルバノミラーである。

変調器１２によって変調された光は、光学系１４を通過して導波路１１０へ入射する。そして、導波路１１０の出射端から出射した近接場光が、カメラ１８のセンサ面に結像される。図４のＡからＣは、導波路１１０への入射光の入射角度を変化させた場合に得られるスペックルパターンの一例である。

図５は、カメラ１８によって検出されるスペックルパターン１８０と変換行列Ｄとの関係を示す。

図５は、スペックルパターン１８０のパワーを２階調で検出した場合の例を模式的に示す。すなわち、図５に示す例では、カメラ１８の画素毎に、スペックルパターン１８０のパワーが大きな領域は黒い四角で、スペックルパターン１８０のパワーが小さな領域は白い四角で表されている。

そして、カメラ１８によって検出された画素毎のスペックルパターン１８０のパワーは、再構築される画像の画素数（ｍ×ｎ個）に対応するｍ×ｎ次元のベクトルＤｉ（ｉ＝１，２，・・・，ｋ）として表される。したがって、図５に示す変換行列Ｄの例において、カメラ１８によって検出されたスペックルパターン１８０のパワーは、ｍ×ｎ次元のベクトルとして表される。なお、スペックルパターン１８０のパワーは、例えば検出器１２０の感度分解能等に応じて、多階調にて検出されてもよい。

このようなカメラ１８によるスペックルパターン１８０の検出は、図４のＡからＣに示すような、異なるスペックルパターン１８０に対して繰り返し行われる。上述のように、導波路１１０への入射光が変調されることにより、スペックルパターン１８０は変化する。例えば、変調器１２が、反射光の反射角度を変化させる機構の一つであるガルバノミラーである場合には、異なる入射角度で光を導波路１１０へ入射させることによってスペックルパターン１８０は変化する。

したがって、このような異なる複数のスペックルパターン１８０の観測は、変調器１２による変調の状態を変化させつつ、カメラ１８による観測を行うことよって行われる。

図５には、スペックルパターン１８０を変化させた場合の例が模式的に示されている。そして、繰り返し行われるスペックルパターン１８０の検出において、カメラ１８にて検出された画素毎の信号のパワーから、複数のベクトルが求められる。ｋ回の異なるスペックルパターン１８０の観測によって求められたｋ個のベクトルＤ_１からＤ_ｋによって、変換行列Ｄが構成される。すなわち、変換行列Ｄの各行は、一つのスペックルパターン１８０に対して求められたｍ×ｎ次元のベクトルＤ_ｉ（１≦ｉ≦ｋ）である。

なお、スペックルパターン１８０の観測回数（ｋ）は、再構築される画像に要求される画質や、変調器１２又は検出器１２０の種類等の条件に応じて適宜定められればよい。

次に、変換行列Ｄを用いた、画像を再構築する手順を説明する。画像の再構築は、ＡＤＭＭアルゴリズムに基づいて行われる。上述のように、再構築される画像ｘは、横がｍ画素、縦がｎ画素の画像であることを想定する。

撮像装置１００においては、光源１１からの光が導波路１１０に入射することで発生し、ターゲットに結像されたスペックルパターンのパワーの総和を複数用いることによって、画像が再構築される。

上述のように、変換行列Ｄを求める場合と、画像が再構築される場合との双方において、同じスペックルパターンが用いられる必要がある。そのため、変調器１２は、変調制御部１３によって、変換行列Ｄを求める場合と、画像が再構築される場合との双方において同じスペックルパターンが生じるように制御される。そして、変換行列Ｄを求める場合と、画像が再構築される場合との双方において、同じ回数であるｋ回の観測が行われる。

本実施形態において、検出器１２０は、スペックルパターンのパワーの分布等の位置情報を検出せず、ターゲット１７に照射されたスペックルパターンのパワーのみを検出すると想定する。そのため、検出器１２０によって検出されるパワーの総和は、再構築しようとする画像の全ての画素の信号強度の和となる。

この場合に、撮像装置１００によって再構築される画像ｘについて、変換行列Ｄのいずれかの行を構成するベクトルＤ_ｉに対応するスペックルパターンに対して検出器１２０によって検出される信号のパワーｊ_ｉは、以下の（２）式のような関係にて表される。

（２）式において、ｄ^ｉ _ｋは、上述したベクトルＤ_ｉに含まれるｍ×ｎ個の要素のうちの１つ（図５の変換行列Ｄを参照）を表し、ｘ_ｋは、画像ｘに含まれるｍ×ｎ個の画素の各々の信号強度を表す値を、順に整列して並べた値を表す。ｄ^ｉ _ｋとｘ_ｋは、それぞれ画像において対応する位置における値である。

検出器１２０による信号のパワーの検出を、Ｄ_１からＤ_ｋの各々に対応するｋ個のスペックルパターンに対して行う場合を想定する。この場合に、Ｄ_１からＤ_ｋの各々に対して検出されたｋ個の信号のパワーｊ_ｉ（ｉ＝１〜ｋ）についてのベクトルｊ_ｋ×１＝（ｊ₁, ｊ₂, ・・・, ｊ_k）に関して、以下の（３）式の関係が得られる。

（３）式では、Ｄ_ｋ×ｍｎ、ｘ_ｍｎ×１及びｊ_ｋ×１の各々について、添字は、各々を表す行列の要素数を示す。Ｄ_ｋ×ｍｎは、ｋ行（ｍ×ｎ）列の変換行列である。すなわち、変換行列Ｄ_ｋ×ｍｎは、（ｍ×ｎ）個の要素をそれぞれ含むｋ個のベクトルD_ｉ（ｉ＝１〜ｋ）で構成される。ｘ_ｍｎ×１は、（ｍ×ｎ）行のベクトルである。ｊ_ｋ×１は、ｋ行のベクトルである。以下説明において、添字が付されないＤ、ｘ及びjの各々は、Ｄ_ｋ×ｍｎ、ｘ_ｍｎ×１及びｊ_ｋ×１の各々と同じ内容を表す。

圧縮センシングにおいては、画像を再構築するために、以下の（４）式に示す最小化問題の解が求められる。すなわち、（４）式のＬ１ノルム解を求めることにより、上述したｋ個の信号のパワーの検出結果から、画像ｘが再構築される。

（４）式において、||ｘ||_１は、ｘのＬ１ノルムを表す。

上述した（４）式の解は、ＡＤＭＭアルゴリズムを用いて、以下で説明する手順にしたがって求められる。まず、以下の（５）式で表されるコスト関数を考慮する。

（５）式は、ラグランジュ未定乗数法におけるコスト関数である。また、（５）式において、νは、ラグランジュ未定乗数を表す。

（４）式において、Ｌ１ノルムについてのｘとその他のｘとを区別するため、新たな変数ｚを導入する。（５）式に示されるＬ（ｘ）を最小化する問題は、以下の（６）式に示す条件付の最小化問題に置き換えられる。（６）式において、λは、ラグランジュ未定乗数法のコスト係数を示す。

そして、拡張ラグランジュ法の手続に沿って、以下の（７）式に示される新たなコスト関数が最小化される。

（７）式において、ｕ［ｔ］は、制約付最適化問題を適当な初期点から反復計算を行う勾配法により解く際に、最適解に収束させる補助項を示す。（７）式をｘについて微分すると、以下の（８）式が得られる。

（８）式を０とするｘとして、以下の（９）式が得られる。

（９）式のように得られたｘを、元の（７）式のコスト関数へ代入すると、（７）式は、以下の（１０）式のような形となる。

（１０）式は、νに関して２次関数であると考えることができる。そのため、（１０）式が最大化される最適解は、以下の（１１）式にて表される。

得られた（１１）式を（９）式へ代入すると、以下の（１２）式が得られる。

上述した、反復計算を行う勾配法により（１３）式が求められる。（１２）式に対して、勾配法を適用すると、ｘ、ｚ及びｕに対して、反復計算のｔ＋１回目の値を示す式として、以下の３つの（１３）式が得られる。

ただし

本実施形態において、反復計算は、一回のみ行う場合を想定する。この場合には、ｚ［ｔ＋１］及びｕ［ｔ＋１］は、考慮の必要がなくなる。また、ｚ［ｔ］及びｕ［ｔ］の初期化が必要となるが、ｚ［０］及びｕ［０］は、０であってもよい。そのため、再構築される画像ｘとして、以下の（１４）式が得られる。

一方、ＡＤＭＭアルゴリズムは、スパース性が期待できる基底が、ある変換を通して見つかる場合に、大きな効果を発揮する。信号がスパースであるとは、信号の多くの成分が０であるという性質を意味する。そのため、画像ｘの再構築においては、一般に、ｘを、スパース性を有する空間へ変換する必要がある。つまり、スパース性を有する空間において画像が再構築される。

スパース化は、例えば、画像ｘを離散フーリエ変換又はウェーブレット変換することで実現される。そこで、以下の（１５）式に示すように、スパース変換行列Φを用いて、画像ｘをスパース化する。スパース変換行列Φは、例えば、離散フーリエ変換行列又はウェーブレット変換行列のいずれかである。そして、上述したＡＤＭＭアルゴリズムにより、Ｑが求められる。

（１５）式は、変換行列Φの逆行列Φ^−１を用いて、以下の（１６）式に示す形に変換される。

また、（１６）式は、（３）式に示す関係を用いて、更に以下の（１７）式に示す形に変換される。

スパース変換行列Φが離散フーリエ変換又はウェーブレット変換行列である場合には、Φの共役転置行列を添字の＋で表し、Φ^＋とすると、ΦとΦ^＋とは互いに逆行列となる。
そのため、（１７）式から、以下の（１８）式が得られる。

（１８）式において、未知数はＱとなる。そこで、下記の（１９）式に示すようにＬ１ノルムの最小解を求めることにより、Ｑの近似解Ｑ”を求める。

（１９）式に対しては、上述した（４）式に対して（１７）式を得た例と同様にして、以下の（２０）式が得られる。

（２０）式において、Ｐは、(D'_k×mn・Ф⁺)⁺・inv[(D'_k×mn・Ф⁺)・(D'_k×mn・Ф⁺)⁺]を表す。また、（２０）式の右辺のjは、左辺のｊ_k×１と同じ内容を表す。

すなわち、Ｑの近似解であるＱ”を求め、求めたＱ”と上述したΦ^＋を用いることにより、再構築の対象となる画像ｘが求められる。

カメラ１８又は検出器１２０による観測回数ｋは、一般に、再構築される画像ｘの画素数であるｍ×ｎに対して少ない回数でよい。例えば、例えば、上述したスパース化が適切に行われる場合には、カメラ１８又は検出器１２０による観測回数ｋは、画素数の数％（パーセント）程度であってもよい。すなわち、撮像装置１００は、圧縮センシングの一手法であるＡＤＭＭアルゴリズムを用いることにより、スペックルパターンを変化させて得られる少ないデータからの画像の再構築を可能とする。

なお、カメラ１８又は検出器１２０による観測回数ｋは、上述した例に限られず、再構築される画像に求められる画質やスパース化の程度に応じて適宜定められればよい。

続いて、本実施形態における撮像装置１００の各要素の詳細を説明する。

光源１１は、対象へ照射される光を発生させる。本実施形態において、光源１１は、主に所望の単波長の光を発生させる光源である。光源１１が発生させる光の波長や強度等の条件は、画像の被写体になるターゲットやその他の要因に応じて適宜定められればよい。なお、光源１１は、様々な波長の光を発生する白色光源であってもよいし、波長可変レーザのように、発生させる光の波長を変更可能であってもよい。光源１１の具体的な種類等は特に限定されず、所望の光を発生可能であればよい。

変調器１２は、光源１１が発生した光を変調する。上述のように、光源１１から発生した光は、例えば、導波路１１０への入射角度、波面又は波長を変化することによって変調される。そのため、変調器１２は、これらを変化させる。つまり、変調器１２は、例えば、光源から発生した光の導波路への入射角度、光源から発生した光の波面又は光源から発生した光の波長のいずれかを変化させる。

変調器１２が、光源１１から発生した光の導波路１１０への入射角度を変化させる場合には、変調器１２として、例えば、ガルバノミラーや、圧電素子ミラー、可動ステージ等の光の進行方向を変化させる機構が用いられる。変調器１２が、光源１１から発生した光の波面を変化させる場合には、変調器１２として、光空間変調器、デジタルミラーデバイス、形状可変ミラー等の光の波面を変化させる機構が用いられる。

更に、変調器１２が、光源１１から発生した光の波長を変化させる場合には、変調器１２として、回折格子やプリズム等の特定の波長の光を取り出すための光源１１から発生した光の波長を変化させる機構である場合には、光源１１として白色光源が用いられる。また、この場合には、変調器１２に代えて、光源１１が、上述した波長可変レーザのように、発生させる光の波長を変化可能な機構を備えてもよい。

変調制御部１３は、変調器１２による変調の状態を制御する。一例として、変調器１２がガルバノミラーである場合には、変調制御部１３は、鏡面の向きを変化させることにより、光源１１から発生し導波路１１０へ入射する入射光の入射角度が変化するように制御する。変調器１２としてその他の機構が用いられる場合においても、変調制御部１３は、光源１１から発生した光が変調されるように、変調器１２を適宜制御すればよい。

なお、上述のように、変換行列Ｄを求める場合と画像が再構築される場合との双方において、同じスペックルパターンが用いられる必要がある。そのため、変換行列Ｄを求める場合と画像が再構築される場合の双方において、通常は、同じ光源１１及び変調器１２が用いられる。そして、変調制御部１３は、変換行列Ｄを求める場合と画像が再構築される場合との双方において、変調器１２による変調が同じ条件で行われるように変調器１２を制御する。

ビームスプリッタ１５は、導波路１１０へ入射してターゲットへ向かう光と、対象から得られた光とを分離する。図２に示す例では、ビームスプリッタ１５は、導波路１１０へ入射する光を通過させ、ターゲットにて反射し、検出器へ向かう反射光を分離させるように設けられる。

なお、図２に示す例では、検出器１２０は、ターゲットからのスペックルパターンの反射光を検出するように構成されている。ただし、後述のように、検出器１２０は、撮像装置１００の用途によっては、ターゲットを透過したスペックルパターンの透過光を検出してもよい。この場合には、検出器１２０は、ターゲット１７に対して導波路１１０が配置される位置と反対側の位置に配置される。言い換えると、この場合には、導波路１１０の出射端と検出器１２０との間にターゲット１７が配置される。そのため、この場合には、ビームスプリッタ１５は、不要となる。

つまり、ビームスプリッタ１５は、ターゲットの種類等の画像を再構築する場合の条件に応じて、必要がある場合に設けられればよい。

導波路１１０は、光源から発生した光を伝送する。本実施形態において、導波路１１０として、マルチモード導波路が用いられる。マルチモード導波路が用いられることにより、導波路１１０へ入射する光の変調に応じて、異なるスペックルパターンを得ることが可能となる。

導波路１１０としては、例えば、マルチモードの光ファイバ、方形又は円形の導波路、フォトニック結晶導波路が用いられる。導波路１１０へ入射する光の変調の程度に応じて異なるスペックルパターンを得ることが可能であれば、他の種類の光導波路が導波路１１０として用いられてもよい。

また、モード数の大きな導波路１１０が用いられることで、情報量が増加し、分解能を高めることが可能となる。そのため、利用可能な範囲で径の大きな導波路１１０が用いられることが好ましい。

検出器１２０は、上述のように、導波路１１０から出射し、ターゲットに照射された近接場光のスペックルパターンのパワーを検出する。

本実施形態において、検出器１２０は、スペックルパターンのパワーを検出する。すなわち、検出器１２０は、スペックルパターンのパワーの分布等の位置情報を検出しなくてもよい。検出器１２０は、１画素のセンサであればよく、例えばアレイ状のセンサのような、パワーの位置情報を検出する検出器である必要はない。撮像装置１００は、検出する波長帯等によっては高価な場合があるアレイ状等のセンサを用いることなく、二次元の画像の取得を可能とする。

検出器１２０として、光源１１が発生する光の波長やその他の条件に応じて、スペックルパターンのパワーを検出可能な一般的な検出器が適宜用いられる。検出器１２０として、ＣＣＤカメラ又はＣＭＯＳイメージセンサを備えるカメラ、紫外線カメラ、ＩｎＧａＡｓカメラ、熱画像カメラ等が、光源１１が発生する光の波長等の条件に応じて適宜用いられる。

また、検出器１２０が検出可能な信号のパワーの大きさの階調は、特に制限されない。検出器１２０の感度分解能が高い、つまり、検出器１２０によって信号のパワーがより多くの階調にて検出される場合には、ノイズの少ない画像の再構築が可能となる。

なお、図２に示す例では、上述のように、検出器１２０は、ターゲット１７に照射されて反射したスペックルパターンのパワー検出するように構成されている。すなわち、導波路１１０から出射するスペックルは、導波路１１０の出射端に設けられたレンズプローブ１６によって、レンズプローブ１６と離間したターゲット１７に結像される。そして、検出器１２０は、ターゲット１７から反射し、レンズプローブ１６、導波路１１０及びビームスプリッタ１５を伝送された光のパワーを検出する。

しかしながら、検出器１２０によるパワーの検出は、図２に示す例とは異なる条件にて行われてもよい。例えば、導波路１１０又はレンズプローブ１６は、ターゲット１７と密着していてもよい。また、検出器１２０は、ターゲット１７を透過したスペックルパターンのパワーを検出してもよい。すなわち、ターゲットからの反射したスペックルパターン又はターゲットを透過したスペックルパターンのパワーが検出可能であれば、導波路１１０との位置関係等を含む、検出器１２０による検出の条件は特に制限されない。

また、検出器１２０と他の要素との位置関係は、図２及び図３に示すように、変換行列Ｄを求める場合におけるカメラ１８と他の要素との位置関係と異なっていてもよいし、同じであってもよい。

再構築部１３０は、変調器１２によって変調された光によって発生し、検出器１２０によって検出された複数のスペックルパターンのパワーに基づき、予め上述のように求められた変換行列Ｄを用いて、画像を再構築する。

再構築部１３０は、より詳細には、検出器１２０によるｋ回の観測により得られた信号のパワーに基づいて、上述した（１９）式の関係を用いて、Ｑを求める。上述のように、Ｑは、画像ｘを離散フーリエ変換又はウェーブレット変換して得られる値である。そして、Ｑが求められると、再構築部１３０は、変換行列Φの逆行列Φ^−１を用いて画像を再構築する。本実施形態では、この場合に再構築される画像は、単色の画像であることを想定する。

再構築部１３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とメモリを含むハードウェアと、画像を再構築するソフトウェアとを適宜組み合わせすることで実現される。再構築部１３０の具体的な構成は特に限定されず、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、専用のハードウェア等によって実現されてもよい。再構築部１３０には、上述したキャリブレーション工程の手順によって変換行列Ｄを求める機能が含まれてもよい。

続いて、図６に示すフローチャートを参照して、撮像装置１００の動作の一例を説明する。なお、以下の動作の説明では、導波路１１０のスペックルパターンに関して、上述したキャリブレーション工程の手順によって変換行列Ｄが予め求められていることを想定する。

最初に、光源１１が発生させた光を、導波路１１０に通過させてターゲット１７へ照射する（ステップＳ１０１）。

検出器１２０は、ターゲット１７に光源１１からの光を照射させて生じたスペックルパターンのパワーを検出する（ステップＳ１０２）。

次に、再構築部１３０は、予め定められた観測回数であるｋ回のステップＳ１０２におけるパワーの観測が行われたか否かを判定する（ステップＳ１０３）。観測回数が予め定めた回数に達していない場合（ステップＳ１０３：Ｎｏ）には、例えば変調制御部１３が、スペックルパターンが変化するように、変調器１２による変調の状態を変化させる（ステップＳ１０４）。この場合において、変調器１２による変調の状態は、変換行列Ｄを求める場合と同様のスペックルパターンが発生するように制御される。そして、ステップＳ１０２に戻り、検出器１２０は、スペックルパターンのパワーを検出する。

観測回数が予め定めた回数に達している場合には（ステップＳ１０３：Ｙｅｓ）、再構築部１３０は、画像を再構築する（ステップＳ１０５）。すなわち、再構築部１３０は、ステップＳ１０２において、検出器１２０によってｋ回観測されたスペックルパターンのパワーに基づき、予め求められた変換行列Ｄを用いて、画像を再構築する。

以上のとおり、本実施形態における撮像装置１００は、圧縮センシング技術の一つであるＡＤＭＭアルゴリズムを用いて画像を再構築する。画像の再構築においては、導波路１１０によって生じる様々なスペックルパターンが用いられる。

導波路１１０は、マルチモード導波路であれば特に種類は問わない。すなわち、マイクロメートルオーダーの単一の導波路１１０のような、一般的な細い径の導波路１１０を用いた画像の再構築が可能となる。したがって、撮像装置１００は、狭小な空間において利用可能な撮像装置となる。

また、撮像装置１００においては、より多くのスペックルパターンに応じた変換行列Ｄを求め、スペックルパターンに応じた多くの観測をおこなうことによって、再構築される解像度を高めることができる。すなわち、撮像装置１００を用いることにより、導波路の径に依存することなく、用途に応じた解像度の画像を得ることが可能となる。

（変形例）
上述した撮像装置１００には、変形例が考えられる。

撮像装置１００では、単波長の光を発生する光源１１が用いられた。すなわち、撮像装置１００では、特定の波長に関して単色の画像が再構築された。しかしながら、撮像装置１００は、いわゆる多色の装置、すなわち、複数の波長に対する画像を再構築する装置であってもよい。

図７から図１０の各々は、撮像装置１００が、複数の波長に対する画像を再構築する場合の構成の例を示す。

図７に示す例では、撮像装置１０１は、撮像装置１００の光源１１に変えて、波長可変レーザ２１及び波長制御部２２を備える。波長可変レーザ２１は、波長制御部２２の制御に応じた波長のレーザ光を発生する。波長可変レーザ２１が発生可能なレーザ光の波長の範囲は特に限定されない。再構築しようとする画像に求められる条件等に応じて、適切な波長可変レーザ２１が用いられればよい。

撮像装置１０１では、波長制御部２２によって、波長可変レーザ２１が特定の波長のレーザ光を発生するように制御される。そして、当該特定の波長に対する画像が再構築される。その後、波長制御部２２によって、波長可変レーザ２１が発生するレーザ光の波長が変化するように制御され、異なる波長に対する画像が再構築される。

なお、画像を再構築する際に用いられる変換行列Ｄは波長毎に異なる。そのため、波長毎に変換行列Ｄが予め求められる。画像の再構築に際しては、波長に応じた変換行列Ｄが用いられる。そして、異なる波長に対する画像の再構築が繰り返し行われることにより、多数の波長に対する画像が再構築される。

また、図８に示す例では、撮像装置１０２は、撮像装置１００の光源１１に変えて、白色光源３１を備える。また、撮像装置１０２は、波長分解部３２を備える。

白色光源３１は、様々な波長の光を発生する光源である。本変形例において、白色光源３１が発光する光のスペクトル分布については特に制約はなく、スペクトル分布の範囲や各々の波長の光の強度が均一でなくてもよい。本変形例では、再構築しようとする画像に求められる条件等に応じて、画像の再構築に必要となる波長の光を発光する光源が白色光源３１として適宜用いられればよい。すなわち、白色光源３１は、画像の再構築に必要となる複数の波長の光を発生する光源であればよい。

波長分解部３２は、白色光源３１が発生する光を波長毎に分離する。つまり、波長分解部３２は、白色光源３１が発生する光から所望の波長の分離を取り出すための機構である。波長分解部３２として、例えば、回折格子、プリズム、フィルタ、電気光学結晶、音響光学結晶、又は磁気光学結晶が用いられるが、白色光を波長毎に分離する他の機構が用いられてもよい。また、波長分解部３２には、特定の波長の単色光を抽出する機構が併せて設けられる。

撮像装置１０２では、波長分解部３２によって分離された特定の波長の光が導波路１１０へ入射されて画像が再構築される。そして、導波路１１０へ入射される光の波長を変化させて画像が再構築されることで、撮像装置１０１と同様に多数の波長に対する画像が再構築される。

また、図９に示す例では、撮像装置１０３は、撮像装置１００の光源１１に変えて、白色光源４１を備える。撮像装置１０３は、更に、フィルタ４２を備える。

白色光源４１は、上述した白色光源３１と同様の光源である。また、フィルタ４２は、特定の波長の光を透過するフィルタである。つまり、フィルタ４２は、上述した波長分解部３２と同様に、白色光源４１が発生する光から所望の波長の分離を取り出すための機構であり、波長分解部３２の別の実現例であるといえる。

フィルタ４２として、例えば、再構築される画像に応じて透過させる光の波長がそれぞれ異なる複数のフィルタが用いられる。また、フィルタ４２は、透過する光の波長を可変とするフィルタであってもよい。

撮像装置１０３では、フィルタ４２によって特定の波長の光が透過することで、当該波長に対する画像が再構築される。そして、異なる波長の光を透過するフィルタ４２が用いられる、又は、フィルタ４２が透過する光の波長を変化させることによって、撮像装置１０１等と同様に多数の波長に対する画像が再構築される。

また、図１０に示す例では、撮像装置１０４は、撮像装置１００の光源１１に変えて、白色光源５１と、フーリエ分光器５２とを備える。白色光源５１は、上述した白色光源３１等と同様の光源である。フーリエ分光器５２として、例えば、マイケルソン干渉計等が用いられる。

撮像装置１０４は、フーリエ分光器５２によって、時間毎に異なる波長の光が導波路１１０へ入射されることとなる。時間毎に検出器１２０による検出結果をフーリエ変換することにより、特定の波長の光の検出結果が得られる。波長に応じた変換行列Ｄやその他のパラメータを用いることにより、多数の波長に対する画像の再構築が可能となる。

なお、撮像装置１０１から１０４の各々において、検出器１２０は、再構築される画像に対する波長の光を検出可能な検出器である。また、撮像装置１０１から１０４の各々においては、検出器１２０は、光源１１から発生した光の導波路１１０への入射角度を変化させる変調器又は光源１１から発生した光の波面を変化させる変調器であることを想定する。

撮像装置１０１から１０４の各々により、多数の波長に対する画像の再構築が可能となる。つまり、撮像装置１０１から１０４の各々により、ハイパースペクトルイメージングが可能となる。

（シミュレーション例）
上述した撮像装置１００により、画像が再構築されることを、シミュレーションにより確認した。

再構築される画像は、縦横とも１２８画素の画像とした。導波路１１０として、直径が１２５μｍ（マイクロメートル）以上のマルチモードファイバが用いられた。また、光源１１は、６３２．８ｎｍ（ナノメートル）の光を発する光源であり、変調器１２として、導波路１１０への入射角度を変化させる変調器１２が用いられた。

このような条件において、オリジナルの画像、及びオリジナルの画像について画素数の１０％（パーセント）のサンプリングを行った場合に再構築された画像を、それぞれ図１１に示す。図１１に示すように、オリジナルの画像１１Ａと再構築された画像１１Ｂとを比較すると、人物の輪郭、オリジナルの画像１１Ａの明暗、及び帽子のアクセサリの一部が、再構築された画像１１Ｂに復元されることが確認できた。

上述のように、この例においては、マイクロメートルオーダーの導波路１１０が用いられている。すなわち、撮像装置１００により、非常に狭い空間での撮像が可能であることが確認できた。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本発明のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。

この発明の一部又は全部は、以下の付記のようにも表されるが、これに限られない。

（付記１）
光源が発した光を伝送する導波路と、
前記導波路を通過した前記光によって発生し、対象に照射されたスペックルパターンのパワーを検出する検出器と、
それぞれ異なる条件によって前記導波路へ前記光を入射して得られた複数の前記パワーに基づいて、前記対象の画像を再構築する再構築手段と、
を備える撮像装置。

（付記２）
前記光を前記導波路へ入射する場合の前記条件を変化させる変調器を備える、
付記１に記載の撮像装置。

（付記３）
前記変調器は、前記光の前記導波路への入射角度を変更することにより前記条件を変化させる、
付記２に記載の撮像装置。

（付記４）
前記変調器は、前記光の波面を変更することにより前記条件を変化させる、
付記２に記載の撮像装置。

（付記５）
前記変調器は、前記光の波長を変更することにより前記条件を変化させる、
付記２に記載の撮像装置。

（付記６）
前記導波路は、マルチモード導波路である、
付記１から５のいずれか一項に記載の撮像装置。

（付記７）
前記再構築手段は、ＡＤＭＭ（ａｌｔｅｒｎａｔｉｎｇ ｄｉｒｅｃｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ｍｕｌｔｉｐｌｉｅｒｓ）アルゴリズムにより前記画像を再構築する、
付記１から６のいずれか一項に記載の撮像装置。

（付記８）
前記再構築手段は、前記条件及び前記条件に応じて発生したスペックルパターンに対して求められた変換行列を用いて、前記ＡＤＭＭアルゴリズムにより前記画像を再構築する、
付記７に記載の撮像装置。

（付記９）
複数の波長の前記光を発生する前記光源と、
前記光源が発生した前記光を波長毎に分離する波長分離手段とを更に備え、
前記再構築手段は、複数の波長の前記光の各々に関して検出された複数の前記パワーに基づいて、前記複数の波長の光の各々について前記画像を再構築する、
付記１から８のいずれか一項に記載の撮像装置。

（付記１０）
複数の波長の前記光のうち、選択された波長の光を発生可能な前記光源と、
前記光源から発生する光の波長を制御する波長制御手段とを更に備え、
前記再構築手段は、複数の波長の前記光の各々に関して検出された複数の前記パワーに基づいて、前記複数の波長の光の各々について前記画像を再構築する、
付記１から８のいずれか一項に記載の撮像装置。

（付記１１）
導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出し、
それぞれ異なる条件によって前記導波路へ前記光を入射して得られた複数の前記パワーに基づいて、前記対象の画像を再構築する、
撮像方法。

この出願は、２０１８年３月２０日に出願された日本出願特願２０１８−０５２２２３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００、１０１、１０２、１０３、１０４ 撮像装置
１１０ 導波路
１２０ 検出器
１３０ 再構築部
１１ 光源
１２ 変調器
１３ 変調制御部
１４ 光学系
１５ ビームスプリッタ
１６ レンズプローブ
１７ ターゲット
１８ カメラ

Claims (10)

1. 光源が発した光を伝送する導波路と、
   前記導波路を通過した前記光によって発生し、対象に照射されたスペックルパターンのパワーを検出する検出器と、
   それぞれ異なる条件によって前記導波路へ前記光を入射して得られた複数の前記パワーに基づいて、前記対象の画像を再構築する再構築手段と、
   を備える撮像装置。
2. 前記光を前記導波路へ入射する場合の前記条件を変化させる変調器を備える、
   請求項１に記載の撮像装置。
3. 前記変調器は、前記光の前記導波路への入射角度を変更することにより前記条件を変化させる、
   請求項２に記載の撮像装置。
4. 前記変調器は、前記光の波面を変更することにより前記条件を変化させる、
   請求項２に記載の撮像装置。
5. 前記導波路は、マルチモード導波路である、
   請求項１から４のいずれか一項に記載の撮像装置。
6. 前記再構築手段は、ＡＤＭＭ（ａｌｔｅｒｎａｔｉｎｇ ｄｉｒｅｃｔｉｏｎ ｍｅｔｈｏｄ ｏｆ ｍｕｌｔｉｐｌｉｅｒｓ）アルゴリズムにより前記画像を再構築する、
   請求項１から５のいずれか一項に記載の撮像装置。
7. 前記再構築手段は、前記条件及び前記条件に応じて発生したスペックルパターンに対して求められた変換行列を用いて、前記ＡＤＭＭアルゴリズムにより前記画像を再構築する、
   請求項６に記載の撮像装置。
8. 複数の波長の前記光を発生する前記光源と、
   前記光源が発生した前記光を波長毎に分離する波長分離手段とを更に備え、
   前記再構築手段は、複数の波長の前記光の各々に関して検出された複数の前記パワーに基づいて、前記複数の波長の光の各々について前記画像を再構築する、
   請求項１から７のいずれか一項に記載の撮像装置。
9. 複数の波長の前記光のうち、選択された波長の光を発生可能な前記光源と、
   前記光源から発生する光の波長を制御する波長制御手段とを更に備え、
   前記再構築手段は、複数の波長の前記光の各々に関して検出された複数の前記パワーに基づいて、前記複数の波長の光の各々について前記画像を再構築する、
   請求項１から７のいずれか一項に記載の撮像装置。
10. 導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出し、
    それぞれ異なる条件によって前記導波路へ前記光を入射して得られた複数の前記パワーに基づいて、前記対象の画像を再構築する、
    撮像方法。

Images