JP6864604B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイスやウェアラブルデバイスなどのデバイスに搭載する撮像装置は、限られたスペースへ組み込むために薄型化と低コスト化が求められる。そこで、例えば特許文献１のようにレンズを用いることなく物体像を得ることができる撮像方式が提案されている。また、例えば特許文献２では、マイクロレンズアレイを用いた「携帯用情報機器に設置することが可能な厚さの小さい指認証装置を可能にする撮像装置」が提案されている。

米国特許出願公開第２０１５／０２１９８０８号明細書 特開２０１１−２０３７９２号公報

上述の特許文献１は、画像センサ前に特殊な格子パターンを配置し、画像センサで受光する格子パターンの斜影パターンを用いて信号処理により逆問題を解くことで物体の像を得る撮像方式である。この撮像方式は、撮像装置の薄型化を可能とするが、像を得るための演算が複雑になるという問題がある。

また、上述の特許文献２は、「前段のマイクロレンズアレイと絞りアレイとを対向させ、前段のマイクロレンズアレイの被写体からの光の焦点近傍に絞りアレイの絞りを設けて、更に後段のマイクロレンズアレイによって光の集束も同時に行う」ことで、「指静脈認証装置に用いる光学系を小さくし、小型・薄型の指静脈認証装置を実現することができる」撮像方式である。この撮像方式は、特に、接写可能な撮像装置の薄型化を可能とするが、レンズによる集光に距離が必要である点と、２つのレンズアレイを配置する空間が必要である点で、薄型化の限界となっている。

本発明の目的は、簡易な構成で、薄型であり、かつ、接写時の視野を拡大した撮像装置を提供することを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

本発明の一態様は、撮像装置であって、複数の基本格子パターンを有する複眼格子パターンを用いて光の強度を変調する変調器と、前記変調器を透過した光を画像データに変換して出力する複数の画像センサと、前記複数の画像センサから出力される複数の画像データの画像処理を行う画像処理部と、を具備する。

本発明によれば、簡易な構成で、薄型であり、かつ、接写時の視野を拡大した撮像装置を提供することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第１実施形態に係る撮像装置の構成例を示す図である。 変調器の構成例を示す図である。 変調器の他の構成例を示す図である。 撮像装置を用いて外界の物体を撮影する様子を示す図である。 画像処理部の画像処理の一例を示すフローチャートである。 斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じることを説明する図である。 格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する図であり、（ａ）は入射角：０の場合を示し、（ｂ）は入射角：＋θの場合を示し、（ｃ）は入射角：−θの場合を示す。 表面格子と裏面格子の軸をずらして配置した格子基板の一例を示す図である。 格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する図であり、（ａ）は入射角：０の場合を示し、（ｂ）は入射角：＋θの場合を示し、（ｃ）は入射角：−θの場合を示す。 格子パターンの一例を示す図である。 格子パターンの他の例を示す図である。 格子パターンのさらに他の例を示す図である。 物体を構成する各点からの光が画像センサに対してなす角を説明する図である。 物体が無限距離にある場合に表側格子パターンが投影されることを説明する図である。 物体が無限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に表側格子パターンが拡大されることを説明する図である。 物体が有限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を示す図である。 裏側格子パターンを画像処理で実現する撮像装置の構成例を示す図である。 変調器の構成例を示す図である。 画像処理部の画像処理の一例を示すフローチャートである。 時分割フリンジスキャンを実現する撮像装置の構成例を示す図である。 時分割フリンジスキャンにおける格子パターンの例を示す図であり、（ａ）は位相（ΦＦ, Φ＝０）の場合を示し、（ｂ）は位相（ΦＦ, Φ＝π／２）の場合を示し、（ｃ）は位相（ΦＦ, Φ＝π）の場合を示し、（ｄ）は位相（ΦＦ, Φ＝３π／２）の場合を示す。 時分割フリンジスキャンを実現する変調器の構成例を示す図であり、（ａ）は位相（ΦＦ, Φ＝０）の場合を示し、（ｂ）は位相（ΦＦ, Φ＝π／２）の場合を示し、（ｃ）は位相（ΦＦ, Φ＝π）の場合を示し、（ｄ）は位相（ΦＦ, Φ＝３π／２）の場合を示す。 時分割フリンジスキャンを実現する画像処理部の画像処理の一例を示すフローチャートである。 空間分割フリンジスキャンを実現する撮像装置の構成例を示す図である。 空間分割フリンジスキャンにおける格子パターンの例を示す図である。 画角θ_ｍａｘ２を説明する図である。 物体が近距離にある場合に物体を構成するある点からの光が照射する格子パターンの範囲と視野を説明する図である。 複眼の格子パターンと複数の画像センサの組み合わせによる広視野化を実現する撮像装置の構成例を示す図である。 複眼の格子パターンの一例を示す図である。 複眼の格子パターンと複数の画像センサによる視野を説明する図である。 画像処理部の画像処理の一例を示すフローチャートである。 合成方法の一例を説明する図である。 合成方法の一例を説明する図である。 画像処理部の画像処理の他の例を示すフローチャートである。 画像センサの配置例を説明する図である。 画像センサの他の配置例を説明する図である。 画像センサの大きさの最適化方法を説明する図である。 注視方向の一例を説明する図である。 注視方向の他の例を説明する図である。 長方形の受光面に投影される同心円状の格子パターンの一例を示す図である。 長方形の受光面に投影される楕円状の格子パターンの一例を示す図である。 長方形の受光面に投影される同心円状の格子パターンの他の例を示す図である。 複眼の格子パターンを用いた指静脈撮像装置の構成例を示す図である。 変調器としての液晶表示素子の構成例を示す断面図である。 単眼の格子パターンを用いた指静脈撮像装置の構成例を示す図である。

以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の各実施形態について図面を用いて説明する。

［第１実施形態］
〈無限遠物体の撮影原理〉
図１は、第１実施形態に係る撮像装置１０１の構成例を示す図である。撮像装置１０１は、通常のカメラが備えるような結像させるためのレンズを用いることなく、外界の物体の画像を取得するものであり、変調器１０２、画像センサ１０３、および画像処理部１０６から構成されている。

図２は、変調器１０２の構成例を示す図である。変調器１０２は、画像センサ１０３の受光面に密着して固定されており（図１）、格子基板１０２ａと、格子基板１０２ａの上下面に形成された第１の格子パターン１０４及び第２の格子パターン１０５とから構成される。格子基板１０２ａは、例えばガラスやプラスティックなどの透明な材料からなる。以降、格子基板１０２ａの画像センサ１０３側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。

これらの格子パターン１０４，１０５は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。格子パターン１０４，１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。金属が蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。

格子パターン１０４，１０５の形成は、蒸着に限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。さらに、ここでは可視光を例に説明したが、例えば遠赤外線での撮影の場合、格子基板１０２ａは、例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料からなる。すなわち、格子基板１０２ａには、撮影対象となる波長に対して透明な材料を用いることができ、格子パターン１０４，１０５には、撮影対象となる波長を遮断する金属等の材料を用いることができる。

なお、ここでは変調器１０２を実現するために、格子パターン１０４，１０５を格子基板１０２ａに形成する方法について述べたが、これに限定されない。図３は、変調器１０２の他の構成例を示す図である。格子パターン１０４，１０５を薄膜に形成し、これらを格子基板１０２ａの替わりに設けた支持部材１０２ｂにより保持する構成などによっても、変調器１０２を実現することができる。

画像センサ１０３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどからなる。画像センサ１０３の表面には、受光素子である画素１０３ａが格子状に規則的に配置されている。格子パターン１０４，１０５を透過する光は、それらの格子パターンによって光の強度が変調され、画像センサ１０３にて受光される。画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。画像センサ１０３から出力された画像信号（「画像データ」とも呼ぶ）は、画像処理部１０６によって画像処理されて画像表示部１０７などに出力される。画像処理部１０６は、処理した画像データを、撮像装置１０１の備える記憶装置（図示せず）に格納したり、外部のホストコンピュータや記録媒体に出力したりしてもよい。

なお、撮像装置１０１は、例えば、プロセッサ、メモリ、通信装置、処理回路等を備えることができる。また、撮像装置１０１は、例えばＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）等の、外部装置と接続する入出力インターフェイスを備えてもよい。画像処理部１０６は、例えば、専用画像処理回路によって実現されてもよいし、プログラムを実行するプロセッサによって実現されてもよい。

図４は、図１の撮像装置１０１を用いて外界の物体を撮影する様子を示す図である。図４では、被写体４０１が撮像装置１０１によって撮影されて画像表示部１０７に表示されている例を示している。被写体４０１を撮影する際には、変調器１０２における表面、具体的には第１の格子パターン１０４が形成されている格子基板１０２ａの面が、被写体４０１に対して正対するようにして撮影が行われる。

続いて、画像処理部１０６による画像処理の概略について説明する。図５は、画像処理部１０６の画像処理の一例を示すフローチャートである。

まず、画像処理部１０６は、画像センサ１０３から出力されるモアレ縞画像に対して、カラーのＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）成分ごとに高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などの２次元フーリエ変換演算による現像処理で周波数スペクトルを求める（５０１）。続いて、画像処理部１０６は、ステップ５０１の処理による周波数スペクトルのうち必要な周波数領域のデータを切り出した後（５０２）、該周波数スペクトルの強度計算を行う（５０３）ことによって画像を取得する。そして、画像処理部１０６は、得られた画像に対してノイズ除去処理を行い（５０４）、続いてコントラスト強調処理（５０５）などを行う。その後、画像処理部１０６は、画像のカラーバランスを調整して（５０６）撮影画像として出力する。以上により、画像処理部１０６による画像処理が終了となる。

続いて、撮像装置１０１における撮影原理について説明する。

まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン１０４，１０５は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をｒとし、そこでの球面波の位相をΦ（ｒ）とするとき、球面波は、波面の曲がりの大きさを決める係数βを用いて、

と表せる。

球面波にもかかわらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、

のような干渉縞の強度分布が得られる。これは、

を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをｐとすると、

が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。本実施形態では、式（２）で定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示した格子パターン１０４，１０５として用いる。

図６は、斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じることを説明する図である。格子パターン１０４，１０５が両面に形成された厚さｔの変調器１０２に、角度θ_０で平行光が入射したとする。変調器１０２中の屈折角をθとして、幾何光学的には、表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に２つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、

のような強度分布が得られる。この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を、２つの格子の重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞は、モアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであるが、全面で一様に等間隔なモアレ縞が得られるのであればどのような格子パターンを使用してもよい。

ここで、式（５）から鋭いピークを持つ成分のみを、

のように取り出すと、そのフーリエスペクトルは、

のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕおよびｖは、ｘ方向およびｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。その様子を図７に示す。

図７は、格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する図である。図７において、左から右にかけて、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図を、それぞれ示している。図７の（ａ）は、垂直入射、図７の（ｂ）は、左側から角度θで光線が入射する場合、図７の（ｃ）は、右側から角度θで光線が入射する場合を、それぞれ示している。

変調器１０２の表面側に形成された第１の格子パターン１０４と裏面側に形成された第２の格子パターン１０５とは、軸がそろっている。図７の（ａ）では、第１の格子パターン１０４と第２の格子パターン１０５との影が一致するのでモアレ縞は生じない。

図７の（ｂ）および図７の（ｃ）では、第１の格子パターン１０４と第２の格子パターン１０５とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図７の（ｂ）の場合なのか図７の（ｃ）の場合なのかを判別することができなくなる。これを避ける方法の例を、図８に示す。

図８は、表面格子と裏面格子の軸をずらして配置した格子基板の一例を示す図である。図８に示すように、変調器１０２に垂直に入射する光線に対しても２つの格子パターンの影がずれて重なるよう予め２つの格子パターン１０４，１０５を光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをδ_０とするとき、入射角θの平面波によって生じるずれδは、

のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では、

の位置となる。画像センサの大きさをＳ、画像センサのｘ方向およびｙ方向の画素数を共にＮとすると、２次元フーリエ変換による離散画像の空間周波数スペクトルは、−Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られる。このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は、原点（ＤＣ：直流成分）位置と、例えば＋側端の周波数位置との中央位置、すなわち、

の空間周波数位置とするのが妥当である。したがって、２つの格子の相対的な中心位置ずれは、

とするのが妥当である。

図９は、格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する図である。図７と同様にして、左から右にかけて、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図を、それぞれ示す。図９の（ａ）は、光線が垂直入射の場合、図９の（ｂ）は、光線が左側から角度θで入射する場合、図９の（ｃ）は、光線が右側から角度θで入射する場合を、それぞれ示している。

第１の格子パターン１０４と第２の格子パターン１０５とは、予めδ_０だけずらして配置されている。そのため、図９の（ａ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ_０は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図９の（ｂ）では、ずれδがさらに大きくなる方向、図９の（ｃ）では、ずれδが小さくなる方向となっているため、図７と異なり、図９の（ｂ）と図９の（ｃ）との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図１の撮像装置１０１による撮影像にほかならない。

受光できる平行光の入射角の最大角度をθ_ｍａｘとすると、

より、撮像装置１０１にて受光できる最大画角は、

で与えられる。

一般的なレンズを用いた結像との類推から、画角θ_ｍａｘの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置１０１の実効的な焦点距離は、

に相当すると考えることができる。

ここで、式（１３）および式（１４）より、画角は変調器１０２の厚さｔ、および画像センサ１０３の大きさＳによって変更可能であることが判る。よって、例えば変調器１０２が図３の構成であり支持部材１０２ｂの長さを変更可能な機能（例えば機械構造）を有していれば、撮影時に画角を変更して撮影することも可能となる。

なお、モアレ縞から空間周波数スペクトルを算出する方法として高速フーリエ変換を例に説明したが、これに限定されるものではなく、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などを使用しても実現可能であり、さらに演算量を削減することも可能である。

また、格子パターン１０４，１０５の透過率分布は、式（２）で示したように正弦波的な特性があることを想定して説明したが、格子パターンの基本周波数成分としてそのような成分を含んでいればよい。例えば図１０（格子パターンの一例を示す図）に示すように格子パターンの透過率を２値化することも可能であり、さらに図１１（格子パターンの他の例を示す図）のように透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めることも可能である。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。

また、格子パターン１０４，１０５は透過率変調でなく、位相変調で実現してもよい。例えば図１２（格子パターンのさらに他の例を示す図）に示すように、格子基板１０２ａをシリンドリカルレンズ１２０１で構成することにより、画像センサ１０３上に図に示すような強度変調パターンを生じさせることができるため、今までの議論と同様に撮像が可能となる。これにより格子パターン１０４の遮蔽部による光量損失を低減でき、光利用効率を向上させることができる上、格子パターンからの回折を抑圧する効果も得られる。図１２ではレンズで実現したが、同等の効果を持つ位相変調素子で実現することも可能である。

以上の説明では、いずれも入射光線が同時には１つの入射角度で入射する場合であったが、実際に撮像装置１０１がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらの像が相互にモアレ縞を生じると、このモアレ縞が、信号成分である第２の格子パターン１０５とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は、第１の格子パターン１０４の像どうしの重なりはモアレ像のピークを生じず、ピークを生じさせるのは裏面側の第２の格子パターン１０５との重なりだけになる。その理由について以下に説明する。

まず、複数の入射角の光線による表面側の第１の格子パターン１０４の影どうしの重なりは、積ではなく和であることが大きな違いである。１つの入射角の光による第１の格子パターン１０４の影と第２の格子パターン１０５との重なりについては、第１の格子パターン１０４の影である光の強度分布に、第２の格子パターン１０５の透過率を乗算することで、裏面側の第２の格子パターン１０５を透過したあとの光強度分布が得られる。

これに対して、表面側の第１の格子パターン１０４に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、

のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の第１の格子パターン１０４と裏面側の第２の格子パターン１０５との積のモアレだけであり、第２の格子パターン１０５が単一である以上、検出されるスペクトルのピークは１つの入射角に対して１つだけとなるのである。

ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図１３を用いて模式的に説明する。

図１３は、物体を構成する各点からの光が画像センサに対してなす角を説明する図である。被写体４０１を構成する各点からの光は、厳密には点光源からの球面波として、図１の撮像装置１０１の変調器１０２および画像センサ１０３（以下、図１３では格子センサ一体基板１３０１という）に入射する。このとき、被写体４０１に対して格子センサ一体基板１３０１が十分に小さい場合や十分に遠い場合には、各点から格子センサ一体基板１３０１を照明する光の入射角は、同じとみなすことができる。

式（９）から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、画像センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、

のように表せる。この条件下であれば、無限遠の物体を本実施形態の撮像装置が撮像可能である。

〈有限距離物体の撮影原理〉
ここで、これまで述べた無限遠の物体に対する撮像について再度説明する。図１４は、物体が無限距離にある場合に表側格子パターンが投影されることを説明する図である。図１４は、表面側の第１の格子パターン１０４の裏面への射影の様子を示している。無限遠の物体を構成する点１４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側の第１の格子パターン１０４を照射し、その投影像１４０２が下の面に投影される。この場合、その投影像は第１の格子パターン１０４とほぼ同じ形状である。結果、投影像１４０２に対して、裏面側の格子パターン（図２の第２の格子パターン１０５に相当）の透過率分布を乗じることにより、図１５（物体が無限距離にある場合に生成されるモアレ縞の例を示す図）に示すような等間隔な直線状のモアレ縞を得ることができる。

一方、有限距離の物体に対する撮像について説明する。図１６は、物体が有限距離にある場合に表側格子パターンが拡大されることを説明する図である。図１６は、表面側の第１の格子パターン１０４の裏面への射影の様子を示している。物体を構成する点１６０１からの球面波は表面側の第１の格子パターン１０４を照射し、その投影像１６０２が下の面に投影される。この場合、その投影像はほぼ一様に拡大される。なお、この拡大率αは、第１の格子パターン１０４から点１６０１までの距離ｄを用いて、

のように算出できる。

そのため、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、図１７（物体が有限距離にある場合に生成されるモアレ縞の例を示す図）に示すように、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された表面側の第１の格子パターン１０４の影に合わせて、第２の格子パターン１０５を拡大するならば、拡大された投影像１６０２に対して再び、図１８（物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を示す図）に示すように、等間隔な直線状のモアレ縞を生じさせることができる。このためには、第２の格子パターン１０５の係数βをβ／α^２とすることで補正が可能である。

これにより、必ずしも無限遠でない距離の点１６０１からの光を選択的に現像することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。

〈簡略化構成〉
次に、上述の変調器１０２の構成を簡略化する方法について説明する。変調器１０２では、格子基板１０２ａの表面および裏面にそれぞれ同一形状の第１の格子パターン１０４および第２の格子パターン１０５を互いにずらして形成している。そして、画像処理によって入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を現像している。この裏面側の第２の格子パターン１０５は、画像センサ１０３に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。そこで、次のように撮像装置１０１の構成を変更してもよい。図１と異なる点を中心に説明する。

図１９は、裏側格子パターンを画像処理で実現する撮像装置１０１の構成例を示す図である。この撮像装置１０１は、第２の格子パターン１０５を省略した変調器１９０１と、第２の格子パターン１０５に相当する処理を行う強度変調部１９０３を含む画像処理部１９０２とを備える。

図２０は、変調器１９０１の構成例を示す図である。変調器１９０１は、格子基板１０２ａと、格子基板１０２ａの表面に形成された第１の格子パターン１０４とから構成される。図２と比較して、格子基板１０２ａに形成する格子パターンを１面減らすことができる。これにより、変調器の製造コストを低減することができ、さらに光利用効率を向上させることもできる。

図２１は、画像処理部１９０２の画像処理の一例を示すフローチャートである。図５のフローチャートと異なるところは、ステップ５０１の前のステップ２１０１の処理である。ステップ５０１〜５０６の処理は、図５の対応する処理と同様であるので、ここでは説明を省略する。

ステップ２１０１の処理では、前述した強度変調部１９０３は、画像センサ１０３から出力される画像に対して、裏面側の格子パターン１０５を透過したことに相当するモアレ縞画像を生成する。具体的には、式（５）に相当する演算が行われればよいので、強度変調部１９０３は、裏面側の格子パターン１０５を生成し、画像センサ１０３の画像に対して乗算する。さらに、裏面側の格子パターン１０５が図１０又は図１１に示すような２値化したパターンであれば、強度変調部１９０３が黒に相当する領域の画像センサ１０３の値を０に設定するだけでよい。これにより、乗算演算の計算負荷や乗算回路の規模を抑圧することが可能である。

なお、この場合、画像センサ１０３が有する画素１０３ａ（図２０）のピッチは、第１の格子パターン１０４のピッチを十分再現できる程度に細かいか、あるいは第１の格子パターン１０４のピッチは、画素１０３ａのピッチにて再現できる程度に粗い必要がある。格子パターンを格子基板１０２ａの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ１０３の画素１０３ａにて解像できる必要はなく、そのモアレ像だけが解像できればよい。しかし、画像処理により格子パターンを再現する場合は、格子パターンと画像センサ１０３の解像度は同等である必要がある。

また、以上は強度変調部１９０３により第２の格子パターン１０５に相当する処理を実現した。しかし、これに限定されず、第２の格子パターン１０５はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に第２の格子パターン１０５の透過率を加味して設定することによっても実現できる。

〈ノイズキャンセル〉
これまでの説明では、式（５）から鋭いピークを持つ成分のみを取り出した式（６）に着目して話を進めたが、実際には式（５）の第４項以外の項がノイズとなる。そこで、フリンジスキャンに基づくノイズキャンセルが効果的である。

まず、式（２）の干渉縞強度分布において、第１の格子パターン１０４の初期位相をΦ_Ｆ、第２の格子パターン１０５の初期位相をΦ_Ｂとすると、式（５）は、

のように表せる。ここで、三角関数の直交性を利用し、

式（１９）のように式（１８）をΦ_Ｆ、Φ_Ｂに関して積分すると、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。前述の議論から、これをフーリエ変換すれば、空間周波数分布にノイズのない鋭いピークを生じることになる。

ここで式（１９）は積分の形で示しているが、実際にはΦ_Ｆ、Φ_Ｂの組合せの総和を計算することによっても同様の効果が得られる。Φ_Ｆ、Φ_Ｂは０〜２πの間の角度を等分するように設定すればよく、｛０、π／２、π、３π／２｝のように４等分、｛０、π／３、２π／３｝のように３等分してもよい。

さらに、式（１９）は簡略化できる。式（１９）では、Φ_Ｆ、Φ_Ｂを独立して変えられるように計算したが、Φ_Ｆ＝Φ_Ｂすなわち格子パターン１０４と１０５の初期位相に同じ位相を適用してもノイズ項をキャンセルできる。式（１９）においてΦ_Ｆ＝Φ_Ｂ＝Φとすれば、

となり、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。また、Φは０〜２πの間の角度を等分するように設定すればよく、｛０、π／２、π、３π／２｝のように４等分すればよい。

また、等分せずとも、｛０、π／２｝の直交した位相を使用してもノイズ項をキャンセルでき、さらに簡略化できる。まず、図１９の構成のように第２の格子パターン１０５を画像処理部１９０２で実施すれば、格子パターン１０５に負値を扱えるため、式（１８）は、

となる（Φ_Ｆ＝Φ_Ｂ＝Φ）。格子パターン１０５は既知であるため、この式（２１）から格子パターン１０５を減算し、Φ＝｛０、π／２｝の場合について加算すれば、

のようにノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。

また、前述のように第１の格子パターン１０４と第２の格子パターン１０５とは、あらかじめδ_０ずらすことで空間周波数空間に生じる２つの現像画像を分離していた。しかし、この方法では現像画像の画素数が半分になる問題点がある。そこで、δ_０ずらさなくとも現像画像の重複を回避する方法について説明する。式（１９）のフリンジスキャンにおいて、ｃｏｓの代わりに、

のようにｅｘｐを用い複素平面上で演算する。これによりノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。式（２３）中のｅｘｐ（２ｉβδｘ）をフーリエ変換すれば、

となり、式（７）のように２つのピークを生じず、単一の現像画像を得られることが判る。このように、格子パターン１０４，１０５をずらす必要もなくなり、画素数を有効に使用可能となる。

以上のフリンジスキャンに基づくノイズキャンセル方法を行うための構成について、図２２〜２７を用いて説明する。フリンジスキャンでは、少なくとも格子パターン１０４として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには、時分割でパターンを切り替える方法（図２２〜２５）と、空間分割でパターンを切り替える方法（図２６〜２７）がある。

図２２は、時分割フリンジスキャンを実現する撮像装置１０１の構成例を示す図である。この撮像装置１０１は、図１の変調器１０２に替えて、変調器２２０１を有する。また、この撮像装置１０１は、変調器制御部２２０２と画像処理部２２０３を有する。

図２３は、時分割フリンジスキャンにおける格子パターンの例を示す図である。変調器２２０１は、例えば電気的に図２３に示す複数の初期位相を切り替えて表示することが可能（すなわち格子パターンを変更可能）な液晶表示素子などで構成される。図２３（ａ）〜（ｄ）のパターンは、初期位相Φ_Ｆもしくは位相差Φがそれぞれ｛０、π／２、π、３π／２｝である。これを実現する変調器２２０１の液晶表示素子における電極配置の例を図２４に示す。

図２４は、時分割フリンジスキャンを実現する変調器２２０１の構成例を示す図である。変調器２２０１には、格子パターンの１周期を４分割するように同心円状電極が設けられており、内側から４本おきに電極が結線され、外周部から駆動端子として４本の電極が引き出されている。変調器制御部２２０２によってこれら４つの電極に印加する電圧状態を“０”と“１”の２つの状態で時間的に切り替えることで、格子パターンの初期位相Φ_ＦもしくはΦを図２４（ａ）〜（ｄ）のように｛０、π／２、π、３π／２｝と切り替えることが可能となる。なお、図２４において、網掛けで示した“１”を印加した電極が光を遮蔽し、白で示した“０”を印加した電極が光を透過させることに対応している。

図２５は、時分割フリンジスキャンを実現する画像処理部２２０３の画像処理の一例を示すフローチャートである。図２１のフローチャートと異なるところは、ステップ５０１より前のステップ２５０１〜２５０４の処理である。ステップ５０１〜５０６の処理は、図２１の対応する処理と同様であるので、ここでは説明を省略する。

まず、画像処理部２２０３は、フリンジスキャン演算の初めに加算結果をリセットする（２５０１）。次に、式（２０）に対応する場合には、画像処理部２２０３は、撮影に使用された格子パターン１０４と同じ初期位相を設定し（２５０２）、その初期位相を持つ格子パターン１０５を生成し、画像センサ１０３の出力画像に対して乗算する（２１０１）。画像処理部２２０３は、この乗算結果を各初期位相のパターン毎に加算する（２５０３）。画像処理部２２０３は、以上のステップ２５０２〜２５０３の処理を全ての初期位相のパターン数繰り返す（２５０４でＮＯ）。全ての位相について処理が終了した場合（２５０５でＹＥＳ）、画像処理部２２０３は、処理をステップ５０１に進める。なお、上記フローチャートは式（２０）を例に説明したが、式（１９）、式（２２）、式（２３）にも同様に適用することが可能である。

図２６は、空間分割フリンジスキャンを実現する撮像装置１０１の構成例を示す図である。この撮像装置１０１は、図１の変調器１０２に替えて、変調器２６０１を有する。また、この撮像装置１０１は、画像分割部２６０２と画像処理部２２０３を有する。

図２７は、空間分割フリンジスキャンにおける格子パターンの例を示す図である。変調器２６０１は、例えば図２７の初期位相ΦＦもしくはΦがそれぞれ｛０、π／２、π、３π／２｝のパターンように、２次元的に配列した複数の初期位相のパターンを有する。画像分割部２６０２は、画像センサ１０３の出力画像を変調器２６０１のパターン配置に対応した領域画像に分割し、画像処理部２２０３に順次伝送する。図２６の例では、画像センサ出力は、２×２の領域に分割される。式（２０）に基づくフリンジスキャンでは４位相必要であるため、変調器２６０１は２×２のパターン配置を有する。式（２２）に基づくフリンジスキャンは２位相で実現できるため、変調器２６０１は１×２のパターン配置で実現可能であり、それに応じて画像センサ出力も１×２の領域に分割される。以降の画像処理部２２０３の処理は、時分割フリンジスキャンである図２２の処理と同等であるため、説明を省略する。

この空間分割フリンジスキャンを用いれば、時分割フリンジスキャンの変調器２２０１のように電気的に格子パターンを切り替える必要がなく、安価に変調器を作製することができる。しかし、空間分割フリンジスキャンを用いると画像を分割するため解像度が実効的に低下する。よって、解像度を上げる必要がある場合には時分割フリンジスキャンが適している。

〈接写における問題〉
次に、接写時の問題点について説明する。まず初めに画角について再定義する。これまでの説明では、入射角θの光線のモアレ縞の空間周波数スペクトルのピーク位置ｕ（式（９））が、画像センサ１０３のピクセルピッチによって決定される上限周波数Ｎ／（２Ｓ）よりも大きい場合で、画角θ_ｍａｘを定義（式（１３））していた。一方で、βが小さい、または画像センサ１０３のピクセルピッチ（Ｓ／Ｎ）が小さく、ピーク位置ｕが上限周波数よりも小さい場合には、画角の定義が異なる。

図２８は、その画角θ_ｍａｘ２を説明する図である。第１の格子パターン１０４を構成する同心円状の格子パターンの基準座標と、画像センサ１０３の端とを通る直線の傾きであるθ_ｍａｘ２が、現像できる最大の画角となる。よって、画角θ_ｍａｘ２は、第１の格子パターンからｄだけ離れた距離の撮像において、画像センサ１０３の大きさＳと変調器の厚さｔを用いて、

のように表せる。また、視野の直径Ａは、θ_ｍａｘ２を用いて、

となる。

ここで、接写時には、撮像する物体からの散乱角や、画像センサのＣＲＡ（Ｃｈｉｅｆ Ｒａｙ Ａｎｇｌｅ）特性によって視野が狭まることが問題となる。

まず、撮像する物体からの散乱角による視野の制限について説明する。図２９は、物体が近距離にある場合に物体を構成するある点からの光が照射する格子パターンの範囲と視野を説明する図である。図２９は、物体のある点からの光の拡がり角（散乱角）θ_ｓを示している。物体を構成する点２９０１乃至点２９０３からの散乱光が第１の格子パターン１０４を照射する場合、第１の格子パターン１０４における照射領域の直径Ｂは、散乱角θ_ｓを用いて、

となる。ｄは点２９０１乃至点２９０３から第１の格子パターン１０４までの距離である。このように、接写時には第１の格子パターン１０４のうち照射領域しか使用することができない。なお、現実には散乱光強度は散乱角が大きくなるに従い徐々に減衰するものであるが、図２９では簡単化のため、照射領域のみ散乱光が到達しているとしている。

上述したように、入射光が第１の格子パターン１０４を構成する同心円状の格子パターンの基準座標を通る場合に撮像が可能となる。そのため、散乱光が基準座標を通る点２９０１や点２９０２の撮像はできる一方で、基準座標を通らない点２９０３などの撮像はできない。図２９のように、θ_ｓ≦θ_ｍａｘ２となる場合には、画角は散乱角θ_ｓで決定され、視野の直径Ａ_ｓは、

となる。

次に、画像センサのＣＲＡ特性による視野の制限について説明する。受光素子の表面または背面にある配線等の配置や受光素子の通常前面に配置するマイクロレンズアレイの設計によって、画像センサの受光光量には、ＣＲＡ特性とよばれる角度依存性がみられる。そこで、ＣＲＡ特性に基づいて、入射光が入射角θ_ｉまで受光できるとすると、θ_ｉ≦θ_ｍａｘ２となるような画像センサを用いた撮像では、画角はθ_ｉで決定され、視野Ａ_ｉは、

となる。ただし、θ_ｓ≦θ_ｉの場合の視野は式（２８）となる。

なお、入射角θ_ｉはＣＲＡ特性の半値半幅となる角度で決定するのがよいが、これに限定するものではなく、半値半幅より小さい角度に設計すれば周辺光量減衰が起き難く、半値半幅より大きい角度に設計すれば視野が大きくなる。

〈接写時の視野拡大方法〉
そこで、接写時に視野を拡大する方法について説明する。

図３０は、複眼の格子パターンと複数の画像センサの組み合わせによる広視野化を実現する撮像装置の構成例を示す図である。この撮像装置１０１は、図１９と異なり、複眼格子パターン３００３が形成された変調器３００１と、画像センサ３００４と、画像合成部３００７を含む画像処理部３００６とを有する。複眼格子パターン３００３は、中心から端へ向かうほど縞のピッチが狭くなる同心円状の格子パターンからなる基本パターン（基本格子パターン）３００２を複数配列することで構成される。画像センサ３００４は、画像センサ３００５を複数配列することで構成される。

図３１は、複眼の格子パターンの一例を示す図である。この例では、基本パターン３００２を３×３に互いに重なることなく配列することで複眼格子パターン３００３を実現している。この場合、各画像センサ３００５は、各基本パターン３００２と対応するように３×３で配置される。

図３２は、図３０に示す複眼の格子パターンと複数の画像センサによる視野を説明する図である。複数の基本パターン３００２と複数の画像センサ３００５のうち、ｎ番目の基本パターン３００２とｎ番目の画像センサ３００５の組み合わせによるｎ番目の視野をＡ_ｎ、画角をθ_ｎ、ｎ番目とｎ＋１番目の基本パターン３００２の中心間距離をｑ_ｎ、複数の基本パターン３００２と複数の画像センサ３００５の一次元方向の個数をＮとする。このとき、合成視野Ａ_Ｎは、

となる。つまり、基本パターン３００２と画像センサ３００５の組み合わせ（基本ユニットともいう）を複数用いることで、それぞれの組み合わせで撮像できる視野を合成し拡大することができる。

ただし、複眼格子パターン３００３から撮像対象までの距離ｄが短いと、各基本パターン３００２の視野が小さくなり、合成視野Ａ_Ｎに隙間ができる。隙間が生じない連続した視野を得るためには、Ａ_ｎがｑ_ｎ以上であれば良く、Ａ_ｎ＝２ｄ・ｔａｎθ_ｎ≧ｑ_ｎを満たすようなｄとｑ_ｎを設定すれば良い。

続いて、上述の画像センサ３００４及び複眼格子パターン３００３を使った撮像の画像処理について、図３３〜３５を用いて説明する。

図３３は、画像処理部３００６の画像処理の一例を示すフローチャートである。図２１のフローチャートと異なるところは、ステップ５０４とステップ５０５の間に追加されたステップ３３０１の処理である。なお、画像処理部３００６は、ステップ２１０１〜ステップ５０４の処理を、複数の画像センサ３００５の出力するセンサ画像それぞれについて行う。画像処理部３００６の画像合成部３００７は、ステップ３３０１にて、各画像センサ３００５の配列に従ってステップ５０４の出力画像を並び替え、これらを合成する。

図３４と図３５は、ステップ３３０１の合成方法の一例を説明する図である。図３４におけるＡ_Ｎは、図３２における合成視野Ａ_Ｎであり、Ａ_ｎとＡ_ｎ＋１は、図３２におけるｎ番目とｎ＋１番目の基本パターン３００２による視野Ａ_ｎと視野Ａ_ｎ＋１である。また、図３３のステップ５０４の出力画像を、出力画像３４０１と出力画像３４０２と表している。図３５は、出力画像３４０１と出力画像３４０２の合成画像を示している。ステップ３３０１では、ｎ番目とｎ＋１番目の基本パターン３００２の中心間距離ｑ_ｎに相当するピクセル数だけ、出力画像３４０１及び出力画像３４０２の少なくとも一方をずらして足し合わせることで一枚の合成画像が得られる。

次に、図３５を用いて、合成後の輝度補正について説明する。領域３５０１は、出力画像３４０１と出力画像３４０２の視野Ａ_ｎと視野Ａ_ｎ＋１が重なる領域を示している。合成後の領域３５０１の輝度は、出力画像３４０１と出力画像３４０２の足し合わせとなる。そのため、領域３５０１と視野の重なっていないその他の領域との輝度差を無くし、滑らかな輝度分布とするためには、領域３５０１の輝度補正が必要である。出力画像３４０１の領域３５０１と出力画像３４０２の領域３５０１との輝度が一致する場合には、合成後の領域３５０１の輝度を１／２にすることで補正できる。

しかしながら、実際の輝度は、ＣＲＡ等の影響によって、中心から端になるほど減衰する分布を持つため、出力画像３４０１の領域３５０１と出力画像３４０２の領域３５０１との輝度が一致せず、合成後の輝度を１／２としても輝度差を補正することができない。そこで、出力画像３４０１または出力画像３４０２のどちらかの画像のうち、視野Ａ_ｎと視野Ａ_ｎ＋１が重なる領域３５０１を切り取って合成する、または、両方の画像を端からｑ_ｎ／２に対応するピクセル数だけ切り取って重なり部分を無くした画像を足し合わせればよい。これにより、輝度補正をすることなく、輝度差を低減することができる。

図３６は、画像処理部３００６の画像処理の他の例を示すフローチャートである。図３３のフローチャートと異なるところは、ステップ５０１の前のステップ３６０１とステップ３６０２の処理である。図３６では、ステップ３３０１は省略されている。画像処理部３００６の画像合成部３００７は、ステップ３６０１において、複数の画像センサ３００５の出力する複数のセンサ画像を、ｎ番目とｎ＋１番目の基本パターン３００２の中心間距離ｑ_ｎに相当するピクセル数だけずらして足し合わせて合成する。画像処理部３００６は、ステップ３６０２において、複数の基本パターン３００２のそれぞれに対応した複数のパターンからなる第２の複眼格子パターンを用いて、ステップ３６０１の合成画像に対して強度変調を行う。

なお、図３０の複眼格子パターンに関する構成について図１９を基に説明したが、この構成を同様に図２２など他の構成に適用することで、フリンジスキャンによるノイズキャンセルを行うことも可能である。

また、図３２などでは基本パターン３００２と画像センサ３００５の一次元方向の配列に着目して説明したが、この構成は、同様に直交する方向にも拡張することにより二次元配列についても適用可能である。

また、基本パターン３００２の個数も、図示したものに限定するものではない。基本パターン３００２の個数によって視野が決定するため、撮像対象の大きさに合わせて適宜変更してもよい。

また、基本パターン３００２から撮像対象までの距離を離すと視野は広くなるため、このようにすれば基本パターン３００２の個数を減らすことができる。

また、図３７は、各画像センサ３００５の配置例を説明する図である。図３７は、各画像センサ３００５の向き（配線の向き）を揃えた配置を示している。一般的な画像センサは、信号を伝送するための配線が受光面の横から出ている。複数の画像センサ３００５を配置するには、配線同士の干渉や受光面３７０１への配線の重なりが発生しないように画像センサ３００５同士の間隔を空ける必要があり、受光面同士を近づけられない場合がある。

図３８は、画像センサの他の配置例を説明する図である。図３８は、各画像センサ３００５の向き（配線の向き）が画像センサ３００４の外側を向くようにした配置を示している。配線の位置は画像センサの種類によって異なるが、少なくとも一部の画像センサ３００５の向きを他の画像センサ３００５の向きと異ならせて配置することで、配線による受光面間の距離の制約を回避することができる。

以上の方法及び構成に依れば、画像センサ３００５と基本パターン３００２の組み合わせを複数用いることで、それぞれで撮像できる視野を合成し拡大することができる。

本実施形態によれば、簡易な構成で、薄型であり、かつ、接写時の視野を拡大した撮像装置を提供することができる。

［第２実施形態］
〈画像センサの大きさの最適化〉
本実施形態では、画像センサ３００５の大きさを最適化することで、画素を効率良く使用し、演算量を低減する方法について説明する。

図３９は、画像センサの大きさの最適化方法を説明する図である。図３９を用いて、複眼格子パターン３００３を用いた撮像に必要な画像センサ３００５の受光面の大きさと個数について説明する。以下の説明では、画像センサ３００５は、画像センサ３９０１又は画像センサ３９０３に対応する。

領域Ｃは、画角θ_ｎがθ_ｓまたはθ_ｉ（θ_ｎ≦θ_ｍａｘ２）で決定されるとき、視野Ａ_ｎを得るために必要な画像センサ３９０１の受光面上の領域を示している。入射角がθ_ｎの光線は、画像センサ３９０１上の領域Ｃ内に入射する。視野Ａ_ｎを得るためには、画像センサ３９０１の受光面の大きさＳをＣ以上とすれば良く、ＳとＣが等しいとき、Ｓを最小にして受光面を効率よく使用することができる。また、画像センサ３９０１の受光面を最小にすることで、現像に不要な領域Ｃ以外の画素を減らすことが出来るため、演算量を低減することができる。

ここで、Ｃは、画角θ_ｎと、複眼格子パターン３００３から画像センサ３９０１までの距離ｔを用いて、

と求められる。よって、ｔを小さくし、Ｃを小さくすることで、Ｓを小さくすることができる。

また、撮像対象の散乱角θ_ｓを小さくする、または、ＣＲＡ特性で決まる画像センサ３９０１に受光できる最大の入射角θ_ｉの小さい画像センサ３９０１を用いることでも、Ｓを小さくできる。しかし、この場合には、視野Ａ_ｎも小さくなる。そのため、第１実施形態で説明したように、画像センサ３００５と基本パターン３００２の組み合わせの個数を増やすなどして視野を広げる必要がある。

以上の方法・構成に依れば、画像センサ３００５の大きさと個数を最適化し、演算量を低減することが可能となる。

なお、図３９では、基本パターン３９０２と一対一に対応するように画像センサ３９０１が配置されているが、例えば視野Ａ_ｎ＋１と視野Ａ_ｎ＋２の光線を受光する１つの画像センサ３９０３を配置してもよい。この場合、画像センサ３００５の個数を減らすことができる。また、画像センサ３９０１と画像センサ３９０３のように大きさの異なるものを組み合わせて配置してもよい。

［第３実施形態］
〈注視方向の設計〉
本実施形態では、複眼格子パターン３００３を用いた撮像における注視方向について説明する。

図４０は、複眼格子パターン３００３による撮像の注視方向の一例を説明する図である。Ａ_ｎは、式（２５）により画角が決定される場合にｎ番目の基本パターン４００１によって取得できる視野を示している。また、ここでは、基本パターン４００１を構成する同心円状の格子パターンの基準座標と画像センサ３００５の受光面の中心座標は一致していない。なお、画像センサ３００５の受光面の中心座標は、受光面の四隅を結ぶ対角線の交点とする。第１実施形態で説明したとおり、式（２５）で決定する画角は、画像センサ３００４の受光面の端と基本パターン４００１を構成する同心円状の格子パターンの基準座標とを通る直線の傾きとなる。従って、注視方向は、基本パターン４００１を構成する同心円状の格子パターンの基準座標と視野Ａ_ｎの中心との２点を結んだベクトルとなる。つまり、基本パターン４００１を構成する同心円状の格子パターンの基準座標と画像センサ３００４の受光面の中心座標の位置の設計時の設定によって、注視方向を変えることができる。

図４１は、注視方向の他の例を説明する図であり、基本パターンごとに注視方向を変えるための構成を示している。図４０の構成と図４１の構成の異なるところは、基本パターン４１０１と基本パターン４１０２を構成する各同心円状の格子パターンの基準座標の位置である。図４１では、これらの基準座標は、基本パターン４１０１と基本パターン４１０２の同心円状の格子パターンの中心間距離ｌが近づく向きに寄せられている。このように同心円状の格子パターンの中心座標を基本パターンごとに変えることによって、それぞれの基本パターンによる撮像の注視方向を変えることができる。画像センサ３００５の種類によっては、受光面から出ている配線の配置などの理由によって、隣接する画像センサ３００４の受光面の中心座標を近づけられない場合もある。そのような場合にも、基本パターン３００２の基準座標の位置を変えることによって、撮像対象に視野Ａ_Ｎを合わせることができ、連続した視野Ａ_Ｎを得ることができる。

以上の方法・構成に依れば、基本パターン３００２を構成する同心円状の格子パターンの基準座標の設定によって、注視方向を変えることができ、画像センサ３００５の配置方法に制約がある場合にも、撮像対象に視野を向けることが可能である。

［第４実施形態］
本実施形態では、楕円状の格子パターンを基本パターン３００２として用いる撮像について説明する。

画像センサ３００５の受光面は種類によって長方形の場合がある。図４２は、長方形の受光面に投影される同心円状の格子パターンの一例を示す図である。図４２では、中心から端へ向かうほど縞のピッチが狭くなる同心円状の格子パターンを、基本パターン３００２として用いている。この場合、受光面の長辺方向と短辺方向では、投影される円の本数が異なり、長辺方向にはよりピッチの細かな格子パターンが投影されることになる。

第１実施形態で説明したとおり、同心円状の格子パターンのピッチの細かさは係数βにより決定され、現像後の解像度は式（１２）のとおりβによって決定される。つまり、現像後の解像度は、受光面に投影されるパターンのピッチの細かさに依存する。よって、図４２の投影パターンのように長辺方向と短辺方向のピッチの細かさが一致していない（長辺方向外側のより細かいピッチのパターンが短辺方向には存在しない）場合には、現像後の解像度も一致しないことになる。以上の理由により、長方形の受光面に対して同心円状の格子パターンを用いた場合には、短辺方向の解像度が長辺方向よりも低下するという問題が発生する。

図４３は、長方形の受光面に投影される楕円状の格子パターンの一例を示す図である。図４３では、中心から端へ向かうほど縞のピッチが狭くなる楕円状の格子パターンを、基本パターン３００２として用いている。楕円の長軸方向と短軸方向は、それぞれ長方形の長辺方向と短辺方向に一致するように設定されている。また、楕円の長軸と短軸の長さは、長方形の長辺と短辺のアスペクト比に応じて設定されていてもよいし、そのアスペクト比とは関係なく設定されていてもよい。また、楕円の短軸方向の縞のピッチは、長軸方向の対応する縞のピッチよりも小さくなるように設定されている（すなわち、楕円の短軸方向の縞のピッチの最小値は、長軸方向の対応する縞のピッチの最小値と一致しない）。この場合、図４２と比べて、短辺方向に投影される楕円の本数が増え、長辺方向と短辺方向で得られる楕円の本数が揃っている。つまり、楕円状の格子パターンを用いることで、受光面が長方形の画像センサ３００５を用いた場合にも、短辺方向の解像度の低下を防ぐことができる。

さらに、中心から端へ向かうほど縞のピッチが狭くなる同心円状の格子パターンにおける入射光の回折は、投影パターンのコントラストを低下させる要因となり、解像度の低下やノイズを引き起こす。回折の影響は、格子パターンの縞のピッチに依存するため、図４３の格子パターンを使った場合、長辺方向と短辺方向で回折の影響が異なってしまう。これに対して、短軸方向の縞のピッチと長軸方向の対応する縞のピッチが一致する（すなわち、短軸方向の縞のピッチの最小値と長軸方向の対応する縞のピッチの最小値とが一致する）楕円状の格子パターンを用いて、長方形の受光面に投影される格子パターンの縞のピッチを受光面の長辺方向と短辺方向で揃えることで、長辺方向と短辺方向で回折の影響を一定にすることができる。

なお、図４４は、長方形の受光面に投影される同心円状の格子パターンの他の例を示す図である。図４４４３では、同心円状の格子パターンを用いて、長辺方向と短辺方向のパターンのピッチを一定にした場合を示している。同心円状の格子パターンを用いることで、長辺方向と短辺方向の回折の影響を一定にすることも可能であるが、その場合は、受光面上にパターンが投影される領域が小さく限られてしまうため、受光面の画素を効率よく使うことができない。一方、楕円状の格子パターンを用いることで、受光面全体の画素を使うことができ、同心円状の格子パターンと同じピッチの縞をサンプリングする点数を増やすことができるので、画質を向上することができる。

以上の方法・構成によれば、受光面が長方形の画像センサ３００５を用いた場合に、短辺方向の解像度低下を防ぐことが可能となる。

［第５実施形態］
本実施形態では、接写が可能な薄型の指静脈認証装置を実現するための構成について説明する。以下、指静脈認証装置の一部を構成する指静脈撮像装置について説明する。

指静脈認証装置を実現するためには、指静脈撮像装置において認証に必要な画像を得るための視野を確保する必要がある。図４５は、複眼の格子パターンを用いた指静脈撮像装置の構成例を示す図である。指静脈撮像装置は、複数の基本パターン４５０３を含む複眼格子パターン４５０２が形成された変調器４５０１と、複数の画像センサ４５０４と、複数の光源４５０５とを含む。

図４５は、撮像対象から複眼格子パターン４５０２までの距離ｄを２ｍｍとしたとき、連続した視野Ａ_Ｎ＝１２ｍｍ×１０ｍｍを得るために必要な構成を示している。各基本パターン４５０３は、中心間距離ｑｃ＝７．５ｍｍとｑｒ＝５．０ｍｍの間隔を空けて、２×２個配置してあり、各画像センサ４５０４も、各基本パターン４５０３の数及び配置に対応して２×２個配置してある。

ここで、ｄ＝２ｍｍとし、各画像センサ４５０４のＣＲＡ特性から求められる画角θ_ｉをθ_ｉ＝５０°とした場合、Ｎ＝２、ｑｃ＝７．５ｍｍとｑｒ＝５．０ｍｍから、式（３０）より、Ａ_Ｎ＝１２ｍｍ×１０ｍｍとなり、目的の視野が得られることが判る。

また、図４５の構成では、画像センサ４５０４の受光面が長方形であるため、基本パターン４５０３を構成するパターンを楕円状の格子パターンとすることで、第４実施形態で説明したように、現像画像の短辺方向で解像度が低下することを防ぐことが出来る。

また、光源４５０５には、近赤外光光源を用いることができる。図４５では、光源４５０５が撮像対象となる指を下側から照射する構成としている。もちろん、光源４５０５を指の上側に配置し、指を透過する光を画像センサ４５０４で取得する構成としてもよい。

また、第１実施形態で説明した時分割フリンジスキャンを行うためには、変調器４５０１を図２４のような液晶表示素子で構成すればよい。図４６は、変調器４５０１としての液晶表示素子の構成例を示す断面図である。液晶表示素子は、主に、液晶層４６０１、液晶層４６０１の上側と下側に配置される２枚の偏光板４６０２、及び液晶層４６０１を挟むように配置される２枚のガラス基板４６０３からなる。一般的な液晶ディスプレイなどに用いる偏光板は、可視光に対応したものが使用されるが、変調器４５０１に用いる偏光板４６０２は、光源４５０５の波長に対応したものを使用する必要がある。２枚の偏光板４６０２は、光源４５０５の波長の光の偏光方向に応じて透過と吸収の特性を有する。

また、図４７は、単眼の格子パターンを用いた指静脈撮像装置の構成例を示す図である。図４５では複眼格子パターン４５０２を用いた構成について説明したが、単眼の格子パターン４７０２と画像センサ４７０３を用いて指静脈撮像装置してもよい。その際には、被写体から格子パターン４７０２までの距離ｄを大きく設定し、式（２６）、式（２８）あるいは式（２９）で決まる視野を拡大することで、認証に必要な画像を得るための視野を確保することが出来る。なお、画像センサ４７０３は、図４５のように複数の画像センサを配列して構成してもよい。

以上の構成によれば、接写においても指静脈認証装置に必要な視野を確保し、かつ薄型の指静脈認証装置を実現することが可能になる。

以上、本発明について複数の実施形態を用いて説明した。もちろん、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、撮像装置、及び撮像方法に限られず、撮像システム、現像方法、コンピュータ読み取り可能なプログラム、画像処理回路、指静脈認証装置、指静脈撮像装置、指静脈認証方法などの様々な態様で提供できる。

１０１…撮像装置、１０２…変調器、１０２ａ…格子基板、１０２ｂ…支持部材、１０３…画像センサ、１０３ａ…画素、１０４…第１の格子パターン、１０５…第２の格子パターン、１０６…画像処理部、１０７…画像表示部、４０１…被写体、１２０１…シリンドリカルレンズ、１３０１…格子センサ一体基板、１４０１…点、１４０２…投影像、１６０１…点、１６０２…投影像、１９０１…変調器、１９０２…画像処理部、１９０３…強度変調部、２２０１…変調器、２２０３…画像処理部、２２０２…変調器制御部、２６０１…変調器、２６０２…画像分割部、２９０１…点、２９０２…点、２９０３…点、３００１…変調器、３００２…基本パターン、３００３…複眼格子パターン、３００４…画像センサ、３００５…画像センサ、３００６…画像処理部、３００７…画像合成部、３４０１…出力画像、３４０２…出力画像、３５０１…領域、３７０１…受光面、３９０１…画像センサ、３９０２…基本パターン、３９０３…画像センサ、４００１…基本パターン、４００２…基本パターン、４１０１…基本パターン、４１０２…基本パターン、４５０１…変調器、４５０２…複眼格子パターン、４５０３…基本パターン、４５０４…画像センサ、４５０５…光源、４６０１…液晶層、４６０２…偏光板、４６０３…ガラス基板、４７０２…格子パターン、４７０３…画像センサ

Claims (8)

1. 複数の基本格子パターンを有する複眼格子パターンを用いて光の強度を変調する変調器と、
   前記変調器を透過した光を画像データに変換して出力する複数の画像センサと、
   前記複数の画像センサから出力される複数の画像データの画像処理を行う画像処理部と、
   を具備し、
   前記基本格子パターンと前記画像センサとが一対一に対応する複数の基本ユニットにより構成されており、
   前記複数の基本ユニットは、それぞれ異なる視野を有する、
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記基本格子パターンを構成する同心円状のパターンの基準座標と、前記画像センサの中心座標とによって注視方向を設定可能である、
   ことを特徴とする撮像装置。
3. 複数の基本格子パターンを有する複眼格子パターンを用いて光の強度を変調する変調器と、
   前記変調器を透過した光を画像データに変換して出力する複数の画像センサと、
   前記複数の画像センサから出力される複数の画像データの画像処理を行う画像処理部と、
   を具備し、
   前記複数の画像センサのそれぞれの大きさは、前記複眼格子パターンから前記画像センサまでの距離と、前記画像センサの個数と、撮像対象物からの光の散乱角または前記画像センサの入射光強度の角度依存性により決定される画角とに基づいて決定される、
   ことを特徴とする撮像装置。
4. 請求項３に記載の撮像装置であって、
   前記基本格子パターンの数と前記撮像対象物からの光の散乱角または前記画像センサの入射光強度の角度依存性により決定される画角と、前記撮像対象物から前記複眼格子パターンまでの距離とに基づいて視野が決定される、
   ことを特徴とする撮像装置。
5. 複数の基本格子パターンを有する複眼格子パターンを用いて光の強度を変調する変調器と、
   前記変調器を透過した光を画像データに変換して出力する複数の画像センサと、
   前記複数の画像センサから出力される複数の画像データの画像処理を行う画像処理部と、
   を具備し、
   前記基本格子パターンは、複数の楕円状のパターンから構成され、
   前記複数の楕円状のパターンは、長軸方向と短軸方向で前記複数の楕円状のパターン間の最小ピッチが同じである、
   ことを特徴とする撮像装置。
6. 複数の基本格子パターンを有する複眼格子パターンを用いて光の強度を変調する変調器と、
   前記変調器を透過した光を画像データに変換して出力する複数の画像センサと、
   前記複数の画像センサから出力される複数の画像データの画像処理を行う画像処理部と、
   を具備し、
   前記基本格子パターンは、複数の楕円状のパターンから構成され、
   前記複数の楕円状のパターンの長軸と短軸の長さは、前記画像センサの受光面のアスペクト比に応じて決定される、
   ことを特徴とする撮像装置。
7. 請求項１に記載の撮像装置であって、
   撮像対象物に近赤外光を照射する光源を具備し、
   前記画像センサは前記光源が照射する前記近赤外光に受光感度がある
   ことを特徴とする撮像装置。
8. 請求項７に記載の撮像装置であって、
   前記変調器は液晶表示素子であり、
   前記撮像対象物と液晶層の間の第１の偏光板と、前記液晶層と前記画像センサの間の第２の偏光板とを具備し、
   前記第１の偏光板と前記第２の偏光板は、前記光源の波長に対して透過と吸収の特性を有する、
   ことを特徴とする撮像装置。

Images