JP2020098963A - 撮像装置 - Google Patents

Abstract

【課題】簡易な構成で、薄型であり、かつ、歪みのない状態で接写時の視野を拡大した撮像装置を提供する。【解決手段】撮像装置は、撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、画像センサの受光面に設けられ、格子パターンを用いて光の強度を変調する変調部と、画像センサより出力された出力画像に対して所定の画像処理を施す画像処理部と、画像処理部から出力された画像に対して歪み補正を行う画像歪み補正部と、画像歪み補正部に画像歪み補正用の設定値を受け渡す画像歪み補正設定値入力部と、を備える。【選択図】図３０

Description

本発明は、撮像装置に関する。

ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイスやウェアラブルデバイスなどのデバイスに搭載する撮像装置は、限られたスペースへ組み込むために薄型化と低コスト化が求められる。そこで、例えば特許文献１のようにレンズを用いることなく物体像を得ることができる撮像方式が提案されている。また、例えば特許文献２では、マイクロレンズアレイを用いた「携帯用情報機器に設置することが可能な厚さの小さい指認証装置を可能にする撮像装置」が提案されている。

米国特許出願公開第２０１５／０２１９８０８号明細書 特開２０１１−２０３７９２号公報

上述の特許文献１は、画像センサ前に特殊な格子パターンを配置し、画像センサで受光する格子パターンの斜影パターンを用いて信号処理により逆問題を解くことで物体の像を得る撮像方式である。この撮像方式は、撮像装置の薄型化を可能とするが、像を得るための演算が複雑になるという問題がある。

また、上述の特許文献２は、「前段のマイクロレンズアレイと絞りアレイとを対向させ、前段のマイクロレンズアレイの被写体からの光の焦点近傍に絞りアレイの絞りを設けて、更に後段のマイクロレンズアレイによって光の集束も同時に行う」ことで、「指静脈認証装置に用いる光学系を小さくし、小型・薄型の指静脈認証装置を実現することができる」撮像方式である。この撮像方式は、特に、接写可能な撮像装置の薄型化を可能とするが、レンズによる集光に距離が必要である点と、２つのレンズアレイを配置する空間が必要である点で、薄型化の限界となっている。

本発明の目的は、簡易な構成で、薄型であり、かつ、歪みのない状態で接写時の視野を拡大した撮像装置を提供することを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

本発明の一態様は、撮像装置であって、撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、上記画像センサの受光面に設けられ、格子パターンを用いて光の強度を変調する変調部と、上記画像センサより出力された出力画像に対して所定の画像処理を施す画像処理部と、上記画像処理部から出力された画像に対して歪み補正を行う画像歪み補正部と、上記画像歪み補正部に画像歪み補正用の設定値を受け渡す画像歪み補正設定値入力部と、を備える。

本発明によれば、簡易な構成で、薄型であり、かつ、歪みのない状態で接写時の視野を拡大した撮像装置を提供することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第１実施形態に係る撮像装置の構成例を示す図である。 変調器の構成例を示す図である。 変調器の他の構成例を示す図である。 撮像装置を用いて外界の物体を撮影する様子を示す図である。 画像処理部の画像処理の一例を示すフローチャートである。 斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じることを説明する図である。 格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する図であり、（ａ）は入射角：０の場合を示し、（ｂ）は入射角：＋θの場合を示し、（ｃ）は入射角：−θの場合を示す。 表面格子と裏面格子の軸をずらして配置した格子基板の一例を示す図である。 格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する図であり、（ａ）は入射角：０の場合を示し、（ｂ）は入射角：＋θの場合を示し、（ｃ）は入射角：−θの場合を示す。 格子パターンの一例を示す図である。 格子パターンの他の例を示す図である。 格子パターンのさらに他の例を示す図である。 物体を構成する各点からの光が画像センサに対してなす角を説明する図である。 物体が無限距離にある場合に表側格子パターンが投影されることを説明する図である。 物体が無限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に表側格子パターンが拡大されることを説明する図である。 物体が有限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を示す図である。 裏側格子パターンを画像処理で実現する撮像装置の構成例を示す図である。 変調器の構成例を示す図である。 画像処理部の画像処理の一例を示すフローチャートである。 時分割フリンジスキャンを実現する撮像装置の構成例を示す図である。 時分割フリンジスキャンにおける格子パターンの例を示す図である。 時分割フリンジスキャンを実現する変調器の構成例を示す図である。 時分割フリンジスキャンを実現する画像処理部の画像処理の一例を示すフローチャートである。 空間分割フリンジスキャンを実現する撮像装置の構成例を示す図である。 空間分割フリンジスキャンにおける格子パターンの例を示す図である。 被写体からの光線が光学部の厚みと屈折率、被写***置によってずれて画像センサ上に投影される様子を説明する図である。 撮影される被写体の歪みの発生の一例を示す図である。 画像歪み補正により画像の歪みを補正した状態で被写体を撮影することを実現する撮像装置の構成例を示す図である。 画角θ_ｍａｘ２を説明する図である。 物体が近距離にある場合に物体を構成するある点からの光が照射する格子パターンの範囲と視野を説明する図である。 複眼の格子パターンと複数の画像センサの組み合わせ及び画像歪み補正によりによる広視野化を実現する撮像装置の構成例を示す図である。 複眼の格子パターンの一例を示す図である。 複眼の格子パターンと複数の画像センサによる視野を説明する図である。 画像歪み補正処理の一例を示すフローチャートである。 合成方法の一例を説明する図である。 合成画像を説明する図である。 画像センサの配置例を説明する図である。 画像センサの他の配置例を説明する図である。 注視方向の一例を説明する図である。 注視方向の他の例を説明する図である。 画像歪み補正部内に画像歪み補正設定値を記憶する構成例を示す図である。 画像歪み補正設定値学習部で学習した設定値を画像歪み補正設定値を記憶する構成例を示す図である。 撮像装置からセンサ画像と必要設定値の情報を外部に出力し、外部で情報を受信し画像処理、画像歪み補正、画像合成を行う構成を示す図である。

以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の各実施形態について図面を用いて説明する。

［第一実施形態］
＜無限遠物体の撮影原理＞
図１は、第一実施形態に係る撮像装置の構成例を示す図である。撮像装置１０１は、通常のカメラが備えるような結像させるためのレンズを用いることなく、外界の物体の画像を取得するものであり、変調器１０２、画像センサ１０３、および画像処理部１０６から構成されている。

図２は、変調器の構成例を示す図である。変調器１０２は、画像センサ１０３の受光面に密着して固定されており（図１）、格子基板１０２ａと、格子基板１０２ａの上下面に形成された第１の格子パターン１０４及び第２の格子パターン１０５とを含んで構成される。格子基板１０２ａは、例えばガラスやプラスティックなどの透明な材料からなる。以降、格子基板１０２ａの画像センサ１０３側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。

これらの格子パターン１０４，１０５は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。格子パターン１０４，１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。金属が蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。

格子パターン１０４，１０５の形成は、蒸着に限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。さらに、ここでは可視光を例に説明したが、例えば遠赤外線での撮影の場合、格子基板１０２ａは、例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料からなる。すなわち、格子基板１０２ａには、撮影対象となる波長に対して透明な材料を用いることができ、格子パターン１０４，１０５には、撮影対象となる波長を遮断する金属等の材料を用いることができる。

なお、ここでは変調器１０２を実現するために、格子パターン１０４，１０５を格子基板１０２ａに形成する方法について述べたが、これに限定されない。図３は、変調器１０２の他の構成例を示す図である。格子パターン１０４，１０５を薄膜に形成し、これらを格子基板１０２ａの替わりに設けた支持部材１０２ｂにより保持する構成などによっても、変調器１０２を実現することができる。

画像センサ１０３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどからなる。画像センサ１０３の表面には、受光素子である画素１０３ａが格子状に規則的に配置されている。格子パターン１０４，１０５を透過する光は、それらの格子パターンによって光の強度が変調され、画像センサ１０３にて受光される。画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。画像センサ１０３から出力された画像信号（「画像データ」とも呼ぶ）は、画像処理部１０６によって画像処理されて画像表示部１０７などに出力される。画像処理部１０６は、処理した画像データを、撮像装置１０１の備える記憶装置（図示せず）に格納したり、外部のホストコンピュータや記録媒体に出力したりしてもよい。

なお、撮像装置１０１は、例えば、プロセッサ、メモリ、通信装置、処理回路等を備えることができる。また、撮像装置１０１は、例えばＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）等の、外部装置と接続する入出力インターフェイスを備えてもよい。画像処理部１０６は、例えば、専用画像処理回路によって実現されてもよいし、プログラムを実行するプロセッサによって実現されてもよい。

図４は、図１の撮像装置１０１を用いて外界の物体を撮影する様子を示す図である。図４では、被写体４０１が撮像装置１０１によって撮影されて画像表示部１０７に表示されている例を示している。被写体４０１を撮影する際には、変調器１０２における表面、具体的には第１の格子パターン１０４が形成されている格子基板１０２ａの面が、被写体４０１に対して正対するようにして撮影が行われる。

続いて、画像処理部１０６による画像処理の概略について説明する。図５は、画像処理部１０６の画像処理の一例を示すフローチャートである。

まず、画像処理部１０６は、画像センサ１０３から出力されるモアレ縞画像に対して、カラーのＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）成分ごとに高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などの２次元フーリエ変換演算による現像処理で周波数スペクトルを求める（５０１）。続いて、画像処理部１０６は、ステップ５０１の処理による周波数スペクトルのうち必要な周波数領域のデータを切り出した後（５０２）、該周波数スペクトルの強度計算を行う（５０３）ことによって画像を取得する。そして、画像処理部１０６は、得られた画像に対してノイズ除去処理を行い（５０４）、続いてコントラスト強調処理（５０５）などを行う。その後、画像処理部１０６は、画像のカラーバランスを調整して（５０６）撮影画像として出力する。以上により、画像処理部１０６による画像処理が終了となる。

続いて、撮像装置１０１における撮影原理について説明する。

まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン１０４，１０５は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をｒとし、そこでの球面波の位相をΦ（ｒ）とするとき、球面波は、波面の曲がりの大きさを決める係数βを用いて、

と表せる。

球面波にもかかわらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、

のような干渉縞の強度分布が得られる。これは、

を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをｐとすると、

が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。本実施形態では、式（２）で定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示した格子パターン１０４，１０５として用いる。

図６は、斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じることを説明する図である。格子パターン１０４，１０５が両面に形成された厚さｔの変調器１０２に、角度θ_０で平行光が入射したとする。変調器１０２中の屈折角をθとして、幾何光学的には、表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に２つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、

のような強度分布が得られる。この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を、２つの格子の重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞は、モアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであるが、全面で一様に等間隔なモアレ縞が得られるのであればどのような格子パターンを使用してもよい。

ここで、式（５）から鋭いピークを持つ成分のみを、

のように取り出すと、そのフーリエスペクトルは、

のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕおよびｖは、ｘ方向およびｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。その様子を図７に示す。

図７は、格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する図である。図７において、左から右にかけて、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図を、それぞれ示している。図７の（ａ）は、垂直入射、図７の（ｂ）は、左側から角度θで光線が入射する場合、図７の（ｃ）は、右側から角度θで光線が入射する場合を、それぞれ示している。

変調器１０２の表面側に形成された第１の格子パターン１０４と裏面側に形成された第２の格子パターン１０５とは、軸がそろっている。図７の（ａ）では、第１の格子パターン１０４と第２の格子パターン１０５との影が一致するのでモアレ縞は生じない。

図７の（ｂ）および図７の（ｃ）では、第１の格子パターン１０４と第２の格子パターン１０５とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図７の（ｂ）の場合なのか図７の（ｃ）の場合なのかを判別することができなくなる。これを避ける方法の例を、図８に示す。

図８は、表面格子と裏面格子の軸をずらして配置した格子基板の一例を示す図である。図８に示すように、変調器１０２に垂直に入射する光線に対しても２つの格子パターンの影がずれて重なるよう予め２つの格子パターン１０４，１０５を光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをδ_０とするとき、入射角θの平面波によって生じるずれδは、

のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では、

の位置となる。画像センサの大きさをＳ、画像センサのｘ方向およびｙ方向の画素数を共にＮとすると、２次元フーリエ変換による離散画像の空間周波数スペクトルは、−Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られる。このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は、原点（ＤＣ：直流成分）位置と、例えば＋側端の周波数位置との中央位置、すなわち、

の空間周波数位置とするのが妥当である。したがって、２つの格子の相対的な中心位置ずれは、

とするのが妥当である。

図９は、格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する図である。図７と同様にして、左から右にかけて、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図を、それぞれ示す。図９の（ａ）は、光線が垂直入射の場合、図９の（ｂ）は、光線が左側から角度θで入射する場合、図９の（ｃ）は、光線が右側から角度θで入射する場合を、それぞれ示している。

第１の格子パターン１０４と第２の格子パターン１０５とは、予めδ_０だけずらして配置されている。そのため、図９の（ａ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ_０は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図９の（ｂ）では、ずれδがさらに大きくなる方向、図９の（ｃ）では、ずれδが小さくなる方向となっているため、図７と異なり、図９の（ｂ）と図９の（ｃ）との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図１の撮像装置１０１による撮影像にほかならない。

受光できる平行光の入射角の最大角度をθ_ｍａｘとすると、

より、撮像装置１０１にて受光できる最大画角は、

で与えられる。

一般的なレンズを用いた結像との類推から、画角θ_ｍａｘの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置１０１の実効的な焦点距離は、

に相当すると考えることができる。

ここで、式（１３）および式（１４）より、画角は変調器１０２の厚さｔ、および画像センサ１０３の大きさＳによって変更可能であることが判る。よって、例えば変調器１０２が図３の構成であり支持部材１０２ｂの長さを変更可能な機能（例えば機械構造）を有していれば、撮影時に画角を変更して撮影することも可能となる。

なお、モアレ縞から空間周波数スペクトルを算出する方法として高速フーリエ変換を例に説明したが、これに限定されるものではなく、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などを使用しても実現可能であり、さらに演算量を削減することも可能である。

また、格子パターン１０４，１０５の透過率分布は、式（２）で示したように正弦波的な特性があることを想定して説明したが、格子パターンの基本周波数成分としてそのような成分を含んでいればよい。例えば図１０（格子パターンの一例を示す図）に示すように格子パターンの透過率を２値化することも可能であり、さらに図１１（格子パターンの他の例を示す図）のように透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めることも可能である。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。

また、格子パターン１０４，１０５は透過率変調でなく、位相変調で実現してもよい。例えば図１２（格子パターンのさらに他の例を示す図）に示すように、格子基板１０２ａをシリンドリカルレンズ１２０１で構成することにより、画像センサ１０３上に図に示すような強度変調パターンを生じさせることができるため、今までの議論と同様に撮像が可能となる。これにより格子パターン１０４の遮蔽部による光量損失を低減でき、光利用効率を向上させることができる上、格子パターンからの回折を抑圧する効果も得られる。図１２ではレンズで実現したが、同等の効果を持つ位相変調素子で実現することも可能である。

以上の説明では、いずれも入射光線が同時には１つの入射角度で入射する場合であったが、実際に撮像装置１０１がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらの像が相互にモアレ縞を生じると、このモアレ縞が、信号成分である第２の格子パターン１０５とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は、第１の格子パターン１０４の像どうしの重なりはモアレ像のピークを生じず、ピークを生じさせるのは裏面側の第２の格子パターン１０５との重なりだけになる。その理由について以下に説明する。

まず、複数の入射角の光線による表面側の第１の格子パターン１０４の影どうしの重なりは、積ではなく和であることが大きな違いである。１つの入射角の光による第１の格子パターン１０４の影と第２の格子パターン１０５との重なりについては、第１の格子パターン１０４の影である光の強度分布に、第２の格子パターン１０５の透過率を乗算することで、裏面側の第２の格子パターン１０５を透過したあとの光強度分布が得られる。

これに対して、表面側の第１の格子パターン１０４に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、

のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の第１の格子パターン１０４と裏面側の第２の格子パターン１０５との積のモアレだけであり、第２の格子パターン１０５が単一である以上、検出されるスペクトルのピークは１つの入射角に対して１つだけとなるのである。

ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図１３を用いて模式的に説明する。

図１３は、物体を構成する各点からの光が画像センサに対してなす角を説明する図である。被写体４０１を構成する各点からの光は、厳密には点光源からの球面波として、図１の撮像装置１０１の変調器１０２および画像センサ１０３（以下、図１３では格子センサ一体基板１３０１という）に入射する。このとき、被写体４０１に対して格子センサ一体基板１３０１が十分に小さい場合や十分に遠い場合には、各点から格子センサ一体基板１３０１を照明する光の入射角は、同じとみなすことができる。

式（９）から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、画像センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、

のように表せる。この条件下であれば、無限遠の物体を本実施形態の撮像装置が撮像可能である。

＜有限距離物体の撮影原理＞
ここで、これまで述べた無限遠の物体に対する撮像について再度説明する。図１４は、物体が無限距離にある場合に表側格子パターンが投影されることを説明する図である。図１４は、表面側の第１の格子パターン１０４の裏面への射影の様子を示している。無限遠の物体を構成する点１４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側の第１の格子パターン１０４を照射し、その投影像１４０２が下の面に投影される。この場合、その投影像は第１の格子パターン１０４とほぼ同じ形状である。結果、投影像１４０２に対して、裏面側の格子パターン（図２の第２の格子パターン１０５に相当）の透過率分布を乗じることにより、図１５（物体が無限距離にある場合に生成されるモアレ縞の例を示す図）に示すような等間隔な直線状のモアレ縞を得ることができる。

一方、有限距離の物体に対する撮像について説明する。図１６は、物体が有限距離にある場合に表側格子パターンが拡大されることを説明する図である。図１６は、表面側の第１の格子パターン１０４の裏面への射影の様子を示している。物体を構成する点１６０１からの球面波は表面側の第１の格子パターン１０４を照射し、その投影像１６０２が下の面に投影される。この場合、その投影像はほぼ一様に拡大される。なお、この拡大率αは、第１の格子パターン１０４から点１６０１までの距離ｄを用いて、

のように算出できる。

そのため、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、図１７（物体が有限距離にある場合に生成されるモアレ縞の例を示す図）に示すように、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された表面側の第１の格子パターン１０４の影に合わせて、第２の格子パターン１０５を拡大するならば、拡大された投影像１６０２に対して再び、図１８（物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を示す図）に示すように、等間隔な直線状のモアレ縞を生じさせることができる。このためには、第２の格子パターン１０５の係数βをβ／α^２とすることで補正が可能である。

これにより、必ずしも無限遠でない距離の点１６０１からの光を選択的に現像することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。

＜簡略化構成＞
次に、上述の変調器１０２の構成を簡略化する方法について説明する。変調器１０２では、格子基板１０２ａの表面および裏面にそれぞれ同一形状の第１の格子パターン１０４および第２の格子パターン１０５を互いにずらして形成している。そして、画像処理によって入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を現像している。この裏面側の第２の格子パターン１０５は、画像センサ１０３に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。そこで、次のように撮像装置１０１の構成を変更してもよい。図１と異なる点を中心に説明する。

図１９は、裏側格子パターンを画像処理で実現する撮像装置１０１の構成例を示す図である。この撮像装置１０１は、第２の格子パターン１０５を省略した変調器１９０１と、第２の格子パターン１０５に相当する処理を行う強度変調部１９０３を含む画像処理部１９０２とを備える。

図２０は、変調器１９０１の構成例を示す図である。変調器１９０１は、格子基板１０２ａと、格子基板１０２ａの表面に形成された第１の格子パターン１０４とから構成される。図２と比較して、格子基板１０２ａに形成する格子パターンを１面減らすことができる。これにより、変調器の製造コストを低減することができ、さらに光利用効率を向上させることもできる。

図２１は、画像処理部１９０２の画像処理の一例を示すフローチャートである。図５のフローチャートと異なるところは、ステップ５０１の前のステップ２１０１の処理である。ステップ５０１〜５０６の処理は、図５の対応する処理と同様であるので、ここでは説明を省略する。

ステップ２１０１の処理では、前述した強度変調部１９０３は、画像センサ１０３から出力される画像に対して、裏面側の格子パターン１０５を透過したことに相当するモアレ縞画像を生成する。具体的には、式（５）に相当する演算が行われればよいので、強度変調部１９０３は、裏面側の格子パターン１０５を生成し、画像センサ１０３の画像に対して乗算する。さらに、裏面側の格子パターン１０５が図１０又は図１１に示すような２値化したパターンであれば、強度変調部１９０３が黒に相当する領域の画像センサ１０３の値を０に設定するだけでよい。これにより、乗算演算の計算負荷や乗算回路の規模を抑圧することが可能である。

なお、この場合、画像センサ１０３が有する画素１０３ａ（図２０）のピッチは、第１の格子パターン１０４のピッチを十分再現できる程度に細かいか、あるいは第１の格子パターン１０４のピッチは、画素１０３ａのピッチにて再現できる程度に粗い必要がある。格子パターンを格子基板１０２ａの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ１０３の画素１０３ａにて解像できる必要はなく、そのモアレ像だけが解像できればよい。しかし、画像処理により格子パターンを再現する場合は、格子パターンと画像センサ１０３の解像度は同等である必要がある。

また、以上は強度変調部１９０３により第２の格子パターン１０５に相当する処理を実現した。しかし、これに限定されず、第２の格子パターン１０５はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に第２の格子パターン１０５の透過率を加味して設定することによっても実現できる。

＜ノイズキャンセル＞
これまでの説明では、式（５）から鋭いピークを持つ成分のみを取り出した式（６）に着目して話を進めたが、実際には式（５）の第４項以外の項がノイズとなる。そこで、フリンジスキャンに基づくノイズキャンセルが効果的である。

まず、式（２）の干渉縞強度分布において、第１の格子パターン１０４の初期位相をΦ_Ｆ、第２の格子パターン１０５の初期位相をΦ_Ｂとすると、式（５）は、

のように表せる。ここで、三角関数の直交性を利用し、

式（１９）のように式（１８）をΦ_Ｆ、Φ_Ｂに関して積分すると、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。前述の議論から、これをフーリエ変換すれば、空間周波数分布にノイズのない鋭いピークを生じることになる。

ここで式（１９）は積分の形で示しているが、実際にはΦ_Ｆ、Φ_Ｂの組合せの総和を計算することによっても同様の効果が得られる。Φ_Ｆ、Φ_Ｂは０〜２πの間の角度を等分するように設定すればよく、｛０、π／２、π、３π／２｝のように４等分、｛０、π／３、２π／３｝のように３等分してもよい。

さらに、式（１９）は簡略化できる。式（１９）では、Φ_Ｆ、Φ_Ｂを独立して変えられるように計算したが、Φ_Ｆ＝Φ_Ｂすなわち格子パターン１０４と１０５の初期位相に同じ位相を適用してもノイズ項をキャンセルできる。式（１９）においてΦ_Ｆ＝Φ_Ｂ＝Φとすれば、

となり、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。また、Φは０〜２πの間の角度を等分するように設定すればよく、｛０、π／２、π、３π／２｝のように４等分すればよい。

また、等分せずとも、｛０、π／２｝の直交した位相を使用してもノイズ項をキャンセルでき、さらに簡略化できる。まず、図１９の構成のように第２の格子パターン１０５を画像処理部１９０２で実施すれば、格子パターン１０５に負値を扱えるため、式（１８）は、

となる（Φ_Ｆ＝Φ_Ｂ＝Φ）。格子パターン１０５は既知であるため、この式（２１）から格子パターン１０５を減算し、Φ＝｛０、π／２｝の場合について加算すれば、

のようにノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。

また、前述のように第１の格子パターン１０４と第２の格子パターン１０５とは、あらかじめδ_０ずらすことで空間周波数空間に生じる２つの現像画像を分離していた。しかし、この方法では現像画像の画素数が半分になる問題点がある。そこで、δ_０ずらさなくとも現像画像の重複を回避する方法について説明する。式（１９）のフリンジスキャンにおいて、ｃｏｓの代わりに、

のようにｅｘｐを用い複素平面上で演算する。これによりノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。式（２３）中のｅｘｐ（２ｉβδｘ）をフーリエ変換すれば、

となり、式（７）のように２つのピークを生じず、単一の現像画像を得られることが判る。このように、格子パターン１０４，１０５をずらす必要もなくなり、画素数を有効に使用可能となる。

以上のフリンジスキャンに基づくノイズキャンセル方法を行うための構成について、図２２〜２７を用いて説明する。フリンジスキャンでは、少なくとも格子パターン１０４として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには、時分割でパターンを切り替える方法（図２２〜２５）と、空間分割でパターンを切り替える方法（図２６〜２７）がある。

図２２は、時分割フリンジスキャンを実現する撮像装置１０１の構成例を示す図である。この撮像装置１０１は、図１の変調器１０２に替えて、変調器２２０１を有する。また、この撮像装置１０１は、変調器制御部２２０２と画像処理部２２０３を有する。

図２３は、時分割フリンジスキャンにおける格子パターンの例を示す図である。変調器２２０１は、例えば電気的に図２３に示す複数の初期位相を切り替えて表示することが可能（すなわち格子パターンを変更可能）な液晶表示素子などで構成される。図２３の各パターンは、初期位相Φ_Ｆもしくは位相差Φがそれぞれ｛０、π／２、π、３π／２｝である。これを実現する変調器２２０１の液晶表示素子における電極配置の例を図２４に示す。

図２４は、時分割フリンジスキャンを実現する変調器２２０１の構成例を示す図である。変調器２２０１には、格子パターンの１周期を４分割するように同心円状電極が設けられており、内側から４本おきに電極が結線され、外周部から駆動端子として４本の電極が引き出されている。変調器制御部２２０２によってこれら４つの電極に印加する電圧状態を“０”と“１”の２つの状態で時間的に切り替えることで、格子パターンの初期位相Φ_ＦもしくはΦを図２４のように｛０、π／２、π、３π／２｝と切り替えることが可能となる。なお、図２４において、網掛けで示した“１”を印加した電極が光を遮蔽し、白で示した“０”を印加した電極が光を透過させることに対応している。

図２５は、時分割フリンジスキャンを実現する画像処理部２２０３の画像処理の一例を示すフローチャートである。図２１のフローチャートと異なるところは、ステップ５０１より前のステップ２５０１〜２５０４の処理である。ステップ５０１〜５０６の処理は、図２１の対応する処理と同様であるので、ここでは説明を省略する。

まず、画像処理部２２０３は、フリンジスキャン演算の初めに加算結果をリセットする（２５０１）。次に、式（２０）に対応する場合には、画像処理部２２０３は、撮影に使用された格子パターン１０４と同じ初期位相を設定し（２５０２）、その初期位相を持つ格子パターン１０５を生成し、画像センサ１０３の出力画像に対して乗算する（２１０１）。画像処理部２２０３は、この乗算結果を各初期位相のパターン毎に加算する（２５０３）。画像処理部２２０３は、以上のステップ２５０２〜２５０３の処理を全ての初期位相のパターン数繰り返す（２５０４でＮＯ）。全ての位相について処理が終了した場合（２５０４でＹＥＳ）、画像処理部２２０３は、処理をステップ５０１に進める。なお、上記フローチャートは式（２０）を例に説明したが、式（１９）、式（２２）、式（２３）にも同様に適用することが可能である。

図２６は、空間分割フリンジスキャンを実現する撮像装置１０１の構成例を示す図である。この撮像装置１０１は、図１の変調器１０２に替えて、変調器２６０１を有する。また、この撮像装置１０１は、画像分割部２６０２と画像処理部２２０３を有する。

図２７は、空間分割フリンジスキャンにおける格子パターンの例を示す図である。変調器２６０１は、例えば図２７の初期位相ΦＦもしくはΦがそれぞれ｛０、π／２、π、３π／２｝のパターンように、２次元的に配列した複数の初期位相のパターンを有する。画像分割部２６０２は、画像センサ１０３の出力画像を変調器２６０１のパターン配置に対応した領域画像に分割し、画像処理部２２０３に順次伝送する。図２６の例では、画像センサ出力は、２×２の領域に分割される。式（２０）に基づくフリンジスキャンでは４位相必要であるため、変調器２６０１は２×２のパターン配置を有する。式（２２）に基づくフリンジスキャンは２位相で実現できるため、変調器２６０１は１×２のパターン配置で実現可能であり、それに応じて画像センサ出力も１×２の領域に分割される。以降の画像処理部２２０３の処理は、時分割フリンジスキャンである図２２の処理と同等であるため、説明を省略する。

この空間分割フリンジスキャンを用いれば、時分割フリンジスキャンの変調器２２０１のように電気的に格子パターンを切り替える必要がなく、安価に変調器を作製することができる。しかし、空間分割フリンジスキャンを用いると画像を分割するため解像度が実効的に低下する。よって、解像度を上げる必要がある場合には時分割フリンジスキャンが適している。

＜歪み補正原理＞
更にここで、第１の格子パターン１０４が厚みを持ち、かつその屈折率ｎが１ではない場合を考える。図２８は、被写体からの光線が光学部の厚みと屈折率、被写***置によってずれて画像センサ上に投影される様子を説明する図である。図２８では、格子パターン１０４が厚みｌ_１の光学部２８０１、ｌ_２の光学部２８０２で挟み込まれている。また、近距離にある物体を構成するある点からの光の主軸は、格子パターン中心を通り画像センサ１０３に到達する。

物体を構成する点２８０３が格子パターン１０４の中心直上にある場合、その光線は光学部２８０１の厚みｌ_１、光学部２８０２の厚みｌ_２、屈折率に関わらず画像センサの同一箇所に到達する。その一方で、格子パターン１０４の中心からずれた位置にある物体を構成する点２８０４からの光線はその点の位置、光学部２８０１の厚みｌ_１、光学部２８０２の厚みｌ_２、屈折率によって画像センサに到達する位置が異なる。仮に物体を構成する点の２８０４の位置をｘ，ｙとすると到達位置のずれ量δｒは

となる。このずれが含まれた状態で被写体の撮影を行うと表示画像は歪むことになる。仮に画像センサと格子パターンの中心が一致していた場合、δｒの値はｘ，ｙが大きいほど、つまり中心から遠い箇所ほど大きく歪んだ画像として表示される。

図２９は、撮影される被写体の歪みの発生の一例を示す図である。図２９に示すような格子模様を被写体とした場合、屈折率が１であるか、または光学部２８０１、光学部２８０２の厚みがともに０であれば、歪みなく撮影され図２９右上に示すように同一の画像が撮像され、表示される。一方で、屈折率が1より大きく、かつ光学部２８０１の厚みｌ_１、光学部２８０２の厚みｌ_２が０より大きい場合、図２９右下に示すように歪んだ画像が表示される。

そこで、式（２５）から計算されるδｒを利用し、歪みを補正する方法を考える。図３０は、画像歪み補正により画像の歪みを補正した状態で被写体を撮影することを実現する撮像装置の構成例を示す図である。具体的には、撮像装置１０１は、画像歪み補正部３２０１を含んでいる。基本的な撮影原理は図１で示したものと同一であるが、画像表示前に画像歪み補正部３２０１によって画像歪みを除去する補正を行う。この補正では、画像歪み補正部３２０１は、式（２５）から計算されるδｒを用いる。その計算に必要なパラメータを入力する為に、画像歪み補正部３２０１は、画像歪み補正設定値入力部３２０２を使用する。ここで画像歪み補正設定値入力部３２０２が入力を受け付ける設定値は、光学部２８０１の厚みｌ_１及び屈折率、光学部２８０２の厚みｌ_２及び屈折率、光学部２８０１表面から被写体までの距離ｄである。この補正の処理によって、画像表示部１０７で表示される画像は歪みが除去され、被写体を正しく表示することが可能となる。

ここで、画像歪み補正設定値入力部３２０２に入力する値は、撮像装置１０１の設計値でも良いが、装置毎に必要な設定値を測定しても良い。例えば距離ｄが既知の点光源を被写体として撮影すれば光学部２８０１の厚みｌ_１及び光学部２８０２の厚みｌ_２を逆算することが可能となる。これによって装置製造時の個体差を除去することが可能となる。

また、本実施形態では、例として格子パターン１０４の前後に接触する形で各光学部２８０１、２８０２が配置された例を示したが、これに限られず、各光学部２８０１、２８０２は、格子パターン１０４と接触せず離れていても良いし、その数はいくつであっても構わない。これによって、例えば画像センサ１０３にカバーガラスが付随している場合でもその影響を除去することが可能となり、より精度の良い歪み補正が可能となる。

［第二実施形態］
＜接写における問題＞
上記の実施形態では、撮像装置から被写体が一定距離以上離れている場合を想定して説明した。第二の実施形態では、被写体を接写撮影する場合の問題点について説明する。まず初めに画角について再定義する。これまでの説明では、入射角θの光線のモアレ縞の空間周波数スペクトルのピーク位置ｕ（式（９））が、画像センサ１０３のピクセルピッチによって決定される上限周波数Ｎ／（２Ｓ）よりも大きい場合で、画角θ_ｍａｘを定義（式（１３））していた。一方で、βが小さい、または画像センサ１０３のピクセルピッチ（Ｓ／Ｎ）が小さく、ピーク位置ｕが上限周波数よりも小さい場合には、画角の定義が異なる。
図３１は、その画角θ_ｍａｘ２を説明する図である。第１の格子パターン１０４を構成する同心円状の格子パターンの基準座標と、画像センサ１０３の端とを通る直線の傾きであるθ_ｍａｘ２が、現像できる最大の画角となる。よって、画角θ_ｍａｘ２は、第１の格子パターンからｄだけ離れた距離の撮像において、画像センサ１０３の大きさＳと変調器の厚さｔを用いて、

のように表せる。また、視野の直径Ａは、θ_ｍａｘ２を用いて、

となる。

ここで、接写時には、撮像する物体からの散乱角や、画像センサのＣＲＡ（Ｃｈｉｅｆ Ｒａｙ Ａｎｇｌｅ）特性によって視野が狭まることが問題となる。

まず、撮像する物体からの散乱角による視野の制限について説明する。図３２は、物体が近距離にある場合に物体を構成するある点からの光が照射する格子パターンの範囲と視野を説明する図である。図３２は、物体のある点からの光の拡がり角（散乱角）θ_ｓを示している。物体を構成する点３４０１乃至点３４０３からの散乱光が第１の格子パターン１０４を照射する場合、第１の格子パターン１０４における照射領域の直径Ｂは、散乱角θ_ｓを用いて、

となる。このように、接写時には第１の格子パターン１０４のうち照射領域しか使用することができない。なお、現実には散乱光強度は散乱角が大きくなるに従い徐々に減衰するものであるが、図３２では簡単化のため、照射領域のみ散乱光が到達しているとしている。

上述したように、入射光が第１の格子パターン１０４を構成する同心円状の格子パターンの基準座標を通る場合に撮像が可能となる。そのため、散乱光が基準座標を通る点３４０１や点３４０２の撮像はできる一方で、基準座標を通らない点３４０３などの撮像はできない。図３２のように、θ_ｓ≦θ_ｍａｘ２となる場合には、画角は散乱角θ_ｓで決定され、視野の直径Ａ_ｓは、

となる。

次に、画像センサのＣＲＡ特性による視野の制限について説明する。受光素子の表面または背面にある配線等の配置や受光素子の通常前面に配置するマイクロレンズアレイの設計によって、画像センサの受光光量には、ＣＲＡ特性とよばれる角度依存性がみられる。そこで、ＣＲＡ特性に基づいて、入射光が入射角θ_ｉまで受光できるとすると、θ_ｉ≦θ_ｍａｘ２となるような画像センサを用いた撮像では、画角はθ_ｉで決定され、視野Ａ_ｉは、

となる。ただし、θ_ｓ≦θ_ｉの場合の視野は式（２９）となる。

なお、入射角θ_ｉはＣＲＡ特性の半値半幅となる角度で決定するのがよいが、これに限
定するものではなく、半値半幅より小さい角度に設計すれば周辺光量減衰が起き難く、半値半幅より大きい角度に設計すれば視野が大きくなる。

＜接写時の視野拡大方法＞
そこで、接写時に視野を拡大する方法について説明する。

図３３は、複眼の格子パターンと複数の画像センサの組み合わせによる広視野化を実現する撮像装置の構成例を示す図である。この撮像装置１０１は、図１９と異なり、複眼格子パターン３５０３が形成された変調器３０１と、複眼画像センサ３００４と、画像合成部３５０６と、画像処理部１０６とを有する。複眼格子パターン３５０３は、中心から端へ向かうほど縞のピッチが狭くなる同心円状の格子パターンからなる基本パターン（基本格子パターン）３５０２を複数配列することで構成される。複眼画像センサ３００４は、画像センサ３５０５を複数配列することで構成される。

図３４は、複眼の格子パターンの一例を示す図である。この例では、基本パターン３５０２を３×３に互いに重なることなく配列することで複眼格子パターン３５０３を実現している。この場合、各画像センサ３５０５は、各基本パターン３５０２と対応するように３×３で配置される。

図３５は、図３３に示す複眼の格子パターンと複数の画像センサによる視野を説明する図である。複数の基本パターン３５０２と複数の画像センサ３５０５のうち、ｎ番目の基本パターン３５０２とｎ番目の画像センサ３５０５の組み合わせによるｎ番目の視野をＡ_ｎ、画角をθ_ｎ、ｎ番目とｎ＋１番目の基本パターン３５０２の中心間距離をｑ_ｎ、複数の基本パターン３５０２と複数の画像センサ３５０５の一次元方向の個数をＮとする。なお、各基本パターンの視野Ａ_ｎは、互いに異なっている。このとき、合成視野Ａ_Ｎは、

となる。つまり、基本パターン３５０２と画像センサ３５０５の一対一の組み合わせ（基本ユニットともいう）を複数用いることで、それぞれの組み合わせで撮像できる視野を合成し拡大することができる。

ただし、複眼格子パターン３５０３から撮像対象までの距離ｄが短いと、各基本パターン３５０２の視野が小さくなり、合成視野Ａ_Ｎに隙間ができる。隙間が生じない連続した視野を得るためには、Ａ_ｎがｑ_ｎ以上であれば良く、Ａ_ｎ＝２ｄ・ｔａｎθ_ｎ≧ｑ_ｎを満たすようなｄとｑ_ｎを設定すれば良い。

続いて、上述の複眼画像センサ３００４及び複眼格子パターン３５０３を使った撮像の画像処理について、図３６〜４０を用いて説明する。

図３６は、画像歪み補正処理の一例を示すフローチャートである。図２１のフローチャートと異なるところは、ステップ５０４とステップ５０５の間に追加されたステップ３８０１およびステップ３８０２の処理である。なお、画像処理部１０６は、ステップ２１０１〜ステップ５０４の処理を、複数の画像センサ３５０５の出力するセンサ画像それぞれについて行う。

画像歪み補正部３２０１は、ステップ３８０１にて画像歪み補正設定値入力部３２０２からの入力値に従って各画像センサ３５０５の出力画像に対して画像歪み補正を行う。続いて、画像合成部３５０６は、ステップ３８０２にて、各画像センサ３５０５の配列に従ってステップ３８０１の出力画像を並び替え、これらを合成する。ここで、ステップ３８０１において画像歪み補正を行っているために、ステップ３８０２において正しく画像の合成を行うことが可能となる。

ステップ３８０１において画像歪み補正に用いる設定値は画像歪み補正設定値入力部３２０２を介して入力された光学部２８０１の厚みｌ_１及び屈折率、光学部２８０２の厚みｌ₂及び屈折率、光学部２８０１表面から被写体までの距離ｄである。

ここで、画像歪み補正設定値入力部３２０２が入力される値は、撮像装置１０１の設計値でも良いが、装置の個体毎に必要な設定値を測定しても良い。例えば、基本格子パターン３５０２の直上にそれぞれ距離ｄが既知の点光源を被写体として撮影すれば、光学部２８０１及び光学部２８０２の厚みであるｌ_１，ｌ₂を逆算で求めることが可能となる。これによって装置製造時の個体差を除去することが可能となる。

図３７は、合成方法の一例を説明する図である。また、図３８は、合成画像を説明する図である。図３７と図３８は、ともに、ステップ３８０２の合成方法の一例を説明する図である。図３７におけるＡ_Ｎは、図３５における合成視野Ａ_Ｎであり、Ａ_ｎとＡ_ｎ＋１は、図３５におけるｎ番目とｎ＋１番目の基本パターン３５０２による視野Ａ_ｎと視野Ａ_ｎ＋１である。また、図３６のステップ３８０１の出力画像を、出力画像３９０１と出力画像３９０２として表している。

図３８では、出力画像３９０１と出力画像３９０２の合成画像が示されている。ステップ３８０２では、ｎ番目とｎ＋１番目の基本パターン３５０２の中心間距離ｑ_ｎに相当するピクセル数だけ、出力画像３９０１及び出力画像３９０２の少なくとも一方をずらして足し合わせることで一枚の合成画像が得られる。

次に、図３８を用いて、合成後の輝度補正について説明する。重複領域４００１は、出力画像３９０１と出力画像３９０２の視野Ａ_ｎと視野Ａ_ｎ＋１が重なる領域を示している。合成後の重複領域４００１の輝度は、出力画像３９０１と出力画像３９０２の足し合わせとなる。そのため、重複領域４００１と視野の重なっていないその他の領域との輝度差を無くし、滑らかな輝度分布とするためには、重複領域４００１の輝度補正が必要である。出力画像３９０１の重複領域４００１に相当する領域の輝度と、出力画像３９０２の重複領域４００１に相当する領域の輝度と、が一致する場合には、合成後の重複領域４００１の輝度を１／２にすることで容易に補正できる。

しかしながら、実際の輝度は、ＣＲＡ等の影響によって、中心から端になるほど減衰する分布を持つため、出力画像３９０１の重複領域４００１に相当する領域の輝度と出力画像３９０２の重複領域４００１に相当する領域の輝度とが一致せず、合成後の輝度を１／２としても輝度差を補正することができないことが多い。そこで、出力画像３９０１または出力画像３９０２のいずれかの画像のうち、視野Ａ_ｎと視野Ａ_ｎ＋１が重なる重複領域４００１に相当する領域のいずれか一方を採用して合成する、または、両方の画像を端からｑ_ｎ／２に対応するピクセル数だけ切り取って重なり部分を無くした画像を足し合わせる。これらのいずれかの方法により、輝度補正をすることなく、輝度差を低減することができる。

なお、本実施例では画像センサ３５０５を複数使用する説明をしたが、複眼格子パターン３５０３に対して画像センサ３５０５が十分大きい場合には一枚の画像センサ３５０５で使用しても構わない。その場合、画像センサ３５０５から出力される画像を基本パターン３５０２の個数に応じて分割すれば、画像センサ３５０５を複数用いた場合と同等の処理が可能である。

また、図３５などでは基本パターン３５０２と画像センサ３５０５の一次元方向の配列に着目して説明したが、この構成は、同様に直交する方向にも拡張することにより二次元配列についても適用可能である。

また、基本パターン３５０２の個数も、図示したものに限定されるものではない。基本パターン３５０２の個数によって視野が決定するため、撮像対象の大きさに合わせて適宜変更されるものであってもよい。

また、基本パターン３５０２から撮像対象までの距離を離す（大きくする）と視野は広くなる。このようにすれば、同一の広さの視野を得るのに必要な基本パターン３５０２の個数を減らすことができる。

図３９は、画像センサの配置例を説明する図である。図３９では、各画像センサ３５０５の向き（配線の向き）を揃えた（同一方向に向けた）配置を示している。一般的な画像センサは、信号を伝送するための配線が受光面の横から出ている。複数の画像センサ３５０５を配置するには、配線同士の干渉や受光面４１０１への配線の重なりが発生しないように画像センサ３５０５同士の間隔を空ける必要があり、受光面同士を一定距離以内に近づけられない場合がある。

図４０は、画像センサの他の配置例を説明する図である。図４０では、各画像センサ３５０５の向き（配線の向き）が画像センサ３５０５の外側を向くようにした配置を示している。配線の位置は画像センサの種類によって異なるが、少なくとも一部の画像センサ３５０５の向きを他の画像センサ３５０５の向きと異ならせて配置することで、配線による受光面間の距離の制約（一定距離以内に近づけられない制約）を回避することができる。

以上の方法及び構成に依れば、画像センサ３５０５と基本パターン３５０２の組み合わせを複数用いることで、それぞれで撮像できる視野を合成し拡大することができる。本実施形態によれば、簡易な構成で、薄型であり、かつ、歪みが補正され接写時の視野が拡大された撮像装置を提供することができる。

［第三実施形態］
＜注視方向の設計＞
第三の実施形態を用いて、複眼格子パターン３５０３を用いた撮像における注視方向について説明する。

図４１は、注視方向の一例を説明する図である。とくに、図４１は、複眼格子パターン３５０３による撮像の注視方向の一例を説明する図である。Ａ_ｎは、式（２６）により画角が決定される場合に、ｎ番目の基本パターン４３０１によって取得できる視野を示している。また、ここでは、基本パターン４３０１を構成する同心円状の格子パターンの基準座標と画像センサ３５０５の受光面の中心座標は一致していない。なお、画像センサ３５０５の受光面の中心座標は、受光面の四隅を結ぶ対角線の交点とする。

第１実施形態でも説明したとおり、式（２６）で決定される画角は、画像センサ３５０５の受光面の端と基本パターン４３０１を構成する同心円状の格子パターンの基準座標とを通る直線の傾きにより特定される。従って、注視方向は、基本パターン４３０１を構成する同心円状の格子パターンの基準座標と視野Ａ_ｎの中心との２点を結んだベクトルとなる。つまり、基本パターン４３０１を構成する同心円状の格子パターンの基準座標と画像センサ３５０５の受光面の中心座標の位置の設計時の設定によって、注視方向を変えることができるといえる。

図４２は、注視方向の他の例を説明する図である。この例は、複数設けられる基本パターンが、互いに注視方向を変えるための構成例を示している。図４１の構成と図４２の構成の異なるところは、基本パターン４４０１と基本パターン４４０２を構成する各同心円状の格子パターンの基準座標の位置である。図４２では、これらの基準座標は、基本パターン４４０１と基本パターン４４０２の同心円状の格子パターンの中心間距離ｌが近づく向きに寄せられている。このように同心円状の格子パターンの中心座標を基本パターンごとに変えることによって、それぞれの基本パターンによる撮像の注視方向を変えることができる。

画像センサ３５０５の種類によっては、受光面から出ている配線の配置などの理由によって、隣接する画像センサ３５０５の受光面の中心座標を近づけられない場合もある。そのような場合にも、基本パターン３５０２の基準座標の位置を変えることによって、撮像対象に視野Ａ_Ｎを合わせることができ、連続した視野Ａ_Ｎを得ることができる。

以上のように基本パターン４３０１を構成する同心円上の格子パターンの中心座標と画像センサ３５０５の中心座標が一致していない（格子パターンの平面中心と画像センサの中心とが平面上でいずれかの方向にオフセットしている）場合、画像の歪み量を計算する式（２５）において用いるｘ、ｙの値にその中心座標のずれ量（オフセット量）を反映する必要がある。実施例１で示したような格子パターンに一つの基本パターンしか含まれない場合には設定する中心座標のずれ量δｃを一つ画像歪み補正設定値入力部３２０２に設定すれば良く、実施例３で説明したような格子パターンに複数の基本パターンが含まれる場合には、基本パターンごとに中心座標のずれ量δｃを設定することで、全基本パターンの歪みを正しく補正することが可能である。

この場合、δｃの値を用いてｘ、ｙの値を補正し、補正後の値を特定し、それぞれｘ´、ｙ´とする。そして、式（２５）のｘ、ｙの値をｘ´、ｙ´として演算し、ｘ、ｙにおけるδ_ｒを特定する。

以上の方法・構成によれば、基本パターン３５０２を構成する同心円状の格子パターンの基準座標の設定によって注視方向を変えることができ、画像センサ３５０５の配置方法に制約がある場合にも、撮像対象に視野を向けることが可能である。

［第四実施形態］
上述の第一の実施形態から第三の実施形態では、撮像装置１０１の外部に存在する画像歪み補正設定値入力部３２０２が画像歪み補正部３２０１で用いる設定値を入力する方法を説明した。本実施形態では、撮像装置１０１の内部に、画像歪み補正部３２０１で用いる設定値が内包される構成について説明する。

図４３は、画像歪み補正部内に画像歪み補正設定値を記憶する構成例を示す図である。この構成例では、外部から歪み補正用の設定値を与える必要が無くなり、操作性を簡便に出来る。この場合、画像歪み補正設定値記憶部４５０１に記憶させる設定値は撮像装置１０１固有のものとなり、用途に応じて製造時にその設定値を検査し記憶させる必要がある。設定値として必要になるものは上述の通り、光学部２８０１の厚みｌ_１及び屈折率、光学部２８０２の厚みｌ₂及び屈折率、光学部２８０１表面から被写体までの距離ｄである。また、第三の実施形態のように注視方向を設ける場合には、格子パターンと画像センサの中心位置座標のずれ量δｃが画像歪み補正設定値記憶部４５０１に予め記憶させられている。

また、第四の実施形態では、最初に設定した被写体距離以外で使用する場合、外的要因によって格子パターンと画像センサの中心位置座標、または格子パターンの厚み、屈折率が変動した場合には再度画像歪み補正設定値記憶部４５０１に記憶させる設定値を更新する（与えられる）必要がある。

［第五実施形態］
第一の実施形態から第四の実施形態では、格子パターンから被写体までの距離、画像センサから被写体の間に存在する屈折率１以外の光学部の厚みおよび屈折率、被写体の２次元位置情報によって計算された歪み量に基づき歪み補正を行うものである。画像処理部１０６によって得られた画像から画像歪み補正設定値記憶部４５０１に記憶する設定値を学習する構成について説明する。図４４は、撮像装置１０１の中に画像歪み補正設定値学習部４６０１が内包された場合の構成図である。画像処理部１０６から出力された画像は画像歪み補正設定値学習部４６０１に送られる。この時、撮影対象となる被写体は既知のパターンであることが望ましく、例えば格子模様等の既知の明確で均等なパターンであれば尚学習が容易である。

なお、画像処理部１０６からの出力画像は、撮影の都度、画像歪み補正設定値学習部４６０１に送られて再学習に用いられてもよいし、特定の条件によって画像歪み補正設定値を学習する場合のみ出力画像が画像歪み補正設定値学習部４６０１に送られても構わない。この場合、特定の条件には、例えば被写体が事前に登録されている場合、歪み補正設定値を学習するモードに画像処理部１０６の動作モードが切り替えられた場合、等が考えられる。また、この学習にはさまざまな方法による学習が含まれ、ルールベースの学習処理であってもよいし、機械学習やニューラルネットワークにおける学習済みモデルに基づく学習処理であってもよい。

このように、第五の実施形態に係る撮像装置１０１によれば、実際に被写体を撮影した結果から歪み補正を行うため画像歪み補正部３２０１で用いる設定値の幅を拡げることが可能となる。例えば格子状のパターンを撮影した場合、各格子の交点の位置情報のずれ（理想パターンとのズレ量、ズレ方向、あるいは交点間の距離の差）を特定し歪み補正を行なってもよい。これによってより撮像装置１０１の状態を反映した歪み補正を行うことが可能となる。

［第六実施形態］
第一の実施形態から第五の実施形態は、撮像装置１０１の中で画像処理、歪み補正、画像合成の処理を行うものである。第六の実施形態では、画像センサ３５０５で取得した画像および画像処理に必要な設定値、画像歪み補正に必要な設定に並びに画像合成に必要な設定値をサーバー装置やパーソナルコンピュータ、スマートフォン、タブレット等の外部装置に出力し、それ以降の現像処理を外部装置側で行う構成について説明する。

図４５は、撮像装置からセンサ画像と必要設定値の情報を外部に出力し、外部で情報を受信し画像処理、画像歪み補正、画像合成を行う構成を示す図である。つまり、撮像装置１０１の中には、画像処理設定値記憶部４７０１と、画像歪み補正設定値記憶部４５０１と、画像合成設定値記憶部４７０２及び情報送信部４７０３とが内包されている。そして、情報送信部４７０３は、ネットワークや通信線、あるいは無線通信路を経由して外部装置に画像センサ３５０５の出力と、画像処理設定値記憶部４７０１に格納された情報と、画像歪み補正設定値記憶部４５０１に格納された情報と、画像合成設定値記憶部４７０２に格納された情報とを全て含めた形で送信する。

そして、送信された情報は情報受信部４７０４を介して受信され、画像処理装置４７０５に入力される。画像処理装置４７０５には、情報受信部４７０４と、画像処理部１０６と、画像歪み補正部３２０１と、画像合成部３５０６と、が含まれ、上述の実施形態と同様に画像処理、画像歪み補正処理、画像合成の処理を行い、画像表示部１０７に送る。

画像表示部１０７は、合成された画像を用いて画面等を構成し、ディスプレイ装置に表示させる。

このような構成とすることで、画像処理、画像歪み補正、画像合成を撮像装置１０１において行う必要が無くなり、撮像装置１０１の演算量を大幅に低減できる。そのため、撮像装置１０１のハードウェア要求水準を下げることが可能となり、撮像装置１０１の単価を抑制できる。このようにネットワークを介した他の装置、例えば遠隔地にあるサーバー装置と連携することも可能となると、利便性が向上する。

以上、本発明について複数の実施形態を用いて説明した。もちろん、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、撮像装置、及び撮像方法に限られず、撮像システム、現像方法、コンピュータ読み取り可能なプログラム、画像処理回路、指静脈認証装置、指静脈撮像装置、指静脈認証方法などの様々な態様で提供できる。

１０１…撮像装置、１０２…変調器、１０２ａ…格子基板、１０２ｂ…支持部材、１０３…画像センサ、１０３ａ…画素、１０４…第１の格子パターン、１０５…第２の格子パターン、１０６…画像処理部、１０７…画像表示部、４０１…被写体、３２０１…画像歪み補正部、３２０２…画像歪み補正設定値入力部、３５０６…画像合成部、４５０１…画像歪み補正設定値記憶部、４６０１…画像歪み補正設定値学習部、４７０１…画像処理設定値記憶部、４７０２…画像合成設定値記憶部、４７０３…情報送信部、４７０４…情報受信部、４７０５…画像処理装置

Claims (13)

1. 撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
   前記画像センサの受光面に設けられ、格子パターンを用いて光の強度を変調する変調部と、
   前記画像センサより出力された出力画像に対して所定の画像処理を施す画像処理部と、
   前記画像処理部から出力された画像に対して歪み補正を行う画像歪み補正部と、
   前記画像歪み補正部に画像歪み補正用の設定値を受け渡す画像歪み補正設定値入力部と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記格子パターンは、複数の基本格子パターンを有する複数格子パターンであって、
   前記複数の基本格子パターンのそれぞれは、互いに異なる視野を有する、
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記画像センサを複数備え、
   前記格子パターンは、複数の基本格子パターンを有する複数格子パターンであって、
   前記複数の基本格子パターンのそれぞれは、互いに異なる視野を有し、
   前記基本格子パターンは、前記画像センサと一対一に対応付けられた基本ユニットを構成し、
   前記基本ユニットのそれぞれは、互いに異なる視野を有する、
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記格子パターンは、複数の基本格子パターンを有する複数格子パターンであって、
   前記基本格子パターンは、所定の厚みを有し前記画像センサの受光面と略平行な平面上に設けられ、該平面上の二次元方向の中心位置と、前記画像センサの前記受光面の中心位置とが前記平面上のいずれかの方向にオフセットされており、
   前記画像歪み補正設定値入力部は、該オフセットの量または前記基本格子パターンの前記平面上の中心位置を前記設定値として用いる、
   ことを特徴とする撮像装置。
5. 請求項１に記載の撮像装置であって、
   前記画像センサを複数備え、
   前記格子パターンは、複数の基本格子パターンを有する複数格子パターンであって、
   前記複数の基本格子パターンのそれぞれは、互いに異なる視野を有し、
   前記基本格子パターンは、前記画像センサと一対一に対応付けられた基本ユニットを構成し、
   前記基本ユニットのそれぞれは、互いに異なる視野を有し、
   前記基本格子パターンは、所定の厚みを有し前記画像センサの受光面と略平行な平面上に設けられ、該平面上の二次元方向の中心位置と、前記画像センサの前記受光面の中心位置とが前記平面上のいずれかの方向にオフセットして配置されており、
   前記画像歪み補正部は、該オフセットの量または前記基本格子パターンの前記平面上の中心位置を前記設定値として用いる、
   ことを特徴とする撮像装置。
6. 請求項１に記載の撮像装置であって、
   前記画像歪み補正設定値入力部は、前記画像歪み補正部または前記画像処理部の少なくともいずれかに設けられる、
   ことを特徴とする撮像装置。
7. 請求項３または請求項６に記載の撮像装置であって、
   前記画像歪み補正部の前記設定値を、所定の既知のパターンを撮像した結果を用いて所定の方法で学習する歪み補正設定値学習部を備える、
   ことを特徴とする撮像装置。
8. 撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、
   前記画像センサの受光面に設けられ、格子パターンを用いて光の強度を変調する変調部と、
   前記画像センサより出力された前記画像信号を処理する為の設定値を記憶する画像処理設定値記憶部と、
   前記画像センサより出力された前記画像信号を歪み補正する為の設定値を記憶する画像歪み補正設定値記憶部と、
   前記画像センサより出力された前記画像信号を合成する為の設定値を記憶する画像合成設定値記憶部と、
   前記画像センサより出力された前記画像信号と、前記画像処理設定値記憶部に記憶された設定値と、前記画像歪み補正設定値記憶部に記憶された設定値と、前記画像合成設定値記憶部に記憶された設定値とを、所定の外部の装置に送信する情報送信部と、
   を備えることを特徴とする撮像装置。
9. 請求項８に記載の撮像装置であって、
   前記格子パターンは、複数の基本格子パターンを有する複数格子パターンであって、
   前記複数の基本格子パターンのそれぞれは、互いに異なる視野を有する、
   ことを特徴とする撮像装置。
10. 請求項８に記載の撮像装置であって、
    前記画像センサを複数備え、
    前記格子パターンは、複数の基本格子パターンを有する複数格子パターンであって、
    前記複数の基本格子パターンのそれぞれは、互いに異なる視野を有し、
    前記基本格子パターンは、前記画像センサと一対一に対応付けられた基本ユニットを構成し、
    前記基本ユニットのそれぞれは、互いに異なる視野を有する、
    ことを特徴とする撮像装置。
11. 請求項８に記載の撮像装置であって、
    前記格子パターンは、複数の基本格子パターンを有する複数格子パターンであって、
    前記基本格子パターンは、所定の厚みを有し前記画像センサの受光面と略平行な平面上に設けられ、該平面上の二次元方向の中心位置と、前記画像センサの前記受光面の中心位置とが前記平面上のいずれかの方向にオフセットして配置されており、
    前記画像歪み補正設定値記憶部は、該オフセットの量または前記基本格子パターンの前記平面上の中心位置を前記設定値として記憶する、
    ことを特徴とする撮像装置。
12. 請求項１０に記載の撮像装置であって、
    前記画像センサを複数備え、
    前記格子パターンは、複数の基本格子パターンを有する複数格子パターンであって、
    前記複数の基本格子パターンのそれぞれは、互いに異なる視野を有し、
    前記基本格子パターンは、前記画像センサと一対一に対応付けられた基本ユニットを構成し、
    前記基本ユニットのそれぞれは、互いに異なる視野を有し、
    前記基本格子パターンは、所定の厚みを有し前記画像センサの受光面と略平行な平面上に設けられ、該平面上の二次元方向の中心位置と、前記画像センサの前記受光面の中心位置とが前記平面上のいずれかの方向にオフセットして配置されており、
    前記画像歪み補正設定値記憶部は、該オフセットの量または前記基本格子パターンの前記平面上の中心位置を前記設定値として記憶する、
    ことを特徴とする撮像装置。
13. 請求項８に記載の撮像装置であって、
    前記画像センサを複数備え、
    前記格子パターンは、複数の基本格子パターンを有する複数格子パターンであって、
    前記複数の基本格子パターンのそれぞれは、互いに異なる視野を有し、
    前記基本格子パターンは、前記画像センサと一対一に対応付けられた基本ユニットを構成し、
    前記基本ユニットのそれぞれは、互いに異なる視野を有し、
    前記画像歪み補正部の前記設定値を、所定の既知のパターンを撮像した結果を用いて所定の方法で学習する歪み補正設定値学習部を備える、
    ことを特徴とする撮像装置。

Images