以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
また、以下の実施形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
さらに、以下の実施形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の各実施形態について図面を用いて説明する。
[第1実施形態]
〈無限遠物体の撮影原理〉
図1は、第1実施形態に係る撮像装置101の構成例を示す図である。撮像装置101は、通常のカメラが備えるような結像させるためのレンズを用いることなく、外界の物体の画像を取得するものであり、変調器102、画像センサ103、および画像処理部106から構成されている。
図2は、変調器102の構成例を示す図である。変調器102は、画像センサ103の受光面に密着して固定されており(図1)、格子基板102aと、格子基板102aの上下面に形成された第1の格子パターン104及び第2の格子パターン105とから構成される。格子基板102aは、例えばガラスやプラスティックなどの透明な材料からなる。以降、格子基板102aの画像センサ103側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。
これらの格子パターン104,105は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。格子パターン104,105は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。金属が蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。
格子パターン104,105の形成は、蒸着に限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。さらに、ここでは可視光を例に説明したが、例えば遠赤外線での撮影の場合、格子基板102aは、例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料からなる。すなわち、格子基板102aには、撮影対象となる波長に対して透明な材料を用いることができ、格子パターン104,105には、撮影対象となる波長を遮断する金属等の材料を用いることができる。
なお、ここでは変調器102を実現するために、格子パターン104,105を格子基板102aに形成する方法について述べたが、これに限定されない。図3は、変調器102の他の構成例を示す図である。格子パターン104,105を薄膜に形成し、これらを格子基板102aの替わりに設けた支持部材102bにより保持する構成などによっても、変調器102を実現することができる。
画像センサ103は、例えばCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどからなる。画像センサ103の表面には、受光素子である画素103aが格子状に規則的に配置されている。格子パターン104,105を透過する光は、それらの格子パターンによって光の強度が変調され、画像センサ103にて受光される。画像センサ103は、画素103aが受光した光画像を電気信号である画像信号に変換する。画像センサ103から出力された画像信号(「画像データ」とも呼ぶ)は、画像処理部106によって画像処理されて画像表示部107などに出力される。画像処理部106は、処理した画像データを、撮像装置101の備える記憶装置(図示せず)に格納したり、外部のホストコンピュータや記録媒体に出力したりしてもよい。
なお、撮像装置101は、例えば、プロセッサ、メモリ、通信装置、処理回路等を備えることができる。また、撮像装置101は、例えばUSB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)等の、外部装置と接続する入出力インターフェイスを備えてもよい。画像処理部106は、例えば、専用画像処理回路によって実現されてもよいし、プログラムを実行するプロセッサによって実現されてもよい。
図4は、図1の撮像装置101を用いて外界の物体を撮影する様子を示す図である。図4では、被写体401が撮像装置101によって撮影されて画像表示部107に表示されている例を示している。被写体401を撮影する際には、変調器102における表面、具体的には第1の格子パターン104が形成されている格子基板102aの面が、被写体401に対して正対するようにして撮影が行われる。
続いて、画像処理部106による画像処理の概略について説明する。図5は、画像処理部106の画像処理の一例を示すフローチャートである。
まず、画像処理部106は、画像センサ103から出力されるモアレ縞画像に対して、カラーのRGB(Red Green Blue)成分ごとに高速フーリエ変換(FFT:Fast Fourier Transform)などの2次元フーリエ変換演算による現像処理で周波数スペクトルを求める(501)。続いて、画像処理部106は、ステップ501の処理による周波数スペクトルのうち必要な周波数領域のデータを切り出した後(502)、該周波数スペクトルの強度計算を行う(503)ことによって画像を取得する。そして、画像処理部106は、得られた画像に対してノイズ除去処理を行い(504)、続いてコントラスト強調処理(505)などを行う。その後、画像処理部106は、画像のカラーバランスを調整して(506)撮影画像として出力する。以上により、画像処理部106による画像処理が終了となる。
続いて、撮像装置101における撮影原理について説明する。
まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターン104,105は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をrとし、そこでの球面波の位相をΦ(r)とするとき、球面波は、波面の曲がりの大きさを決める係数βを用いて、
球面波にもかかわらず、半径rの2乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、
を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをpとすると、
が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。本実施形態では、式(2)で定義される強度分布に比例した透過率分布をもった格子パターンを、図1に示した格子パターン104,105として用いる。
図6は、斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じることを説明する図である。格子パターン104,105が両面に形成された厚さtの変調器102に、角度θ0で平行光が入射したとする。変調器102中の屈折角をθとして、幾何光学的には、表面の格子の透過率が乗じられた光が、δ=t・tanθだけずれて裏面に入射し、仮に2つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、
のような強度分布が得られる。この展開式の第4項が、2つの格子のずれの方向にまっすぐな等間隔の縞模様を、2つの格子の重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞は、モアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の2次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであるが、全面で一様に等間隔なモアレ縞が得られるのであればどのような格子パターンを使用してもよい。
ここで、式(5)から鋭いピークを持つ成分のみを、
のようになる。ここで、Fはフーリエ変換の演算を表し、uおよびvは、x方向およびy方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがu=±δβ/πの位置に生じることがわかる。その様子を図7に示す。
図7は、格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する図である。図7において、左から右にかけて、光線と変調器102の配置図、モアレ縞、および空間周波数スペクトルの模式図を、それぞれ示している。図7の(a)は、垂直入射、図7の(b)は、左側から角度θで光線が入射する場合、図7の(c)は、右側から角度θで光線が入射する場合を、それぞれ示している。
変調器102の表面側に形成された第1の格子パターン104と裏面側に形成された第2の格子パターン105とは、軸がそろっている。図7の(a)では、第1の格子パターン104と第2の格子パターン105との影が一致するのでモアレ縞は生じない。
図7の(b)および図7の(c)では、第1の格子パターン104と第2の格子パターン105とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図7の(b)の場合なのか図7の(c)の場合なのかを判別することができなくなる。これを避ける方法の例を、図8に示す。
図8は、表面格子と裏面格子の軸をずらして配置した格子基板の一例を示す図である。図8に示すように、変調器102に垂直に入射する光線に対しても2つの格子パターンの影がずれて重なるよう予め2つの格子パターン104,105を光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して2つの格子の影の相対的なずれをδ0とするとき、入射角θの平面波によって生じるずれδは、
のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では、
の位置となる。画像センサの大きさをS、画像センサのx方向およびy方向の画素数を共にNとすると、2次元フーリエ変換による離散画像の空間周波数スペクトルは、−N/(2S)から+N/(2S)の範囲で得られる。このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波(θ=0)によるモアレ縞のスペクトルピーク位置は、原点(DC:直流成分)位置と、例えば+側端の周波数位置との中央位置、すなわち、
の空間周波数位置とするのが妥当である。したがって、2つの格子の相対的な中心位置ずれは、
図9は、格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する図である。図7と同様にして、左から右にかけて、光線と変調器102の配置図、モアレ縞、および空間周波数スペクトルの模式図を、それぞれ示す。図9の(a)は、光線が垂直入射の場合、図9の(b)は、光線が左側から角度θで入射する場合、図9の(c)は、光線が右側から角度θで入射する場合を、それぞれ示している。
第1の格子パターン104と第2の格子パターン105とは、予めδ0だけずらして配置されている。そのため、図9の(a)でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ0は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図9の(b)では、ずれδがさらに大きくなる方向、図9の(c)では、ずれδが小さくなる方向となっているため、図7と異なり、図9の(b)と図9の(c)との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図1の撮像装置101による撮影像にほかならない。
受光できる平行光の入射角の最大角度をθmaxとすると、
一般的なレンズを用いた結像との類推から、画角θmaxの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置101の実効的な焦点距離は、
ここで、式(13)および式(14)より、画角は変調器102の厚さt、および画像センサ103の大きさSによって変更可能であることが判る。よって、例えば変調器102が図3の構成であり支持部材102bの長さを変更可能な機能(例えば機械構造)を有していれば、撮影時に画角を変更して撮影することも可能となる。
なお、モアレ縞から空間周波数スペクトルを算出する方法として高速フーリエ変換を例に説明したが、これに限定されるものではなく、離散コサイン変換(DCT:Discrete Cosine Transform)などを使用しても実現可能であり、さらに演算量を削減することも可能である。
また、格子パターン104,105の透過率分布は、式(2)で示したように正弦波的な特性があることを想定して説明したが、格子パターンの基本周波数成分としてそのような成分を含んでいればよい。例えば図10(格子パターンの一例を示す図)に示すように格子パターンの透過率を2値化することも可能であり、さらに図11(格子パターンの他の例を示す図)のように透過率が高い格子領域と低い領域のdutyを変えて、透過率の高い領域の幅を広げて透過率を高めることも可能である。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。
また、格子パターン104,105は透過率変調でなく、位相変調で実現してもよい。例えば図12(格子パターンのさらに他の例を示す図)に示すように、格子基板102aをシリンドリカルレンズ1201で構成することにより、画像センサ103上に図に示すような強度変調パターンを生じさせることができるため、今までの議論と同様に撮像が可能となる。これにより格子パターン104の遮蔽部による光量損失を低減でき、光利用効率を向上させることができる上、格子パターンからの回折を抑圧する効果も得られる。図12ではレンズで実現したが、同等の効果を持つ位相変調素子で実現することも可能である。
以上の説明では、いずれも入射光線が同時には1つの入射角度で入射する場合であったが、実際に撮像装置101がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらの像が相互にモアレ縞を生じると、このモアレ縞が、信号成分である第2の格子パターン105とのモアレ縞の検出を阻害するノイズとなることが懸念される。しかし、実際は、第1の格子パターン104の像どうしの重なりはモアレ像のピークを生じず、ピークを生じさせるのは裏面側の第2の格子パターン105との重なりだけになる。その理由について以下に説明する。
まず、複数の入射角の光線による表面側の第1の格子パターン104の影どうしの重なりは、積ではなく和であることが大きな違いである。1つの入射角の光による第1の格子パターン104の影と第2の格子パターン105との重なりについては、第1の格子パターン104の影である光の強度分布に、第2の格子パターン105の透過率を乗算することで、裏面側の第2の格子パターン105を透過したあとの光強度分布が得られる。
これに対して、表面側の第1の格子パターン104に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、
のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側の第1の格子パターン104と裏面側の第2の格子パターン105との積のモアレだけであり、第2の格子パターン105が単一である以上、検出されるスペクトルのピークは1つの入射角に対して1つだけとなるのである。
ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図13を用いて模式的に説明する。
図13は、物体を構成する各点からの光が画像センサに対してなす角を説明する図である。被写体401を構成する各点からの光は、厳密には点光源からの球面波として、図1の撮像装置101の変調器102および画像センサ103(以下、図13では格子センサ一体基板1301という)に入射する。このとき、被写体401に対して格子センサ一体基板1301が十分に小さい場合や十分に遠い場合には、各点から格子センサ一体基板1301を照明する光の入射角は、同じとみなすことができる。
式(9)から求められる微小角度変位Δθに対するモアレの空間周波数変位Δuが、画像センサの空間周波数の最小解像度である1/S以下となる関係から、Δθが平行光とみなせる条件は、
のように表せる。この条件下であれば、無限遠の物体を本実施形態の撮像装置が撮像可能である。
〈有限距離物体の撮影原理〉
ここで、これまで述べた無限遠の物体に対する撮像について再度説明する。図14は、物体が無限距離にある場合に表側格子パターンが投影されることを説明する図である。図14は、表面側の第1の格子パターン104の裏面への射影の様子を示している。無限遠の物体を構成する点1401からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側の第1の格子パターン104を照射し、その投影像1402が下の面に投影される。この場合、その投影像は第1の格子パターン104とほぼ同じ形状である。結果、投影像1402に対して、裏面側の格子パターン(図2の第2の格子パターン105に相当)の透過率分布を乗じることにより、図15(物体が無限距離にある場合に生成されるモアレ縞の例を示す図)に示すような等間隔な直線状のモアレ縞を得ることができる。
一方、有限距離の物体に対する撮像について説明する。図16は、物体が有限距離にある場合に表側格子パターンが拡大されることを説明する図である。図16は、表面側の第1の格子パターン104の裏面への射影の様子を示している。物体を構成する点1601からの球面波は表面側の第1の格子パターン104を照射し、その投影像1602が下の面に投影される。この場合、その投影像はほぼ一様に拡大される。なお、この拡大率αは、第1の格子パターン104から点1601までの距離dを用いて、
そのため、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、図17(物体が有限距離にある場合に生成されるモアレ縞の例を示す図)に示すように、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された表面側の第1の格子パターン104の影に合わせて、第2の格子パターン105を拡大するならば、拡大された投影像1602に対して再び、図18(物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を示す図)に示すように、等間隔な直線状のモアレ縞を生じさせることができる。このためには、第2の格子パターン105の係数βをβ/α2とすることで補正が可能である。
これにより、必ずしも無限遠でない距離の点1601からの光を選択的に現像することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。
〈簡略化構成〉
次に、上述の変調器102の構成を簡略化する方法について説明する。変調器102では、格子基板102aの表面および裏面にそれぞれ同一形状の第1の格子パターン104および第2の格子パターン105を互いにずらして形成している。そして、画像処理によって入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を現像している。この裏面側の第2の格子パターン105は、画像センサ103に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。そこで、次のように撮像装置101の構成を変更してもよい。図1と異なる点を中心に説明する。
図19は、裏側格子パターンを画像処理で実現する撮像装置101の構成例を示す図である。この撮像装置101は、第2の格子パターン105を省略した変調器1901と、第2の格子パターン105に相当する処理を行う強度変調部1903を含む画像処理部1902とを備える。
図20は、変調器1901の構成例を示す図である。変調器1901は、格子基板102aと、格子基板102aの表面に形成された第1の格子パターン104とから構成される。図2と比較して、格子基板102aに形成する格子パターンを1面減らすことができる。これにより、変調器の製造コストを低減することができ、さらに光利用効率を向上させることもできる。
図21は、画像処理部1902の画像処理の一例を示すフローチャートである。図5のフローチャートと異なるところは、ステップ501の前のステップ2101の処理である。ステップ501〜506の処理は、図5の対応する処理と同様であるので、ここでは説明を省略する。
ステップ2101の処理では、前述した強度変調部1903は、画像センサ103から出力される画像に対して、裏面側の格子パターン105を透過したことに相当するモアレ縞画像を生成する。具体的には、式(5)に相当する演算が行われればよいので、強度変調部1903は、裏面側の格子パターン105を生成し、画像センサ103の画像に対して乗算する。さらに、裏面側の格子パターン105が図10又は図11に示すような2値化したパターンであれば、強度変調部1903が黒に相当する領域の画像センサ103の値を0に設定するだけでよい。これにより、乗算演算の計算負荷や乗算回路の規模を抑圧することが可能である。
なお、この場合、画像センサ103が有する画素103a(図20)のピッチは、第1の格子パターン104のピッチを十分再現できる程度に細かいか、あるいは第1の格子パターン104のピッチは、画素103aのピッチにて再現できる程度に粗い必要がある。格子パターンを格子基板102aの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ103の画素103aにて解像できる必要はなく、そのモアレ像だけが解像できればよい。しかし、画像処理により格子パターンを再現する場合は、格子パターンと画像センサ103の解像度は同等である必要がある。
また、以上は強度変調部1903により第2の格子パターン105に相当する処理を実現した。しかし、これに限定されず、第2の格子パターン105はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に第2の格子パターン105の透過率を加味して設定することによっても実現できる。
〈ノイズキャンセル〉
これまでの説明では、式(5)から鋭いピークを持つ成分のみを取り出した式(6)に着目して話を進めたが、実際には式(5)の第4項以外の項がノイズとなる。そこで、フリンジスキャンに基づくノイズキャンセルが効果的である。
まず、式(2)の干渉縞強度分布において、第1の格子パターン104の初期位相をΦF、第2の格子パターン105の初期位相をΦBとすると、式(5)は、
のように表せる。ここで、三角関数の直交性を利用し、
式(19)のように式(18)をΦ
F、Φ
Bに関して積分すると、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。前述の議論から、これをフーリエ変換すれば、空間周波数分布にノイズのない鋭いピークを生じることになる。
ここで式(19)は積分の形で示しているが、実際にはΦF、ΦBの組合せの総和を計算することによっても同様の効果が得られる。ΦF、ΦBは0〜2πの間の角度を等分するように設定すればよく、{0、π/2、π、3π/2}のように4等分、{0、π/3、2π/3}のように3等分してもよい。
さらに、式(19)は簡略化できる。式(19)では、ΦF、ΦBを独立して変えられるように計算したが、ΦF=ΦBすなわち格子パターン104と105の初期位相に同じ位相を適用してもノイズ項をキャンセルできる。式(19)においてΦF=ΦB=Φとすれば、
となり、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。また、Φは0〜2πの間の角度を等分するように設定すればよく、{0、π/2、π、3π/2}のように4等分すればよい。
また、等分せずとも、{0、π/2}の直交した位相を使用してもノイズ項をキャンセルでき、さらに簡略化できる。まず、図19の構成のように第2の格子パターン105を画像処理部1902で実施すれば、格子パターン105に負値を扱えるため、式(18)は、
となる(Φ
F=Φ
B=Φ)。格子パターン105は既知であるため、この式(21)から格子パターン105を減算し、Φ={0、π/2}の場合について加算すれば、
のようにノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。
また、前述のように第1の格子パターン104と第2の格子パターン105とは、あらかじめδ0ずらすことで空間周波数空間に生じる2つの現像画像を分離していた。しかし、この方法では現像画像の画素数が半分になる問題点がある。そこで、δ0ずらさなくとも現像画像の重複を回避する方法について説明する。式(19)のフリンジスキャンにおいて、cosの代わりに、
のようにexpを用い複素平面上で演算する。これによりノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。式(23)中のexp(2iβδx)をフーリエ変換すれば、
となり、式(7)のように2つのピークを生じず、単一の現像画像を得られることが判る。このように、格子パターン104,105をずらす必要もなくなり、画素数を有効に使用可能となる。
以上のフリンジスキャンに基づくノイズキャンセル方法を行うための構成について、図22〜27を用いて説明する。フリンジスキャンでは、少なくとも格子パターン104として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには、時分割でパターンを切り替える方法(図22〜25)と、空間分割でパターンを切り替える方法(図26〜27)がある。
図22は、時分割フリンジスキャンを実現する撮像装置101の構成例を示す図である。この撮像装置101は、図1の変調器102に替えて、変調器2201を有する。また、この撮像装置101は、変調器制御部2202と画像処理部2203を有する。
図23は、時分割フリンジスキャンにおける格子パターンの例を示す図である。変調器2201は、例えば電気的に図23に示す複数の初期位相を切り替えて表示することが可能(すなわち格子パターンを変更可能)な液晶表示素子などで構成される。図23(a)〜(d)のパターンは、初期位相ΦFもしくは位相差Φがそれぞれ{0、π/2、π、3π/2}である。これを実現する変調器2201の液晶表示素子における電極配置の例を図24に示す。
図24は、時分割フリンジスキャンを実現する変調器2201の構成例を示す図である。変調器2201には、格子パターンの1周期を4分割するように同心円状電極が設けられており、内側から4本おきに電極が結線され、外周部から駆動端子として4本の電極が引き出されている。変調器制御部2202によってこれら4つの電極に印加する電圧状態を“0”と“1”の2つの状態で時間的に切り替えることで、格子パターンの初期位相ΦFもしくはΦを図24(a)〜(d)のように{0、π/2、π、3π/2}と切り替えることが可能となる。なお、図24において、網掛けで示した“1”を印加した電極が光を遮蔽し、白で示した“0”を印加した電極が光を透過させることに対応している。
図25は、時分割フリンジスキャンを実現する画像処理部2203の画像処理の一例を示すフローチャートである。図21のフローチャートと異なるところは、ステップ501より前のステップ2501〜2504の処理である。ステップ501〜506の処理は、図21の対応する処理と同様であるので、ここでは説明を省略する。
まず、画像処理部2203は、フリンジスキャン演算の初めに加算結果をリセットする(2501)。次に、式(20)に対応する場合には、画像処理部2203は、撮影に使用された格子パターン104と同じ初期位相を設定し(2502)、その初期位相を持つ格子パターン105を生成し、画像センサ103の出力画像に対して乗算する(2101)。画像処理部2203は、この乗算結果を各初期位相のパターン毎に加算する(2503)。画像処理部2203は、以上のステップ2502〜2503の処理を全ての初期位相のパターン数繰り返す(2504でNO)。全ての位相について処理が終了した場合(2505でYES)、画像処理部2203は、処理をステップ501に進める。なお、上記フローチャートは式(20)を例に説明したが、式(19)、式(22)、式(23)にも同様に適用することが可能である。
図26は、空間分割フリンジスキャンを実現する撮像装置101の構成例を示す図である。この撮像装置101は、図1の変調器102に替えて、変調器2601を有する。また、この撮像装置101は、画像分割部2602と画像処理部2203を有する。
図27は、空間分割フリンジスキャンにおける格子パターンの例を示す図である。変調器2601は、例えば図27の初期位相ΦFもしくはΦがそれぞれ{0、π/2、π、3π/2}のパターンように、2次元的に配列した複数の初期位相のパターンを有する。画像分割部2602は、画像センサ103の出力画像を変調器2601のパターン配置に対応した領域画像に分割し、画像処理部2203に順次伝送する。図26の例では、画像センサ出力は、2×2の領域に分割される。式(20)に基づくフリンジスキャンでは4位相必要であるため、変調器2601は2×2のパターン配置を有する。式(22)に基づくフリンジスキャンは2位相で実現できるため、変調器2601は1×2のパターン配置で実現可能であり、それに応じて画像センサ出力も1×2の領域に分割される。以降の画像処理部2203の処理は、時分割フリンジスキャンである図22の処理と同等であるため、説明を省略する。
この空間分割フリンジスキャンを用いれば、時分割フリンジスキャンの変調器2201のように電気的に格子パターンを切り替える必要がなく、安価に変調器を作製することができる。しかし、空間分割フリンジスキャンを用いると画像を分割するため解像度が実効的に低下する。よって、解像度を上げる必要がある場合には時分割フリンジスキャンが適している。
〈接写における問題〉
次に、接写時の問題点について説明する。まず初めに画角について再定義する。これまでの説明では、入射角θの光線のモアレ縞の空間周波数スペクトルのピーク位置u(式(9))が、画像センサ103のピクセルピッチによって決定される上限周波数N/(2S)よりも大きい場合で、画角θmaxを定義(式(13))していた。一方で、βが小さい、または画像センサ103のピクセルピッチ(S/N)が小さく、ピーク位置uが上限周波数よりも小さい場合には、画角の定義が異なる。
図28は、その画角θmax2を説明する図である。第1の格子パターン104を構成する同心円状の格子パターンの基準座標と、画像センサ103の端とを通る直線の傾きであるθmax2が、現像できる最大の画角となる。よって、画角θmax2は、第1の格子パターンからdだけ離れた距離の撮像において、画像センサ103の大きさSと変調器の厚さtを用いて、
のように表せる。また、視野の直径Aは、θ
max2を用いて、
ここで、接写時には、撮像する物体からの散乱角や、画像センサのCRA(Chief Ray Angle)特性によって視野が狭まることが問題となる。
まず、撮像する物体からの散乱角による視野の制限について説明する。図29は、物体が近距離にある場合に物体を構成するある点からの光が照射する格子パターンの範囲と視野を説明する図である。図29は、物体のある点からの光の拡がり角(散乱角)θsを示している。物体を構成する点2901乃至点2903からの散乱光が第1の格子パターン104を照射する場合、第1の格子パターン104における照射領域の直径Bは、散乱角θsを用いて、
となる。dは点2901乃至点2903から第1の格子パターン104までの距離である。このように、接写時には第1の格子パターン104のうち照射領域しか使用することができない。なお、現実には散乱光強度は散乱角が大きくなるに従い徐々に減衰するものであるが、図29では簡単化のため、照射領域のみ散乱光が到達しているとしている。
上述したように、入射光が第1の格子パターン104を構成する同心円状の格子パターンの基準座標を通る場合に撮像が可能となる。そのため、散乱光が基準座標を通る点2901や点2902の撮像はできる一方で、基準座標を通らない点2903などの撮像はできない。図29のように、θs≦θmax2となる場合には、画角は散乱角θsで決定され、視野の直径Asは、
次に、画像センサのCRA特性による視野の制限について説明する。受光素子の表面または背面にある配線等の配置や受光素子の通常前面に配置するマイクロレンズアレイの設計によって、画像センサの受光光量には、CRA特性とよばれる角度依存性がみられる。そこで、CRA特性に基づいて、入射光が入射角θiまで受光できるとすると、θi≦θmax2となるような画像センサを用いた撮像では、画角はθiで決定され、視野Aiは、
となる。ただし、θ
s≦θ
iの場合の視野は式(28)となる。
なお、入射角θiはCRA特性の半値半幅となる角度で決定するのがよいが、これに限定するものではなく、半値半幅より小さい角度に設計すれば周辺光量減衰が起き難く、半値半幅より大きい角度に設計すれば視野が大きくなる。
〈接写時の視野拡大方法〉
そこで、接写時に視野を拡大する方法について説明する。
図30は、複眼の格子パターンと複数の画像センサの組み合わせによる広視野化を実現する撮像装置の構成例を示す図である。この撮像装置101は、図19と異なり、複眼格子パターン3003が形成された変調器3001と、画像センサ3004と、画像合成部3007を含む画像処理部3006とを有する。複眼格子パターン3003は、中心から端へ向かうほど縞のピッチが狭くなる同心円状の格子パターンからなる基本パターン(基本格子パターン)3002を複数配列することで構成される。画像センサ3004は、画像センサ3005を複数配列することで構成される。
図31は、複眼の格子パターンの一例を示す図である。この例では、基本パターン3002を3×3に互いに重なることなく配列することで複眼格子パターン3003を実現している。この場合、各画像センサ3005は、各基本パターン3002と対応するように3×3で配置される。
図32は、図30に示す複眼の格子パターンと複数の画像センサによる視野を説明する図である。複数の基本パターン3002と複数の画像センサ3005のうち、n番目の基本パターン3002とn番目の画像センサ3005の組み合わせによるn番目の視野をAn、画角をθn、n番目とn+1番目の基本パターン3002の中心間距離をqn、複数の基本パターン3002と複数の画像センサ3005の一次元方向の個数をNとする。このとき、合成視野ANは、
となる。つまり、基本パターン3002と画像センサ3005の組み合わせ(基本ユニットともいう)を複数用いることで、それぞれの組み合わせで撮像できる視野を合成し拡大することができる。
ただし、複眼格子パターン3003から撮像対象までの距離dが短いと、各基本パターン3002の視野が小さくなり、合成視野ANに隙間ができる。隙間が生じない連続した視野を得るためには、Anがqn以上であれば良く、An=2d・tanθn≧qnを満たすようなdとqnを設定すれば良い。
続いて、上述の画像センサ3004及び複眼格子パターン3003を使った撮像の画像処理について、図33〜35を用いて説明する。
図33は、画像処理部3006の画像処理の一例を示すフローチャートである。図21のフローチャートと異なるところは、ステップ504とステップ505の間に追加されたステップ3301の処理である。なお、画像処理部3006は、ステップ2101〜ステップ504の処理を、複数の画像センサ3005の出力するセンサ画像それぞれについて行う。画像処理部3006の画像合成部3007は、ステップ3301にて、各画像センサ3005の配列に従ってステップ504の出力画像を並び替え、これらを合成する。
図34と図35は、ステップ3301の合成方法の一例を説明する図である。図34におけるANは、図32における合成視野ANであり、AnとAn+1は、図32におけるn番目とn+1番目の基本パターン3002による視野Anと視野An+1である。また、図33のステップ504の出力画像を、出力画像3401と出力画像3402と表している。図35は、出力画像3401と出力画像3402の合成画像を示している。ステップ3301では、n番目とn+1番目の基本パターン3002の中心間距離qnに相当するピクセル数だけ、出力画像3401及び出力画像3402の少なくとも一方をずらして足し合わせることで一枚の合成画像が得られる。
次に、図35を用いて、合成後の輝度補正について説明する。領域3501は、出力画像3401と出力画像3402の視野Anと視野An+1が重なる領域を示している。合成後の領域3501の輝度は、出力画像3401と出力画像3402の足し合わせとなる。そのため、領域3501と視野の重なっていないその他の領域との輝度差を無くし、滑らかな輝度分布とするためには、領域3501の輝度補正が必要である。出力画像3401の領域3501と出力画像3402の領域3501との輝度が一致する場合には、合成後の領域3501の輝度を1/2にすることで補正できる。
しかしながら、実際の輝度は、CRA等の影響によって、中心から端になるほど減衰する分布を持つため、出力画像3401の領域3501と出力画像3402の領域3501との輝度が一致せず、合成後の輝度を1/2としても輝度差を補正することができない。そこで、出力画像3401または出力画像3402のどちらかの画像のうち、視野Anと視野An+1が重なる領域3501を切り取って合成する、または、両方の画像を端からqn/2に対応するピクセル数だけ切り取って重なり部分を無くした画像を足し合わせればよい。これにより、輝度補正をすることなく、輝度差を低減することができる。
図36は、画像処理部3006の画像処理の他の例を示すフローチャートである。図33のフローチャートと異なるところは、ステップ501の前のステップ3601とステップ3602の処理である。図36では、ステップ3301は省略されている。画像処理部3006の画像合成部3007は、ステップ3601において、複数の画像センサ3005の出力する複数のセンサ画像を、n番目とn+1番目の基本パターン3002の中心間距離qnに相当するピクセル数だけずらして足し合わせて合成する。画像処理部3006は、ステップ3602において、複数の基本パターン3002のそれぞれに対応した複数のパターンからなる第2の複眼格子パターンを用いて、ステップ3601の合成画像に対して強度変調を行う。
なお、図30の複眼格子パターンに関する構成について図19を基に説明したが、この構成を同様に図22など他の構成に適用することで、フリンジスキャンによるノイズキャンセルを行うことも可能である。
また、図32などでは基本パターン3002と画像センサ3005の一次元方向の配列に着目して説明したが、この構成は、同様に直交する方向にも拡張することにより二次元配列についても適用可能である。
また、基本パターン3002の個数も、図示したものに限定するものではない。基本パターン3002の個数によって視野が決定するため、撮像対象の大きさに合わせて適宜変更してもよい。
また、基本パターン3002から撮像対象までの距離を離すと視野は広くなるため、このようにすれば基本パターン3002の個数を減らすことができる。
また、図37は、各画像センサ3005の配置例を説明する図である。図37は、各画像センサ3005の向き(配線の向き)を揃えた配置を示している。一般的な画像センサは、信号を伝送するための配線が受光面の横から出ている。複数の画像センサ3005を配置するには、配線同士の干渉や受光面3701への配線の重なりが発生しないように画像センサ3005同士の間隔を空ける必要があり、受光面同士を近づけられない場合がある。
図38は、画像センサの他の配置例を説明する図である。図38は、各画像センサ3005の向き(配線の向き)が画像センサ3004の外側を向くようにした配置を示している。配線の位置は画像センサの種類によって異なるが、少なくとも一部の画像センサ3005の向きを他の画像センサ3005の向きと異ならせて配置することで、配線による受光面間の距離の制約を回避することができる。
以上の方法及び構成に依れば、画像センサ3005と基本パターン3002の組み合わせを複数用いることで、それぞれで撮像できる視野を合成し拡大することができる。
本実施形態によれば、簡易な構成で、薄型であり、かつ、接写時の視野を拡大した撮像装置を提供することができる。
[第2実施形態]
〈画像センサの大きさの最適化〉
本実施形態では、画像センサ3005の大きさを最適化することで、画素を効率良く使用し、演算量を低減する方法について説明する。
図39は、画像センサの大きさの最適化方法を説明する図である。図39を用いて、複眼格子パターン3003を用いた撮像に必要な画像センサ3005の受光面の大きさと個数について説明する。以下の説明では、画像センサ3005は、画像センサ3901又は画像センサ3903に対応する。
領域Cは、画角θnがθsまたはθi(θn≦θmax2)で決定されるとき、視野Anを得るために必要な画像センサ3901の受光面上の領域を示している。入射角がθnの光線は、画像センサ3901上の領域C内に入射する。視野Anを得るためには、画像センサ3901の受光面の大きさSをC以上とすれば良く、SとCが等しいとき、Sを最小にして受光面を効率よく使用することができる。また、画像センサ3901の受光面を最小にすることで、現像に不要な領域C以外の画素を減らすことが出来るため、演算量を低減することができる。
ここで、Cは、画角θnと、複眼格子パターン3003から画像センサ3901までの距離tを用いて、
と求められる。よって、tを小さくし、Cを小さくすることで、Sを小さくすることができる。
また、撮像対象の散乱角θsを小さくする、または、CRA特性で決まる画像センサ3901に受光できる最大の入射角θiの小さい画像センサ3901を用いることでも、Sを小さくできる。しかし、この場合には、視野Anも小さくなる。そのため、第1実施形態で説明したように、画像センサ3005と基本パターン3002の組み合わせの個数を増やすなどして視野を広げる必要がある。
以上の方法・構成に依れば、画像センサ3005の大きさと個数を最適化し、演算量を低減することが可能となる。
なお、図39では、基本パターン3902と一対一に対応するように画像センサ3901が配置されているが、例えば視野An+1と視野An+2の光線を受光する1つの画像センサ3903を配置してもよい。この場合、画像センサ3005の個数を減らすことができる。また、画像センサ3901と画像センサ3903のように大きさの異なるものを組み合わせて配置してもよい。
[第3実施形態]
〈注視方向の設計〉
本実施形態では、複眼格子パターン3003を用いた撮像における注視方向について説明する。
図40は、複眼格子パターン3003による撮像の注視方向の一例を説明する図である。Anは、式(25)により画角が決定される場合にn番目の基本パターン4001によって取得できる視野を示している。また、ここでは、基本パターン4001を構成する同心円状の格子パターンの基準座標と画像センサ3005の受光面の中心座標は一致していない。なお、画像センサ3005の受光面の中心座標は、受光面の四隅を結ぶ対角線の交点とする。第1実施形態で説明したとおり、式(25)で決定する画角は、画像センサ3004の受光面の端と基本パターン4001を構成する同心円状の格子パターンの基準座標とを通る直線の傾きとなる。従って、注視方向は、基本パターン4001を構成する同心円状の格子パターンの基準座標と視野Anの中心との2点を結んだベクトルとなる。つまり、基本パターン4001を構成する同心円状の格子パターンの基準座標と画像センサ3004の受光面の中心座標の位置の設計時の設定によって、注視方向を変えることができる。
図41は、注視方向の他の例を説明する図であり、基本パターンごとに注視方向を変えるための構成を示している。図40の構成と図41の構成の異なるところは、基本パターン4101と基本パターン4102を構成する各同心円状の格子パターンの基準座標の位置である。図41では、これらの基準座標は、基本パターン4101と基本パターン4102の同心円状の格子パターンの中心間距離lが近づく向きに寄せられている。このように同心円状の格子パターンの中心座標を基本パターンごとに変えることによって、それぞれの基本パターンによる撮像の注視方向を変えることができる。画像センサ3005の種類によっては、受光面から出ている配線の配置などの理由によって、隣接する画像センサ3004の受光面の中心座標を近づけられない場合もある。そのような場合にも、基本パターン3002の基準座標の位置を変えることによって、撮像対象に視野ANを合わせることができ、連続した視野ANを得ることができる。
以上の方法・構成に依れば、基本パターン3002を構成する同心円状の格子パターンの基準座標の設定によって、注視方向を変えることができ、画像センサ3005の配置方法に制約がある場合にも、撮像対象に視野を向けることが可能である。
[第4実施形態]
本実施形態では、楕円状の格子パターンを基本パターン3002として用いる撮像について説明する。
画像センサ3005の受光面は種類によって長方形の場合がある。図42は、長方形の受光面に投影される同心円状の格子パターンの一例を示す図である。図42では、中心から端へ向かうほど縞のピッチが狭くなる同心円状の格子パターンを、基本パターン3002として用いている。この場合、受光面の長辺方向と短辺方向では、投影される円の本数が異なり、長辺方向にはよりピッチの細かな格子パターンが投影されることになる。
第1実施形態で説明したとおり、同心円状の格子パターンのピッチの細かさは係数βにより決定され、現像後の解像度は式(12)のとおりβによって決定される。つまり、現像後の解像度は、受光面に投影されるパターンのピッチの細かさに依存する。よって、図42の投影パターンのように長辺方向と短辺方向のピッチの細かさが一致していない(長辺方向外側のより細かいピッチのパターンが短辺方向には存在しない)場合には、現像後の解像度も一致しないことになる。以上の理由により、長方形の受光面に対して同心円状の格子パターンを用いた場合には、短辺方向の解像度が長辺方向よりも低下するという問題が発生する。
図43は、長方形の受光面に投影される楕円状の格子パターンの一例を示す図である。図43では、中心から端へ向かうほど縞のピッチが狭くなる楕円状の格子パターンを、基本パターン3002として用いている。楕円の長軸方向と短軸方向は、それぞれ長方形の長辺方向と短辺方向に一致するように設定されている。また、楕円の長軸と短軸の長さは、長方形の長辺と短辺のアスペクト比に応じて設定されていてもよいし、そのアスペクト比とは関係なく設定されていてもよい。また、楕円の短軸方向の縞のピッチは、長軸方向の対応する縞のピッチよりも小さくなるように設定されている(すなわち、楕円の短軸方向の縞のピッチの最小値は、長軸方向の対応する縞のピッチの最小値と一致しない)。この場合、図42と比べて、短辺方向に投影される楕円の本数が増え、長辺方向と短辺方向で得られる楕円の本数が揃っている。つまり、楕円状の格子パターンを用いることで、受光面が長方形の画像センサ3005を用いた場合にも、短辺方向の解像度の低下を防ぐことができる。
さらに、中心から端へ向かうほど縞のピッチが狭くなる同心円状の格子パターンにおける入射光の回折は、投影パターンのコントラストを低下させる要因となり、解像度の低下やノイズを引き起こす。回折の影響は、格子パターンの縞のピッチに依存するため、図43の格子パターンを使った場合、長辺方向と短辺方向で回折の影響が異なってしまう。これに対して、短軸方向の縞のピッチと長軸方向の対応する縞のピッチが一致する(すなわち、短軸方向の縞のピッチの最小値と長軸方向の対応する縞のピッチの最小値とが一致する)楕円状の格子パターンを用いて、長方形の受光面に投影される格子パターンの縞のピッチを受光面の長辺方向と短辺方向で揃えることで、長辺方向と短辺方向で回折の影響を一定にすることができる。
なお、図44は、長方形の受光面に投影される同心円状の格子パターンの他の例を示す図である。図4443では、同心円状の格子パターンを用いて、長辺方向と短辺方向のパターンのピッチを一定にした場合を示している。同心円状の格子パターンを用いることで、長辺方向と短辺方向の回折の影響を一定にすることも可能であるが、その場合は、受光面上にパターンが投影される領域が小さく限られてしまうため、受光面の画素を効率よく使うことができない。一方、楕円状の格子パターンを用いることで、受光面全体の画素を使うことができ、同心円状の格子パターンと同じピッチの縞をサンプリングする点数を増やすことができるので、画質を向上することができる。
以上の方法・構成によれば、受光面が長方形の画像センサ3005を用いた場合に、短辺方向の解像度低下を防ぐことが可能となる。
[第5実施形態]
本実施形態では、接写が可能な薄型の指静脈認証装置を実現するための構成について説明する。以下、指静脈認証装置の一部を構成する指静脈撮像装置について説明する。
指静脈認証装置を実現するためには、指静脈撮像装置において認証に必要な画像を得るための視野を確保する必要がある。図45は、複眼の格子パターンを用いた指静脈撮像装置の構成例を示す図である。指静脈撮像装置は、複数の基本パターン4503を含む複眼格子パターン4502が形成された変調器4501と、複数の画像センサ4504と、複数の光源4505とを含む。
図45は、撮像対象から複眼格子パターン4502までの距離dを2mmとしたとき、連続した視野AN=12mm×10mmを得るために必要な構成を示している。各基本パターン4503は、中心間距離qc=7.5mmとqr=5.0mmの間隔を空けて、2×2個配置してあり、各画像センサ4504も、各基本パターン4503の数及び配置に対応して2×2個配置してある。
ここで、d=2mmとし、各画像センサ4504のCRA特性から求められる画角θiをθi=50°とした場合、N=2、qc=7.5mmとqr=5.0mmから、式(30)より、AN=12mm×10mmとなり、目的の視野が得られることが判る。
また、図45の構成では、画像センサ4504の受光面が長方形であるため、基本パターン4503を構成するパターンを楕円状の格子パターンとすることで、第4実施形態で説明したように、現像画像の短辺方向で解像度が低下することを防ぐことが出来る。
また、光源4505には、近赤外光光源を用いることができる。図45では、光源4505が撮像対象となる指を下側から照射する構成としている。もちろん、光源4505を指の上側に配置し、指を透過する光を画像センサ4504で取得する構成としてもよい。
また、第1実施形態で説明した時分割フリンジスキャンを行うためには、変調器4501を図24のような液晶表示素子で構成すればよい。図46は、変調器4501としての液晶表示素子の構成例を示す断面図である。液晶表示素子は、主に、液晶層4601、液晶層4601の上側と下側に配置される2枚の偏光板4602、及び液晶層4601を挟むように配置される2枚のガラス基板4603からなる。一般的な液晶ディスプレイなどに用いる偏光板は、可視光に対応したものが使用されるが、変調器4501に用いる偏光板4602は、光源4505の波長に対応したものを使用する必要がある。2枚の偏光板4602は、光源4505の波長の光の偏光方向に応じて透過と吸収の特性を有する。
また、図47は、単眼の格子パターンを用いた指静脈撮像装置の構成例を示す図である。図45では複眼格子パターン4502を用いた構成について説明したが、単眼の格子パターン4702と画像センサ4703を用いて指静脈撮像装置してもよい。その際には、被写体から格子パターン4702までの距離dを大きく設定し、式(26)、式(28)あるいは式(29)で決まる視野を拡大することで、認証に必要な画像を得るための視野を確保することが出来る。なお、画像センサ4703は、図45のように複数の画像センサを配列して構成してもよい。
以上の構成によれば、接写においても指静脈認証装置に必要な視野を確保し、かつ薄型の指静脈認証装置を実現することが可能になる。
以上、本発明について複数の実施形態を用いて説明した。もちろん、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD(Digital Versatile Disc)等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
本発明は、撮像装置、及び撮像方法に限られず、撮像システム、現像方法、コンピュータ読み取り可能なプログラム、画像処理回路、指静脈認証装置、指静脈撮像装置、指静脈認証方法などの様々な態様で提供できる。