JP2010092148A - 画像入力装置及び個人認証装置 - Google Patents

Abstract

【課題】撮像面積の小さい安価な撮像素子を使用し、非常に接近した被写体の広い範囲を撮像し、高品質な被写体画像を入力する小型・薄型の画像入力装置と、それを用いた小型・薄型の個人認証装置を実現する。
【解決手段】レンズアレイ３の各レンズによる被写体の縮小像(個眼像)の集合である複眼像を撮像素子６で撮像し、像補正処理部102で、複眼像の各個眼像に対し歪曲及び周辺光量低下の補正を施す。再構成処理部110で、像補正後の複眼像から、個眼像間の相対視差を利用して高解像度の単一画像を再構成し、同画像を被写体画像として入力する。
【選択図】図１

Description

本発明は、小型・薄型化が容易な画像入力装置及び個人認証装置に係り、より詳しくは、個人認証に利用するために指静脈などの生体内部の被写体の画像を入力する用途に好適な画像入力装置とそれを利用した個人認証装置に関する。

近年、携帯電話やノートパソコンなど、さまざまな情報機器に個人認証装置の搭載が求められるようになっている。そして、それら情報機器の小型・軽量化が進む中、個人認証装置にも更なる小型・薄型化が要求されている。

例えば、特許文献１と特許文献２に、指静脈を利用する個人認証装置が開示されている。これら個人認証装置は、単眼の光学系を用いるため、光学結像関係に基づいて被写体距離や撮像距離が制限され、薄型・小型化に限界がある。

特許文献３に小型・薄型の画像入力装置が開示されている。指静脈を利用する個人認証装置を薄型化しようとする場合、装置に非常に接近した指静脈を被写体として撮像する必要がある。しかし、そのような非常に接近した被写体を撮像する場合について特許文献３には何ら言及がない。

非常に接近した被写体の撮像を考慮した装置の例が、特許文献４と特許文献５に開示されている。

なお、特許文献６には、単眼光学系により取得した複数枚の画像において、光学系と直交した面内での被写体とカメラとの相対位置ずれを検出し、この相対位置ずれを利用して高解像度の被写体画像を再構成する超解像度処理が開示されている。

特開2004-272821号公報 特開2005-092375号公報 特許第3705766号公報 特開2008-036058号公報 特開2008-97327号公報 特許第3773563号公報

例えば指静脈を利用する個人認証装置の場合、装置を薄型化しようとすると、被写体である指静脈を非常に接近した状態で撮像しなければならない。また、指静脈は比較的まばらに存在するので、認証精度を確保するために、指のできるだけ広い領域から多くの血管パターンを撮像したいという要請もある。

特許文献４に開示された装置では、レンズアレイを用いて、その光学的位置関係を規定することにより、装置の薄型化を図りながら、装置に接近した被写体の撮像を可能としている。しかし当該装置では、レンズとセンサの画素とが１対１の関係にあるため、観察したい被写体領域のサイズとほぼ同じサイズの撮像面積が必要になる。静脈認証での認証精度確保のためにできるだけ広い被写体領域から多くの血管パターンを撮像しようとすると、大きな撮像面積を有する撮像素子が必要となる。大きな撮像面積を有する撮像素子は、近年の撮像素子の小型化・微細化の傾向に反し高価であり、装置コスト上昇要因となる。

特許文献５に開示された装置では、レンズアレイを用いて被写体の縮小像の集合からなる複眼像を撮像するので、撮像面積の小さい撮像素子を用いて、非常に接近した指静脈などの被写体の広い範囲を撮像することが可能である。しかし、被写体の広い範囲を撮像する場合、被写体を大幅に縮小して撮像することになるため撮像される被写体画像の品質が悪いという問題がある。

本発明は、以上の諸点に鑑み、指静脈などを利用する個人認証装置の被写体画像入力手段として好適な改良された画像入力装置を提供することを目的する。より具体的には、撮像面積の小さい安価な撮像素子を使用して、非常に接近した指静脈などの被写体の広い範囲を撮像し、高品質な被写体画像を入力可能であり、かつ、全体を小型・薄型化することが可能な画像入力装置を提供することを目的とする。また、そのような画像入力装置を利用した認証精度の良い小型・薄型の個人認証装置を提供することを目的とする。

請求項１の発明は、
複数のレンズをアレイ配列してなるレンズアレイ、
前記レンズアレイを通過する光線のクロストークを防止するための手段、
前記レンズアレイの各レンズにより略結像される、被写体の縮小像(個眼像と呼ぶ)の集合である複眼像を撮像するための、前記レンズアレイの像面側に設けられた撮像素子、
前記撮像素子により撮像された複眼像の各個眼像に対し歪曲及び周辺光量低下の補正を施す第１の処理手段、
及び
前記第１の処理手段により補正を施された後の複眼像から単一画像を再構成する第２の処理手段を有し、前記再構成された単一画像を被写体の画像として入力することを特徴とする画像入力装置である。

このような構成の画像入力装置は、撮像素子の撮像面積を増大させることなく、かつ、装置を薄型化しつつ、非常に接近した被写体(例えば指静脈)の広い範囲を撮像することができる。被写体の撮像範囲(視野)を広げるためには被写体を大幅に縮小して撮像することになるが、このような条件では各レンズによる像すなわち個眼像の歪曲や周辺光量低下による像劣化が顕著になる。しかし、複眼像の各個眼像に対し、そのような歪曲及び周辺光量低下の補正が施され、この補正後の複眼像から単一画像が再構成されるため、歪曲及び周辺光量低下の影響を除去した高品質な被写体画像を入力可能である。

請求項２の発明は、請求項１の画像入力装置において、レンズアレイの被写体に対向する面及び撮像素子に対向する面に対になるようにレンズ面を形成したことを特徴とするものである。

レンズアレイのレンズのバックフォーカスを短くすると、光学倍率の低下により広い視野を撮像可能となるが、その反面、レンズに強いパワーが求められる。強いパワーを持つレンズ面は急峻で加工が困難である。請求項２の発明によれば、各レンズのパワーを２つに分散し、各レンズ面のパワーを低減するため、比較的加工が容易なレンズ形状で広い視野を確保することができるようになる。

請求項３の発明は、請求項１の画像入力装置において、レンズアレイの被写体に対向する面に形成されたレンズ面又は撮像素子に対向する面に形成されたレンズ面、あるいは、その両方のレンズ面を、回折型レンズ面としたことを特徴とするものである。

レンズアレイの各レンズを屈折型レンズ面のみで構成する場合、被写体の広い領域を撮像しようとするとレンズ面の曲率半径が小さくなり、レンズアレイの製作の難易度が高くなる。請求項３の発明によれば、被写体に対向するレンズ面及び/又は撮像素子に対向するレンズ面を回折型レンズ面とするが、回折型レンズ面は構造の周期により光の向きを変化させるものであるため、屈折型レンズ面のように曲率半径を小さくする必要がなく、よって、レンズアレイの製作の難易度を下げることができる。

請求項４の発明は、請求項２の画像入力装置において、レンズアレイの被写体に対向するレンズ面と撮像素子に対向するレンズ面がともに被写体方向に対して負のパワーを有することを特徴とするものである。

このように両方のレンズ面に被写体方向に対して負のパワーを持たせると、光線がレンズに入射する角度の違いによる結像位置や広がりの差異を抑えることができるため、第１の処理手段において個眼像に対する歪曲及び周辺光量低下の補正をより確実に行うことが可能となり、したがって、より高品質な被写体画像を入力可能となる。

請求項５の発明は、請求項４の画像入力装置において、レンズアレイの被写体に対向するレンズ面の有効径を撮像素子に対向するレンズ面の有効径より大きくしたことを特徴とするものである。かかる構成は広い視野の確保に有利である。

請求項６の発明は、請求項４の画像入力装置において、レンズアレイの撮像素子に対向するレンズ面のパワーを、被写体に対向するレンズ面のパワーより大きくしたことを特徴とするものである。かかる構成は、レンズ面の光線入射角に対する光学特性の差異を抑制することができるため、被写体画像の高品質化に有利である。

請求項７の発明は、請求項１の画像入力装置において、クロストークを防止するための手段は、前記レンズアレイと撮像素子との間に設けられた遮光部材と、前記レンズアレイのレンズ有効径以外の領域に形成された、被写体側から入射する光を透過させない膜とからなることを特徴とするものである。

レンズアレイの各レンズを通過する光線のクロストークを防止する手段として、レンズアレイの被写体側にレンズに対応した開口もしくは孔をあけた遮光部材を配置するほうが、像品質の面では有利であるが、その反面、視野を制限してしまうという問題がある。これに対し、請求項７の発明のような構成によれば、視野制限の問題を回避することができ、また、像品質については個眼像に対する歪曲・周辺光量低下の補正によって補償するので格別不利とはならない。

請求項８の発明は、
請求項１乃至７のいずれか１項の画像入力装置、
及び
前記画像入力装置による入力画像、又は該入力画像より抽出される特徴と予め登録された個人データとを比較・照合する手段を有することを特徴とする個人認証装置である。

このような構成によれば、画像入力装置によって、接近した指静脈などを広い範囲について撮像し、高品質な静脈画像を入力することができるため、高精度な個人認証を行うことが可能であり、また、画像入力装置は容易に小型・薄型化することができる。よって、指静脈などを利用し高精度の個人認証が可能な、小型・薄型の個人認証装置を実現することができる。

以上に説明したように本発明によれば、撮像面積の小さい安価な撮像素子を使用して、非常に接近した指静脈などの被写体の広い範囲を撮像し、高品質な被写体画像を入力可能であり、かつ、全体を小型・薄型化することが可能な画像入力装置、ならびに、かかる構成の画像入力装置を使用し、認証精度の良い小型・薄型の個人認証装置を提供することができる等の効果を奏することができる。

図面を参照し、本発明の実施形態について説明する。本発明の画像入力装置は生体内部の被写体の画像を入力する目的に好適であるが、ここでは、被写体として指の内部の血管を撮像するものとし、入力した画像を個人認証に利用するものとして説明する。

図１は本発明の実施形態を説明するための装置構成図である。図１において、１は人の指であり、指先方向から見た様子が模式的に示されている。２は指１の内部に存在する血管を模式的に表し、これが被写体となる。

３は被写体像を結像させるためのレンズアレイで、複数の非球面単レンズがその光軸と略直交する平面内に二次元的にアレイ配置されたものである。なお、レンズアレイ３を構成する各レンズとして、片面又は両面が球面のレンズや両面とも非球面のレンズを用いてもよく、またフレネルレンズのような回折型のレンズを用いることもできる。２aはレンズアレイ３を構成する１個のレンズによる観察領域を表しており、２bは観察領域内で隣接するレンズが共有する観察領域を表している（観察領域及び共有領域については後述する）。４は、レンズアレイ３の各レンズを通過する光線の像面上でのクロストークを防止し、ゴーストやフレアなどのノイズ光を抑制するための遮光部材である。また、６は撮像素子である。

図２は、レンズアレイ３と遮光部材４からなる撮像光学系を、上方から、すなわち被写体側から観察した図である。図２に見られるように、遮光部材４は平板に矩形の孔をあけたもので、各矩形孔の一辺の長さはレンズの有効径と略一致するか直径より大きくなっている。各矩形孔のサイズが、１個のレンズによる像（個眼像）のサイズとなる。

レンズアレイ３を構成する各レンズは円形であるので、被写体からの光がレンズの有効範囲と遮光部材４の矩形孔との隙間から、撮像素子６の撮像面に入射することを防止するために、レンズアレイ３の撮像側の面におけるレンズ有効径以外の部分に、被写体側から入射する光を反射する(少なくとも透過させない)膜５が形成されている。この膜５は金属薄膜(たとえばクロム薄膜)をレンズアレイに蒸着したり、不透明な樹脂をレンズアレイに印刷したりして形成できる。遮光部材４と膜５とで、レンズアレイ３の隣接レンズ間でのクロストークなどによるフレア光を除去するための遮光手段を構成している。

レンズアレイ３は透明の樹脂やガラスを材料として、リフロー法や面積階調マスク法、研磨法などの加工法、あるいは、それらの加工法で作製した型を用いた成形加工法などで作製することができる。

遮光部材４は、樹脂、ガラス、金属などを材料とした平板に、エッチングやドリル加工、レーザ加工等で孔をあけることにより作られる。エッチングやレーザ加工を用いると、遮光部材４のレンズ光軸方向への高さに制約がある場合があるが、その場合は薄く製作した遮光部材をレンズ光軸方向に重ねて接着することにより高さを確保すればよい。遮光部材４の材料に不透明材料を用いたり、透明材料にコーティングを施したりすることにより、光の透過や反射を抑制できる。

レンズアレイ３による像を撮像するための撮像素子６は、撮像面に多数の画素６aが二次元的にアレイ配置されたものである。この撮像素子として一般的なCMOS撮像素子やCCD撮像素子を用いることができるが、これに限られるものではない。

CMOS撮像素子等には撮像面を保護するためのカバーガラスが設置されているものがあるが、ここではカバーガラスがないものとする。カバーガラスが設けられた撮像素子を用いてもよいが、その場合は、カバーガラスによる光の屈折の影響を考慮して、レンズアレイ３の形状、位置を設計する必要がある。また、エイリアジング防止のための光学的なローパスフィルタが撮像面付近に設けられた撮像素子もあるが、ここでは後述の超解像処理のためにローパスフィルタは設けていないものとする。

遮光部材４との接触による撮像面の損傷を防止するため、遮光部材４は撮像面から僅かに浮かせた状態でレンズアレイ３とともに筐体７で保持されている。ただし、カバーガラスで撮像面が保護されている場合は、遮光部材４をカバーガラス面に接触させて配置してもよい。

図１の構成では、撮像素子6の撮像面はレンズアレイ３と筐体７とにより密閉されるため、外部からゴミ等が混入して撮像面に付着することはない。遮光部材４が撮像面から僅かに浮いているため、遮光部材底面と撮像面との間の空間を光が通過して光線のクロストークが生じないように、撮像面と平行な方向の面内でのレンズアレイ３のレンズのピッチが設定されている。

コントラストの高い鮮明な被写体像を撮像できるようにするため、指１に光を照射するための光源としての発光ダイオード(LED)８が設けられている。このLED８としては、生体に対する吸収率が低い近赤外帯などの、生体組織に透過率を有する波長の光を発するものが用いられている。ここでは、図２に見られるように、レンズアレイ３の周囲を取り囲むように複数のLED８が配置されている。

９はLED８の駆動部である。装置の電源のON・OFFと連動させて駆動部９でLED８の発光・消光を行わせるようにしてもよいが、装置電源がONしている時に常にLED８を発光させるのは安全上望ましくない。望ましくは、指１を検知するスイッチを装置に設け、このスイッチにより指が検知されている期間のみ駆動部９でLED８を発光させるような構成とするとよい。

１０は指１を接触させて、そのレンズ光軸方向における位置を規定するための平板である。ここでは、平板10は少なくとも指に照明する近赤外光に対して透過率を有するガラスや樹脂などの材料からなる。平板10の下面つまり撮像面に対向する側の面には、指に照射される光の波長近傍の光を通過させるバンドパスフィルターとして作用する光学薄膜が蒸着されている。かかる構成により、指内部を通過した光のみを用いて被写体像を撮像し、コントラストの高い高品質な画像を取得することができる。

ここでは、平板１０とレンズアレイ３との間に空気の層11を介在させている。この空気の層11に空気以外の気体を充填したり、あるいは真空にしたりしてもよい。また、層11のような層を設けず、平板10をレンズアレイ３と密着させて設けるようにしてもよい。なお、層11を設ける場合は、平板10の厚み、層11の厚み及びレンズアレイ３の厚みから、レンズアレイ３を構成する各レンズの主平面から被写体までの距離、すなわち被写体距離が規定される。平板10とレンズアレイ３を密着させる場合は、平板10の厚みとレンズアレイ３の厚みとから被写体距離が規定される。

図１のように、レンズアレイ３を構成する個々のレンズの略主平面から被写体までの距離をａ（被写体距離）、レンズアレイ３を構成する個々のレンズの略主平面から撮像面までの距離をｂ（像面距離）とすると、ａとｂとの比からレンズの光学倍率が概ね決まる。

認証を受けようとする人または個人データを登録しようとする人は、その指１を平板10及び筐体７に接触させ、血管パターン像を読み取らせる。この指１にLED８の発した近赤外光が照射される。近赤外光は生体に対して透過率を有するが、血液中の還元ヘモグロビンで吸収を受けることが知られている。指１に照射された近赤外光は生体内部で透過散乱するが被写体である血管２で吸収されるため、血管の部分が暗い血管パターン(静脈パターン)が被写体像としてレンズアレイ３の各レンズに観察されることになる。そして、このような被写体像は、レンズアレイ３の個々のレンズによる縮小像(個眼像)の集合である複眼像として撮像素子６の撮像面に結像(略結像)され、撮像される。

なお、図１では、LED８から発した光は真上方向へ出射されるが、適正なコントラストの血管パターン像が得られるように、指１の中心へ向けて、あるいは、指１の側面へ向けて斜め上方へ出射させるようにしてもよい。LED８の発した光の効率的に指１に照射するため、指１とLED８との間の光路に図１に示すようにレンズを設けてもよい。

図３に被写体像と撮像される複眼像を模式的に示す。図３(a)はレンズアレイ３に観察される被写体像であり、12は血管パターン(静脈)パターンである。図３(b)は撮像される複眼像である。この複眼像において、13はレンズアレイ３の個々のレンズによる像すなわち個眼像であり、14は遮光部材４による影の領域である。この影領域14は複眼像から単一画像への再構成には寄与しない無効領域である。

さて、レンズアレイ３の各レンズによる観察領域(図１の２a)は相互にずれており、また、隣接したレンズによる観察領域が重なりある共有領域(図１の２b)が生じる。レンズアレイ３の個々のレンズによる観察領域のサイズｓ、隣接するレンズ間での観察領域のずれ（視差）Δ及び共有領域のサイズｗは、レンズ直径ｄ、レンズエッジから遮光部材4の壁までの距離ｅ、レンズピッチｐにより次の（１）〜（３）式により決まる。
ｓ＝a・(d＋2・e)／b （１）
Δ＝a・p／b （２）
ｗ＝s−(p＋2・e) （３）

ここで、被写体サイズをｕ、撮像面サイズをｘとすると、レンズアレイ３を構成するレンズのうち、撮像面の最外部分に対応するレンズの視野と撮像面サイズｘとの和（図１でレンズアレイの一番左にあるレンズの視野の半分と一番右にあるレンズの視野の半分と撮像面サイズｘとの和）が、被写体サイズｕより大きければ、サイズｕより小さい撮像面を持つ撮像素子でサイズｕまでの被写体を撮像可能となる。したがって、次の（４）式の関係を満たすように、遮光部材４の矩形孔のサイズｇと像面距離ｂを決めることにより、要求される被写体サイズや装置厚みを確保する。
g×a／b＋x≧u （４）

ここでは、遮光部材４のレンズ光軸方向への高さにより像面距離ｂを略規定している(該高さをｂと略一致させている)。この場合、レンズの結像関係は必ずしも成立する必要はなく、レンズのカットオフ周波数が、要求される被写体の周波数を下回らない範囲で、上記（４）式に基づき指の位置を規定できるように平板10の位置(距離ａ)と遮光部材４のレンズ光軸方向の高さを規定する。

さて、図１に示すように、平板10とレンズアレイ３の間に空気の層11(あるいは他の気体を充填したり真空にした層)を設けた場合、それを設けない場合よりレンズの視野が拡大される。これについて図４で説明する。

図４において、(a)は空気層がなくレンズから被写体までの空間がレンズ材質で充填されている場合の光線の様子を示している。(b)は空気の層11がある場合の光線の様子を示している(実線)。空気の層11での屈折の効果により、(a)で観察されるレンズの視野s’に対し、(b)で観察される視野ｓが大きくなっていることがわかる。このように、空気の層11を設けることにより、撮像面の最外部分に対応するレンズの視野と撮像面サイズｘとの和で決定される撮像可能な被写体サイズを拡大することができる。また、同じ視野を確保するためのレンズの略主平面から被写体距離ａを短くでき、その分だけ、画像入力装置を薄くすめことができる。また、被写体距離ａを一定にした場合、レンズアレイ３の各レンズの視野角を減じることができ、その分だけ像品質の低下を抑制できる。

なお、血管パターン(静脈パターン)を利用する個人認証では、レンズアレイと、被写体となる血管(静脈)との間には皮膚が介在し、皮膚の厚みには個人差があるため、レンズアレイから血管までの距離、すなわち被写体距離が変化する。したがって、血管がレンズアレイに最も近づいて光学倍率が高くなった場合を想定し、上記（４）式の関係を考慮する必要がある。

ここまで複眼光学系と撮像素子とからなる複眼撮像系について説明した。次に処理系について説明する。本実施形態に係る装置の処理系には、前処理部101、像補正処理部102、視差検出部107、単一画像再構成処理部110、登録/認証切替部111、個人データ登録部112及び認証処理部113から構成される。像補正処理部102は、周辺光量低下補正部103と光量補正データ記憶部104、歪曲補正部105と歪曲補正データ記憶部106から構成される。視差検出部107は、視差推定用個眼像抽出部108と視差推定演算部109から構成される。なお、前処理部101から単一画像再構成処理110までは画像入力装置を構成する要素である。登録/認証切替部111、個人データ登録部112及び認証処理部113は個人認証装置に固有の要素である。

前処理部101は、撮像素子６により撮像された複眼像のデータを取り込み、その複眼像を所定の閾値で二値化することにより遮光部材４の影に相当する領域を検出し、この影領域を除去した個眼像を抽出する。

さて、装置の薄型化を図ろうとすると、被写体距離ａも短くする必要がある。被写体距離ａが小さくなるほど、レンズアレイ３の各レンズに入射する光線の入射角度（レンズ光軸に対する角度）が大きくなる(このことは図５の(a)と(b)を比較すれば明らかである)。そして、この入射角度の増大は、歪曲収差、並びにcos4乗則に基づく像周辺光量の低下の増大を招く。その結果として、撮像された複眼像を構成する個眼像は、歪曲収差と周辺光量の低下の影響を大きく含んだ像となる。図６において、(a)は画像シミュレーションで被写体として用いる正方格子像を示し、(b)は歪曲収差及び周辺光量の低下を大きく含んだレンズアレイにより撮影した正方格子像のシミュレーション結果を示す。後述の単一画像再構成処理により図６(b)の複眼像から再構成される単一画像は、図６(c)に示すような歪曲及び周辺光量低下を含み、かつメッシュ状のノイズを含んだ像となる。

このような歪曲、周辺光量低下及びメッシュ状ノイズを含んだ像を個人認証に用いると、SN比の低下及びノイズパターンの影響により認証精度の低下を招くことになるため、本発明では、前処理部101で抽出された各個眼像に対し、像補正処理部102で歪曲の補正と周辺光量低下の補正を施すことにより、歪曲収差や周辺光量低下の影響が除去された個眼像からなる複眼像を得る。

より具体的に説明する。まず、周辺光量用の低下の補正についてであるが、レンズの設計データから光線追跡シミュレーションにより、個眼像を構成する各画素に相当する位置での光量の低下率が光量補正データとしてあらかじめ求められ、これが光量補正データ記憶部104に記憶されている(なお、当該画像入力装置又は同様の別装置を用い、被写体を設置せず、均一な面内照度を有する光を照明したときの複眼像をあらかじめ取得し、この複眼像の各画素の輝度値に基づくデータを光量補正データとして用いてもよい)。周辺光量低下補正部103では、前処理部101で抽出された各個眼像について、各当画素の輝度値を光量補正データとして記憶されている当該画素位置での光量低下率で除すことによって光量の低下を補正する。このような補正を、全ての個眼像における全ての画素について施すことにより、周辺光量低下の影響が除去された個眼像からなる複眼像を得られる。

歪曲収差の補正についてであるが、レンズの設計データから光線追跡シミュレーションにより、個眼像を構成する各画素に相当する位置での収差量（理想的な位置からのずれ）が歪曲補正データとしてあらかじめ求められ、これが歪曲補正データとして歪曲補正データ記憶部106に記憶されている。歪曲補正部105では、その歪曲補正データを用いて、周辺光量低下が補正済みの各個眼像に対し、図８に示すように、各画素の輝度値を歪曲収差を打ち消すように正しい位置に移動させることにより歪曲収差の補正を施す。正しい位置の座標値が小数点を含む場合は、小数点に伴う割合に応じて隣接する画素に輝度値を分配する。個眼像を構成する全画素について、上記輝度値の正しい位置への移動処理を繰り返すことで、歪曲収差の影響を除去した個眼像が得られる。かくして、周辺光量の低下及び歪曲収差の影響を除去した複眼像を得ることができる。

さて、皮膚厚さ等に個人差があることから、被写体距離は認証者によって変化し、それに伴いレンズの観察領域及びその共有領域のサイズも変化する。観察領域及び共有領域のサイズは、取得した複眼像における隣接した(あるいは近在する)個眼像間での相対視差として求めることができる。視差検出部107は、この視差の検出処理を行う。

視差検出部107において、まず視差推定用個眼像抽出部108で、像補正処理後の複眼像から視差推定に用いるための２つの個眼像を抽出する。抽出される個眼像には血管パターンが含まれていなければならない。血管パターンがある領域は光が撮像面に到達して明るく、血管パターンがある領域は暗くなるため、適当な閾値を用いて個眼像を二値化することにより容易に血管パターンを検出できる。遮光部材の影部分の明るさと血管パターンの明るさは異なることが多いため、遮光部材の影の除去のための二値化閾値と血管パターン検出用の二値化閾値は異なるものを用いてもよい。また、個眼像ごとに明るさが異なる場合があるため、個眼像を構成する画素輝度の平均値を当該個眼像のための閾値として用いるなどして、個眼像ごとで異なる閾値を用いるようにしてもよい。視差推定のための２つの個眼像は、場所が離れると共有領域が全くなくなる恐れがあるため、なるべく隣接したレンズによる２つの個眼像を抽出したほうがよい。ただし、両方に血管パターンが含まれる隣接した個眼像のペアが見つからない場合は、隣接しない２つの個眼像を抽出してもよい。

抽出された視差推定用の個眼像は視差推定演算部109に転送される。視差推定演算109では、その２つの個眼像間の視差の推定演算を行う。例えば、特許文献５の段落(0048)〜(0050)に記載されているように、一方の個眼像をｘ，ｙ方向にシフトしたものと、もう一方の個眼像との間の輝度偏差をとり、その二乗和を求める計算を、シフト量を変化させながら繰り返し、輝度偏差の二乗和が最小となったｘ，ｙ方向のシフト量をｘ，ｙ方向の視差とするような演算を行う。もちろん、特許文献６の段落(0087)〜(0093)に開示されているような推定処理を適用してもよい。そして、求めた２つの個眼像間の視差と、レンズアレイのレンズピッチで規定される個眼像の位置関係に基づき、複眼像を構成する全ての個眼像について相対視差を推定する(例えば特許文献５の段落(0050)〜(0051)参照)。すなわち、レンズアレイのピッチ誤差が推定される視差に対して十分小さければ、上述のように２つの個眼像から求めた視差と、レンズアレイのレンズピッチで規定される個眼像の位置関係に基づき、複眼画像を構成する全個眼像の相対視差を算出することができる。レンズアレイの加工にエッチングやそれに類する加工法を用いる場合、エッチングに用いるマスク作製時のステージ送り誤差がレンズアレイのピッチにつながるが、レンズアレイの有効レンズ領域は撮像素子の撮像面積と同程度であり、ステージ送り誤差の影響を受けるほど大きくないため、レンズアレイのピッチ誤差は十分小さいとみなすことができる。したがって、２つの個眼像間での視差に基づき全個眼像の視差を推定しても問題は生じない。ただし、プラスチック成形における膨張や収縮など、レンズアレイ加工時に比較的大きいピッチ誤差要因がある場合は、基準となる１つの個眼像を抽出し、画像領域内に血管パターンが含まれる全ての個眼像で上述の視差推定演算を行い、また画像領域内に血管パターンが含まれない個眼像は近い領域にある個眼像の視差と位置関係に基づき視差を算出することにより、全個眼像の相対視差を求めることになる。

単一画像再構成処理部110では、視差検出部107により求められた視差を利用し、像補正後の複眼像から高解像度の単一画像を再構成する。再構成された単一画像が画像入力装置による入力画像に相当する。

この単一画像の再構成処理には公知の方法を利用することができる。例えば、特許文献５の段落(0052)〜(0054)に記載されているように、メモリ上に再構成画像空間を用意し、個眼像の画素輝度を、再構成画像空間上の個眼像の位置及び視差に応じて決まる位置に配置する操作を、全個眼像の全画素について繰り返すことにより再構成画像空間上に単一画像を得る方法を利用することができる。また例えば、特許文献６の段落(0094)〜(0128)に示された方法を適用することもできる(ただし、個眼像を低解像度画像と、複眼像から再構成した単一画像を高解像度画像と、それぞれ読み替えて読み替え適用する)。それらの超解像処理は、複数の低解像度画像とそれらの相対視差を利用して、低解像度画像における撮像素子のナイキスト周波数を超える周波数成分を復元するため、レンズアレイによる複眼化、つまり光学系薄型化に伴う光学倍率の縮小により、解像度が低くなった個眼像に比べ解像力を向上させた単一画像を再構成できる。そして、再構成処理に利用される複眼像の各個眼像からは歪曲及び周辺光量の影響があらかじめ除去されているため、歪曲と周辺光量の低下の影響を除去した単一画像を得ることができる。

なお、特許文献６の方法では、単眼の光学系により取得した複数枚の画像において、光学系と直交する面内での被写体とカメラとの相対位置ずれを検出し、それを利用して再構成しているが、本発明ではレンズアレイを用いた複眼像を利用する。レンズアレイの各レンズによる像(個眼像)は、被写体との位置関係が異なり相対的なずれがあるため、特許文献６において複数枚取得した画像と同様に扱うことができる。また、引用文献６では、視差が撮像素子の１画素より小さくなる場合を説明しているが、本発明では、被写体が撮像光学系に近接して存在するため、隣接個眼像間の視差が１画素より大きくなる、すなわち隣接個眼像間で被写体像を共有しない画素が生じる場合がある。特許文献６の処理は複数枚の画像の全画素が被写体像を共有することを前提としており、被写体像を共有しない画素ではノイズを生じさせるため、推定した視差を利用して被写体像を共有しない画素を求めておき、共有しない画素に対しては広帯域補間や重み積算は行わないようにする必要がある。

また、視差が大きくなり、個眼像間で被写体像を共有する領域が小さくなる場合は、超解像効果を見込まず、以下に示す個眼像のつなぎ合わせ処理を実行したり、推定した視差の大きさに応じて超解像処理とつなぎあわせ処理を選択したりすると、処理のためのメモリの削減や演算時間の短縮につながる。

ここで、個眼像のつなぎ合わせ処理とは、図８に模式的に示すように、隣接する個眼像を共有する領域を重ねて繋ぎあわせていく処理である。図８において、上段に複眼像を示し、中段に、複眼像から抜出して上下・左右反転した2つの個眼像(1)(2)を示す。個眼像(1)(2)の四角で囲んだ領域が共有領域を表しており、この共有領域がほぼ重なるように個眼像(1)と個眼像(2)を繋ぎあわせる。繋ぎあわせ後の画像を図８の下段に示す。より具体的には、被写体距離に応じて隣接する個眼像間で共有する領域が変化するため、検出した視差、あるいは視差から算出した被写体距離により、隣接する個眼像間での共有領域を算出する。隣接する個眼像の一方の個眼像における共有領域は有効とし、他方の個眼像における共有領域は無効として、有効な領域を繋ぎあわせていく。全個眼像の有効領域を繋ぎあわせると単一像を再構成できる。

上に述べたような超解像処理の効果を見込むには、撮像素子に取り付けたローパスフィルタやレンズアレイを構成する各レンズのカットオフ周波数などの帯域制限を取り除く必要があるため、前述したように撮像素子にはローパスフィルタを設けず、また装置で狙いとする空間周波数（撮像素子のナイキスト周波数より高い周波数）に対してカットオフ周波数が高くなるように、光学系を設計しておく必要がある。しかし、超解像効果を見込まない場合はそのような考慮は必要としない。

なお、以上では全個眼像に対して歪曲及び周辺光量低下の低下の補正処理を実行してから単一画像への再構成を行ったが、補正処理も再構成処理も各画素にアクセスしてマッピングする処理であるため、補正と再構成を同じ処理内で実行することも可能である。

次に、個人認証に直接関わる構成について説明する。この装置は、登録/認証切替部110で動作モードを登録モード又は認証モードに切り替えることができる。個人認証のためのデータを登録する場合、登録モードに切り替えた状態で、該当者の指を図１に示すようにセットして指の内部の血管パターンを撮像させる。そして、個人データ登録部112において、単一画像層再構成処理部110により再構成された単一画像そのもの、あるいは、単一画像から抽出した血管走行の分岐点座標などの特徴を、個人データとしてデータベースに登録する。

個人認証を行う場合、認証モードに切り替えた状態で、該当者の指を図１に示すようにセットして指内部の血管パターンを撮像させる。そして、認証処理部113において、単一画像再構成処理部110で再構成された単一画像、又は、それから抽出した血管走行の分岐点座標などの特徴と、個人データ登録部112のデータベースに登録されている個人データとの比較・照合により個人認証を行う。

ここで、被写体の解像力は、撮像素子のナイキスト周波数と被写***置での光学倍率との積になる。皮膚厚みの個人差により被写体距離は変動するが、被写体距離が長くなるにつれ光学倍率が低下し、その分解像力が低下していく。解像力の低下に伴い認証に用いる血管パターンが少なくなるので認証精度が低下する。このようなことから、認証精度、認証のしやすさの個人差が生じる。本発明では、被写体距離が長くなるにつれて小さくなった（サンプリングが高密度化した）個眼像間での相対視差を用いた上述の超解像処理により、解像力の低下を補償することで、被写体距離に伴う解像力変動を抑制し、認証精度、認証のしやすさの個人差を抑えることができる。

図９は、レンズアレイ３を構成するレンズの形態を説明するための模式図である。図９において、(a)は片側のみレンズ面をもつ形態を表している。(b)はレンズアレイの被写体側のレンズ面及び撮像側のレンズ面が対となってレンズを構成し、両レンズ面とも被写体側に負のパワーを有する形態を表している。薄型化したいレンズではレンズに大きなパワーが要請され、その分サグ量が大きくなる。サグ量が大きい面や急峻な面は加工が困難である。図９(b)に示すような形態では、面のパワーを２つに分散でき、面の曲率を小さくできる。したがって、(a)の形態におけるレンズのサグ量z’に比べ、(b)の形態におけるサグ量zを小さくでき、レンズアレイの加工が容易になる。

図９(b)の形態において、広い視野を確保したい場合には被写体側の面の無効領域によって光線がケラレないように、被写体側のレンズ面の有効径を像側のレンズ面の有効径より大きくするとよい。また、被写体側のレンズ面のパワーに対して像面側のレンズ面のパワーを大きくすると、レンズへの光線入射角の違いによる光学特性の差異を抑制することができる。

レンズアレイ３の形態について、図１０を参照しさらに説明する。図１０(a)は、像側に凸の屈折型レンズ面を有し、被写体側にレンズ面を有しない(平面である)レンズアレイの形態と、このレンズアレイを用いた場合の光線の伝播の様子を示している。

図１０(b)は、像側に凸の屈折型レンズ面を有し、被写体側に回折型レンズ面(回折面)を有するレンズアレイの形態と、このレンズアレイを用いた場合の光線の伝播の様子を示している。レンズアレイに入射する光線は回折面により曲げられるため、より広い被写体の範囲（視野）から光線を取り込むことができ、画像入力装置の薄型化と広視野化の両立を図る上で有利である。回折面の形状の例を図１０(c)に示す。図１０(c)から、光軸からレンズ高さに応じて形状変化の周期が小さくなる様子がわかる。回折面による光学特性は入射光線の波長に依存するため、多波長の光を利用すると波長分散による像の品質劣化が生じるが、近赤外線等の特定波長の光を照射して、照射光の波長に応じた回折面形状を設計すれば、波長分散の影響を抑制することができる。また、波長選択フィルタにより特定波長の光のみ像面に到達できるようにすれば、多波長の光を利用する場合であっても、波長分散の影響を抑制することができる。

なお、図１０(b)の例では、被写体に対向する側のレンズ面のみ回折面により形成したが、レンズアレイの加工のしやすさや要求特性などに応じて、像面に対向する側のレンズ面を回折面により形成してもよいし、あるいは、被写体側及び像面側の両方のレンズ面を回折面により形成してもよい。

本発明の実施形態を説明するための装置構成図である。 被写体側から観察したときの装置構成を模式的に示す図である。 被写体像とその複眼像を説明するための模式図である。 平板とレンズアレイとの間に空気の層を介在させることにより視野が拡大される様子を説明する図である。 装置の薄型化のために被写体距離を短縮するとレンズへの光線入射角が増大する様子を示す模式図である。 歪曲と周辺光量低下を含んだ複眼像及びその再構成像のシミュレーション結果を示す図である。 個眼像の歪曲補正の説明図である。 個眼像を共有領域を重ねるように繋ぎあわせて単一画像を再構成する方法の説明図である。 レンズアレイのレンズの形態を説明するための図である。 レンズアレイに回折型レンズ面を形成する形態を説明するための図である。

符号の説明

１ 指
２ 血管(被写体)
３ レンズアレイ
４ 遮光部材
５ 遮光用の膜
６ 撮像素子
７ 筐体
８ 発光ダイオード(LED)
９ LED駆動部
10 平板
11 空気の層
101 前処理部
102 像補正処理部
103 周辺光量低下補正部
104 光量補正データ記憶部
105 歪曲補正部
106 歪曲補正データ記憶部
107 視差検出部
108 視差推定用個眼像抽出部
109 視差推定演算部
110 単一画像再構成処理部
111 登録/認証切替部
112 個人データ登録部
113 認証処理部

Claims (8)

1. 複数のレンズをアレイ配列してなるレンズアレイ、
   前記レンズアレイを通過する光線のクロストークを防止するための手段、
   前記レンズアレイの各レンズにより略結像される、被写体の縮小像(個眼像と呼ぶ)の集合である複眼像を撮像するための、前記レンズアレイの像面側に設けられた撮像素子、
   前記撮像素子により撮像された複眼像の各個眼像に対し歪曲及び周辺光量低下の補正を施す第１の処理手段、
   及び
   前記第１の処理手段により補正を施された後の複眼像から単一画像を再構成する第２の処理手段を有し、前記再構成された単一画像を被写体の画像として入力することを特徴とする画像入力装置。
2. 前記レンズアレイの被写体に対向する面及び撮像素子に対向する面に対になるようにレンズ面が形成されてなることを特徴とする請求項１記載の画像入力装置。
3. 前記レンズアレイの被写体に対向する面に形成されるレンズ面又は撮像素子に対向する面に形成されるレンズ面、あるいは、その両方のレンズ面を、回折型レンズ面としたことを特徴とする請求項１記載の画像入力装置。
4. 前記レンズアレイの被写体に対向するレンズ面と撮像素子に対向するレンズ面がともに被写体方向に対して負のパワーを有することを特徴とする請求項２記載の画像入力装置。
5. 前記レンズアレイの被写体に対向するレンズ面の有効径を撮像素子に対向するレンズ面の有効径より大きくしたことを特徴とする請求項４記載の画像入力装置。
6. 前記レンズアレイの撮像素子に対向するレンズ面のパワーを、被写体に対向するレンズ面のパワーより大きくしたことを特徴とする請求項４記載の画像入力装置。
7. 前記クロストークを防止するための手段は、前記レンズアレイと撮像素子との間に設けられた遮光部材と、前記レンズアレイのレンズ有効径以外の領域に形成された、被写体側から入射する光を透過させない膜とからなることを特徴とする請求項１記載の画像入力装置。
8. 請求項１乃至７のいずれか１項記載の画像入力装置、
   及び、
   前記画像入力装置による入力画像、又は該入力画像より抽出される特徴と予め登録された個人データとを比較・照合する手段を有することを特徴とする個人認証装置。

Images