JP2007328500A - 画像取得装置および個人認証システム、並びに、画像構成方法 - Google Patents

Abstract

【課題】画像取得装置の小型化を図ると共に、より適正な画像を形成する技術を提供する。
【解決手段】画像取得装置は、所定の解像度に対応する間隔で配置され、且つ、それぞれのセンサ面に対応するスライド面を滑る被写体の部分画像を共通のタイミングにて逐次的に読み取る複数のラインセンサを備える。画像取得装置は、相互に異なるラインセンサから取得された一対の部分画像間の相関度である第１の相関度を求める（S3）。また、第１の相関度に関連する単一のラインセンサから取得された複数の部分画像について、第１の相関度を求めた第１の部分画像と該第１の部分画像より後のタイミングにて取得された第２の部分画像との相関度である第２の相関度を求める（S5）。さらに、第２の相関度を第１の相関度に基づき評価し（S6）、この評価により有効とされた第２の相関度を求めた第２の部分画像により被写体画像の全体画像を形成する（S11）。
【選択図】図５

Description

本発明は、被写体である、例えば指と画像を読み取るセンサとの位置を相対的に移動させることにより、例えば指紋あるいは指の静脈等の画像を取得する画像取得装置、画像構成方法、及び、これらを用いた個人認証システムに関する。

近年、情報技術の著しい進歩によって電子商取引等の経済活動が普及するのに伴い、情報の不正使用を防止する目的から個人認証を電子化する必要性もまた増大している。そこで、鍵のように、携帯を必要とせず且つ利便性が高く、さらには遺失や盗難等による不正行使の恐れも少ない個人認証方式として、指紋や虹彩といった個人の体の一部を鍵として用いる生体認証が注目されている。

特に、携帯電話やＰＣを利用しようとするユーザに対し個人認証を行うために、それらに搭載可能な小型の個人認証装置が求められている。そのような小型の個人認証装置として、例えば、指スライド型の指紋センサが注目されている。この種の指紋センサに関する技術として、後述の特許文献１乃至３に記載のものがある。

特許文献１には、密着型ライセンサとロータリーエンコーダを用いた指紋画像入力装置が示されている。この指紋画像入力装置は、指のスライド速度をロータリーエンコーダで検出し、これに応じて画像取り込みタイミングを調整することで、歪みのない画像を得ようとするものである。

特許文献２には、ラインセンサを用いて取得した２ライン間の画像の類似度を計算し、これに基づいて指の全体画像を再構成する例が示されている。この指紋画像入力装置では、２つのラインのそれぞれが、指紋のラインデータを順次読み取って指紋全体分の画像データを採取する。また、比較対象となる２つのラインデータの類似度を求め、その類似度に基づいて、冗長ラインとみなされるラインデータを破棄する。

特許文献３には、２本のラインセンサが並行に配置された指紋画像入力装置が記載されている。この装置は、それぞれのラインセンサで得られた画像から両者間で一致する画像を検出することで指のスライド速度を計算し、その計算結果に基づいて全体画像を再構成する。
特開平４−１９０４７０号公報 特開２００３−２５６８１６号公報 特開２００２−２１６１１６号公報

しかしながら、上記特許文献１に記載の方法では、ロータリーエンコーダが必要とされることから、指紋入力装置を、携帯電話やキーボードに内蔵できるほど小型化することは困難である。

上記特許文献２の方法では、隣接する２ラインの相関を求める際に、閾値の設定が困難である。仮に、固定的な閾値を設定すると、指紋の場所ごとの相関の評価精度が劣化する。また、指のスライド速度が低下すると画像に伸びが生じるが、その伸びの程度は、全体画像において一様であるとは限らない。そのため、固定的な縮尺率を用いて全体画像の伸びを修正しても、適正に修正されず、結果、認証精度が劣化するおそれがある。

上記特許文献３の方法では、２本のラインセンサを少なくとも１ｍｍ間隔で配置する必要があることから、画像入力装置の小型化が困難である。また、２本のラインセンサを用いる技術にあっては、同一タイミングで入力された画像の組み合わせの中から、最も類似する組み合わせを検出する。しかしながら、指のスライド速度が遅い場合のように、各センサから連続して入力された画像が類似する場合、それらの中から適正な組み合わせを検出することは容易ではない。

本発明は、上記課題に鑑みてなされたものであり、画像取得装置の小型化を図ると共に、より適正な被写体画像を形成する技術を提供することを目的とする。

本発明に係る画像入力装置は、予め設定された解像度に対応する間隔をおいて配置され、且つ、それぞれのセンサ面に対応するスライド面上を該センサ面に対して相対的に移動する被写体に関する部分画像を共通のタイミングにて逐次的に読み取る複数のラインセンサと、相互に異なるラインセンサから取得された一対の部分画像間の相関度である第１の相関度を求める手段と、前記第１の相関度に関連する単一のラインセンサから取得された複数の部分画像について、前記第１の相関度を求めた第１の部分画像と該第１の部分画像より後のタイミングにて取得された第２の部分画像との相関度である第２の相関度を求める手段と、前記第２の相関度を前記第１の相関度に基づき評価し該評価により有効とされた第２の相関度を求めた第２の部分画像により被写体画像の全体画像を形成する手段とを備える。

本発明によれば、予め設定された解像度の間隔をおいて配置された複数のラインセンサから得た画像ペアの相関度を、被写体画像の絶対尺度として利用することから、被写体の全体画像を適正に再構成することができる。また、複数のラインセンサが規定の解像度の間隔で配置されることから、装置を小型化することができる。

［第１の実施形態］
本発明の第１の実施形態について図面を参照して説明する。本実施形態では、被写体の画像として指紋画像を取得する指画像取得装置を提示する。図１（ａ）に、その基本構成を示す。本実施形態の指画像取得装置である指紋センサモジュール１０は、指紋の部分画像を逐次的に読み取る２つのラインセンサ３０ａ及びラインセンサ３０ｂを備える。また、指紋センサモジュール１０は、スライド面１１にてスライドする指４０に対し光を照射するＬＥＤ２０を備える。ラインセンサ（３０ａ／３０ｂ）としては、密着型のCMOSラインセンサを用いることが望ましい。

指紋を取得するときは、図１（ａ）に示すように、指紋センサモジュール１０のスライド面１１に指４０の腹を接触させ、その指４０をスライド面１１に沿って一定方向（図中矢印Ｐで示す水平方向）にスライドさせる。このとき、指４０に向けてＬＥＤ２０から光が照射される。照射された光は、指４０の中を散乱透過しながら進行し（４１）、指表面に達する。指表面に達した光は、指表面にて指紋を構成する起伏に応じたコントラスト画像を形成する。この画像を２本のラインセンサ３０ａ及びラインセンサ３０ｂにより読み取る。

図１（ｂ）に、指紋センサモジュール１０の平面図を模式的に示す。本実施形態のラインセンサ（３０ａ／３０ｂ）は、４００ｄｐｉの解像度を有し、それぞれ指紋を等倍で撮影する。また、２本のラインセンサ３０ａ及びラインセンサ３０ｂは、６０μｍの間隔をおいて並行に配置されている。この間隔は、上記の解像度４００ｄｐｉに対応する間隔である。本実施形態ではセンサ面（表面の保護カバー等を含む）をスライド面に一致させ、センサ面上で、指をスライドさせて等倍画像を取得する。また、必要とされる解像度とラインセンサとの間隔が同一となるよう設定される。

ラインセンサ３０ａ及びラインセンサ３０ｂは、一定のフレームレートで表面画像を撮影する。このときのフレームレートは、指のスライドに関し想定される速度に応じて設定される。すなわち、指の最大スライド速度を想定し、その速度にて指がスライドされても規定の解像度４００ｄｐｉに対応する間隔６０μｍで指画像を取得することができるフレームレートを採用する。

具体的には、例えば、最小スライド速度を１ｃｍ／ｓ、最大スライド速度を１０ｃｍ／ｓとし、撮影対象とする指の長さを２０ｍｍとする場合、指のスライドの所要時間は０．２ｓとなる。また、６０μｍの解像度を確保しつつ、長さ２０ｍｍ分の部分画像を取得するには、部分画像は３３３フレーム必要となる。３３３フレームを０．２ｓで取り込む場合、速度は１６６５フレーム／ｓとなる。

本実施形態では、各ラインセンサ（３０ａ／３０ｂ）を１．７ｋフレーム／ｓで駆動させる。また、２本のラインセンサ３０ａ及びラインセンサ３０ｂは、スライドする指の部分画像を、同一のフレームレートかつ同一タイミングで逐次的に読み取る。ただし、両者の動作タイミングは、フレームレートに対し十分短い時間であれば、完全に同一タイミングでなくともよい。すなわち、１フレーム内でほぼ同時とみなされるタイミングで連続動作させればよい。完全に同一タイミング動作の場合は、２本のラインセンサ（３０ａ／３０ｂ）からデータを２系列で出力する必要があるが、連続動作の場合、１系列で出力することができ、駆動回路が簡略化される。

２本のラインセンサ（３０ａ／３０ｂ）により同一時刻にて読み取られた２つのライン画像は、解像度６０μｍで指を撮影した画像ペアとなる。よって、指のスライドに伴い、画像ペアを複数組取得することになる。また、ペア画像のそれぞれは、指のスライドによる速度変化の要素が加味された画像となる。

上記駆動により取得したペアの部分画像は、後述するように、指紋そのものを表す本来的な画像、すなわち指の速度変化に起因する画像伸長が生じない画像を得るために使われる。また、全体画像を形成するための部分画像の再構成には、１本のラインセンサで得られた部分画像（ペア画像の片方）を利用する。

なお、ラインセンサ３０ａ及びラインセンサ３０ｂにより取り込まれた部分画像のデータは、それぞれ独立に外部の記憶装置（図示略）に保存され、別途、処理装置（図示略）で処理される。この記憶装置及び処理装置は、パーソナルコンピュータ等（図示略）を利用する。

ここで、図４を参照して、ラインセンサ（３０ａ／３０ｂ）に対する指のスライド速度と、読み取られる画像ラインとの関係について説明する。図４（ａ）に示す例は、指のスライド速度が比較的遅い場合である。この場合、同図（ａ）の右方に示すように、１本のラインセンサ、例えばラインセンサ３０ａが取り込む画像の解像度は、約１０μｍである。これは、同図（ａ）の左方に示す２本のラインセンサによる解像度６０μｍより小さい。すなわち、この事例において、個々のラインセンサは、６０μｍを読み込む間に６フレームの部分画像を取得する。

一方、指のスライド速度が、上記事例よりも速く、且つ、適正とされる最大のスライド速度である場合は、図４（ｂ）に示すようになる。この場合、同図（ｂ）の右方に示すように、１本のラインセンサで取り込む画像の解像度はほぼ６０μｍであり、必要とされる解像度６０μｍと同等となる。すなわち、この事例において、個々のラインセンサは、６０μｍを読み込む間に２フレームの部分画像を取得する。

図２（ａ）に、１つのラインセンサで取得した指紋画像の一例を示す。同図（ａ）より、ラインＰ１乃至Ｐ１０にて画像伸長が生じていることがわかる。これは、ラインセンサの読み取り周期に対し、指のスライドが遅すぎることに起因する現象である。

また、図２（ａ）の上下方向（行方向）と相関係数との関係を図２（ｂ）に示す。相関係数Ｒは、画像の伸長度合いを表すために隣接の２ライン間で求めた、統計学上の相関係数である。連続する画像間の相関には、原則として逆相関はないことから、得られた相関係数Ｒは、「０＜Ｒ＜１」となる。なお、指を全く動かさずに画像を取得した場合、各フレームは全て同じ画像となり、「Ｒ＝１」となるが、この事象は除外する。同図（ｂ）より、ラインＰ１乃至Ｐ１０に対応する部分は、相関係数がほぼ「１」であることが分かる。これは、すなわち、ほぼ同じ画像が連続したことを意味する。

本実施形態では、図２（ａ）に示すような伸長した画像から、絶対尺度に基づいた指の全体画像を再構成する。絶対尺度とは、画像本来の尺度、つまり指のスライド速度の変化等の要素を含まない２次元画像に基づく尺度を指す。

一般に、隣接の２ライン間の相関係数は、画像本来の成分と指のスライドによる成分とから構成される。ここで、指のスライドによる成分とは、上述したように、画像伸長に関連する相関成分である。１つのラインセンサが取得した隣接２ラインの相関関数は、「（画像本来の成分）＋（指スライドによる成分）」により求めることができる。

図３（ａ）に、解像度４００ｄｐｉのエリアセンサで撮影した指紋の全体画像を示す。これは、解像度４００ｄｐｉによる指本来の画像、すなわち画像伸長がない画像である。この画像の隣接２ライン間の相関係数を図３（ｂ）に示す。指紋は場所により形状が異なるので、指紋画像の場所によって隣接２ライン間の相関係数は異なる。ラインＰ´１、Ｐ´２、Ｐ´３は、特徴的な箇所を示す。

一般に、指紋画像は、指先部では横方向に線画像Ｐ´１が現れ、中間部で斜めの線画像Ｐ´２が現れ、後部で縦方向の線画像Ｐ´３が現れやすい。図３（ｂ）より、Ｐ´１では相関係数は高め、Ｐ´２では低め、Ｐ´３では再び高めの値となる。ここで示した相関係数が、画像伸長のない指紋そのものの画像に対応した値である。

上述したように、隣接２ライン間相関係数は、この画像本来の成分に、指スライドによる伸長分の成分が加算されたものとなる。しかしながら、１本のラインセンサで取得した画像のみを用いて全体画像を再構成する場合、この画像本来の成分は、予め取得することができない。本実施形態では、画像本来の成分を取得する構成と、その成分を絶対尺度として用いて正しい尺度の全体画像を再構成する手法とを提供する。

図５に示すフローチャートを参照して、本実施形態の動作について説明する。ここでは、図２（ｂ）のＰ１のような冗長部分を含む領域から、必要とされる画像を選定し、全体画像を再構成する手順を説明する。

まず、画像の再構成を開始する行としてのｎ番目の行を図２（ｂ）に示す位置（「処理開始ライン（ｎ）」）に設定する。また、処理終了ラインとしてのｍ番目の行を設定する（「最終処理ライン（ｍ）」）（ステップＳ１）。

ここで、２つのラインセンサ（３０ａ／３０ｂ）によりｋ番目に取得した画像ペアの相関係数をＲab（ｋ）とする。Ｒab（ｋ）は、ｋ番目の行における絶対尺度となる相関係数である。また、一方のラインセンサ（３０ａ）でｋ番目とｋ＋ｉ番目に取得した画像の相関係数をＲ（ｋ、ｋ＋ｉ）とする。Ｒ（ｋ、ｋ＋ｉ）は、１つのラインセンサで得られたｋ番目のラインとｋ＋ｉ番目のラインとの相関係数である。すなわち、指紋本来の画像に、指のスライドによる要素が加味されたものである。

まず、最初のｎ番目ラインをｋ番目のラインとして設定し（ステップＳ２）、２本のラインセンサ（３０ａ／３０ｂ）により得た部分画像間の相関関数Ｒab（ｋ）を求める（ステップＳ３）。続いて、ｉ＝１を設定し（ステップＳ４）、単一のラインセンサ（３０ａ）について、最初に得たｎ番目の部分画像と、その次に得たｎ＋１番目の部分画像との相関関数Ｒ（ｎ、ｎ＋１）を求める（ステップＳ５）。そして、求めたＲ（ｎ、ｎ＋１）と、２つのラインセンサに関し当初に求めたＲab（ｎ）とを比較する（ステップＳ６）。

比較の結果、Ｒ（ｎ、ｎ＋１）＞Ｒab（ｎ）である場合、単一のラインセンサから得た２ラインの画像が類似しており、画像伸長があると判断する。この場合、ｉを１ライン進め（ステップＳ７）、次のｎ＋２番目の画像に関する処理に移行する。すなわち、最初のｎ番目の部分画像と、ｎ＋２番目の部分画像との相関係数Ｒ（ｎ、ｎ＋２）を求める（ステップＳ５）。そして、求めたＲ（ｎ、ｎ＋２）と、２つのラインセンサの画像ペアに関する相関関数Ｒab（ｎ）とを比較する（ステップＳ６）。

その結果、Ｒ（ｎ、ｎ＋２）＞Ｒab（ｎ）となった場合は、前述のｎ＋１番目のラインの場合と同様に、画像伸長があると判断する。上記工程を、ｉ＝１から順次１ラインずつ進める。その間、Ｒ（ｋ、ｋ＋ｉ）がＲab（ｋ）より大きい限り、指スライドによる画像伸長が生じていると判断する。

上記比較（ステップＳ６）において、Ｒ（ｋ、ｋ＋ｉ）＝Ｒab（ｋ）となったとき、最初のｎ番目の画像との間の相関係数が絶対尺度の相関係数Ｒab（ｋ）と同等になる画像を検出したと判断する。そして、今回検出したｎ＋ｉ番目の画像と最初のｎ番目の画像とを、全体画像に採用する画像として認識する（ステップＳ８）。

また、上記の検出により、図２の冗長部分Ｐ１が特定される。より具体的には、例えばｎ＋３番目の画像にてＲ（ｋ、ｋ＋ｉ）＝Ｒab（ｋ）が成り立つ場合、先行のｎ＋１番目およびｎ＋２番目の各画像を、画像伸長をもたらす冗長部分（Ｐ１）として認識する。冗長部分として認識した部分画像は、例えば元画像から消去処理することにより、無効化する。

なお、仮に、２番目のｎ＋１ラインにてＲ（ｋ、ｋ＋ｉ）＝Ｒab（ｋ）が成り立つ場合、それは、指のスライド速度が規定の解像度に適応する、図４（ｂ）に示すような状況であることを指す。この場合、冗長部分は存在しない。

続いて、上記処理にてＲ（ｋ、ｋ＋ｉ）＝Ｒab（ｋ）となったときのｎ＋ｉ番目のラインが、当初に設定した最終処理ラインｍであるか否かを判定する。その結果が否の場合（ステップＳ９：NO）、処理すべきラインが残されていると判断し、上記ｎ＋ｉ番目をｋ番目として再設定する（ステップＳ１０）。そして、上記の手順と同様にして、Ｒab（ｋ）及びＲ（ｋ、ｋ＋ｉ）に関する処理を行う。この処理を最終処理ラインｍまで繰り返すことにより、他の冗長部分Ｐ２乃至Ｐ１０も検出することができる。

最終処理ラインｍまでの処理を終えると（ステップＳ９：YES）、全体画像に採用すべき画像として認識された部分画像により、全体画像を形成する（ステップＳ１１）。これにより、６０μｍの解像度で、本来の全体画像が再構成される。

また、他方のラインセンサ（３０ｂ）の画像データからも同様に全体画像を求める。これは、一方のラインセンサ（３０ａ）による画像より１ライン分（６０μｍ分）ずれた、同様な内容の画像となる。この２枚の画像を加算して最終的な画像とする。これによりＳ／Ｎ（信号ノイズ比）を向上させることができる。

上記説明では、説明の簡素化のため、Ｒ（ｋ、ｋ＋ｉ）＝Ｒab（ｋ）が成り立つときの画像ペアを全体画像に採用したが、実用上、相関係数の誤差分δを考慮して、Ｒ（ｋ、ｋ＋ｉ）＝Ｒab（ｋ）±δに基づき判断してもよい。この誤差δは、後の認証処理の際の認証精度も考慮して決定する。

また、画像の冗長部分の伸長度合いを表すために、上記説明では、統計学上の相関係数を利用したが、実用上はこれに限定されない。例えば、２ライン間で画素毎に差分をとり、それらの絶対値の和をもって伸長度の指標としてもよい。

このように、本実施形態は、必要とされる解像度（６０μｍ）で並置された２本のラインセンサから得た画像ペアの相関を指画像の絶対尺度として求め、その絶対尺度に基づき画像の冗長部分を検出する。よって、全体画像を適正に再構成することができる。これにより、単一のラインセンサから得た隣接２ライン間の相関のみを利用して全体画像を再構成する手法に比べ、全体画像の適切な縮尺度を簡易に設定することができる。また、局所的な画像を用いるので、２本のラインセンサで指の移動速度を求める手法に比べ、再構成の精度が高められる。

さらにまた、２本のラインセンサが、必要とされる解像度（６０μｍ）で並置されることで、ラインセンサの搭載スペースが抑えられ、それらを１チップ内に収めることができる。また、各センサの駆動回路も同じチップ内に構成でき、これにより、センサ全体を小型化することができる。

なお、本実施形態では指紋画像を取得する画像取得装置について述べたが、取得の対象は指紋画像に限らず、例えば、指の血管画像（静脈画像）、あるいは、その他の生体画像であってもよい。その場合、血管画像等に求められる精度に応じて、２本のラインセンサの配置及びフレームレート等を適宜設定すればよい。また、１つの装置で、指紋画像及び血管画像など複数の種別の画像を取り込むという用途にも適用可能である。

さらにセンサ面とスライド面の間にFOP（Fiber Optic Plate）やSLA（Selfoc Lens Array）などの薄型の等倍光学系を配置したセンサモジュールを採用してもよい。これらは等倍光学系であることから、２本のラインセンサを必要解像度の間隔で配置すれば、その解像度の部分画像を取得することができる。また、上記のような等倍の光学系でない場合も、実質的に必要解像度の部分画像が取得できればよいことは言うまでもない。この形態では、スライド中、指がセンサ面に直接触れることはないので静電気に強いものとなる。

［第２の実施形態］
図６に、本発明の第２の実施形態の構成を示す。本実施形態のセンサモジュール５０は、指画像を読み取りながら、全体画像を再構成するための画像データをリアルタイムに取得する。センサモジュール５０は、２本のラインセンサ５１ａ及びラインセンサ５１ｂを備える。これらは、図１等に示す前述の実施形態におけるラインセンサ（３０ａ／３０ｂ）と同様である。

図６に示すように、２本のラインセンサ（５１ａ／５１ｂ）からのライン画像データ（フレームデータ）は、アンプ５２により増幅された後、Ａ／Ｄ変換器５３にてディジタル値に変換される。変換されたデータは、ラインセンサ５１ａからのものがメモリ５５ａに記憶され、ラインセンサ５１ｂのものがメモリ５５ｂに記憶される。そして、２本のラインセンサ（５１ａ／５１ｂ）からの以降のフレームデータは、メモリ５５ｃ及びメモリ５５ｄに記憶される。これら一連の動作は制御部５４により制御される。

本実施形態では、２ラインの画像データの部分データに注目し、その部分において画素毎に差分をとり、それらの絶対値の和を類似度係数とする。この類似度係数は、本実施形態において画像の伸長度を判断する際の指標となるものである。部分データとしては、ライン画像データの中央から片側半分のデータを利用する。これによりライン画像の全てを処理することは不要となることから、計算速度を速めることができる。

なお、使用する部分データとしては、片側半分ではなく、例えば、中央から片側１／４のデータとしてもよい。画像データにおいて、指のスライドにより、より大きな類似度の変化がみられる部分を利用すれば、ライン画像データ全体を処理することなく、類似度を求めることができる。

本実施形態の動作について説明する。以下の説明では、フレームデータの記憶開始を第ｎ番目とする。よって、ラインセンサ５１ａのｎ番目のフレームデータはメモリ５５ａに格納され、同じｎ番目のラインセンサ５１ｂのデータはメモリ５５ｂに格納される。データが格納されると、まず、メモリ５５ａ及びメモリ５５ｂ上の２つのライン画像データにより、絶対尺度となる類似度係数Ｒab（ｎ）を計算する。

次に、第ｎ＋１番目のライン画像データが取得されると、ラインセンサ５１ａのデータをメモリ５５ｃに格納し、ラインセンサ５１ｂのものをメモリ５５ｄに格納する。そして、１つのラインセンサのデータを用いて２ライン間の類似度係数を算出する。例えば、ラインセンサ５１ａの場合、メモリ５５ａにある第ｎ番目のデータと、メモリ５５ｃにある第ｎ＋１番目のデータとから類似度係数Ｒ（ｎ、ｎ＋１）を計算する。

さらに、算出した類似度係数Ｒ（ｎ、ｎ＋１）をＲab（ｎ）と比較する。その結果、Ｒ（ｎ、ｎ＋１）がＲab（ｎ）より大きい場合は、第ｎ＋１番目のライン画像は、冗長部分であると判断し、無効化する。

続いて、第ｎ＋２番目のライン画像データに対して上記と同様の処理を行う。この処理をＲ（ｎ、ｎ＋ｉ）がＲab（ｎ）に一致するまで繰り返す。そして、第ｎ＋ｍ番目で一致したとき、その第ｎ＋ｍ番目のデータと、最初の第ｎ番目のデータとを処理装置（ＰＣ）へ入力する。このとき、同様に処理した他方のラインセンサ５１ｂのデータも処理装置へ入力する。

上記処理により、ＰＣには、Ｒab（ｎ）と一致したＲ（ｎ、ｎ＋ｉ）に対応するデータのみが取り込まれる。これらのライン画像データをそのまま時系列で並べることにより、全体画像が再構成される。最後に、ラインセンサ５１ａ及びラインセンサ５１ｂのデータで再構成された全体画像を加算し、最終的な画像データを作成する。類似度の判定はラインセンサ５１ａのデータを用い、その結果に基づきラインセンサ５１ｂのデータも選択する。

このように本実施形態によれば、類似度係数の算出に部分データを用いることで、処理速度を上げることができる。その結果、全体画像を再構成するためのライン画像データをリアルタイムで選別できるので、再構成処理の時間を短縮することができ、ひいては、指画像の取得から認証処理までに要する全体的な時間を短縮できる。また、ＰＣ側では、画像の複雑な再構成処理が不要となることから、処理負荷を低減できる。

［第３の実施形態］
図７に、本発明の第３の実施形態の構成を示す。本実施形態のセンサモジュール６０は、平行に配置された３本のラインセンサ６１ａ／６１ｂ／６１ｃを備える。図７に示すように、ラインセンサ６１ａ、ラインセンサ６１ｂ、ラインセンサ６１ｃは、３０μｍの間隔で配置されている。よって両端のラインセンサ６１ａ及びラインセンサ６１ｃ間は６０μｍとなる。これらは、センサモジュール６０としての１つのチップに搭載される。各ラインセンサの構造等は、前述の実施形態と同様である。

本実施形態において、解像度３０μｍ（８００ｄｐｉ）の全体画像が必要な場合、２本のラインセンサ６１ａ／６１ｂあるいはラインセンサ６１ｂ／６１ｃの組み合わせを動作させる。また、解像度６０μｍ（４００ｄｐｉ）の全体画像が必要な場合は、両端のラインセンサ６１ａ／６１ｃの組み合わせを動作させる。

さらにまた、３本のラインセンサ６１ａ／６１ｂ／６１ｃを同時に動作させることにより、３０μｍおよび６０μｍの解像度でライン画像データが読み取られる。そして、アプリケーションソフトにより、必要に応じて３０μｍまたは６０μｍの解像度で全体画像を形成することもできる。

ラインセンサの数は、３本に限らず、適宜設定することで、解像度の自由度を大きくすることができる。例えば、４本のラインセンサを２０μｍ（１０００ｄｐｉ）の間隔で配置した場合、２０μｍ、４０μｍ、６０μｍの解像度を自由に設定することができる。

［第４の実施形態］
本実施形態では、指のスライド時の回転成分を検出する方法を示す。指のスライド中に回転動作が加わる場合がある。このとき、１本のラインセンサから得られた画像には、伸びの成分に回転の成分が加わる。この回転成分を２本のラインセンサを用いたセンサモジュールで検出する。２本のラインセンサの構造等は前述の実施形態と同様である。

図８に、スライド時の回転動作について模式的に示す。図示の例は、スライド開始（ｎ）の後（ｎ＋ｉ）に回転が生じた様子を示したものであり、便宜上、ラインセンサ（７１ａ／７１ｂ）自体を回転させた状態を示す。

画像の隣接２ライン間の相関には、第１の実施形態で述べたように、「（隣接２ライン間相関係数）＝（画像本来の成分）＋（指スライドによる成分）」なる関係がある。よって、隣接２ライン間の相関係数とその場所での画像本来の成分とを監視することで、指のスライドによる成分を検出することができる。このとき、「（指スライドによる成分）＝（直進成分）＋（回転成分）」の関係が成り立つ。

本実施形態では、ライン画像データの右半分（Ｒ）と左半分（Ｌ）との相関係数を求める。直進成分は、右半分及び左半分で一定であるが、回転成分は異なる。そこで、右半分及び左半分間の相関係数の変化に着目し、回転成分を検出する。

図９に示すフローチャートを参照して、回転成分の検出手順について説明する。ここでは、２本のラインセンサ７１ａ／７１ｂによるライン画像の右半分（Ｒ）の相関係数をＲｒab（ｎ）とし、１本のラインセンサ（７１ａ）の隣接２ライン間の右半分（Ｒ）の相関係数をＲｒ（ｎ、ｎ＋ｉ）とする。また、ライン画像の左半分（Ｌ）についても同様に、相関係数をＲｌab（ｎ）及びＲｌ（ｎ、ｎ＋ｉ）とする。

このとき、右半分のスライド成分ΔＲｒ（ｎ）は、「ΔＲｒ（ｎ）＝Ｒｒ（ｎ、ｎ＋ｉ）−Ｒｒab（ｎ）」により表される。同様に、左半分の指スライド成分ΔＲｌ（ｎ）については、「ΔＲｌ（ｎ）＝Ｒｌ（ｎ、ｎ＋ｉ）−Ｒｌab（ｎ）」が成り立つ。

指のスライド成分ΔＲｒ及びΔＲｌは、直線的にスライドする場合は等しくなるが、回転運動が加わると一致しない。そこで、１本のラインセンサ（７１ａ）で得られた原画像全体に渡って、右半分に関するスライド成分ΔＲｒを求め（ステップＳ２１）、また、左半分に関するΔＲｌも求める（ステップＳ２２）。

さらに、求めたスライド成分ΔＲｒ及びΔＲｌを比較し、両者が一致しない場合は（ステップＳ２３：NO）、指のスライドによる回転成分が含まれていると判定する（ステップＳ２４）。また、両者が一致する場合は（ステップＳ２３：YES）、回転がないと判定する（ステップＳ２６）。

この後の処理としては、まず、原画像を回転成分に応じて補正する（ステップＳ２５）。回転を補正することにより、直線成分（伸び成分）が残されるので、第１の実施形態と同様の方法で全体画像を再構成する。なお、上記説明では、回転補正の後に直線補正するという段階な手順を提示したが、これらの補正を同時並行的に行ってもよい。

本実施形態によれば、指のスライド時に回転動作が加わった場合も、絶対尺度に基いた正しい全体画像を得ることができる。

［第５の実施形態］
本実施形態は、上記の指画像取得装置を用いた個人認証システムである。図１０に、個人認証システム１０１の構成を示す。個人認証システム１０１は、図１に示す指紋センサモジュール１００のような指画像取得装置２００と、この指画像取得装置２００に接続された指画像照合装置３００とを備える。

指画像取得装置２００は、図１のラインセンサ（３０ａ／３０ｂ）のような固体撮像素子から構成される撮像部２０１と、ＬＥＤチップに搭載されたＬＥＤ２０３と、これらを制御する周辺回路部２０２とを備える。

図１１に、指画像取得装置２００のより詳細な構成を示す。周辺回路部２０２は、次の構成を備える。制御回路１０２１は、撮像部２０１の動作を制御する。Ａ／Ｄコンバータ１０２３は、撮像部２０１から出力される指画像に応じたアナログ撮像信号をクランプ回路１０２２を介しディジタル信号に変換する。通信制御回路１０２４は、レジスタ１０２５を用いて、Ａ／Ｄコンバータ１０２３からのディジタル信号を指画像の画像信号として外部装置とデータ通信する。ＬＥＤ制御回路１０２６は、ＬＥＤ２０３の発光を制御する。タイミング発生器１０２８は、外部の発振子１０２７から供給される基準パルスに基づき各回路（１０２１／１０２２／１０２３／１０２４／１０２５／１０２６）の動作タイミングを制御する制御パルスを発生する。なお、上記構成の一部を不図示の別チップに搭載してもよい。

図１０に示す指画像照合装置３００は、次の構成を有する。入力インターフェース２１１は、周辺回路部２０２の通信制御部１０２４（図１１）から出力される通信データを入力する。画像処理部２１２は、入力された画像データを指画像データベース２１３のデータを用いて照合する。出力インターフェース２１４は、照合の結果となる個人認証信号等を出力する。この出力インタフェース２１４は、セキュリティ確保のため個人認証が必要とされる電子機器に接続される。

指画像データベース２１３には、個人認証すべき対象者の指紋画像あるいは指の血管画像等の指画像が予め登録されている。個人認証の対象者は、一人でも複数でもよい。対象者の指画像は、対象者の個人認証情報として、初期設定時や対象者の追加登録時などに指画像取得装置２００から入力インターフェース２１１を介し入力される。

画像処理部２１２は、指画像取得装置２００からの指画像が、指画像データベース２１３の登録画像と一致するか否かを既知の照合処理アルゴリズムを基に判定する。そして、その結果を個人認証信号として出力インターフェース２１４を介し出力する。

なお、本実施形態では、指画像取得装置２００と指画像照合装置３００とを別個のデバイスで構成したが、本発明を実施するにあたっては、この形態に限らず適宜変更してよい。例えば、指画像照合装置３００の一部の機能を指画像取得装置２００の周辺回路部２０２と一体に構成してもよい。

また、個人認証システム１０１は、個人認証が必要とされる電子機器内に一体に組み込んで構成しても、電子機器と別体で構成してもよい。

個人認証システムに、前述の第１の実施形態から第４の実施形態の指紋画像入力装置を用いる場合、取得した指紋画像及び血管画像を使って、個人認証を行うこともできる。例えば、指紋画像及び血管画像の双方の照合が成功した場合に限り、認証成功とすることで、セキュリティを高めることができる。

本発明の第１の実施形態の構成に関する説明図である。 画像伸長がある指紋画像に関する説明図である。 画像伸長がない指紋画像に関する説明図である。 指のスライド速度と入力画像との関係に関する説明図である。 本発明の実施形態の動作を示すフローチャートである。 本発明の第２の実施形態の構成を示すブロック図である。 本発明の第３の実施形態の構成に関する説明図である。 本発明の第４の実施形態に関する説明図である。 本発明の第４の実施形態のフローチャートである。 本発明の第５の実施形態における個人認証システムの構成を示すブロック図である。 第５の実施形態における指画像入力装置の構成を示すブロック図である。

符号の説明

１００ 指紋センサモジュール
３０ａ／３０ｂ ラインセンサ
１０１ 個人認証システム
２００ 指画像入力装置
３００ 指画像照合装置

Claims (14)

1. 予め設定された解像度に対応する間隔をおいて配置され、且つ、それぞれのセンサ面に対応するスライド面上を該センサ面に対して相対的に移動する被写体に関する部分画像を共通のタイミングにて逐次的に読み取る複数のラインセンサと、
   相互に異なるラインセンサから取得された一対の部分画像間の相関度である第１の相関度を求める手段と、
   前記第１の相関度に関連する単一のラインセンサから取得された複数の部分画像について、前記第１の相関度を求めた第１の部分画像と該第１の部分画像より後のタイミングにて取得された第２の部分画像との相関度である第２の相関度を求める手段と、
   前記第２の相関度を前記第１の相関度に基づき評価し該評価により有効とされた第２の相関度を求めた第２の部分画像により被写体画像の全体画像を形成する手段と、
   を備えることを特徴とする画像取得装置。
2. 前記評価において、前記第１の相関度より大きい値となる第２の相関度を求めた第２の部分画像を無効にすることを特徴とする請求項１記載の画像取得装置。
3. 前記複数のラインセンサは、前記解像度より高い解像度に対応する周期にて部分画像を読み取ることを特徴とする請求項１又は２記載の画像取得装置。
4. 前記第１の相関度を求めるための一対の部分画像を記憶する第１のメモリと、前記第２の相関度を求めるための第２の部分画像を記憶する第２のメモリとを備え、
   前記第２のメモリに第２の部分画像が記憶されるごとに前記第２の相関度を求め且つ当該第２の相関度を評価することを特徴とする請求項１乃至３のいずれか１項に記載の画像取得装置。
5. 前記第１の相関度および第２の相関度を当該部分画像の部分データにより求めることを特徴とする請求項１乃至４のいずれか１項に記載の画像取得装置。
6. 前記複数のラインセンサが複数の解像度に対応する間隔をおいて配置されたことを特徴とする請求項１乃至５のいずれか１項に記載の画像取得装置。
7. さらに、前記第１の相関度として当該一対の部分画像の分割領域ごとに求めた相関度と前記第２の相関度として当該第１および第２の各部分画像の前記分割領域ごとに求めた相関度との差分を前記分割領域間で比較し該比較により得られる差分を被写体の相対的移動動作の回転成分として検出する手段を備えることを特徴とする請求項１乃至６記載のいずれか１項に記載の画像取得装置。
8. 前記複数のラインセンサにより読み取る部分画像が指紋画像であることを特徴とする請求項１乃至７記載のいずれか１項に記載の画像取得装置。
9. 請求項１乃至８のいずれか１項に記載の画像取得装置と、
   被検体に関し予め登録された画像と前記画像取得装置からの画像とを照合し該照合の結果を個人認証信号として出力する画像照合装置とを備えることを特徴とする個人認証システム。
10. 予め設定された解像度に対応する間隔をおいて配置され、且つ、それぞれのセンサ面に対応するスライド面上を該センサ面に対して相対的に移動する被写体に関する部分画像を共通のタイミングにて逐次的に読み取る複数のラインセンサを備える装置において、
    相互に異なるラインセンサから取得された一対の部分画像間の相関度である第１の相関度を求め、
    前記第１の相関度に関連する単一のラインセンサから取得された複数の部分画像について、前記第１の相関度を求めた第１の部分画像と該第１の部分画像より後のタイミングにて取得された第２の部分画像との相関度である第２の相関度を求め、
    前記第２の相関度を前記第１の相関度に基づき評価し該評価により有効とされた第２の相関度を求めた第２の部分画像により被写体画像の全体画像を形成することを特徴とする画像構成方法。
11. 前記装置が、前記評価において、前記第１の相関度より大きい値となる第２の相関度を求めた第２の部分画像を無効にすることを特徴とする請求項１０記載の画像構成方法。
12. 前記装置が、前記第１の相関度および第２の相関度を当該部分画像の部分データにより求めることを特徴とする請求項１０又は１１記載の画像構成方法。
13. 前記装置が、さらに、前記第１の相関度として当該一対の部分画像の分割領域ごとに求めた相関度と前記第２の相関度として当該第１および第２の各部分画像の前記分割領域ごとに求めた相関度との差分を前記分割領域間で比較し該比較により得られる差分を被写体の相対的移動動作の回転成分として検出することを特徴とする請求項１０乃至１２記載のいずれか１項に記載の画像構成方法。
14. 前記装置が前記複数のラインセンサにより読み取る部分画像が指紋画像であることを特徴とする請求項１０乃至１３記載のいずれか１項に記載の画像構成方法。