JP4686552B2

JP4686552B2 - 画像リサンプリングを用いた指センサ装置及びこれに関連する方法

Info

Publication number: JP4686552B2
Application number: JP2007556319A
Authority: JP
Inventors: アールセトラクデール; イーコルネットバーバラ; セングプタクンタル
Original assignee: オーセンテック，インコーポレイテッド
Priority date: 2005-02-17
Filing date: 2006-02-17
Publication date: 2011-05-25
Anticipated expiration: 2026-02-17
Also published as: WO2007024259A2; KR20070110034A; JP2008533562A; CN101263511B; CN101263511A; KR100942081B1; US7734074B2; WO2007024259A3; CA2598482A1; EP1866837A2; CA2598482C; EP1866837B1; US20060182319A1

Description

（発明の分野）
本発明はバイオメトリクス（生体計測）に関するものであり、特に、指センシング及びこれに関連する方法に関するものである。

（発明の背景）
指紋センシング及び整合は、信頼性があり広範に用いられている個人識別または検証技術である。特に、指紋識別の一般的な方法は、指紋またはその画像のサンプルを走査し、画像、及び／または指紋画像固有の特徴を記憶することを含む。指紋サンプルの特徴は、例えば検証目的で、データベース中に既にある参照指紋についての情報と比較して、個人の適切な識別を判定することができる。

米国特許第5,963,679号米国特許第6,259,804号米国特許出願第2005/0089202号

指紋センシング用の特に有利な方法は、本発明の譲受人に譲渡された米国特許第5,963,679号及び第6,259,804号に開示され、その全文を参考文献として本明細書に含める。指紋センサは集積回路型センサであり、ユーザの指紋を電界信号で導出し、この電界を、集積回路基板上の電界センシング画素のアレイで検出する。これに加えての指センシング集積回路及び方法は、米国で公開されている米国特許出願第2005/0089202号、発明の名称”Multi-biometric finger sensor including electric field sensing pixels and associated methods”に開示され、これも本発明の譲受人に譲渡されており、その全文を参考文献として本明細書に含める。

米国特許第6,002,815号米国特許第6,289,114号

集積回路型指センサの１つの種類はいわゆるスライドまたはスワイプセンサであり、比較的小さい矩形のセンシング面を含み、ユーザはこのセンシング面上で自分の指をスライドさせる（すべらせる）か動かす。このスライドセンサから収集したデータからユーザの指の全体画像を生成することが望ましいことがある。実際に、従来技術は、スライドセンサから全体画像を構成するためのシステム設計哲学の２つのクラスを含むものと考えることができる。一方のクラスは、例えば米国特許第6,002,815号に開示されているように、多様な種類の指速度センサを用いて、サンプリングレート（速度）を制御するか、あるいは繰り返しデータを棄却するかのいずれかを行う。他方のクラスは、例えば米国特許第6,289,114号に開示されているように、部分的にオーバラップ（重複）する画像フレームどうしの相互相関を用いて冗長なデータを除外し、画像フレームをつなぎ合わせて単一の全体画像にする。

従来技術の方法は、いくつかの欠点を抱えている。例えば、画像のデスキュー（傾き、曲がり、歪み等の修正）用と部分画像のつなぎ合わせ用に２つの別個のプロセスが必要になり得る。これらのプロセスは、非一様な指の動きの影響によって生じるノイズを低減するメカニズムを欠いていることがあり、そして広範囲に変化する指の速度に容易に適応できないことがある。もちろん、指がより低速でスライドすると、余分なデータは一般に棄却される。

（発明の概要）
以上の背景を考慮するに、従って本発明の目的は、指スライド用途用に高画質の画像データセットを生成する指センサ装置及びこれに関連する方法を提供することにある。

本発明による上記及び他の目的、特徴及び利点は、指画像センシングアレイ上で指がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成する複数の指画像センシングアレイ；及びこの指画像センシングアレイと協働して、上記指画像データセットに基づいて指の動きを測定し、測定した指の動きに基づいて上記指画像データセットをリサンプリング（再サンプリング）することによって、リサンプリングした指画像データセットを生成するプロセッサを具えた指センサ装置によって提供される。このプロセッサはさらに、上記リサンプリングした指画像データセットを生成する際に、複数の指画像データセットをデスキューする。換言すれば、上記プロセッサは、センサが画素を順次、即ちセンサの一方の側から始まり他方の側に向かって進んで読み取る時間中に蓄積された増分的な指の動きを記述することができる。上記プロセッサは、上記指画像センシングアレイに垂直な方向からある角度をなす指の動きを記述し、そして指を動かす動作のコース上でのこの角度の変化を記述することもできる。

上記プロセッサは、上記リサンプリングした指画像データセットが上記複数の指画像データセットをスーパーサンプリング（より細かくサンプリング）した指画像データセットを規定するのに十分なレート（速度）で、上記複数の指画像センシングアレイを走査することができる。従って、上記プロセッサは、上記スーパーサンプリングした指画像データセットをダウンサンプリング（より粗くサンプリング）して所望の解像度にすることによって、上記リサンプリングした指画像データセットを生成することもできる。上記プロセッサは、上記指画像データセットの各々が完結した画像データセットを規定するように、上記指画像センシングアレイの各々を走査することもできる。

上記プロセッサは、上記複数の指画像データセットの各々における少なくとも１つの指の特徴を識別し追跡することに基づいて、指の動きを測定することもできる。例えば、上記プロセッサは指の動きを二次元で測定することができる。

上記プロセッサはさらに、上記リサンプリングした指画像データセット及び記憶している指画像データセットに基づいて、指の整合を判定することができる。その代わりに、あるいはこれに加えて、上記プロセッサは、上記リサンプリングした指画像データセットに基づいて指画像をディスプレイ上に生成することができる。

上記指画像センシングアレイの各々は、指画像センシング画素のリニアアレイで構成することができる。例えば、上記指画像センシング画素の各々は、集積回路型指画像センシング画素で構成することができる。

一部の好適例では、上記プロセッサを上記センシング画素と同じ集積回路上に組み込むことができ、他の好適例では、上記プロセッサを、上記指センシングアレイを含む電子装置のホストプロセッサとすることができる。これらの独立したプロセッサの好適例では、多重データバスを、上記指画像センシングアレイと上記プロセッサとの間に接続することができる。これに加えて、上記指画像センシングアレイの少なくとも隣接したいくつかは、不均等な間隔に配置することができる。簡潔に上述したように、上記指センサ装置は、筐体を具えた携帯電子装置に有利に内蔵させることができる。

本発明の他の態様は、指センシング方法に指向したものである。この方法は、複数の指画像センシングアレイ上で指がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成するステップと；上記指画像データセットに基づいて指の動きを測定するステップと；測定した指の動きに基づいて上記指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成するステップとを具えることができる。これに加えて、上記リサンプリングした指画像データセットを生成するステップはさらに、上記複数の指画像データセットをデスキューすることを含むことができる。

（好適な実施例の詳細な説明）
以下、本発明の好適な実施例について図面を参照しながらより詳細に説明する。しかし、本発明は多くの異なる形態で具体化することができ、本明細書に記載の実施例に限定されるものと考えるべきでない。むしろ、これらの実施例は、本明細書の開示を詳細かつ完全にし、本発明の範囲を当業者に十分伝えるために提供する。図面を通して、同じ要素は同じ参照番号で参照する。

ここで最初に図１及び２を参照しながら、本発明による、指センサ装置３０を具えたセルラ電話機２０の形の好適な電子装置を説明する。セルラ電話機２０は、指センサ装置３０を支持する携帯用の筐体２１を具えている。これに加えて、セルラ電話機２０は、例えばディスプレイ２２及び入力キー２３を具え、これらも筐体２１によって支持される。充電式バッテリ３６は、当業者にとって明らかな種々の電子構成要素に給電することができる。ディスプレイ２２はライン３６経由でホストまたは装置プロセッサ３２に接続されている。装置プロセッサ３２も、例えば多重通信バス３３経由でスライド式指センサ３１に接続されており、これについては以下でより詳細に説明する。ＰＤＡ、ラップトップ・コンピュータのような他の電子装置も指センサ装置３０を使用することができる。

指センサ装置３０は、例えば集積回路の形の指センサ３１を含み、この集積回路は、集積回路基板４２を含み、そして３つのリニア指センシングアレイ４５〜４７をその内部に有する。これに加えて、スライド式指センサ３１は、例えば随意的な処理回路４１をその内部に含み、処理回路４１は、本明細書に説明する画像処理の一部または全部を実行することができる。一部の実施例では、上記画像処理の大部分または全部を装置プロセッサ３２によって実行することができる。装置プロセッサ３２は、それ自身の埋め込み型メモリを含むか、あるいは実施例に示すように外部メモリ５３に接続することができる。

当業者には明らかなように、セルラ電話機または他の携帯電子装置用の装置プロセッサ３２は一般に、指センサ装置３０が直ちに使用することのできる追加的な処理リソースを有する。もちろん、他の実施例では、画像処理のすべてを、集積回路型スライド式指センサ３１のオンボード処理回路４１によって実行することができる。当業者には明らかなように、ユーザの指３５と上記センシングアレイとの間の相対的な動きに頼る他の種類の指センサも、本明細書に説明する処理技術によって利用することができる。

図に示すスライド式指センサ３１には、３つのリニア指センシングアレイ４５〜４７が設けられ、これらのアレイは不均等な間隔を有する。他の実施例では、アレイ４５〜４７を均等な間隔にすることができ、そしてアレイの数を異ならせることもできる。これに加えて、指センシングアレイ４５〜４７の各々は、図に示すように直線状（リニア）にすることができ、そして図２に最良に示すように、複数の集積回路型指画像センシング画素４５ａ〜４７ａで構成することができる。例えば、集積回路型指画像センシング画素４５ａ〜４７ａは、米国特許第5,963,679号及び第6,259,804号に開示されているような電界センシング画素とすることができ、これらの特許はその全文を参考文献として本明細書に含める。他の実施例では、例えば熱、赤外線、あるいは光センシングに基づくもののような、異なる種類の集積回路型指センシング画素を用いることができる。さらに他の実施例では、指センシングアレイを、当業者にとって明らかな、集積回路型以外の形で設けることができる。

指センサ装置３０は、指画像センシングアレイ上で指３５がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成する指画像センシングアレイ４５〜４７、及びこれらの指画像センシングアレイと協働するプロセッサを具えている。図に示す実施例では、このプロセッサは独立したホストまたは装置プロセッサ３２である。プロセッサ３２は、指画像データセットに基づいて指の動きを測定し、そして測定した指の動きに基づいて指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成するように設定またはプログラムすることができる。換言すれば、プロセッサ３２は、図に示す指の動き測定器５１、並びにその下流に接続されたリサンプラ５２を規定することができる。以下でより詳細に説明するように、プロセッサのリサンプラ５２は、リサンプリングした指画像データセットを生成する際に指画像データセットをデスキュー（傾き、曲がり、歪み等を修正）して、指画像センシングアレイ４５〜４７に垂直な方向からある角度をなす指３５の動きを記述することもできる。

プロセッサ３２は、リサンプリングした指画像データセットが、複数の指画像データセットをスーパーサンプリング（より細かくサンプリング）した指画像データセットを規定するのに十分なレートで、指画像センシングアレイ４５〜４７を走査することができる。従って、プロセッサ３２は、スーパーサンプリングした指画像データセットをダウンサンプリング（より粗くサンプリング）して所望の解像度にすることによって、リサンプリングした指画像データセットを生成することもできる。プロセッサ３２は、指画像センシングアレイ４５〜４７の各々を走査し、これにより各指画像データセットは完結した指画像データセットを規定することもできる。このことは、例えば走査中に、部分画像のみを収集し、及び／または冗長なデータを消去する従来技術の方法とは対照的である。

プロセッサ３２の指の動き測定器５１は、各々の指画像データセットにおける少なくとも１つの指の特徴を識別し追跡することに基づいて指の動きを測定することができ、このことは当業者にとって明らかである。より詳細には、プロセッサ３２は指の動きを二次元で測定することができる。

プロセッサはさらに、リサンプリングした指画像データセット及び記憶している指画像データセットに基づいて、指の整合を判定することができる。図に示す装置プロセッサ３２は、略図で示す指整合器５４を具え、その動作は当業者にとって明らかである。その代わりに、あるいはこれに加えて、プロセッサ３２はディスプレイドライバ５５を具えて、リサンプリングした指画像データセットに基づいて指画像をディスプレイ２２上に生成することができる。

本発明の他の態様は、指センシング方法に指向したものである。この方法は、複数の指画像センシングアレイ４５〜４７上で指がスライドする動きに基づいて複数の指画像データセットのそれぞれを生成するステップと；これらの指画像データセットに基づいて指の動きを測定するステップと；測定した指の動きに基づいて上記指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成するステップとを具えることができる。これに加えて、リサンプリングした指画像データセットを生成するステップはさらに、上記複数の指画像データセットをデスキューすることを含むことができる。

他の意味で考えれば、本発明の方法はいくつかのセンシングアレイ４５〜４７を指３５が移動する経路中に配置し、各アレイは完結した指の画像を生成する。結果的なデータは同時に取得した同じ物体（指）のいくつかの画像であるが、既知の物理的距離だけ分離された異なるセンサ位置からの画像である。指の速度は捕捉プロセス中に大きく変化し得るので、生の画像は指の動きの方向に可変のピクセレーション（画素区分）を有し得る。そしてプロセッサ３２は、これらのいくつかの画像を用いて、時間に対する指の動きの特性を計算し、そしてこの特性を用いて、生の画像の最適なリサンプリングを実行して、単一の高画質の正規化した画像を規則的なピクセレーションで生成することができる。この最適なリサンプリングは同時に、センサの有限の走査（スキャン）レートによって生じるデータのスキュー（歪み）、及び変化する指の速度によって生じるピクセレーションの変動を修正することができる。この方法はある意味で、２つの異なる画像を組み合わせて結果的に単一画像にする立体映像に似ている。本発明の方法は、移動物体（例えば車内のセル電話機）からの単一の無線信号を、異なる位置にあるいくつかの異なるアンテナによって異なる遅延を以って捕捉する際に用いる信号処理とも、いくつかの特徴を共有する。

指センサ装置３０は複数のリニア画素アレイ４５〜４７を具え、これらは、指が複数のアレイ上を順次通過しながらアレイ上をスライドするように配置されている。リニアアレイ４５〜４７は同期して走査するか、少なくとも走査どうしに既知の時間関係を持たせて走査することができる。各リニアアレイ４５〜４７は、指のスライド速度に依存する可変の垂直画素ピッチを有する指表面全体の画像を生成する。指の速度特性の推定値は、各リニアアレイによって生成される画像中の選択した特徴の位置を見つけ、そしてアレイ４５〜４７の既知の物理的間隔を用いて速度を計算することによって作成される。一次元または二次元の動きを計算することができる。そして指の速度の特性を用いて、リニアアレイ画像をデスキューして、画像をリサンプリングして標準的な固定サンプリングレートの画像にすることができる。

指センサ装置３０及びこれに関連する方法は多くの利点を提供する。例えば、指センシング装置２０は指の速度の広範囲の変動にわたる精度を享受する。指の速度の広範囲の変化の存在下でも提供される正確な撮像は、順次走査されるセンシングアレイからのデータを、アレイ中の異なる位置にあって走査される画素間に生じる遅延について調整することを必要とする。デスキュープロセスはこれらの遅延を補償し、そして指の速度に依存しない同じ最終画像を生成する。

指センサ装置３０及びこれに関連する方法は、増強された効率を提供することもできる。デスキューとリサンプリングとを組み合わせて単一の最適化されたプロセスにすることができる。この方法は、一次元または二次元のいずれかの動きを取り扱い、従ってリニアアレイ４５〜４７の法線に合っていない動きに効率的に適応することができる。センサ装置３０及びこれに関連する方法は、毎回異なるリニアセンサアレイを用いて肌を何回か走査し、そしてこれらの測定値を組み合わせて単一の最適な結果にすることによって、画像ノイズ及びアーティファクト（歪像）を低減することもできる。より遅い指の動きを許容し、より多数の測定値を最終結果の計算に含めることによって、改善された感度、低減されたノイズ、及びアーティファクトの低減を生み出すことができる。従来技術の装置における、有用な画像を生成することのできない弱い画像化（イメージング）の指は、今度はより遅い指の動きを用いることによって良好に撮像することができる。

リニアアレイ４５〜４７の間隔は厳密なものではないが、異なる目的の異なる方法で最適化することができる。例えば、リニアアレイ４５〜４７の不均等な間隔は、リニアアレイの法線方向に対する種々の角度で生じる指の動きを取り扱うシステム能力を改善することができる。

ここで、追加的に図３を参照しながら、画像データセット処理の態様をさらに説明する。説明を明瞭にするために、指撮像センシングアレイのうち２つだけ（４５、４６）を例示している。各アレイ４５、４６は可変画素ピッチの画像６０、６１を生成し、これらの画像から指速度特性６３を生成する。この特性を入力して、高解像度のデスキューされた粗いマトリクス画像６５を生成し、最終的に、ダウンサンプリングされた固定垂直画素ピッチの画像６６を生成する。

ここで、指画像データセットの取得について、追加的に図４を参照しながらさらに説明する。３つのリニアアレイ４５〜４７は同時に動作し、連続的にデータを捕捉する。リニアアレイ４５〜４７の走査を随意的に同期させて、その後のデータ処理を簡略化することができる。これらのアレイからのデータは、規則的な時間ベース（時間間隔）で捕捉するか、あるいはタイムスタンプ（時刻印）を付けて、リサンプリングアルゴリズムが必要とする時間の参照データを提供することができる。アレイ４５〜４７からの画素データを多重化して単一のデータストリームにして、これらのアレイからプロセッサ、例えばオンボードプロセッサまたは上述した装置プロセッサ３２への伝送の利便性を図る。そしてこのデータストリームを多重分離して、各アレイによって生成された生の画像データセットまたは画像６０〜６２を復元することができる。

ここで追加的に図５を参照しながら、指速度特性６３が、指３５がスライドする動作中の各時点における指速度の推定値であることを説明する。この速度は、各生の画像６０〜６２中のある特徴を含む領域６０ａ〜６２ａを識別することによって計算することができる。この図に示す実施例では、ｙ方向が支配的な指の動きの方向であり、リニアセンサアレイ４５〜４７の長軸に対する法線方向であり、ｘ方向はリニアセンサアレイに平行な方向である。ｘ及びｙの両方向の速度を計算して、指の斜めの動きへの適応を可能にすることができる。

指３５の特徴は、画像処理技術の当業者にとって周知の種々の方法を用いて識別し、センシングアレイ４５〜４７からの画像６０〜６２を通して追跡することができる。生の画像６０〜６２の垂直（ｙ軸）方向のピクセレーションは変動し得るので、広幅（ｘ）で縦に短い（ｙ）領域６０ａ〜６２ａによって表現される特徴は、取り扱いをより容易にすることができ、そしてより広い範囲の指速度にわたって良好な結果を生み出すことができる。この場合には、特徴は単に、多種多様なグレースケールの変化を有する領域とすることができる。明らかに、速度特性６３の推定値の信頼性レベルは、曲線上の計算する点の数に応じて変化し、そして３つ以上のリニアアレイを有するセンサ３１については、実行する速度計算における冗長性の度合いに応じて変化する。当業者にとって明らかなように、平滑化、内挿補間、曲線の当てはめ、及び他のデータ増大方法を適切な所に適用することができ、このことは当業者にとって明らかである。

遅い指の速度は、物理的特徴及び画素サイズに対してオーバーサンプリング（より高いサンプリングレートでのサンプリング）した生の画像６０〜６２によって特徴付けることができる。高い指の速度では、生の画像６０〜６２はアンダーサンプリング（より低いサンプリングレートでのサンプリング）されるようになり得る。例えば３つ以上のより多数のリニアアレイを使用する実施例では、すべてのセンサアレイをまとめた集合的なサンプリングレートが、対象の特徴を撮像するのに必要なベース・サンプリングレート、即ちナイキスト基準に基づくサンプリングレートを超える限り、アンダーサンプリングされた生の画像を用いて、良好なリサンプリングを実行することができる。

ここで追加的に図６を参照しながら、指速度に基づくリサンプリングをさらに説明する。指３５がアレイ４５〜４７上を移動する際に、これらのアレイは、３つの完結した指の画像６０〜６２を、指の速度と共に変化する垂直解像度で生成する。図に示す実施例は、指３５をアレイ４５〜４７上でゆっくり始動させて連続的に加速することによって生成され得る管状形式の速度特性６３を用いた例を利用する。

マトリクス６５の大きな格子上の平行斜線を付けた部分は、図に示す速度特性に基づく、生の画像から正規化した画像上への画素値（グレースケール）の配置を例示する。図に示すこの例では、正規化した画像を最初にスーパーサンプリングした形式で表現し、そしてすべての生の画素を配置した後にダウンサンプリングして最終画像６６を生成する。このスーパーピクセレーション（スーパーサンプリングした画素化）は、発生し得るリサンプリングのディジタル化誤差を最小化する。よりメモリ密度の低いこれらの誤差を制御するために他の方法が利用可能であり、このことは当業者が容易に理解する所である。

平行斜線を付けた各画素中の数字は、この画素のデータが生の画像のどの走査（または行）から来たかを示す。例えば、左傾き平行斜線を付けた０を含む画素中のグレースケールデータはすべて、左傾き平行斜線を付けた生の画像６２の０番目の行から来たものである。この例では、指３５は下向きにスライドし、データストリーム中の最初のデータ（従って、生の画像の最上部のデータ）は、指の下部についてのデータである。ここに示す例では、この逆転を、生の画像６０〜６２を統合画像６５にマッピングするプロセスにおいて修正し、従って最終画像６６は正しい上下左右の向きを有する。指３５が遅く動く際には、画像の底部及び中央部付近では、複数の測定値を組み合わせて各出力画素の最終値が生成されていることがわかる。より速い指の速度が生じると、データは自動的に、出力画素にわたって均等に拡散される。スーパーサンプリングしたアレイ６５中にデータを配置した後に、画像処理に精通した者にとって周知の多数のダウンサンプリング・アルゴリズムのいずれかを用いて、これらのデータをダウンサンプリングして所望の垂直及び水平解像度にする。統合した画像データを最適にリサンプリングすることによって、この種の画像用のダウンサンプリング・アルゴリズムは、生のデータにノイズがあるか、生のデータが弱いか、あるいは生のデータの品質が変動する際にも、原画像の最尤推定値を生成することができる。

ここで追加的に図７〜１３を参照しながら、好適な指の画像データの処理を説明する。より詳細には、この例におけるデータを生成するために用いる指センサ７０は、各々が１９６画素の４つのリニアアレイ７１〜７４を有し、これらのアレイはａ＝５０ミクロン及びｂ＝３００ミクロンの間隔を有する。各リニアアレイ７１〜７４によって生成される指全体の可変垂直解像度の画像のそれぞれを、図８〜１１の画像７５〜７９によって示す。これらの画像は、上記垂直及び水平解像度の固定解像度のデータを含むように表示されている。実際に、この例において指がスライドする速度では、画素は垂直方向の方が水平方向より大きい画像領域を表現する。この表示方法の結果は、これらの画像が垂直方向に押し縮められて見える、ということである。比較のため、単一アレイからの画像を直線的に引き伸ばして生じた画像を図１２の画像８１によって示し、本明細書で説明するように、４つの可変垂直解像度の画像をリサンプリングして組み合わせて生じた画像を図１３に示す。

単一アレイからの画像８１（図１２）には、指がスライドする速度の変化が、稜線の幅の明らかな変化及び稜線の方向角の屈曲として見られる。図１３のリサンプリングした画像８０では、この画像の歪みが修正されている。なお、リサンプリングした画像８０は右に傾いている。これは、指がセンサ７０上を少し斜めにスライドした結果である。指センサ装置は小さい水平速度を検出して、リサンプリング中にこの水平速度を補償する。この補償は正規化の効果を有して、当業者が見込むよりもずっと正確なパターン整合（マッチング）を可能にする。

当業者にとって明らかなように、２つ以上のバイオメトリクスは、例えば本願の譲受人に譲渡された米国特許出願第2005/0089202号、発明の名称”Multi-biometric finger sensor including electric field sensing pixels and associated methods”に開示されたように検出することができ、この特許出願の全文を参考文献として本明細書に含める。従って、以上の説明及び関連する図面において提供される教示が利益となる当業者は、本発明の多数の変形及び他の実施例を想到し得る。従って、本発明は開示した特定実施例に限定されず、その変形及び実施例が特許請求の範囲に含まれることは明らかである。

本発明による指センサ装置を含む電子装置の概略図である。図１に示す指センサ装置の特に断面をより詳細に示す図である。図１に示す指センサ装置によって実行される画像処理の概略図であり、明瞭に図示するために簡略化して２つの指センシングアレイのみを示す。図１に示す指センサ装置によって実行される画像処理の他の概略図であり、多重化を含む。図１に示す指センサ装置によって実行される画像処理をより詳細に示す図であり、指の動き判定を含む。図１に示す指センサ装置によって実行される画像処理をより詳細に示す図であり、リサンプリングを含む。本発明による指センサ装置の例における指画像センシングアレイの概略図である。図７の例における指センシングアレイからの指画像のサンプルである。図７の例における指センシングアレイからの指画像のサンプルである。図７の例における指センシングアレイからの指画像のサンプルである。図７の例における指センシングアレイからの指画像のサンプルである。従来技術により処理した指画像のサンプルに基づく線形拡大したサンプル画像である。図８〜１１の指画像のサンプルに基づき、本発明により処理した完成画像のサンプルである。

Claims

互いに平行に配置された複数の指画像センシングアレイと；
前記複数の指画像センシングアレイと協働するプロセッサとを具え、
前記複数の指画像センシングアレイは、前記複数の指画像センシングアレイ上で指が、前記平行に配置された複数の指画像センシングアレイを横断する方向にスライドする動きに基づいて、複数の指画像データセットのそれぞれを生成し、
前記プロセッサは、前記複数の指画像データセットに基づいて指の動きを測定し、そして前記測定した指の動きに基づいて前記複数の指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成し、
前記リサンプリングすることは、少なくとも、
前記測定した指の動きを用いて、前記複数の指画像データセットを単一アレイの形に配列し、これにより、前記指画像データセットの各々の解像度よりも高い解像度を有するスーパーサンプリングした指画像データアレイを生成し、
前記スーパーサンプリングした指画像データアレイをダウンサンプリングして、前記スーパーサンプリングした指画像データアレイの解像度よりも低い解像度を有するダウンサンプリングした指画像データアレイを生成し、これにより、前記リサンプリングした指画像データセットを規定する
ことによって行うことを特徴とする指センサ装置。
前記プロセッサがさらに、前記リサンプリングした指画像データセットを生成する際に、前記複数の指画像データセットをデスキューすることを特徴とする請求項１に記載の指センサ装置。
前記プロセッサが、前記複数の指画像センシングアレイの各々を、前記指画像データセットの各々が完結した指画像データセットを規定するように走査することを特徴とする請求項１に記載の指センサ装置。
前記プロセッサが、前記複数の指画像データセットの各指画像データセット中の少なくとも１つの特徴を識別して追跡することに基づいて、指の動きを測定することを特徴とする請求項１に記載の指センサ装置。
前記プロセッサが指の動きを二次元で測定することを特徴とする請求項４に記載の指センサ装置。
前記プロセッサがさらに、前記リサンプリングした指画像データセット、及び記憶している指画像データセットに基づいて、指の整合を判定することを特徴とする請求項１に記載の指センサ装置。
さらにディスプレイを具え、前記プロセッサが、前記リサンプリングした指画像データセットに基づいて、前記ディスプレイ上に指画像を生成することを特徴とする請求項１に記載の指センサ装置。
前記複数の指画像センシングアレイの各々が、指画像センシング画素のリニアアレイで構成されることを特徴とする請求項１に記載の指センサ装置。
前記指画像センシング画素の各々が、集積回路型指画像センシング画素で構成されることを特徴とする請求項８に記載の指センサ装置。
さらに、前記複数の指画像センシングアレイと前記プロセッサとの間に接続された多重データバスを具えていることを特徴とする請求項１に記載の指センサ装置。
前記プロセッサが、前記複数の指画像センシングアレイから分離していることを特徴とする請求項１に記載の指センサ装置。
前記複数の指画像センシングアレイの少なくともいくつかの隣接するものどうしが、不均等な間隔で配置されていることを特徴とする請求項１に記載の指センサ装置。
筐体と；
前記筐体によって支持される指センサ装置とを具え、
前記指センサ装置が、
互いに平行に配置された複数の指画像センシングアレイと；
前記複数の指画像センシングアレイと協働するプロセッサとを具え、
前記複数の指画像センシングアレイは、前記複数の指画像センシングアレイ上で指が、前記平行に配置された複数の指画像センシングアレイを横断する方向にスライドする動きに基づいて、複数の指画像データセットのそれぞれを生成し、前記複数の指センシングアレイの各々が、集積回路型指画像センシング画素のリニアアレイで構成され、
前記プロセッサは、前記複数の指画像データセットに基づいて指の動きを測定し、そして前記測定した指の動きに基づいて前記複数の指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成し、
前記リサンプリングすることは、少なくとも、
前記測定した指の動きを用いて、前記複数の指画像データセットを単一アレイの形に配列し、これにより、前記指画像データセットの各々の解像度よりも高い解像度を有するスーパーサンプリングした指画像データアレイを生成し、
前記スーパーサンプリングした指画像データアレイをダウンサンプリングして、前記スーパーサンプリングした指画像データアレイの解像度よりも低い解像度を有するダウンサンプリングした指画像データアレイを生成し、これにより、前記リサンプリングした指画像データセットを規定する
ことによって行うことを特徴とする電子装置。
前記プロセッサがさらに、前記リサンプリングした指画像データセットを生成する際に、前記複数の指画像データセットをデスキューすることを特徴とする請求項１３に記載の電子装置。
前記プロセッサが、前記複数の指画像センシングアレイの各々を、前記指画像データセットの各々が完結した指画像データセットを規定するように走査することを特徴とする請求項１３に記載の電子装置。
前記プロセッサが、前記複数の指画像データセットの各指画像データセット中の少なくとも１つの特徴を識別して追跡することに基づいて、指の動きを測定することを特徴とする請求項１３に記載の電子装置。
前記プロセッサがさらに、前記リサンプリングした指画像データセット、及び記憶している指画像データセットに基づいて、指の整合を判定することを特徴とする請求項１３に記載の電子装置。
さらに、前記筐体によって支持されるディスプレイを具え、前記プロセッサが、前記リサンプリングした指画像データセットに基づいて、前記ディスプレイ上に指画像を生成することを特徴とする請求項１３に記載の電子装置。
互いに平行に配置された複数の指画像センシングアレイ上で指が、前記平行に配置された複数の指画像センシングアレイを横断する方向にスライドする動きに基づいて、複数の指画像データセットのそれぞれを生成するステップと；
前記複数の指画像データセットに基づいて指の動きを測定するステップと；
前記測定した指の動きに基づいて前記複数の指画像データセットをリサンプリングすることによって、リサンプリングした指画像データセットを生成するステップとを具え、
前記リサンプリングすることは、少なくとも、
前記測定した指の動きを用いて、前記複数の指画像データセットを単一アレイの形に配列し、これにより、前記指画像データセットの各々の解像度よりも高い解像度を有するスーパーサンプリングした指画像データアレイを生成し、
前記スーパーサンプリングした指画像データアレイをダウンサンプリングして、前記スーパーサンプリングした指画像データアレイの解像度よりも低い解像度を有するダウンサンプリングした指画像データアレイを生成し、これにより、前記リサンプリングした指画像データセットを規定する
ことによって行うことを特徴とする指センシング方法。
前記リサンプリングした指画像データセットを生成するステップがさらに、前記複数の指画像データセットをデスキューすることを含むことを特徴とする請求項１９に記載の指センシング方法。
前記複数の指画像データセットのそれぞれを生成するステップが、前記複数の指画像センシングアレイの各々を、前記指画像データセットの各々が完結した指画像データセットを規定するように走査することを含むことを特徴とする請求項１９に記載の指センシング方法。
前記指の動きを測定するステップが、前記複数の指画像データセットの各指画像データセット中の少なくとも１つの特徴を識別して追跡することに基づいて、指の動きを測定することを含むことを特徴とする請求項１９に記載の指センシング方法。
さらに、前記リサンプリングした指画像データセット、及び記憶している指画像データセットに基づいて、指の整合を判定するステップを具えていることを特徴とする請求項１９に記載の指センシング方法。
さらに、前記リサンプリングした指画像データセットに基づいて、指画像をディスプレイ上に生成するステップを具えていることを特徴とする請求項１９に記載の指センシング方法。
前記複数の指画像センシングアレイの各々が、指画像センシング画素のリニアアレイで構成されることを特徴とする請求項１９に記載の指センシング方法。
前記指画像センシング画素の各々が、集積回路型指画像センシング画素で構成されることを特徴とする請求項２５に記載の指センシング方法。