JP2019520864A - 光音響撮像を伴うバイオメトリックシステム - Google Patents

光音響撮像を伴うバイオメトリックシステム Download PDF

Info

Publication number
JP2019520864A
JP2019520864A JP2018555769A JP2018555769A JP2019520864A JP 2019520864 A JP2019520864 A JP 2019520864A JP 2018555769 A JP2018555769 A JP 2018555769A JP 2018555769 A JP2018555769 A JP 2018555769A JP 2019520864 A JP2019520864 A JP 2019520864A
Authority
JP
Japan
Prior art keywords
ultrasound
image data
light source
light
sensor array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018555769A
Other languages
English (en)
Other versions
JP6847976B2 (ja
JP2019520864A5 (ja
Inventor
イペン・ル
デイヴィッド・ウィリアム・バーンズ
Original Assignee
クアルコム,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム,インコーポレイテッド filed Critical クアルコム,インコーポレイテッド
Publication of JP2019520864A publication Critical patent/JP2019520864A/ja
Publication of JP2019520864A5 publication Critical patent/JP2019520864A5/ja
Application granted granted Critical
Publication of JP6847976B2 publication Critical patent/JP6847976B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1312Sensors therefor direct reading, e.g. contactless acquisition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/14Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object using acoustic emission techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1306Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • G06V40/1353Extracting features related to minutiae or pores
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1382Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1382Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06V40/1394Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)

Abstract

バイオメトリックシステムは、超音波センサアレイと、光源システムと、制御システムとを含んでもよい。いくつかの実装形態は、超音波送信機を含み得る。制御システムは、光を放出するように光源システムを制御し、光源システムによって放出された光により照明されることに応答して対象物体の部分から放出された音響波に対応する超音波センサアレイからの信号を受信することが可能であってもよい。制御システムは、超音波センサアレイからの信号に少なくとも部分的に基づくユーザ認証プロセスを実行することが可能であってもよい。

Description

優先権主張
本出願は、参照により本明細書に組み込まれている、2016年5月6日に出願された「BIOMETRIC SYSTEM WITH PHOTOACOUSTIC IMAGING」と題する米国出願第15/149,046号に対する優先権を主張するものである。
本開示は、一般に、限定はしないが、モバイルデバイスに適用可能なバイオメトリックデバイスおよび方法を含むバイオメトリックデバイスおよび方法に関する。
モバイルデバイスがより多用途になるのに従って、ユーザ認証がますます重要になっている。ますます多くの量の個人情報が、モバイルデバイス上に記憶され、かつ/またはモバイルデバイスによってアクセス可能になり得る。その上、モバイルデバイスは、買い物をするため、また他の商取引を実行するためにますます使用されている。限定はしないがスマートフォンを含む一部のモバイルデバイスは現在、ユーザ認証のための指紋センサを含む。しかしながら、一部の指紋センサは、容易にスプーフィングされる。改善された認証方法が望ましい。
本開示のシステム、方法およびデバイスは各々、いくつかの発明的態様を有し、それらの態様はいずれも、本明細書で開示する望ましい属性を単独で担うものではない。
本開示で説明する主題の1つの発明的態様は、装置において実装され得る。装置は、基板と、基板上の、または基板に近接した超音波センサアレイと、光源システムと、制御システムとを含んでもよい。いくつかの例では、装置は、バイオメトリックシステムであってもよく、またはバイオメトリックシステムを含んでもよい。いくつかの実装形態では、モバイルデバイスが装置であってもよく、または装置を含んでもよい。たとえば、モバイルデバイスが本明細書で開示するバイオメトリックシステムを含んでもよい。
制御システムは、1つもしくは複数の汎用シングルチップもしくはマルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、またはそれらの組合せを含んでもよい。制御システムは、光を放出するように光源システムを制御し、対象物体の部分から放出された音響波に対応する超音波センサアレイからの信号を受信することが可能であってもよい。放出は、対象物体が光源システムによって放出された光により照明されることに起因し得る。制御システムは、超音波センサアレイからの信号に少なくとも部分的に基づくユーザ認証プロセスを実行することが可能であってもよい。
装置は、特定の実装形態に応じて超音波送信機を含んでもよく、または含まなくてもよい。装置が超音波送信機を含む場合、制御システムは、超音波センサアレイを介して指紋画像データを取得するように超音波送信機を制御することが可能であってもよい。認証プロセスは、指紋画像データを評価することを伴い得る。
いくつかの例では、光源システムは、1つまたは複数のレーザーダイオードまたは発光ダイオードを含み得る。たとえば、光源システムは、少なくとも1つの赤外線、光学、赤色、緑色、青色、白色もしくは紫外線発光ダイオードおよび/または少なくとも1つの赤外線、光学、赤色、緑色、青色もしくは紫外線レーザーダイオードを含み得る。いくつかの実装形態では、光源システムは、約100ナノ秒未満のパルス幅を有する光パルスを放出することが可能であってもよい。いくつかの例では、光源システムは、約1MHzから約100MHzの間のパルス周波数で複数の光パルスを放出することが可能であってもよい。複数の光パルスのパルス周波数は、場合によっては、超音波センサアレイおよび/または基板の音響共鳴周波数に対応し得る。いくつかの実装形態によれば、光源システムによって放出された光は、基板を通って伝送され得る。いくつかの例によれば、制御システムは、超音波センサアレイからの1つまたは複数の対応する距離からの音響波放出を受信するために、1つまたは複数の収集時間遅延を選択することが可能であってもよい。
いくつかの実装形態では、制御システムは、光源システムによって放出される光の波長を選択することが可能であってもよい。いくつかのそのような実装形態によれば、制御システムは、対象物体の部分を照明するために波長および選択された波長に関連する光度を選択することが可能であってもよい。
いくつかの例によれば、制御システムは、ユーザ認証の目的で、属性情報を、認定ユーザから以前受信された画像データから取得された記憶済み属性情報と比較することが可能であってもよい。属性情報は、超音波センサアレイからの信号に基づいて、受信された画像データから取得され得る。いくつかの例では、受信された画像データから取得された属性情報および記憶済み属性情報は、表皮下特徴、筋組織特徴または骨組織特徴のうちの少なくとも1つに対応する属性情報を含み得る。いくつかの実装形態では、受信された画像データから取得された属性情報および記憶済み属性情報は、表皮下特徴に対応する属性情報を含み得る。いくつかのそのような実装形態では、表皮下特徴は、真皮の特徴、皮下組織の特徴、血管特徴、リンパ管特徴、汗腺特徴、毛包特徴、毛乳頭特徴および/または脂肪小葉特徴を含み得る。代替または追加として、受信された画像データから取得された属性情報および記憶済み属性情報は、指紋マニューシャに関する情報を含み得る。
いくつかの例では、制御システムは、ユーザ認証の目的で、超音波送信機からの超音波による対象物体の照射を介して超音波画像データを取得することが可能であってもよい。制御システムは、光源システムから放出された光による対象物体の照明を介して超音波画像データを取得することが可能であってもよい。いくつかのそのような例では、対象物体の照射を介して取得される超音波画像データは、指紋画像データを含み得る。代替または追加として、対象物体の照明を介して取得される超音波画像データは、脈管画像データを含み得る。
いくつかの実装形態によれば、対象物体は、超音波センサアレイの表面上に配置されてもよく、または超音波センサアレイに音響的に結合されたプラテンの表面上に配置されてもよい。いくつかの例では、対象物体は指または指状の物体であり得る。いくつかの実装形態によれば、制御システムは、受信された信号に基づいて対象物体の生体性判断(liveness determination)を行うように構成され得る。
本開示で説明する主題の他の発明的態様は、光を放出するように光源システムを制御するステップを伴い得るバイオメトリック認証方法において実装され得る。方法は、光源システムによって放出された光により照明されることに応答して対象物体の部分から放出された音響波に対応する超音波センサアレイからの信号を受信するステップを伴い得る。方法は、超音波センサアレイからの信号に少なくとも部分的に基づくユーザ認証プロセスを実行するステップを伴い得る。
いくつかの例では、方法は、超音波送信機からの超音波による対象物体の照射を介して超音波画像データを取得するステップを伴い得る。ユーザ認証プロセスは、超音波画像データに少なくとも部分的に基づき得る。
場合によっては、方法は、対象物体の部分からの音響波放出を選択的に生成するために、光源システムによって放出される光の波長および光度を選択するステップを伴い得る。いくつかの例では、方法は、超音波センサアレイからの対応する距離での音響波放出を受信するために、収集時間遅延を選択するステップを伴い得る。
いくつかの例では、光源システムを制御するステップは、モバイルデバイスの光源システムを制御するステップを伴い得る。いくつかのそのような例では、光源システムを制御するステップは、モバイルデバイスのディスプレイを照明することが可能な少なくとも1つのバックライトまたはフロントライトを制御するステップを伴う。
本明細書で説明する方法の一部または全部は、非一時的媒体上に記憶された命令(たとえば、ソフトウェア)に従って、1つまたは複数のデバイスによって実行されてもよい。そのような非一時的媒体は、限定はしないが、ランダムアクセスメモリ(RAM)デバイス、読取り専用メモリ(ROM)デバイスなどを含む、本明細書で説明するようなメモリデバイスを含んでもよい。したがって、本開示で説明する主題のいくつかの発明的態様は、ソフトウェアが記憶された非一時的媒体において実装され得る。
たとえば、ソフトウェアは、光を放出するように光源システムを制御するための命令を含み得る。ソフトウェアは、光源システムによって放出された光により照明されることに応答して対象物体の部分から放出された音響波に対応する超音波センサアレイからの信号を受信するための命令を含み得る。ソフトウェアは、超音波センサアレイからの信号に少なくとも部分的に基づくユーザ認証プロセスを実行するための命令を含み得る。
いくつかの例によれば、ソフトウェアは、超音波送信機からの超音波による対象物体の照射を介して超音波画像データを取得するための命令を含み得る。ユーザ認証プロセスは、超音波画像データに少なくとも部分的に基づき得る。場合によっては、ソフトウェアは、対象物体の部分からの音響波放出を選択的に生成するために、光源システムによって放出される光の波長および光度を選択するための命令を含み得る。いくつかの例では、ソフトウェアは、超音波センサアレイからの対応する距離での音響波放出を受信するために、収集時間遅延を選択するための命令を含み得る。いくつかの実装形態によれば、光源システムを制御することは、モバイルデバイスのディスプレイを照明することが可能な少なくとも1つのバックライトまたはフロントライトを制御することを伴い得る。
本開示で説明する主題の他の発明的態様も、装置において実装され得る。装置は、超音波センサアレイと、光源システムと、制御システムとを含んでもよい。いくつかの例では、装置は、バイオメトリックシステムであってもよく、またはバイオメトリックシステムを含んでもよい。いくつかの実装形態では、モバイルデバイスが装置であってもよく、または装置を含んでもよい。たとえば、モバイルデバイスが本明細書で開示するバイオメトリックシステムを含んでもよい。いくつかの実装形態では、超音波センサアレイと光源システムの一部分とは、超音波ボタン、ディスプレイモジュールおよび/またはモバイルデバイス筐体において構成され得る。
制御システムは、1つもしくは複数の汎用シングルチップもしくはマルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、またはそれらの組合せを含んでもよい。制御システムは、対象物体内での音響波放出を引き起こす光を放出するように光源システムを制御するように動作可能に構成され得る。制御システムは、主に対象物体内の第1の深度からの音響波放出の受信のために、第1の収集時間遅延を選択するように動作可能に構成され得る。制御システムは、第1の収集時間ウィンドウの間に超音波センサアレイによって受信された音響波放出から第1の超音波画像データを収集するように動作可能に構成され得る。第1の収集時間ウィンドウは、第1の収集時間遅延の終了時間に開始され得る。いくつかの実装形態では、第1の超音波画像データは、超音波センサアレイ内の複数のセンサピクセルの各々に配設されたピーク検出器回路から第1の収集時間ウィンドウの間に収集され得る。
いくつかの例では、装置は、ディスプレイを含み得る。制御システムは、第1の超音波画像データに相当する2次元画像を示すようにディスプレイを制御するように構成され得る。
いくつかの例によれば、収集時間遅延は、光源システムが光を放出する時間から測定され得る。いくつかの実装形態では、第1の収集時間ウィンドウは、約10ナノ秒から約200ナノ秒までの範囲内にあり得る。場合によっては、制御システムは、第2から第Nの収集時間遅延を選択し、第2から第Nの収集時間遅延の後の第2から第Nの収集時間ウィンドウの間に第2から第Nの超音波画像データを収集するように動作可能に構成され得る。第2から第Nの収集時間遅延の各々は、対象物体内の第2から第Nの深度に対応し得る。いくつかのそのような例では、装置はディスプレイを含んでもよく、制御システムは、第1から第Nの超音波画像データの少なくともサブセットに相当する3次元画像を示すようにディスプレイを制御するように構成され得る。
いくつかの例では、光源システムは、1つまたは複数のレーザーダイオード、半導体レーザーおよび/または発光ダイオードを含み得る。たとえば、光源システムは、少なくとも1つの赤外線、光学、赤色、緑色、青色、白色もしくは紫外線発光ダイオードおよび/または少なくとも1つの赤外線、光学、赤色、緑色、青色もしくは紫外線レーザーダイオードを含み得る。いくつかの実装形態では、光源システムは、約100ナノ秒未満のパルス幅を有する光パルスを放出することが可能であってもよい。いくつかの実装形態によれば、制御システムは、約10ナノ秒から約500ナノ秒までの範囲内にある持続時間を有する少なくとも1つの光パルスを放出するように光源システムを制御するように構成され得る。いくつかの例では、光源システムは、約1MHzから約100MHzの間のパルス周波数で複数の光パルスを放出することが可能であってもよい。
いくつかの実装態様では、装置は基板を含み得る。いくつかのそのような実装形態では、超音波センサアレイは、基板中または基板上に形成され得る。いくつかの例では、光源システムは基板に結合され得る。いくつかの実装形態によれば、光源システムによって放出された光は、基板を通って伝送され得る。いくつかの例では、光源システムによって放出された光は、超音波センサアレイを通って伝送され得る。いくつかの実装形態では、光源システムによって放出された光は、複数の光パルスを含んでもよく、複数の光パルスのパルス周波数は、超音波センサアレイおよび/または基板の音響共鳴周波数に対応し得る。いくつかの例によれば、制御システムは、超音波センサアレイからの1つまたは複数の対応する距離からの音響波放出を受信するために、1つまたは複数の収集時間遅延を選択することが可能であってもよい。
いくつかの実装形態では、制御システムは、光源システムによって放出される光の波長を選択することが可能であってもよい。いくつかのそのような実装形態によれば、制御システムは、対象物体の部分を照明するために波長および選択された波長に関連する光度を選択することが可能であってもよい。いくつかの例では、制御システムは、主に対象物体中の特定のタイプの物質からの音響波放出をトリガするために、光の1つまたは複数の波長を選択するように構成され得る。
いくつかの例によれば、制御システムは、ユーザ認証の目的で、超音波センサアレイからの信号に基づいて、受信された画像データから取得された属性情報を、認定ユーザから以前受信された画像データから取得された記憶済み属性情報と比較することが可能であってもよい。いくつかの例では、受信された画像データから取得された属性情報および記憶済み属性情報は、表皮下特徴、筋組織特徴または骨組織特徴のうちの少なくとも1つに対応する属性情報を含み得る。いくつかの実装形態では、受信された画像データから取得された属性情報および記憶済み属性情報は、表皮下特徴に対応する属性情報を含み得る。いくつかのそのような実装形態では、表皮下特徴は、真皮の特徴、皮下組織の特徴、血管特徴、リンパ管特徴、汗腺特徴、毛包特徴、毛乳頭特徴および/または脂肪小葉特徴を含み得る。代替または追加として、受信された画像データから取得された属性情報および記憶済み属性情報は、指紋マニューシャに関する情報を含み得る。
いくつかの例では、制御システムは、ユーザ認証の目的で、超音波送信機からの超音波による対象物体の照射を介して超音波画像データを取得することが可能であってもよい。制御システムは、光源システムから放出された光による対象物体の照明を介して超音波画像データを取得することが可能であってもよい。いくつかのそのような例では、対象物体の照射を介して取得される超音波画像データは、指紋画像データを含み得る。代替または追加として、対象物体の照明を介して取得される超音波画像データは、脈管画像データを含み得る。
いくつかの実装形態によれば、対象物体は、超音波センサアレイの表面上に配置されてもよく、または超音波センサアレイに音響的に結合されたプラテンの表面上に配置されてもよい。いくつかの例では、対象物体は指または指状の物体であり得る。いくつかの実装形態によれば、制御システムは、受信された信号に基づいて対象物体の生体性判断を行うように構成され得る。
いくつかの実装形態によれば、光源システムを制御することは、ディスプレイを照明することが可能な少なくとも1つのバックライトまたはフロントライトを制御することを伴い得る。光源システムは、ディスプレイおよび対象物体を照明するように構成された少なくとも1つのバックライトまたはフロントライトを含み得る。いくつかの例では、光源システムを制御することは、モバイルデバイスの光源システムを制御することを伴い得る。いくつかのそのような例では、光源システムを制御することは、モバイルデバイスのディスプレイを照明することが可能な少なくとも1つのバックライトまたはフロントライトを制御することを伴う。
いくつかの例では、制御システムは、血中酸素濃度を推定するように構成され得る。いくつかの実装形態によれば、制御システムは、血糖値を推定するように構成され得る。
いくつかの例では、制御システムは、主に対象物体内の第1の深度から第2の超音波画像データを収集するように構成され得る。場合によっては、第2の超音波画像データは、フレームレートに対応する時間期間の後に収集され得る。
いくつかの実装形態では、制御システムは画像スティッチングのために構成され得る。たとえば、いくつかのそのような実装形態では、制御システムは、主に対象物体内の第1の深度で第2の超音波画像データを収集するように構成され得る。第2の超音波画像データは、対象物体が装置上で再配置された後または装置が対象物体に対して再配置された後に収集され得る。いくつかの実装形態では、制御システムは、合成超音波画像を形成するために第1および第2の超音波画像データをスティッチングするように構成され得る。
装置は、特定の実装形態に応じて超音波送信機を含んでもよく、または含まなくてもよい。装置が超音波送信機を含む場合、制御システムは、超音波送信機からの超音波による対象物体の照射から第2の超音波画像データを収集するように構成され得る。いくつかのそのような例では、第2の超音波画像データは、主に対象物体内の第1の深度から収集されてもよく、第1の超音波画像データおよび第2の超音波画像データは、超音波センサアレイ内の複数のセンサピクセルから収集され得る。いくつかの例では、制御システムは、超音波センサアレイを介して指紋画像データを取得するように超音波送信機を制御することが可能であってもよい。認証プロセスは、指紋画像データを評価することおよび/または指紋マニューシャなどの指紋画像データに基づくデータを評価することを伴い得る。
本開示で説明する主題のさらに他の発明的態様は、光を放出するように光源システムを制御するステップを伴う超音波画像データを収集する方法において実装され得る。光は、対象物体内での音響波放出を引き起こし得る。方法は、主に対象物体内の第1の深度からの音響波放出を受信するために、第1の収集時間遅延を選択するステップを伴い得る。方法は、第1の収集時間ウィンドウの間に超音波センサアレイによって受信された音響波放出から第1の超音波画像データを収集するステップを伴い得る。第1の収集時間ウィンドウは、第1の収集時間遅延の終了時間に開始され得る。いくつかの例では、方法は、第1の超音波画像データに相当する2次元画像を示すようにディスプレイを制御するステップを伴い得る。
いくつかの例では、収集時間遅延は、光源システムが光を放出する時間から測定され得る。場合によっては、第1の収集時間ウィンドウは、約10ナノ秒から約200ナノ秒までの範囲内にあり得る。
いくつかの例では、方法は、第2から第Nの収集時間遅延を選択するステップと、第2から第Nの収集時間遅延の後の第2から第Nの収集時間ウィンドウの間に第2から第Nの超音波画像データを収集するステップとを伴い得る。いくつかのそのような例では、第2から第Nの収集時間遅延の各々は、対象物体内の第2から第Nの深度に対応し得る。
本開示で説明する主題のまた他の発明的態様は、ソフトウェアが記憶された非一時的媒体において実装され得る。いくつかの例では、ソフトウェアは、光を放出するように光源システムを制御するように1つまたは複数のデバイスを制御するための命令を含み得る。光は、対象物体内での音響波放出を引き起こし得る。ソフトウェアは、主に対象物体内の第1の深度からの音響波放出を受信するために、第1の収集時間遅延を選択するための命令を含み得る。ソフトウェアは、第1の収集時間ウィンドウの間に超音波センサアレイによって受信された音響波放出から第1の超音波画像データを収集するための命令を含み得る。いくつかの例では、ソフトウェアは、第1の超音波画像データに相当する2次元画像を示すようにディスプレイを制御するための命令を含み得る。
第1の収集時間ウィンドウは、たとえば、第1の収集時間遅延の終了時間に開始され得る。いくつかの例では、収集時間遅延は、光源システムが光を放出する時間から測定される。いくつかの実装形態によれば、第1の収集時間ウィンドウは、約10ナノ秒から約200ナノ秒までの範囲内にあり得る。いくつかの例では、ソフトウェアは、第2から第Nの収集時間遅延を選択し、第2から第Nの収集時間遅延の後の第2から第Nの収集時間ウィンドウの間に第2から第Nの超音波画像データを収集するための命令を含み得る。第2から第Nの収集時間遅延の各々は、対象物体内の第2から第Nの深度に対応し得る。
本明細書で説明する主題の1つまたは複数の実装形態の詳細は、添付の図面および下記の説明内に記載される。説明、図面、および特許請求の範囲から、他の特徴、態様、および利点が明らかとなるであろう。以下の図の相対的な寸法は、一定の縮尺で描かれていない場合があることに留意されたい。様々な図面における同様の参照番号および名称は、同様の要素を示す。
入射光によって別様に加熱され、その後に音響波を放出する血液の成分の一例を示す図である。 いくつかの開示される実装形態による装置の例示的な構成要素を示すブロック図である。 バイオメトリックシステム動作の例を提供する流れ図である。 図3の方法を実行することが可能な装置の断面図の一例を示す図である。 本明細書で開示するバイオメトリックシステムを含むモバイルデバイスの一例を示す図である。 バイオメトリックシステム動作のさらなる例を提供する流れ図である。 異なる深度から放出された音響波を受信するために選択されている複数の収集時間遅延の例を示す図である。 バイオメトリックシステム動作の追加の例を提供する流れ図である。 複数の光パルスに応答して、異なる深度から放出された超音波を受信するために選択されている複数の収集時間遅延の例を示す図である。 本明細書で開示するような、バイオメトリックシステムのプラテン上に配置された対象物体の断面図の例を示す図である。 本明細書で開示するような、バイオメトリックシステムのプラテン上に配置された対象物体の断面図の例を示す図である。 本明細書で開示するような、バイオメトリックシステムのプラテン上に配置された対象物体の断面図の例を示す図である。 図10A〜図10Cに示すプロセスによって収集された超音波画像データに相当する一連の単純化された2次元画像および3次元再構成を示す図である。 図10A〜図10Cに示すプロセスによって収集された超音波画像データに相当する一連の単純化された2次元画像および3次元再構成を示す図である。 図10A〜図10Cに示すプロセスによって収集された超音波画像データに相当する一連の単純化された2次元画像および3次元再構成を示す図である。 本明細書で開示する方法を実行することが可能なバイオメトリックシステムを含むモバイルデバイスの一例を示す図である。 図11に示すようなモバイルデバイスを介して取得された超音波画像データをスティッチングする方法の一例を提供する流れ図である。 いくつかの開示されるバイオメトリックシステムにより実行され得る酸化ヘモグロビン検出の方法のブロックを示す流れ図である。 超音波センサシステムに対するセンサピクセルの4×4のピクセルアレイの態様を代表的に示す図である。 超音波センサシステムの分解図の一例を示す図である。 超音波センサシステムの代替例の分解図を示す図である。
以下の説明は、本開示の発明的態様について説明する目的で特定の実装形態を対象としている。しかしながら、本明細書の教示は、多くの異なる方法で適用できることは当業者には容易に認識されよう。説明する実装形態は、本明細書で開示するバイオメトリックシステムを含む任意のデバイス、装置、またはシステムにおいて実装されてもよい。加えて、説明する実装形態は、モバイル電話、マルチメディアインターネット対応セルラー電話、モバイルテレビジョン受信機、ワイヤレスデバイス、スマートフォン、スマートカード、ブレスレット、腕章、リストバンド、リング、ヘッドバンド、パッチなどの装着型デバイス、Bluetooth(登録商標)デバイス、携帯情報端末(PDA)、ワイヤレス電子メール受信機、ハンドヘルドコンピュータまたはポータブルコンピュータ、ネットブック、ノートブック、スマートブック、タブレット、プリンタ、複写機、スキャナ、ファクシミリデバイス、全地球測位システム(GPS)受信機/ナビゲータ、カメラ、デジタルメディアプレーヤ(MP3プレーヤなど)、カムコーダ、ゲームコンソール、腕時計、時計、計算機、テレビジョンモニタ、フラットパネルディスプレイ、電子読取りデバイス(たとえば、電子リーダー)、モバイルヘルスデバイス、コンピュータモニタ、自動車用ディスプレイ(走行距離計ディスプレイおよび速度計ディスプレイなどを含む)、コックピット制御機器および/またはディスプレイ、カメラ視野ディスプレイ(車両における後方視野カメラのディスプレイなど)、電子写真、街頭ビジョンまたは電子看板、映写機、建築構造、電子レンジ、冷蔵庫、ステレオシステム、カセットレコーダまたはプレーヤ、DVDプレーヤ、CDプレーヤ、VCR、ラジオ、ポータブルメモリチップ、洗濯機、乾燥機、洗濯/乾燥機、駐車メータ、パッケージ構造(マイクロ電気機械システム(MEMS)アプリケーションを含む電気機械システム(EMS)アプリケーション、ならびに非EMSアプリケーションにおけるものなど)、美的構造(宝石または衣服上への画像の表示など)、ならびに様々なEMSデバイスなどであるがそれらに限らない様々な電子デバイスに含まれるか、あるいはそれらの電子デバイスに関連付けられてもよいことが企図されている。本明細書の教示はまた、電子スイッチングデバイス、無線周波数フィルタ、センサ、加速度計、ジャイロスコープ、動き検知デバイス、磁気計、家庭用電子機器用の慣性構成要素、家庭用電化製品の部品、ステアリングホイールまたは他の自動車部品、バラクタ、液晶デバイス、電気泳動デバイス、駆動方式、製造プロセス、および電子試験機器などであるがそれらに限らない用途で使用されてもよい。したがって、これらの教示は、単に図に示されている実装形態に限定されることは意図されておらず、代わりに、当業者には容易に明らかであるように、広い適用可能性を有している。
本明細書で開示する様々な実装形態は、光励起および結果としての音響波生成の超音波撮像が可能であるバイオメトリックシステムを含み得る。そのような撮像は、本明細書では「光音響撮像」と呼ばれることがある。いくつかのそのような実装形態は、骨、筋組織、血液、血管、および/または他の表皮下特徴から画像を取得することが可能であってもよい。本明細書で使用する「表皮下特徴」という用語は、真皮、皮下組織などを含む表皮の下にある組織層、およびそのような組織層内に存在し得るあらゆる血管、リンパ管、汗腺、毛包特徴、毛乳頭、脂肪小葉特徴などのいずれかを指し得る。いくつかの実装形態は、光音響撮像を介して取得された画像データに少なくとも部分的に基づくバイオメトリック認証が可能であってもよい。いくつかの例では、認証プロセスは、光音響撮像を介して取得された画像データに、また超音波を送信し、対応する反射された超音波を検出することによって取得された画像データに基づき得る。
いくつかの実装形態では、光源システムによって放出される1つまたは複数の入射光波長が、血液、血球、血管、血管構造、リンパ管構造、他の軟組織、または骨など、主に特定のタイプの物質からの音響波放出をトリガするために選択され得る。音響波放出は、いくつかの例では、超音波を含み得る。いくつかのそのような実装形態では、制御システムは、血中酸素濃度を推定すること、血糖値を推定すること、または血中酸素濃度と血糖値の両方を推定することが可能であってもよい。
代替または追加として、放射時間と結果としての超音波がサンプリングされる時間との間の時間間隔(本明細書では収集時間遅延またはレンジゲート遅延(RGD:range-gate delay)と呼ばれることがある)が、主に特定の深度および/または特定のタイプの物質からの音響波放出を受信するために選択され得る。たとえば、比較的大きいレンジゲート遅延が、主に骨からの音響波放出を受信するために選択されてもよく、比較的小さいレンジゲート遅延が、主に(血管、血液などのような)表皮下特徴、筋組織特徴または骨組織特徴からの音響波放出を受信するために選択されてもよい。
したがって、本明細書で開示するいくつかのバイオメトリックシステムは、光音響撮像を介して表皮下特徴の画像を収集することが可能であってもよい。いくつかの実装形態では、制御システムは、第1の収集時間遅延の終了時間に開始された第1の収集時間ウィンドウの間に超音波センサアレイによって受信された音響波放出から第1の超音波画像データを収集することが可能であってもよい。いくつかの例によれば、制御システムは、第1の超音波画像データに相当する2次元(2-D)画像を示すようにディスプレイを制御することが可能であってもよい。場合によっては、制御システムは、第2から第Nの収集時間遅延の後の第2から第Nの収集時間ウィンドウの間に第2から第Nの超音波画像データを収集することが可能であってもよい。第2から第Nの収集時間遅延の各々は、対象物体内の第2から第Nの深度に対応し得る。いくつかの例によれば、制御システムは、第1から第Nの超音波画像データの少なくともサブセットに相当する3次元(3-D)画像を示すようにディスプレイを制御することが可能であってもよい。
本開示で説明する主題の特定の実装形態は、以下の潜在的な利点のうちの1つまたは複数を実現するために実装され得る。超音波技術のみを使用して、(血管、血液などのような)表皮下特徴、筋組織特徴などを撮像することは、様々なタイプの軟組織の間の小さい音響インピーダンスコントラストに起因して、困難であり得る。いくつかの光音響撮像実装形態では、励起が超音波送信の代わりに(または超音波送信に加えて)光刺激を介したものであるので、結果としての音響波放出検出に対して、比較的高い信号対雑音比が取得され得る。より高い信号対雑音比は、血管および他の表皮下特徴の比較的正確で比較的詳細な撮像をもたらすことができる。(たとえば、改善された医療判断および診断のために)より詳細な画像を取得する固有値に加えて、血管および他の表皮下特徴の詳細な撮像は、より信頼できるユーザ認証および生体性判断をもたらすことができる。その上、いくつかの光音響撮像実装形態は、血中酸素濃度の変化を検出することができ、それにより生体性判断の向上がもたらされ得る。いくつかの実装形態は、上記の機能の一部または全部が可能であるバイオメトリックシステムを含むモバイルデバイスを提供する。いくつかのそのようなモバイルデバイスは、表皮下特徴、骨組織などの2-Dおよび/または3-D画像を表示することが可能であってもよい。
図1は、入射光によって別様に加熱され、その後に音響波を放出する血液の成分の一例を示す。この例では、入射光102は光源システム(図示せず)から基板103を通り、上にある指106の血管104の中へ伝送されている。指106の表面は隆線および谷線を含み、そのため、この例では、入射光102の一部は空中108を通って伝送されている。ここで、入射光102は、血管104における照明された血液および血液成分の光励起ならびに結果としての音響波生成を引き起こしている。この例では、生成された音響波110は超音波を含み得る。
いくつかの実装形態では、そのような音響波放出は、図2を参照しながら以下で説明する超音波センサアレイ202など、センサアレイのセンサによって検出され得る。場合によっては、1つまたは複数の入射光波長および/または波長範囲が、血液、血液成分、血管、他の軟組織、または骨など、主に特定のタイプの物質からの音響波放出をトリガするために選択され得る。
図2は、いくつかの開示される実装形態による装置の例示的な構成要素を示すブロック図である。この例では、装置200はバイオメトリックシステムを含む。ここで、バイオメトリックシステムは、超音波センサアレイ202と、光源システム204と、制御システム206とを含む。図2には示されていないが、装置200は基板を含み得る。いくつかの例について以下で説明する。装置200のいくつかの実装形態は、随意の超音波送信機208を含み得る。
超音波センサアレイ202の様々な例が本明細書で開示され、超音波送信機を含む超音波センサアレイ202もあれば、含まない超音波センサアレイ202もある。図2では別個の要素として示されているが、いくつかの実装形態では、超音波センサアレイ202および超音波送信機208は超音波トランシーバに一本化され得る。たとえば、いくつかの実装形態では、超音波センサアレイ202は、PVDFポリマーの層またはPVDF-TrFEコポリマーの層など、圧電受信機層を含み得る。いくつかの実装形態では、別個の圧電層が超音波送信機として働くことがある。いくつかの実装形態では、単一の圧電層が送信機として、かつ受信機として働くことがある。いくつかの実装形態では、窒化アルミニウム(AlN)またはチタン酸ジルコン酸鉛(PZT)など、圧電層において他の圧電材料が使用され得る。超音波センサアレイ202は、いくつかの例では、圧電型マイクロマシン超音波トランスデューサ(PMUT:piezoelectric micromachined ultrasonic transducer)のアレイ、容量性マイクロマシン超音波トランスデューサ(CMUT:capacitive micromachined ultrasonic transducer)のアレイなどのような、超音波トランスデューサ要素のアレイを含み得る。いくつかのそのような例では、圧電受信機層、PMUTの単一層アレイにおけるPMUT要素、またはCMUTの単一層アレイにおけるCMUT要素が、超音波送信機ならびに超音波受信機として使用され得る。いくつかの代替例によれば、超音波センサアレイ202は超音波受信機アレイであってもよく、超音波送信機208は1つまたは複数の別個の要素を含んでもよい。いくつかのそのような例では、超音波送信機208は、以下で説明するような超音波平面波生成装置を含み得る。
光源システム204は、いくつかの例では、発光ダイオードのアレイを含み得る。いくつかの実装形態では、光源システム204は1つまたは複数のレーザーダイオードを含み得る。いくつかの実装形態によれば、光源システムは、少なくとも1つの赤外線、光学、赤色、緑色、青色、白色または紫外線発光ダイオードを含み得る。いくつかの実装形態では、光源システム204は1つまたは複数のレーザーダイオードを含み得る。たとえば、光源システム204は、少なくとも1つの赤外線、光学、赤色、緑色、青色または紫外線レーザーダイオードを含み得る。
いくつかの実装形態では、光源システム204は、主に特定のタイプの物質からの音響波放出をトリガするために選択可能であり得る、光の様々な波長を放出することが可能であってもよい。たとえば、血液中のヘモグロビンは、近赤外光を非常に強力に吸収するので、いくつかの実装形態では、光源システム204は、ヘモグロビンからの音響波放出をトリガするために、近赤外範囲内の光の1つまたは複数の波長を放出することが可能であってもよい。しかしながら、いくつかの例では、制御システム206は、血管、他の軟組織、および/または骨の中に音響波を優先的に引き起こすように、光源システム204によって放出される光の波長を制御し得る。たとえば、赤外線(IR)発光ダイオードLEDが選択されてもよく、IR光の短いパルスが放出されて、対象物体の一部分が照明され、音響波放出が生成されてもよく、次いで音響波放出が超音波センサアレイ202によって検出される。別の例では、IR LEDおよび赤色LEDまたは緑色、青色、白色など他の色もしくは紫外線(UV)が選択されてもよく、順に各光源から光の短いパルスが放出されて、光が各光源から放出された後に超音波画像が取得されてもよい。他の実装形態では、超音波センサアレイによって検出され得る音響放出を生成するために、異なる波長の1つまたは複数の光源が順にまたは同時に光ることがある。異なる波長の光源により、対象物体への異なる深度(たとえば、異なるRGD)で取得された超音波センサアレイからの画像データが、対象物体における物質の位置およびタイプを決定するために組み合わせられ得る。体内の物質が異なる波長での光を別様に概ね吸収すると、画像コントラストが発生し得る。体内の物質が特定の波長での光を吸収すると、物質は、別様に熱くなり、十分な強度を有する光の十分に短いパルスにより、音響波放出を生成し得る。異なる波長および/または選択された各波長での異なる強度の光により、深度コントラストが取得され得る。すなわち、物質および対象物体内の物質の位置を検出するために、異なる光度および波長により、(対象物体への固定深度に相当し得る)固定RGDで連続画像が取得され得る。たとえば、指などの対象物体内の血管内のヘモグロビン、血糖または血中酸素が、光音響的に検出され得る。
いくつかの実装形態によれば、光源システム204は、約100ナノ秒未満のパルス幅を有する光パルスを放出することが可能であってもよい。いくつかの実装形態では、光パルスは、約10ナノ秒から約500ナノ秒以上の間のパルス幅を有し得る。いくつかの実装形態では、光源システム204は、約1MHzから約100MHzの間のパルス周波数で複数の光パルスを放出することが可能であってもよい。いくつかの例では、光パルスのパルス周波数は、超音波センサアレイおよび基板の音響共鳴周波数に対応し得る。たとえば、4つ以上の光パルスからなるセットが、センサスタックにおける共鳴音響空洞の共鳴周波数に相当する周波数で光源システム204から放出されて、受信される超音波の増大および結果としての信号強度の向上が実現し得る。いくつかの実装形態では、選択された物質を検出するための特定の波長を有するフィルタ処理された光または光源が、光源システム204に含まれ得る。いくつかの実装形態では、光源システムは、(IRおよび/またはUVなどの)他の波長の光源を伴って、またより高い光パワーの光源を伴って増強し得るディスプレイの赤色、緑色および青色LEDなどの光源を含み得る。たとえば、フィルタありまたはなしの高電力レーザーダイオードまたは電子フラッシュユニット(たとえば、LEDまたはキセノンフラッシュユニット)が、対象物体の短期照明に使用され得る。
制御システム206は、1つもしくは複数の汎用シングルもしくはマルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、またはそれらの組合せを含んでもよい。制御システム206はまた、1つまたは複数のランダムアクセスメモリ(RAM)デバイス、読取り専用メモリ(ROM)デバイスなどの1つまたは複数のメモリデバイスを含んでもよい(かつ/あるいはそのようなメモリデバイスと通信できるように構成されてもよい)。したがって、メモリシステムは図2に示されていないが、装置200は、1つまたは複数のメモリデバイスを含むメモリシステムを有し得る。制御システム206は、たとえば、後述のように、超音波センサアレイ202からデータを受信し処理することが可能であってもよい。装置200が超音波送信機208を含む場合、制御システム206は、たとえば、本明細書の他の箇所で開示するように、超音波送信機208を制御することが可能であってもよい。いくつかの実装形態では、制御システム206の機能は、モバイルデバイスの専用センサコントローラおよびアプリケーションプロセッサなど、1つまたは複数のコントローラまたはプロセッサの間で区分され得る。
図2には示されていないが、装置200のいくつかの実装形態はインターフェースシステムを含み得る。いくつかの例では、インターフェースシステムはワイヤレスインターフェースシステムを含み得る。いくつかの実装形態では、インターフェースシステムは、ユーザインターフェースシステム、1つもしくは複数のネットワークインターフェース、制御システム206とメモリシステムとの間の1つもしくは複数のインターフェースおよび/または制御システム206と1つもしくは複数の外部デバイスインターフェース(たとえば、ポートもしくはアプリケーションプロセッサ)との間の1つもしくは複数のインターフェースを含み得る。
装置200は、様々な異なる情況で使用されてよく、それらの多くの例が本明細書で開示されている。たとえば、いくつかの実装形態では、モバイルデバイスが装置200を含み得る。いくつかの実装形態では、装着型デバイスが装置200を含み得る。装着型デバイスは、たとえば、ブレスレット、腕章、リストバンド、リング、ヘッドバンドまたはパッチであってもよい。
図3は、バイオメトリックシステム動作の例を提供する流れ図である。図3のブロック(および本明細書で提供する他の流れ図のブロック)は、たとえば、図2の装置200によって、または同様の装置によって実行され得る。本明細書で開示する他の方法と同様に、図3で概説する方法は、示されているよりも多いまたは少ないブロックを含んでもよい。その上、本明細書で開示する方法のブロックは、示す順序で必ずしも実行されるわけではない。
ここで、ブロック305は、光を放出するように光源システムを制御するステップを伴う。いくつかの実装形態では、装置200の制御システム206は、光を放出するように光源システム204を制御し得る。いくつかのそのような実装形態によれば、制御システムは、光源システムによって放出される光の1つまたは複数の波長を選択することが可能であってもよい。いくつかの実装形態では、制御システムは、選択された各波長に関連する光度を選択することが可能であってもよい。たとえば、制御システムは、対象物体の1つまたは複数の部分からの音響波放出を生成するために、光の1つまたは複数の波長および選択された各波長に関連する光度を選択することが可能であってもよい。いくつかの例では、制御システムは、対象物体の1つまたは複数の特性を評価するために、たとえば、血中酸素濃度を評価するために、光の1つまたは複数の波長を選択することが可能であってもよい。いくつかの例について以下で説明する。いくつかの例では、ブロック305は、装置200などの装置の基板および/または他の層を通って伝送される光を放出するように光源システムを制御するステップを伴い得る。
この実装形態によれば、ブロック310は、光源システムによって放出された光により照明されることに応答して対象物体の部分から放出された音響波に対応する超音波センサアレイからの信号を受信するステップを伴う。場合によっては、対象物体は、超音波センサアレイの表面上に配置されてもよく、または超音波センサアレイに音響的に結合されたプラテンの表面上に配置されてもよい。超音波センサアレイは、いくつかの実装形態では、図2に示し上記で説明した超音波センサアレイ202であってもよい。1つまたは複数のコーティングまたは音響整合層が、プラテンに含まれることがある。
いくつかの例では、対象物体は、上記で図1に示したように、また図4を参照しながら以下で説明するように、指であり得る。しかしながら、他の例では、対象物体は、掌、手首、腕、脚、胴、頭など、別の身体部分であり得る。いくつかの例では、対象物体は、指状の物体を間違って認証するように装置200または別のそのような装置をスプーフィングしようとして使用されている指状の物体であり得る。たとえば、指状の物体は、指紋パターンが外面上に形成された、シリコーンゴム、ポリビニルアセタール(ホワイトグルー)、ゼラチン、グリセリンなどを含み得る。
いくつかの例では、制御システムは、超音波センサアレイからの対応する距離での音響波放出を受信するために、収集時間遅延を選択することが可能であってもよい。対応する距離は、対象物体内の深度に対応し得る。いくつかの例によれば、制御システムは、メモリに記憶されたデータ構造などから、ユーザインターフェースを介して収集時間遅延を受信することが可能であってもよい。
いくつかの実装形態では、制御システムは、第1の収集時間遅延の終了時間に開始された第1の収集時間ウィンドウの間に超音波センサアレイによって受信された音響波放出から第1の超音波画像データを収集することが可能であってもよい。いくつかの例によれば、制御システムは、第1の超音波画像データに相当する2次元(2-D)画像を示すようにディスプレイを制御することが可能であってもよい。場合によっては、制御システムは、第2から第Nの収集時間遅延の後の第2から第Nの収集時間ウィンドウの間に第2から第Nの超音波画像データを収集することが可能であってもよい。第2から第Nの収集時間遅延の各々は、対象物体内の第2から第Nの深度に対応し得る。いくつかの例によれば、制御システムは、第1から第Nの超音波画像データの少なくともサブセットに相当する再構成された3次元(3-D)画像を示すようにディスプレイを制御することが可能であってもよい。いくつかの例について以下で説明する。
この場合、ブロック315は、超音波センサアレイからの信号に少なくとも部分的に基づくユーザ認証プロセスを実行するステップを伴う。したがって、いくつかの例では、ユーザ認証プロセスは、光源システムから放出された光による対象物体の照明を介して超音波画像データを取得することを伴い得る。いくつかのそのような例では、対象物体の照明を介して取得される超音波画像データは、脈管画像データなど、1つまたは複数の表皮下特徴に対応する画像データを含み得る。
いくつかのそのような実装形態によれば、ユーザ認証プロセスはまた、図2に示す超音波送信機208などの超音波送信機からの超音波による対象物体の照射を介して超音波画像データを取得することを伴い得る。いくつかのそのような例では、対象物体の照射を介して取得される超音波画像データは、指紋画像データを含み得る。しかしながら、いくつかの実装形態では、対象物体の照明を介して取得される超音波画像データおよび対象物体の照射を介して取得される超音波画像データはいずれも、主に対象物体内の同じ深度から収集され得る。いくつかの例では、対象物体の照明を介して取得される超音波画像データと対象物体の照射を介して取得される超音波画像データの両方が、超音波センサアレイ内の同じ複数のセンサピクセルから収集されてもよい。
ユーザ認証プロセスは、超音波センサアレイからの信号に基づいて、受信された画像データから取得された「属性情報」を、たとえば、登録プロセスの間に認定ユーザから以前受信された画像データから取得された記憶済み属性情報と比較することを伴い得る。いくつかの例では、受信された画像データから取得された属性情報および記憶済み属性情報は、皮下特徴に関する属性情報を含む。いくつかのそのような例によれば、属性情報は、真皮の特徴、皮下組織の特徴、血管特徴、リンパ管特徴、汗腺特徴、毛包特徴、毛乳頭特徴および/または脂肪小葉特徴など、皮下特徴に関する情報を含み得る。
代替または追加として、いくつかの実装形態では、受信された画像データから取得された属性情報および記憶済み属性情報は、骨組織特徴、筋組織特徴および/または表皮組織特徴に関する情報を含み得る。たとえば、いくつかの実装形態によれば、ユーザ認証プロセスは、超音波センサアレイを介して指紋画像データを取得するように超音波送信機を制御することを伴い得る。そのような例では、認証プロセスは、指紋画像データから取得された属性情報を評価することを伴い得る。
認証プロセスの間に比較される受信された画像データから取得された属性情報および記憶済み属性情報は、受信された画像データに対応するバイオメトリックテンプレートデータおよび記憶された画像データに対応するバイオメトリックテンプレートデータを含み得る。1つの周知のタイプのバイオメトリックテンプレートデータは、指紋テンプレートデータであり、これは、指紋マニューシャのタイプおよび位置を示し得る。指紋画像データの属性に基づくユーザ認証プロセスは、受信された指紋テンプレートデータおよび記憶された指紋テンプレートデータを比較することを伴い得る。そのようなプロセスは、受信された指紋画像データおよび記憶された指紋画像データを直接比較することを伴うこと、または伴わないことがある。
同様に、皮下特徴に対応するバイオメトリックテンプレートデータは、血管のサイズ、血管の向き、血管の分岐点の位置などのような、血管特徴のタイプおよび位置に関する情報など、血管の属性に関する情報を含み得る。代替または追加として、皮下特徴に対応するバイオメトリックテンプレートデータは、真皮の特徴、皮下組織の特徴、リンパ管特徴、汗腺特徴、毛包特徴、毛乳頭特徴および/または脂肪小葉特徴のタイプ(たとえば、サイズ、形状、向きなど)および位置に関する属性情報を含み得る。
多くのスプーフィング技法は、指状の物体であり得る物体上に指紋状の特徴を形成することに基づく。しかしながら、詳細な皮下特徴、筋組織特徴および/または骨組織特徴を有する指状の物体を作ることは、困難であり、費用がかかる。そのような特徴を正確に認定ユーザの特徴に相当するものにすることは、なお一層困難である。いくつかの開示される実装形態は、表皮下特徴、筋組織特徴および/または骨組織特徴に基づく属性情報を取得することを伴うので、いくつかのそのような実装形態は、より信頼できる認証をもたらすことができ、「生体性」の判断をもたらすことが可能であり得る。血中酸素濃度および/または血糖値の変化を判断することが可能な実装形態など、以下で説明するいくつかの実装形態は、生体性判断の向上をもたらし得る。
図4は、図3の方法を実行することが可能な装置の断面図の一例を示す。装置400は、本明細書で開示するようなバイオメトリックシステムに含まれ得るデバイスの一例である。ここで、装置400は、図2を参照しながら上記で説明した装置200の一実装形態である。本明細書で示し説明する他の実装形態と同様に、図4に示す要素のタイプ、要素の配置および要素の寸法は、単に例として示されているにすぎない。
図4は、入射光によって照明され、その後に音響波を放出する対象物体の一例を示す。この例では、装置400は、発光ダイオードのアレイおよび/またはレーザーダイオードのアレイを含み得る光源システム204を含む。いくつかの実装形態では、光源システム204は、主に特定のタイプの物質からの音響波放出をトリガするために選択可能であり得る、光の様々な波長を放出することが可能であってもよい。場合によっては、1つまたは複数の入射光波長および/または波長範囲が、血液、血管、他の軟組織、または骨など、主に特定のタイプの物質からの音響波放出をトリガするために選択され得る。十分な画像コントラストを実現するために、光源システム204の光源404は、ディスプレイを照明するために一般に使用される光源よりも高い強度および光パワー出力を有する必要があり得る。いくつかの実装形態では、パルス当たり1〜100ミリジュール以上の光出力を有し、100ナノ秒以下のパルス幅を有する光源が適切であり得る。いくつかの実装形態では、モバイルデバイスに関連するような電子フラッシュユニットからの光が適切であり得る。いくつかの実装形態では、放出される光のパルス幅は、約10ナノ秒から約500ナノ秒以上の間にあり得る。
この例では、入射光102は、光源システム204の光源404からセンサスタック405を通り、上にある指106の中へ伝送されている。センサスタック405の様々な層は、光源システム204によって放出された光に対して実質的に透過的であるガラスまたはプラスチックもしくはサファイアなどの他の材料の1つまたは複数の基板を含み得る。この例では、センサスタック405は、いくつかの実装形態によればディスプレイのバックライトであり得る、光源システム204が結合される基板410を含む。代替実装形態では、光源システム204はフロントライトに結合され得る。したがって、いくつかの実装形態では、光源システム204は、ディスプレイおよび対象物体を照明するように構成され得る。
この実装形態では、基板410は、超音波センサアレイ202のための薄膜トランジスタ(TFT)基板415に結合される。この例によれば、圧電受信機層420が超音波センサアレイ202のセンサピクセル402の上にあり、プラテン425が圧電受信機層420の上にある。したがって、この例では、装置400は、基板415および基板と見なされることもあるプラテン425とともに超音波センサアレイ202を含むセンサスタック405の1つまたは複数の基板を通って入射光102を伝送することが可能である。いくつかの実装形態では、超音波センサアレイ202のセンサピクセル402は、装置400が超音波センサアレイ202の要素を通って入射光102を伝送することが可能であり得るように、透過的、部分的に透過的または実質的に透過的であり得る。いくつかの実装形態では、超音波センサアレイ202および関連する回路は、ガラス、プラスチックまたはシリコン基板の上または中に形成され得る。
この例では、図4に示す装置400の部分は、超音波受信機として機能することが可能である超音波センサアレイ202を含む。いくつかの実装形態によれば、装置400は超音波送信機208を含み得る。超音波送信機208は、特定の実装形態に応じて超音波センサアレイ202の一部であってもよく、または一部でなくてもよい。いくつかの例では、超音波センサアレイ202は、超音波を送信および受信することが可能であるPMUTまたはCMUT要素を含んでもよく、圧電受信機層420は、音響結合層に取って代わられてもよい。いくつかの例では、超音波センサアレイ202は、TFT回路から部分的に形成されたピクセル入力電極およびセンサピクセルのアレイ、上にある、PVDFまたはPVDF-TrFEなどの圧電材料の圧電受信機層420、および受信機バイアス電極と呼ばれることがある圧電受信機層上に配置された上側電極層を含み得る。図4に示す例では、装置400の少なくとも一部分は、平面波超音波送信機として機能することができる超音波送信機208を含む。超音波送信機208は、圧電送信機層の各側に配設される送信機励起電極を伴う圧電送信機層を含み得る。
ここで、入射光102は、指106の中の光励起および結果としての音響波生成を引き起こす。この例では、生成された音響波110は超音波を含む。入射光の吸収によって生成された音響放出は、超音波センサアレイ202によって検出され得る。結果としての超音波が、送信された超音波の反射の代わりに光刺激によって引き起こされるので、高い信号対雑音比が取得され得る。
図5は、本明細書で開示するバイオメトリックシステムを含むモバイルデバイスの一例を示す。この例では、モバイルデバイス500はスマートフォンである。しかしながら、代替例では、モバイルデバイス500は、モバイルヘルスデバイス、装着型デバイス、タブレットなど、別のタイプのモバイルデバイスであってもよい。
この例では、モバイルデバイス500は、図2を参照しながら上記で説明した装置200の事例である。この例では、装置200は、モバイルデバイス筐体505内に少なくとも部分的に配設されている。この例によれば、装置200の少なくとも一部分は、ボタン510の位置に対応する、指106によってタッチされて示されているモバイルデバイス500の部分に位置する。したがって、ボタン510は超音波ボタンであり得る。いくつかの実装形態では、ボタン510はホームボタンとして働くことがある。いくつかの実装形態では、ボタン510は、タッチされたか、もしくは押されたときにモバイルデバイス500をオンにするか、もしくはさもなければ起動する能力および/または(起動機能などの)モバイルデバイス上で動作しているアプリケーションがそのような機能を保証しているときにユーザを認証するか、もしくはさもなければ確認する能力を有する、超音波認証ボタンとして働くことがある。光音響撮像のための光源がボタン510内に含まれ得る。
この実装形態では、モバイルデバイス500は、ユーザ認証プロセスを実行することが可能であってもよい。たとえば、モバイルデバイス500の制御システムは、装置200の超音波センサアレイを介して受信された画像データから取得された属性情報を、認定ユーザから以前受信された画像データから取得された記憶済み属性情報と比較することが可能であってもよい。いくつかの例では、受信された画像データから取得された属性情報および記憶済み属性情報は、表皮下特徴、筋組織特徴または骨組織特徴のうちの少なくとも1つに対応する属性情報を含み得る。
いくつかの実装形態によれば、受信された画像データから取得された属性情報および記憶済み属性情報は、指紋マニューシャに関する情報を含み得る。いくつかのそのような実装形態では、ユーザ認証プロセスは、指紋マニューシャに関する情報、ならびに皮下特徴に対応する属性情報など、少なくとも1つの他のタイプの属性情報を評価することを伴い得る。いくつかのそのような例によれば、ユーザ認証プロセスは、指紋マニューシャに関する情報、ならびに脈管特徴に対応する属性情報を評価することを伴い得る。たとえば、指の中の血管の受信された画像から取得された属性情報が、認定ユーザの指106の中の血管の記憶された画像と比較され得る。
モバイルデバイス500に含まれる装置200は、特定の実装形態に応じて超音波送信機を含んでもよく、または含まなくてもよい。しかしながら、いくつかの例では、ユーザ認証プロセスは、超音波送信機からの超音波による対象物体の照射を介して超音波画像データを取得すること、ならびに光源システムから放出された光による対象物体の照明を介して超音波画像データを取得することを伴い得る。いくつかのそのような例によれば、対象物体の照射を介して取得される超音波画像データは指紋画像データを含んでもよく、対象物体の照明を介して取得される超音波画像データは脈管画像データを含んでもよい。
図6は、バイオメトリックシステム動作のさらなる例を提供する流れ図である。図6のブロック(および本明細書で提供する他の流れ図のブロック)は、たとえば、図2の装置200によって、または同様の装置によって実行され得る。本明細書で開示する他の方法と同様に、図6で概説する方法は、示されているよりも多いまたは少ないブロックを含んでもよい。その上、方法600ならびに本明細書で開示する他の方法のブロックは、示す順序で必ずしも実行されるわけではない。
ここで、ブロック605は、光を放出するように光源システムを制御するステップを伴う。この例では、ブロック605において、光は、対象物体内での音響波放出を引き起こし得る。いくつかの実装形態では、ブロック605において、装置200の制御システム206は、光を放出するように光源システム204を制御し得る。いくつかのそのような実装形態によれば、制御システム206は、約10ナノ秒から約500ナノ秒以上までの範囲内にある持続時間を有する少なくとも1つの光パルスを放出するように光源システム204を制御することが可能であってもよい。たとえば、制御システム206は、およそ10ナノ秒、20ナノ秒、30ナノ秒、40ナノ秒、50ナノ秒、60ナノ秒、70ナノ秒、80ナノ秒、90ナノ秒、100ナノ秒、120ナノ秒、140ナノ秒、150ナノ秒、160ナノ秒、180ナノ秒、200ナノ秒、300ナノ秒、400ナノ秒、500ナノ秒などの持続時間を有する少なくとも1つの光パルスを放出するように光源システム204を制御することが可能であってもよい。いくつかのそのような実装形態では、制御システム206は、約1MHzから約100MHzの間の周波数で複数の光パルスを放出するように光源システム204を制御することが可能であってもよい。言い換えれば、光源システム204によって放出されている光の波長に関係なく、光パルス間の間隔は、約1MHzから約100MHz以上の間の周波数に対応し得る。たとえば、制御システム206は、約1MHz、約5MHz、約10MHz、約15MHz、約20MHz、約25MHz、約30MHz、約40MHz、約50MHz、約60MHz、約70MHz、約80MHz、約90MHz、約100MHzなどの周波数で複数の光パルスを放出するように光源システム204を制御することが可能であってもよい。いくつかの例では、光源システム204によって放出された光は、超音波センサアレイを通って、または超音波センサアレイを含むセンサスタックの1つもしくは複数の基板を通って伝送され得る。
この例によれば、ブロック610は、主に対象物体内の第1の深度からの音響波放出を受信するために、第1の収集時間遅延を選択するステップを伴う。いくつかのそのような例では、制御システムは、超音波センサアレイからの対応する距離での音響波放出を受信するために、収集時間遅延を選択することが可能であってもよい。対応する距離は、対象物体内の深度に対応し得る。いくつかのそのような例によれば、収集時間遅延は、光源システムが光を放出する時間から測定され得る。いくつかの例では、収集時間遅延は、約10ナノ秒から約2000ナノ秒超までの範囲内にあり得る。
いくつかの例によれば、(制御システム206などの)制御システムは、第1の収集時間遅延を選択することが可能であってもよい。いくつかの例では、制御システムは、ユーザ入力に少なくとも部分的に基づいて、収集時間遅延を選択することが可能であってもよい。たとえば、制御システムは、ユーザインターフェースを介してバイオメトリックシステムのプラテンの表面からの対象深度または距離の指示を受信することが可能であってもよい。制御システムは、計算を実行することなどによって、メモリに記憶されたデータ構造から対応する収集時間遅延を決定することが可能であってもよい。したがって、場合によっては、制御システムによる収集時間遅延の選択は、ユーザ入力に従ったものおよび/またはメモリに記憶された1つもしくは複数の収集時間遅延に従ったものであり得る。
この実装形態では、ブロック615は、第1の収集時間遅延の終了時間に開始された第1の収集時間ウィンドウの間に超音波センサアレイによって受信された音響波放出から第1の超音波画像データを収集するステップを伴う。いくつかの実装形態は、第1の超音波画像データに相当する2次元画像を示すようにディスプレイを制御するステップを伴い得る。いくつかの実装形態によれば、第1の超音波画像データは、超音波センサアレイ内の複数のセンサピクセルの各々に配設されたピーク検出器回路から第1の収集時間ウィンドウの間に収集され得る。いくつかの実装形態では、ピーク検出器回路は、収集時間ウィンドウの間に音響波放出または反射された超音波信号をキャプチャし得る。いくつかの例について図14を参照しながら以下で説明する。
いくつかの例では、第1の超音波画像データは、脈管画像データなど、1つまたは複数の表皮下特徴に対応する画像データを含み得る。いくつかの実装形態によれば、方法600はまた、超音波送信機からの超音波による対象物体の照射を介して第2の超音波画像データを取得するステップを伴い得る。いくつかのそのような例では、第2の超音波画像データは指紋画像データを含み得る。しかしながら、いくつかの実装形態では、第1の超音波画像データおよび第2の超音波画像データはいずれも、主に対象物体内の同じ深度から収集され得る。いくつかの例では、第1の超音波画像データと第2の超音波画像データの両方が、超音波センサアレイ内の同じ複数のセンサピクセルから収集され得る。
図7は、異なる深度から放出された音響波を受信するために選択されている複数の収集時間遅延の例を示す。これらの例では、(図7ではレンジゲート遅延またはRGDと標示された)収集時間遅延の各々は、グラフ700に示す光励起信号705の開始時間tlから測定される。グラフ710は、収集時間遅延RGD1において超音波センサアレイによって受信され、RGW1の(レンジゲートウィンドウまたはレンジゲート幅としても知られている)収集時間ウィンドウの間にサンプリングされ得る放出音響波(受信波(1)は一例である)を示す。そのような音響波は一般に、バイオメトリックシステムのプラテンに近接しているか、またはプラテン上に配置された対象物体の比較的浅い部分から放出される。
グラフ715は、収集時間遅延RGD2(RGD2>RGD1)において超音波センサアレイによって受信され、RGW2の収集時間ウィンドウの間にサンプリングされる放出音響波(受信波(2)は一例である)を示す。そのような音響波は一般に、対象物体の比較的深い部分から放出される。グラフ720は、収集時間遅延RGDn(RGDn>RGD2>RGD1)において受信され、RGWnの収集時間ウィンドウの間にサンプリングされる放出音響波(受信波(n)は一例である)を示す。そのような音響波は一般に、対象物体のさらに深い部分から放出される。レンジゲート遅延は通常、クロック周期の整数倍である。たとえば、128MHzのクロック周波数が7.8125ナノ秒のクロック周期を有し、RGDが10ナノ秒未満から2000ナノ秒超までの範囲にわたることがある。同様に、レンジゲート幅もクロック周期の整数倍であり得るが、レンジゲート幅は、良好な距離分解能を保持しつつ戻り信号をキャプチャするために、RGDよりもはるかに短い(たとえば、約50ナノ秒未満)ことが多い。いくつかの実装形態では、収集時間ウィンドウ(たとえば、RGW)は、約10ナノ秒未満から約200ナノ秒以上の間にあり得る。様々な画像バイアスレベル(たとえば、Rxバイアス電極に適用され得るTxブロック、RxサンプルおよびRx保持)は、1桁または低い2桁のボルト範囲内にあり得るが、リターン信号は、数十ミリボルトまたは数百ミリボルトの電圧を有し得ることに留意されたい。
図8は、バイオメトリックシステム動作の追加の例を提供する流れ図である。図8のブロック(および本明細書で提供する他の流れ図のブロック)は、たとえば、図2の装置200によって、または同様の装置によって実行され得る。本明細書で開示する他の方法と同様に、図8で概説する方法は、示されているよりも多いまたは少ないブロックを含んでもよい。その上、方法800ならびに本明細書で開示する他の方法のブロックは、示す順序で必ずしも実行されるわけではない。
ここで、ブロック805は、光を放出するように光源システムを制御するステップを伴う。この例では、ブロック805において、光は、対象物体内での音響波放出を引き起こし得る。いくつかの実装形態では、ブロック805において、装置200の制御システム206は、光を放出するように光源システム204を制御し得る。いくつかのそのような実装形態によれば、制御システム206は、約10ナノ秒から約500ナノ秒までの範囲内にある持続時間を有する少なくとも1つの光パルスを放出するように光源システム204を制御することが可能であってもよい。いくつかのそのような実装形態では、制御システム206は、複数の光パルスを放出するように光源システム204を制御することが可能であってもよい。
図9は、複数の光パルスに応答して、異なる深度から放出された超音波を受信するために選択されている複数の収集時間遅延の例を示す。これらの例では、(図9ではRGDと標示された)収集時間遅延の各々は、グラフ900に示すように光励起信号905aの開始時間tlから測定される。したがって、図9の例は図7の例と同様である。しかしながら、図9では、光励起信号905aは、複数の光励起信号のうちの最初のものにすぎない。この例では、複数の光励起信号は、光励起信号905bおよび905cを含み、合計で3つの光励起信号がある。他の実装形態では、制御システムは、より多いかまたはより少ない光励起信号を放出するように光源システムを制御し得る。いくつかの実装形態では、制御システムは、約1MHzから約100MHzの間の周波数で複数の光パルスを放出するように光源システムを制御することが可能であってもよい。
グラフ910は、収集時間遅延RGD1において超音波センサアレイによって受信され、RGW1の収集時間ウィンドウの間にサンプリングされる音響波(受信波束(1)は一例である)を示す。そのような超音波は一般に、バイオメトリックシステムのプラテンに近接しているか、またはプラテン上に配置された対象物体の比較的浅い部分から放出される。受信波束(1)を図7の受信波(1)と比較することによって、受信波束(1)は図7の受信波(1)よりも、比較的長い持続期間および高い振幅増大を有することがわかる。このより長い持続時間は、図7に示す例における単一の光励起信号と比較して、図9に示す例における複数の光励起信号に相当する。
グラフ915は、収集時間遅延RGD2(RGD2>RGD1)において超音波センサアレイによって受信され、RGW2の収集時間ウィンドウの間にサンプリングされる超音波(受信波束(2)は一例である)を示す。そのような超音波は一般に、対象物体の比較的深い部分から放出される。グラフ920は、収集時間遅延RGDn(RGDn>RGD2>RGD1)において受信され、RGWnの収集時間ウィンドウの間にサンプリングされる超音波(受信波束(n)は一例である)を示す。そのような超音波は一般に、対象物体のさらに深い部分から放出される。
図8に戻ると、この例では、ブロック810は、主に対象物体内の第1から第Nの深度からの音響波放出を受信するために、第1から第Nの収集時間遅延を選択するステップを伴う。いくつかのそのような例では、制御システムは、超音波センサアレイからの対応する第1から第Nの距離での音響波放出を受信するために、第1から第Nの収集時間遅延を選択することが可能であってもよい。対応する距離は、対象物体内の第1から第Nの深度に対応し得る。(たとえば、図7および図9に示すように)いくつかのそのような例によれば、収集時間遅延は、光源システムが光を放出する時間から測定され得る。いくつかの例では、第1から第Nの収集時間遅延は、約10ナノ秒から約2000ナノ秒超までの範囲内にあり得る。
いくつかの例によれば、(制御システム206などの)制御システムは、第1から第Nの収集時間遅延を選択することが可能であってもよい。いくつかの例では、制御システムは、ユーザインターフェースから、メモリに記憶されたデータ構造から、または1つもしくは複数の深度-時間変換の計算によって、第1から第Nの収集時間遅延のうちの1つまたは複数(あるいは収集時間遅延に対応する深度または距離の1つまたは複数の指示)を受信することが可能であってもよい。したがって、場合によっては、制御システムによる第1から第Nの収集時間遅延の選択は、ユーザ入力に従ったもの、メモリに記憶された1つもしくは複数の収集時間遅延に従ったもの、および/または計算に従ったものであり得る。
この実装形態では、ブロック815は、第1から第Nの収集時間遅延の終了時間に開始された第1から第Nの収集時間ウィンドウの間に超音波センサアレイによって受信された音響波放出から第1から第Nの超音波画像データを収集するステップを伴う。いくつかの実装形態によれば、第1から第Nの超音波画像データは、超音波センサアレイ内の複数のセンサピクセルの各々に配設されたピーク検出器回路から第1から第Nの収集時間ウィンドウの間に収集され得る。
この例では、ブロック820は、第1から第Nの超音波画像データを処理するステップを伴う。いくつかの実装形態によれば、ブロック820は、第1から第Nの超音波画像データのうちの1つに相当する2次元画像を示すようにディスプレイを制御するステップを伴い得る。いくつかの実装形態では、ブロック820は、第1から第Nの超音波画像データの少なくともサブセットに相当する再構成された3次元(3-D)画像を示すようにディスプレイを制御するステップを伴い得る。様々な例について図10A〜図10Fを参照しながら以下で説明する。
図10A〜図10Cは、本明細書で開示するような、バイオメトリックシステムのプラテン上に配置された対象物体の断面図の例である。この例では、対象物体は指106であり、プラテン1005の外面上に配置されている。図10A〜図10Cは、表皮1010、骨組織1015、血管構造1020および様々な表皮下組織を含む、指106の組織および構造の例を示す。この例では、入射光102は光源システム(図示せず)からプラテン1005を通り、指106の中へ伝送されている。ここでは、入射光102は、表皮1010および血管構造1020の光励起ならびに結果としての音響波110の生成を引き起こしており、音響波110は超音波センサアレイ202によって検出され得る。
図10A〜図10Cは、光励起の時間間隔の開始後の、本明細書では収集時間遅延とも呼ばれる、3つの異なるレンジゲート遅延(RGD1、RGD2およびRGDn)において収集されている超音波画像データを示す。図10A〜図10Cにおける破線の水平線1025a、1025bおよび1025nは、対応する各画像の深度を示す。いくつかの例では、光励起は(たとえば、図7に示すような)単一のパルスであり得る一方、他の例では、光励起は(たとえば、図9に示すような)複数のパルスを含み得る。図10Dは、画像データが収集されている異なる深度における画像平面1025a、1025b、...1025nを示す図10A〜図10Cに示す対象物体の断面図である。
図10Eは、図10Dに示すような画像平面1025a、1025bおよび1025nに関して図10A〜図10Cに示すプロセスによって収集された超音波画像データに相当する一連の単純化された2次元画像を示す。図10Eに示す2次元画像は、いくつかの実装形態では制御システムがディスプレイデバイスに表示させ得る超音波画像データに相当する2次元画像の例を提供する。
図10Eの画像1は、RGD1を使用して収集された超音波画像データに相当し、RGD1は、図10Aおよび図10Dに示す深度1025aに相当する。画像1は、表皮1010および血管構造1020の一部分を含み、表皮下組織の構造も示す。
画像2は、RGD2を使用して収集された超音波画像データに相当し、RGD2は、図10Bおよび図10Dに示す深度1025bに相当する。画像2も、表皮1010、血管構造1020の一部分を含み、表皮下組織のいくつかの追加の構造を示す。
画像nは、RGDnを使用して収集された超音波画像データに相当し、RGDnは、図10Cおよび図10Dに示す深度1025nに相当する。画像nは、表皮1010、血管構造1020の一部分、表皮下組織のいくつかの追加の構造、および骨組織1015に対応する構造を含む。画像nはまた、構造1030および1032を含み、これらは骨組織1015および/または軟骨などの骨組織1015の近くの結合組織に対応し得る。しかしながら、画像1、画像2または画像nからは、血管構造1020および表皮下組織の構造が何であるか、またはそれらが互いにどのように関係するかは明らかではない。
これらの関係は、図10Fに示す3次元画像でより明らかにわかる。図10Fは、画像1、画像2および画像n、ならびに深度1025bと深度1025nとの間にある深度に対応する追加の画像の合成を示す。3次元画像は、MATLAB(登録商標)再構成ルーチンまたは2次元層データのセットからの3次元構造の再構成もしくは推定を可能にする他のルーチンなど、当業者に知られている様々な方法に従って2次元画像のセットから作られ得る。これらのルーチンは、2次元超音波画像データによって表される近似輪郭および形状をもたらすために補間とともにスプラインフィッティングまたは他のカーブフィッティングルーチンおよび統計的技法を使用し得る。図10Eに示す2次元画像と比較して、図10Fに示す3次元画像は、骨組織1015に対応する構造ならびに血管構造1020を含む表皮下構造をより明確に表しており、骨の形状、サイズおよび特徴とともに、静脈、動脈および毛管の構造ならびに他の脈管構造が明らかになっている。
図11は、本明細書で開示する方法を実行することが可能なバイオメトリックシステムを含むモバイルデバイスの一例を示す。そのようなバイオメトリックシステムを含むモバイルデバイスは、血管パターンの撮像、血液および組織の成分の分析など、様々なタイプのモバイルヘルスモニタリングが可能であってもよい。
この例では、モバイルデバイス1100は、ディスプレイ内光音響イメージャ(PAI)として機能することが可能である装置200の事例を含む。装置200は、たとえば、対象物体内での音響波放出を引き起こす光を放出し、超音波センサアレイによって受信された音響波放出から超音波画像データを収集することが可能であってもよい。いくつかの例では、装置200は、1つまたは複数の収集時間遅延の終了時間に開始された1つまたは複数の収集時間ウィンドウの間に超音波画像データを収集することが可能であってもよい。
いくつかの実装形態によれば、モバイルデバイス1100は、装置200を介して取得された超音波画像データに相当する2次元および/または3次元画像をディスプレイ1105上に表示することが可能であってもよい。他の実装形態では、モバイルデバイスは、超音波画像データ(および/または超音波画像データから取得された属性)を処理および/または表示のために別のデバイスに送信し得る。
いくつかの例では、(装置200の制御システムを含み得る)モバイルデバイス1100の制御システムは、装置200によって放出される光の1つまたは複数の波長を選択することが可能であってもよい。いくつかの例では、制御システムは、主に対象物体中の特定のタイプの物質からの音響波放出をトリガするために、光の1つまたは複数の波長を選択することが可能であってもよい。いくつかの実装形態によれば、制御システムは、血中酸素濃度を推定すること、および/または血糖値を推定することが可能であってもよい。いくつかの実装形態では、制御システムは、ユーザ入力に従って光の1つまたは複数の波長を選択することが可能であってもよい。たとえば、モバイルデバイス1100は、ユーザまたは専用ソフトウェアアプリケーションが、装置200によって放出される光の1つまたは複数の波長に対応する値を入力することを可能にし得る。代替または追加として、モバイルデバイス1100は、ユーザが(血中酸素濃度を推定することなどの)所望の機能を選択することを可能にしてもよく、装置200によって放出される光の1つまたは複数の対応する波長を決定してもよい。たとえば、いくつかの実装形態では、電磁スペクトルの中間赤外領域における波長が選択されてもよく、超音波画像データのセットが、指または手首などの対象物体内の血管内の血液の近傍で収集されてもよい。赤色波長など、赤外領域の別の部分(たとえば、近IR領域)または可視領域における第2の波長が選択されてもよく、超音波画像データの第2のセットが、第1の超音波画像データと同じ近傍で収集されてもよい。他の波長または波長の組合せからの画像データと併せた、超音波画像データの第1のセットおよび第2のセットの比較により、対象物体内の血糖値および/または血中酸素濃度の推定が可能になり得る。
いくつかの実装形態では、モバイルデバイス1100の光源システムは、ディスプレイ1105および対象物体を照明するように構成された少なくとも1つのバックライトまたはフロントライトを含み得る。たとえば、光源システムは、1つまたは複数のレーザーダイオード、半導体レーザーまたは発光ダイオードを含み得る。いくつかの例では、光源システムは、少なくとも1つの赤外線、光学、赤色、緑色、青色、白色もしくは紫外線発光ダイオードまたは少なくとも1つの赤外線、光学、赤色、緑色、青色もしくは紫外線レーザーダイオードを含み得る。いくつかの実装形態によれば、制御システムは、約10ナノ秒から約500ナノ秒までの範囲内にある持続時間を有する少なくとも1つの光パルスを放出するように光源システムを制御することが可能であってもよい。場合によっては、制御システムは、約1MHzから約100MHzの間の周波数で複数の光パルスを放出するように光源システムを制御することが可能であってもよい。
この例では、モバイルデバイス1100は、ユーザ認証プロセスを実行することが可能である装置200の別の事例を含む超音波認証ボタン1110を含み得る。いくつかのそのような例では、超音波認証ボタン1110は超音波送信機を含み得る。いくつかの例によれば、ユーザ認証プロセスは、超音波送信機からの超音波による対象物体の照射を介して超音波画像データを取得すること、および光源システムから放出された光による対象物体の照明を介して超音波画像データを取得することを伴い得る。いくつかのそのような実装形態では、対象物体の照射を介して取得される超音波画像データは指紋画像データを含んでもよく、対象物体の照明を介して取得される超音波画像データは、脈管画像データなど、1つまたは複数の表皮下特徴に対応する画像データを含んでもよい。
この実装形態では、ディスプレイ1105と装置200の両方が、モバイルデバイスの、対象物体に面している側にあり、対象物体は、この例では手首であり、装置200を介して撮像され得る。しかしながら、代替実装形態では、装置200はモバイルデバイス1100の反対側にあり得る。たとえば、ディスプレイ1105はモバイルデバイスの表にあってもよく、装置200はモバイルデバイスの裏にあってもよい。いくつかのそのような実装形態によれば、モバイルデバイスは、対応する超音波画像データが収集されているときに、図10Eおよび図10Fに示すものに類似した2次元および/または3次元画像を表示することが可能であってもよい。
いくつかの実装形態では、モバイルデバイス1100が動くときに、手首または腕などの対象物体の一部分が走査され得る。いくつかのそのような実装形態によれば、モバイルデバイス1100の制御システムは、より完全でより大きい2次元または3次元画像を形成するために、走査された画像をスティッチングすることが可能であってもよい。いくつかの例では、制御システムは、主に対象物体内の第1の深度で第1および第2の超音波画像データを収集することが可能であってもよい。第2の超音波画像データは、対象物体またはモバイルデバイス1100が再配置された後に収集され得る。いくつかの実装形態では、第2の超音波画像データは、約1フレーム毎秒から約30フレーム以上毎秒の間のフレームレートなど、フレームレートに対応する時間期間の後に収集され得る。いくつかのそのような例によれば、制御システムは、合成超音波画像を形成するために第1および第2の超音波画像データをスティッチングするか、またはさもなければアセンブルすることが可能であってもよい。
図12は、図11に示すようなモバイルデバイスを介して取得された超音波画像データをスティッチングする方法の一例を提供する流れ図である。本明細書で開示する他の方法と同様に、図12で概説する方法は、示されているよりも多いまたは少ないブロックを含んでもよい。その上、方法1200のブロックは、示す順序で必ずしも実行されるわけではない。
ここで、ブロック1205は、モバイルデバイスを介して、スティッチングされた超音波画像を取得するための指示を受信するステップを伴う。この例では、ブロック1205は、スティッチングされた2次元超音波画像を取得するための指示を受信するステップを伴う。代替例では、ブロック1205は、スティッチングされた3次元超音波画像を取得するための指示を受信するステップを伴い得る。たとえば、モバイルデバイス上で動作しているソフトウェアアプリケーションは、ユーザに提供されたプロンプトに対する回答を受信した後に、対象物体内の注目エリアのより大きいビューが望ましいと認識し、モバイルデバイスが注目エリアで動いたときに取得された2次元または3次元画像の集合をスティッチングまたはさもなければアセンブルするための指示を提供し得る。
この例では、ブロック1210は、第1の収集時間遅延の指示を受信するステップを伴う。たとえば、ブロック1205および/またはブロック1210は、たとえば、タッチスクリーンを介したグラフィカルユーザインターフェースとのユーザ対話に応答する、ボタンとのユーザ対話に応答するなどして、ユーザインターフェースシステムから入力を受信するステップを伴い得る。いくつかの実装形態では、収集時間遅延は、モバイルデバイスの超音波センサアレイからの距離に相当すること、および/または対象物体内の深度に対応することがある。したがって、ユーザ入力は、時間、距離、深度、または別の適切なメトリックに対応し得る。代替例では、ブロック1205は、スティッチングされた3次元超音波画像を取得するための指示を受信するステップを伴ってもよく、ブロック1210は、第1から第Nの収集時間遅延の指示を受信するステップを伴ってもよい。いくつかの例によれば、ブロック1210において、モバイルデバイスの制御システムは、メモリに記憶されたデータ構造などから、ユーザインターフェースから1つまたは複数の収集時間遅延を受信し得る。
この例では、ブロック1215は、モバイルデバイスの現在位置において光を放出するようにモバイルデバイスの光源システムを制御するステップを伴う。この例では、光は、対象物体内での音響波放出を引き起こす。この実装形態によれば、ブロック1220は、現在位置において、音響波放出から超音波画像データを収集するステップを伴う。この実装形態では、音響波放出は、第1の収集時間遅延の終了時間に開始された第1の収集時間ウィンドウの間に、モバイルデバイスの現在位置においてモバイルデバイスの超音波センサアレイによって受信される。ブロック1205がスティッチングされた3次元超音波画像を取得するための指示を受信するステップを伴う代替例では、ブロック1220は、現在位置において、対応する第1から第Nの収集時間遅延の後の第1から第Nの収集時間ウィンドウの間に超音波画像データを収集するステップを伴い得る。
この実装形態では、ブロック1225は、収集された超音波画像データを処理するステップを伴う。いくつかの例では、ブロック1225は、収集された超音波画像データを表示するステップを伴い得る。いくつかの実装形態によれば、ブロック1225は、収集された超音波画像データの顕著な特徴を識別するステップを伴い得る。そのような顕著な特徴は、ブロック1220において収集された超音波画像データを、対象物体の重複エリアから以前収集されたかまたは後に収集される超音波画像データと整合させるために使用され得る。そのような顕著な特徴は、たとえば、以下で説明するように、画像スティッチングのさらなるプロセスの間に使用され得る。
この例では、ブロック1230は、モバイルデバイスが位置を変えていることを示す指示を受信するステップを伴う。たとえば、ブロック1230は、モバイルデバイス内の1つまたは複数の加速度計、角速度センサ(たとえば、ジャイロスコープ)からのセンサデータなど、モバイルデバイスの慣性センサシステムのからの慣性センサデータを受信するステップを伴い得る。慣性センサデータに基づいて、モバイルデバイスの制御システムは、モバイルデバイスが位置を変えていると判断し得る。いくつかの実装形態では、正面または背面カメラからの画像データが、モバイルデバイスが位置を変えていることを検知するために使用され得る。いくつかの実装形態では、ユーザは、たとえば、画像キャプチャボタンを押すか、またはさもなければタッチすることによって、モバイルデバイスが位置を変えているときに指示を提供するよう促され得る。
ブロック1235では、超音波画像データを取得し続けるかどうかが決定される。場合によっては、ブロック1235は、超音波画像データを取得するのを止めるためのユーザインターフェースシステムからの指示を受信するステップを伴い得る。場合によっては、ブロック1235は、超音波画像データを取得するための所定の時間間隔が経過したかどうかについての指示を受信するステップを伴い得る。
ブロック1235において超音波画像データを取得し続けると決定された場合、この例では、プロセスはブロック1215に戻り、光源システムは、モバイルデバイスの現在位置において光を放出する。プロセスは次いで、ブロック1220に進み、追加の超音波画像データが、現在位置において、第1の収集時間遅延の終了時間に開始された第1の収集時間ウィンドウの間に収集される。
プロセスは次いで、ブロック1225に進み、少なくとも追加の超音波画像データが処理される。いくつかの例では、少なくとも追加の超音波画像データが表示され得る。いくつかの実装形態によれば、ブロック1225は、追加の超音波画像データの顕著な特徴を識別するステップを伴い得る。いくつかのそのような実装形態では、顕著な特徴は、ブロック1220において収集された追加の超音波画像データを、対象物体の重複エリアから以前収集されたかまたは後に収集される超音波画像データと整合させるために使用され得る。
超音波画像データの少なくとも2つの事例がブロック1215および1220の2つの反復の後に収集されているので、ブロック1225は、画像スティッチングのための登録プロセスを伴い得る。いくつかの実装形態では、登録プロセスは、重複する画像ピクセルの値の間の絶対差分和を最小化する画像整合の探索を伴い得る。いくつかの例では、登録プロセスは、ランダムサンプルコンセンサス(RANSAC)方法を伴い得る。いくつかの例では、ブロック1225は画像整合プロセスを伴い得る。いくつかのそのような実装形態では、ブロック1225は、単一の合成画像として見えるように画像が整合させられる合成プロセスを伴い得る。いくつかの実装形態によれば、ブロック1225は画像混合プロセスを伴い得る。たとえば、ブロック1225は動き補償、隣接する画像の間の継ぎ目の可視度を最小化するための継ぎ目線調整などを伴い得る。
この実装形態では、方法1200は、超音波画像データを取得し続けないことがブロック1235において決定されるまで続き、それが決定された時点でプロセスは終了する。しかしながら、いくつかの実装形態は、超音波画像データを取得し続けないことがブロック1235において決定された後の追加の動作を伴い得る。いくつかのそのような実装形態では、スティッチングされた超音波画像データが表示され、メモリに記憶され、かつ/または別のデバイスに送信され得る。
図13は、いくつかの開示されるバイオメトリックシステムにより実行され得る酸化ヘモグロビン検出の方法のブロックを示す流れ図である。本明細書で開示する他の方法と同様に、図13で概説する方法は、示されているよりも多いまたは少ないブロックを含んでもよい。その上、方法1300のブロックは、示す順序で必ずしも実行されるわけではない。
ここで、ブロック1305は、(指、掌または手首などの)対象物体が、超音波センサアレイおよび光源システムを含むバイオメトリックシステムに近接して配置されていることを示す指示を受信するステップを伴う。たとえば、ブロック1305は、対象物体がバイオメトリックシステムのプラテン上に配置されていることを示す指示を受信するステップを伴い得る。いくつかの実装形態では、光音響撮像能力を有するバイオメトリックシステムを有するモバイルデバイス上で動作しているアプリケーションが、対象物体がプラテン上に配置されているときに指示するようボタンをタッチするか、または押すようユーザに合図し得る。いくつかの実装形態では、バイオメトリックシステムは、対象物体がプラテンの表面と接触しているときに超音波的または容量的に検知し、それに応じて指示を提供し得る。
この実装形態では、ブロック1310は、収集時間遅延を選択するステップを伴う。たとえば、ブロック1310は、ユーザインターフェースシステムから受信されたユーザ入力に従って収集時間遅延を選択するステップを伴い得る。収集時間遅延は、この例では血管中の血液など、注目対象に相当し得る。いくつかの実装形態では、ブロック1310はまた、対象物体を照明するために光の第1の波長および光の第2の波長ならびに選択された各波長に関連する光度を選択するステップを伴い得る。いくつかの実装形態によれば、ブロック1310は、酸化ヘモグロビン検出、血糖値を推定することなど、所望のタイプの機能に関するユーザ入力に従って光の1つまたは複数の波長を選択するステップを伴い得る。
この例によれば、ブロック1315は、第1の波長の光により対象物体を照明するステップを伴う。たとえば、ブロック1315は、酸化ヘモグロビンによって強力に吸収される近赤外光により対象物体を照明するステップを伴い得る。
ここで、ブロック1320は、選択された収集時間遅延で第1の超音波画像データを収集するステップを伴う。この例では、第1の超音波画像データは、近赤外光などの第1の波長の光により対象物体を照明することによって引き起こされた音響波に対応する。
この例では、ブロック1325は、第2の波長の光により対象物体を照明するステップを伴う。たとえば、近赤外光により対象物体を照明する代わりに、ブロック1325は、可視範囲内の光など、光の異なる波長により対象物体を照明するステップを伴い得る。赤色光または緑色光など、可視範囲内の光は、酸化ヘモグロビンによって強力に吸収されることはなく、代わりに伝送される傾向がある。
この実装形態によれば、ブロック1330は、選択された収集時間遅延で第2の超音波画像データを収集するステップを伴う。この例では、第2の超音波画像データは、赤色光または緑色光などの第2の波長の光により対象物体を照明することによって引き起こされた音響波に対応する。第1の超音波画像データを第2の超音波画像データと比較することによって、血中酸素濃度が推定され得る。たとえば、適切な較正係数により、第1の超音波画像データからの信号レベルは、血管内などの注目領域における第2の超音波画像データからの信号レベルによって正規化され、その比率は、正規化されたデータを、たとえば、酸素飽和度(たとえば、SO2)のパーセンテージとして、経皮的酸素飽和度(たとえば、SpO2)のパーセンテージとして、または動脈血酸素飽和度(たとえば、SaO2)のパーセンテージとして血中酸素濃度に変換する値の記憶されたテーブルと比較され得る。
図14は、超音波センサシステムに対するセンサピクセル1434の4×4のピクセルアレイ1435の態様を代表的に示す。各ピクセル1434は、たとえば、圧電センサ材料(PSM)、ピーク検出ダイオード(D1)および読出しトランジスタ(M3)の局所領域に関連付けられることがあり、これらの要素の多くまたはすべてが、ピクセル回路1436を形成するために基板上または基板中に形成され得る。実際には、各ピクセル1434の圧電センサ材料の局所領域は、受信された超音波エネルギーを電荷に変換し得る。ピーク検出ダイオードD1は、圧電センサ材料PSMの局所領域によって検出された電荷の最大量を記録し得る。次いで、ピクセルアレイ1435の各行が、たとえば行選択メカニズム、ゲートドライバ、またはシフトレジスタを通じて走査されることがあり、各ピクセル1434に対するピーク電荷の大きさが追加の回路、たとえばマルチプレクサおよびA/Dコンバータによって読み取られることを可能にするように、各列に対する読出しトランジスタM3がトリガされ得る。ピクセル回路1436は、ピクセル1434のゲーティング、アドレス指定、およびリセットを可能にするために、1つまたは複数のTFTを含み得る。
各ピクセル回路1436は、超音波センサシステムによって検出された物体の小部分についての情報を提供し得る。図示を容易にするために、図14に示す例は比較的粗い解像度であるが、1インチ当たりおよそ500ピクセル以上の解像度を有する超音波センサが、適切な寸法の構造を用いて構成され得る。超音波センサシステムの検出エリアは、意図される検出物体に応じて選択され得る。たとえば、検出エリアは、1本の指に対する約5mm×5mmから、4本の指に対する約3インチ×3インチまでの範囲にわたることがある。正方形、矩形および非矩形の形状を含め、より小さいエリアおよびより大きいエリアが、対象物体に対して適宜使用され得る。
図15Aは、超音波センサシステムの分解図の一例を示す。この例では、超音波センサシステム1500aは、プラテン40の下に超音波送信機20と超音波受信機30とを含む。いくつかの実装形態によれば、超音波受信機30は、図2に示し上記で説明した超音波センサアレイ202の一例であり得る。いくつかの実装形態によれば、超音波送信機20は、図2に示し上記で説明した随意の超音波送信機208の一例であり得る。超音波送信機20は、実質的に平面の圧電送信機層22を含んでもよく、平面波生成装置として機能することが可能であってもよい。超音波は、圧電層に電圧を印加し、印加された信号に応じて層を膨張または収縮させ、それにより平面波を生成することによって生成されてもよい。この例では、制御システム206は、第1の送信機電極24および第2の送信機電極26を介して平面の圧電送信機層22に印加されることがある電圧を生じさせることが可能であってもよい。このようにして、超音波は、圧電効果によって層の厚さを変えることによって作成されてもよい。この超音波は、プラテン40を通過して指(または検出されるべき他の物体)に向かってもよい。検出されるべき物体によって吸収または送信されない波の一部分は、プラテン40を通って戻るように反射され、超音波受信機30によって受信され得る。第1および第2の送信機電極24および26は、金属化電極、たとえば圧電送信機層22の両面を被覆する金属層であってもよい。
超音波受信機30は、バックプレーンと呼ばれることもある基板34上に配設されたセンサピクセル回路32のアレイ、および圧電受信機層36を含み得る。いくつかの実装形態では、各センサピクセル回路32は、1つまたは複数のTFT要素と、電気的相互接続トレースとを含んでもよく、いくつかの実装形態では、ダイオード、キャパシタなどの1つまたは複数の追加の回路要素を含んでもよい。各センサピクセル回路32は、ピクセル回路に近接した圧電受信機層36内に生成された電荷を電気信号に変換するように構成されてもよい。各センサピクセル回路32は、圧電受信機層36をセンサピクセル回路32に電気的に結合するピクセル入力電極38を含んでもよい。
図示の実装形態では、受信機バイアス電極39は、プラテン40に近接する圧電受信機層36の一面上に配設される。受信機バイアス電極39は、金属化電極であってもよく、どの信号をセンサピクセル回路32のアレイに渡したらよいかを調整するために接地されるかまたはバイアスをかけられてもよい。プラテン40の露出面(上面)から反射された超音波エネルギーは、圧電受信機層36によって、局所化された電荷に変換されてもよい。これらの局所化された電荷は、ピクセル入力電極38によって収集され、下にあるセンサピクセル回路32に渡されてもよい。電荷は、センサピクセル回路32によって増幅されるかまたは緩衝され、次いで制御システム206に供給されてもよい。
制御システム206は、(直接的または間接的に)第1の送信機電極24および第2の送信機電極26に電気的に接続するとともに、基板34上の受信機バイアス電極39およびセンサピクセル回路32に電気的に接続してもよい。いくつかの実装形態では、制御システム206は実質的に上述のように動作してもよい。たとえば、制御システム206は、センサピクセル回路32から受信された増幅された信号を処理することが可能であってもよい。
制御システム206は、たとえば、指紋画像を取得することによって超音波画像データを取得するように超音波送信機20および/または超音波受信機30を制御することが可能であってもよい。超音波センサシステム1500aが超音波送信機20を含むかどうかにかかわらず、制御システム206は、超音波画像データから属性情報を取得することが可能であってもよい。いくつかの例では、制御システム206は、属性情報に少なくとも部分的に基づいて1つまたは複数のデバイスへのアクセスを制御することが可能であってもよい。超音波センサシステム1500a(または関連するデバイス)は、1つまたは複数のメモリデバイスを含むメモリシステムを含んでもよい。いくつかの実装形態では、制御システム206は、メモリシステムの少なくとも一部分を含んでもよい。制御システム206は、超音波画像データから属性情報を取得し、属性情報をメモリシステムに記憶することが可能であってもよい。いくつかの実装形態では、制御システム206は、指紋画像をキャプチャし、指紋画像から属性情報を取得し、(本明細書では指紋画像情報と呼ばれることがある)指紋画像から取得された属性情報をメモリシステムに記憶することが可能であってもよい。いくつかの例によれば、制御システム206は、超音波送信機20を「オフ」状態に維持しつつ、指紋画像をキャプチャし、指紋画像から属性情報を取得し、指紋画像から取得された属性情報を記憶することが可能であってもよい。
いくつかの実装形態では、制御システム206は、超音波センサシステム1500aを超音波撮像モードまたは力検知モードで動作させることが可能であってもよい。いくつかの実装形態では、制御システムは、超音波センサシステムを力検知モードで動作させるときに超音波送信機20を「オフ」状態に維持することが可能であってもよい。超音波受信機30は、超音波センサシステム1500aが力検知モードで動作しているときに力センサとして機能することが可能であってもよい。いくつかの実装形態では、制御システム206は、ディスプレイシステム、通信システムなどの他のデバイスを制御することが可能であってもよい。いくつかの実装形態では、制御システム206は、超音波センサシステム1500aを容量性撮像モードで動作させることが可能であってもよい。
プラテン40は、受信機に音響結合できる任意の適切な材料であってもよく、この材料の例にはプラスチック、セラミック、サファイア、金属およびガラスが含まれる。いくつかの実装形態では、プラテン40はカバープレートであってもよく、たとえばディスプレイのためのカバーガラスまたはレンズガラスであってもよい。特に、超音波送信機20が使用中であるときには、指紋検出および撮像は、必要に応じて、たとえば3mm以上の比較的厚いプラテンによって実行され得る。しかしながら、超音波受信機30が力検知モードまたは容量性検知モードで指紋を撮像することが可能である実装形態では、より薄くかつ比較的柔軟なプラテン40が望ましい場合がある。いくつかのそのような実装形態によれば、プラテン40は、1つまたは複数のタイプのパリレンなどの1つまたは複数のポリマーを含んでもよく、大幅により薄くてもよい。いくつかのそのような実装形態では、プラテン40は、厚さが数十ミクロンであってもよく、あるいは場合によっては10ミクロン未満であってもよい。
圧電受信機層36を形成するために使用される場合がある圧電材料の例には、適切な音響特性、たとえば約2.5MRaylから5MRaylの間の音響インピーダンスを有する圧電ポリマーが含まれる。利用されてもよい圧電材料の具体例には、ポリフッ化ビニリデン(PVDF)およびポリフッ化ビニリデン-トリフルオロエチレン(PVDF-TrFE)コポリマーなどの強誘電性ポリマーが含まれる。PVDFコポリマーの例には、60:40(モルパーセント)PVDF-TrFE、70:30 PVDF-TrFE、80:20 PVDF-TrFEおよび90:10 PVDF-TrFEが含まれる。利用されてもよい圧電材料の他の例には、ポリ塩化ビニリデン(PVDC)ホモポリマーおよびコポリマー、ポリテトラフルオロエチレン(PTFE)ホモポリマーおよびコポリマー、ならびに臭化ジイソプロピルアンモニウム(DIPAB)が含まれる。
圧電送信機層22および圧電受信機層36の各々の厚さは、超音波を生成し受信するのに好適であるように選択されてもよい。一例では、PVDF平面圧電送信機層22は約28μmの厚さであり、PVDF-TrFE受信機層36は約12μmの厚さである。超音波の例示的な周波数は、5MHzから30MHzまでの範囲内にあってもよく、波長は、およそ1ミリメートル以下である。
図15Bは、超音波センサシステムの代替例の分解図を示す。この例では、圧電受信機層36は個別素子37に形成されている。図15Bに示す実装形態では、個別素子37の各々は単一のピクセル入力電極38および単一のセンサピクセル回路32に相当する。しかしながら、超音波センサシステム1500bの代替実装形態では、個別素子37、単一のピクセル入力電極38、および単一のセンサピクセル回路32の各々の間には必ずしも1対1の対応があるとは限らない。たとえば、いくつかの実装形態では、単一の個別素子37に対して複数のピクセル入力電極38およびセンサピクセル回路32があってもよい。
図15Aおよび図15Bは、超音波センサシステムにおける超音波送信機および超音波受信機の例示的な配置を示しており、他の配置も可能である。たとえば、いくつかの実装形態では、超音波送信機20は、超音波受信機30の上方、ひいては検出されるべき物体25のより近くにあってもよい。いくつかの実装形態では、超音波送信機は、超音波センサアレイ(たとえば、単層送信機および受信機)に含まれ得る。いくつかの実装形態では、超音波センサシステムは、音響遅延層を含み得る。たとえば、音響遅延層が、超音波送信機20と超音波受信機30との間で超音波センサシステムに組み込まれ得る。音響遅延層は、超音波パルスタイミングを調整すると同時に、超音波受信機30を超音波送信機20から電気的に絶縁するために利用され得る。音響遅延層は、実質的に均一の厚さを有することがあり、遅延層のために使用される材料および/または遅延層の厚さは、反射された超音波エネルギーが超音波受信機30に到達する時間における望ましい遅延をもたらすように選択される。そうする際に、物体によって反射されたために物体についての情報を搬送するエネルギーパルスを超音波受信機30に到達させ得る時間の範囲は、超音波センサシステムの他の部分から反射されたエネルギーが超音波受信機30に到着している可能性が低い時間範囲の間である。いくつかの実装形態では、基板34および/またはプラテン40は、音響遅延層として働く場合がある。
本明細書で使用する、項目のリスト「のうちの少なくとも1つ」を指す句は、単一のメンバーを含むそれらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-cを包含することが意図されている。
本明細書で開示する実装形態に関連して説明する様々な例示的な論理、論理ブロック、モジュール、回路、およびアルゴリズムプロセスは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアとソフトウェアの互換性について、概して機能に関して説明し、上記で説明した様々な例示的な構成要素、ブロック、モジュール、回路およびプロセスにおいて例示した。そのような機能がハードウェアにおいて実装されるか、ソフトウェアにおいて実装されるかは、具体的な適用例および全体的なシステムに課された設計制約によって決まる。
本明細書で開示する態様に関連して説明する様々な例示的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアおよびデータ処理装置は、汎用シングルチップもしくは汎用マルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の組合せとともに実装または実行され得る。汎用プロセッサは、マイクロプロセッサ、または任意の従来のプロセッサ、コントローラ、マイクロコントローラ、もしくはステートマシンであり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携した1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。いくつかの実装形態では、特定のプロセスおよび方法は、所与の機能に特有の回路によって実行され得る。
1つまたは複数の態様では、説明する機能は、本明細書で開示する構造およびそれらの構造的等価物を含む、ハードウェア、デジタル電子回路、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。また、本明細書で説明する主題の実装形態は、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置による実行のための、またはデータ処理装置の動作を制御するための、コンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして、実装され得る。
それらの機能は、ソフトウェアにおいて実装される場合、1つまたは複数の命令またはコードとして、非一時的媒体などのコンピュータ可読媒体上に記憶され得るか、またはコンピュータ可読媒体を介して送信され得る。本明細書で開示する方法またはアルゴリズムのプロセスは、コンピュータ可読媒体上に存在し得るプロセッサ実行可能ソフトウェアモジュールにおいて実装され得る。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送することが可能になる場合がある任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、非一時的媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形式で所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を含み得る。また、任意の接続がコンピュータ可読媒体と適切に呼ばれてもよい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびblu-rayディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。さらに、方法またはアルゴリズムの動作は、コードおよび命令のうちの1つまたは任意の組合せまたはセットとして、コンピュータプログラム製品に組み込まれる場合がある機械可読媒体およびコンピュータ可読媒体上に存在してもよい。
当業者には、本開示で説明した実装形態の様々な修正形態が容易に明らかになり得、本明細書において定められた一般原則は、本開示の趣旨または範囲から逸脱せずに他の実装形態に適用されてもよい。したがって、本開示は、本明細書において示されている実装形態に限定されるものではなく、特許請求の範囲、本明細書において開示された原則および新規の特徴に整合した最も広い範囲が与えられるべきである。「例示的な」という単語は、本明細書では、「例、事例、または例示の働きをすること」を意味するためにのみ使用される。本明細書で「例示的な」と記載されるいかなる実装形態も、必ずしも他の実装形態よりも好ましいか、または有利であると解釈されるべきではない。
また、本明細書において別個の実装形態の文脈で説明するいくつかの特徴は、単一の実装形態において組み合わせて実装され得る。逆に、単一の実装形態の文脈で説明する様々な特徴もまた、複数の実装形態において別個に実装されるか、または任意の好適な部分組合せで実装され得る。その上、特徴は、上記では、いくつかの組合せで作用するものとして説明されることがあり、最初にそのようなものとして請求されることもあるが、請求される組合せからの1つまたは複数の特徴は、場合によっては、組合せから削除され得、請求される組合せは、部分組合せまたは部分組合せの変形形態を対象とし得る。
同様に、動作は特定の順序で図面に示されているが、これは、所望の結果を達成するために、そのような動作が示された特定の順序で実行されるかもしくは順次に実行されること、またはすべての図示された動作が実行されることを必要とするものとして理解されるべきではない。特定の状況では、マルチタスキングおよび並列処理が有利である場合がある。さらに、上記で説明した実装形態における様々なシステム構成要素の分類は、そのような分類がすべての実装形態に必要であるものとして理解されるべきではなく、説明したプログラム構成要素およびシステムは、通常、単一のソフトウェア製品として統合されてもよく、複数のソフトウェア製品としてパッケージ化されてもよいことを理解されたい。さらに、他の実装形態も以下の特許請求の範囲内にある。いくつかのケースでは、特許請求の範囲に記載されているアクションは、異なる順序で実行されてもよく、依然として望ましい結果を達成する場合がある。
説明した特定の実装形態のうちのいずれかにおける複数の特徴が互いに不適合であると明確に確認されること、またはそれらの特徴が、相互排他的であり、補完および/もしくは支援の意味で容易に組み合わせることができないことを周囲の文脈が示唆することがない限り、本開示の全体は、それらの補完的実装形態の特定の特徴が、1つまたは複数の包括的であるがわずかに異なる技術的解法を提供するために、選択的に組み合わされてもよいことを企図し、想定していることが理解されよう。したがって、上記の説明は、例として与えられているにすぎず、本開示の範囲内で細部の修正が施されてもよいことがさらに諒解されよう。
20 超音波送信機
22 圧電送信機層
24 第1の送信機電極
25 物体
26 第2の送信機電極
30 超音波受信機
32 センサピクセル回路
34 基板
36 圧電受信機層
37 個別素子
38 ピクセル入力電極
39 受信機バイアス電極
40 プラテン
102 入射光
103 基板
104 血管
106 指
108 空中
110 音響波
200 装置
202 超音波センサアレイ
204 光源システム
206 制御システム
208 超音波送信機
400 装置
402 センサピクセル
404 光源
405 センサスタック
410 基板
415 薄膜トランジスタ(TFT)基板、基板
420 圧電受信機層
425 プラテン
500 モバイルデバイス
505 モバイルデバイス筐体
510 ボタン
600 方法
700 グラフ
705 光励起信号
710 グラフ
715 グラフ
720 グラフ
800 方法
900 グラフ
905a 光励起信号
905b 光励起信号
905c 光励起信号
910 グラフ
915 グラフ
920 グラフ
1005 プラテン
1010 表皮
1015 骨組織
1020 血管構造
1025a 水平線、画像平面、深度
1025b 水平線、画像平面、深度
1025n 水平線、画像平面、深度
1030 構造
1032 構造
1100 モバイルデバイス
1105 ディスプレイ
1110 超音波認証ボタン
1200 方法
1300 方法
1434 センサピクセル、ピクセル
1435 ピクセルアレイ
1436 ピクセル回路
1500a 超音波センサシステム
1500b 超音波センサシステム

Claims (39)

  1. 基板と、
    前記基板上の、または前記基板に近接した超音波センサアレイと、
    光源システムと、
    制御システムと
    を備え、前記制御システムは、
    光を放出するように前記光源システムを制御することと、
    対象物体の部分から放出された音響波に対応する前記超音波センサアレイからの信号を受信することであって、前記放出は、前記対象物体が前記光源システムによって放出された光により照明されることに起因する、受信することと、
    前記超音波センサアレイからの前記信号に少なくとも部分的に基づくユーザ認証プロセスを実行することと
    が可能である、バイオメトリックシステム。
  2. 前記制御システムは、前記光源システムによって放出される前記光の波長を選択することが可能である、請求項1のバイオメトリックシステム。
  3. 前記制御システムは、前記対象物体の部分を照明するために前記波長および前記選択された波長に関連する光度を選択することが可能である、請求項2のバイオメトリックシステム。
  4. 前記制御システムは、前記超音波センサアレイからの対応する距離での音響波放出を受信するために、収集時間遅延を選択することが可能である、請求項1のバイオメトリックシステム。
  5. 超音波送信機をさらに備える、請求項1に記載のバイオメトリックシステム。
  6. 前記制御システムは、前記超音波センサアレイを介して指紋画像データを取得するように前記超音波送信機を制御することが可能であり、前記認証プロセスは、前記指紋画像データを評価することを伴う、請求項5に記載のバイオメトリックシステム。
  7. 前記光源システムによって放出された前記光は、前記基板を通って伝送される、請求項1に記載のバイオメトリックシステム装置。
  8. 前記光源システムは、1つまたは複数のレーザーダイオードまたは発光ダイオードを含む、請求項1に記載のバイオメトリックシステム。
  9. 前記光源システムは、少なくとも1つの赤外線、光学、赤色、緑色、青色、白色もしくは紫外線発光ダイオードまたは少なくとも1つの赤外線、光学、赤色、緑色、青色もしくは紫外線レーザーダイオードを含む、請求項1に記載のバイオメトリックシステム。
  10. 前記光源システムは、約100ナノ秒未満のパルス幅を有する光パルスを放出することが可能である、請求項1に記載のバイオメトリックシステム。
  11. 前記光源システムは、約1MHzから約100MHzの間のパルス周波数で複数の光パルスを放出することが可能である、請求項1に記載のバイオメトリックシステム。
  12. 前記複数の光パルスの前記パルス周波数は、前記超音波センサアレイおよび前記基板の音響共鳴周波数に対応する、請求項11に記載のバイオメトリックシステム。
  13. 前記制御システムは、ユーザ認証の目的で、前記超音波センサアレイからの前記信号に基づいて、受信された画像データから取得された属性情報を、認定ユーザから以前受信された画像データから取得された記憶済み属性情報と比較することがさらに可能である、請求項1に記載のバイオメトリックシステム。
  14. 前記受信された画像データから取得された前記属性情報および前記記憶済み属性情報は、表皮下特徴、筋組織特徴または骨組織特徴のうちの少なくとも1つに対応する属性情報を含む、請求項13に記載のバイオメトリックシステム。
  15. 前記受信された画像データから取得された前記属性情報および前記記憶済み属性情報は、表皮下特徴に対応する属性情報を含み、前記表皮下特徴は、真皮の特徴、皮下組織の特徴、血管特徴、リンパ管特徴、汗腺特徴、毛包特徴、毛乳頭特徴および脂肪小葉特徴からなる特徴のリストからの1つまたは複数の特徴を含む、請求項14に記載のバイオメトリックシステム。
  16. 前記受信された画像データから取得された前記属性情報および前記記憶済み属性情報は、指紋マニューシャに関する情報を含む、請求項13に記載のバイオメトリックシステム。
  17. 前記制御システムは、ユーザ認証の目的で、
    超音波送信機からの超音波による前記対象物体の照射を介して超音波画像データを取得することと、
    前記光源システムから放出された光による前記対象物体の照明を介して超音波画像データを取得することと
    がさらに可能である、請求項1に記載のバイオメトリックシステム。
  18. 前記対象物体の照射を介して取得される前記超音波画像データは指紋画像データを含み、前記対象物体の照明を介して取得される前記超音波画像データは脈管画像データを含む、請求項17に記載のバイオメトリックシステム。
  19. 前記対象物体は指または指状の物体である、請求項1にバイオメトリックシステム。
  20. 前記対象物体は、前記超音波センサアレイの表面上に配置されるか、または前記超音波センサアレイに音響的に結合されたプラテンの表面上に配置される、請求項1にバイオメトリックシステム。
  21. 前記制御システムは、前記受信された信号に基づいて前記対象物体の生体性判断を行うようにさらに構成される、請求項1にバイオメトリックシステム。
  22. 請求項1から20のいずれか一項に記載のバイオメトリックシステムを含むモバイルデバイス。
  23. 基板と、
    前記基板上の、または前記基板に近接した超音波センサアレイと、
    光源システムと、
    制御手段と
    を備え、前記制御手段は、
    光を放出するように前記光源システムを制御することと、
    対象物体の部分から放出された音響波に対応する前記超音波センサアレイからの信号を受信することであって、前記放出は、前記対象物体が前記光源システムによって放出された光により照明されることに起因する、受信することと、
    前記超音波センサアレイからの前記信号に少なくとも部分的に基づくユーザ認証プロセスを実行することと
    を行う、バイオメトリックシステム。
  24. 前記制御手段は、前記光源システムによって放出される前記光の波長を選択するための手段を含む、請求項23のバイオメトリックシステム。
  25. 前記制御手段は、前記対象物体の部分を照明するために前記波長および前記選択された波長に関連する光度を選択するための手段を含む、請求項23のバイオメトリックシステム。
  26. 前記制御手段は、前記超音波センサアレイからの対応する距離での音響波放出を受信するために、収集時間遅延を選択するための手段を含む、請求項23のバイオメトリックシステム。
  27. 超音波送信機をさらに備える、請求項23に記載のバイオメトリックシステム。
  28. 前記ユーザ認証プロセスは、
    前記超音波送信機からの超音波による前記対象物体の照射を介して取得された超音波画像データと、
    前記光源システムから放出された光による前記対象物体の照明を介して取得された超音波画像データと
    を伴う、請求項27に記載のバイオメトリックシステム。
  29. 光を放出するように光源システムを制御するステップと、
    前記光源システムによって放出された光により照明されることに応答して対象物体の部分から放出された音響波に対応する超音波センサアレイからの信号を受信するステップと、
    前記超音波センサアレイからの前記信号に少なくとも部分的に基づくユーザ認証プロセスを実行するステップと
    を含むバイオメトリック認証方法。
  30. 超音波送信機からの超音波による前記対象物体の照射を介して超音波画像データを取得するステップをさらに含み、前記ユーザ認証プロセスは、前記超音波画像データに少なくとも部分的に基づく、請求項29に記載の方法。
  31. 前記対象物体の部分からの音響波放出を選択的に生成するために、前記光源システムによって放出される前記光の波長および光度を選択するステップをさらに含む、請求項29に記載の方法。
  32. 前記超音波センサアレイからの対応する距離での音響波放出を受信するために、収集時間遅延を選択するステップをさらに含む、請求項29に記載の方法。
  33. 前記光源システムを制御するステップは、モバイルデバイスの光源システムを制御するステップを伴う、請求項29に記載の方法。
  34. 前記光源システムを制御するステップは、前記モバイルデバイスのディスプレイを照明することが可能な少なくとも1つのバックライトまたはフロントライトを制御するステップを伴う、請求項33に記載の方法。
  35. ソフトウェアが記憶された非一時的媒体であって、前記ソフトウェアは、
    光を放出するように光源システムを制御することと、
    前記光源システムによって放出された光により照明されることに応答して対象物体の部分から放出された音響波に対応する超音波センサアレイからの信号を受信することと、
    前記超音波センサアレイからの前記信号に少なくとも部分的に基づくユーザ認証プロセスを実行することと
    を行うように少なくとも1つのデバイスを制御するための命令を含む、非一時的媒体。
  36. 前記ソフトウェアは、超音波送信機からの超音波による前記対象物体の照射を介して超音波画像データを取得するための命令を含み、前記ユーザ認証プロセスは、前記超音波画像データに少なくとも部分的に基づく、請求項35に記載の非一時的媒体。
  37. 前記ソフトウェアは、前記対象物体の部分からの音響波放出を選択的に生成するために、前記光源システムによって放出される前記光の波長および光度を選択するための命令を含む、請求項35に記載の非一時的媒体。
  38. 前記ソフトウェアは、前記超音波センサアレイからの対応する距離での音響波放出を受信するために、収集時間遅延を選択するための命令を含む、請求項35の非一時的媒体。
  39. 前記光源システムを制御するステップは、モバイルデバイスのディスプレイを照明することが可能な少なくとも1つのバックライトまたはフロントライトを制御するステップを伴う、請求項35に記載の非一時的媒体。
JP2018555769A 2016-05-06 2017-04-05 光音響撮像を伴うバイオメトリックシステム Active JP6847976B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/149,046 2016-05-06
US15/149,046 US10235551B2 (en) 2016-05-06 2016-05-06 Biometric system with photoacoustic imaging
PCT/US2017/026196 WO2017192233A1 (en) 2016-05-06 2017-04-05 Biometric system with photoacoustic imaging

Publications (3)

Publication Number Publication Date
JP2019520864A true JP2019520864A (ja) 2019-07-25
JP2019520864A5 JP2019520864A5 (ja) 2020-04-23
JP6847976B2 JP6847976B2 (ja) 2021-03-24

Family

ID=58692555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555769A Active JP6847976B2 (ja) 2016-05-06 2017-04-05 光音響撮像を伴うバイオメトリックシステム

Country Status (9)

Country Link
US (1) US10235551B2 (ja)
EP (1) EP3452950A1 (ja)
JP (1) JP6847976B2 (ja)
KR (1) KR102500728B1 (ja)
CN (1) CN109328354B (ja)
BR (1) BR112018072794A8 (ja)
CA (1) CA3019154A1 (ja)
TW (1) TWI761341B (ja)
WO (1) WO2017192233A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11809536B2 (en) 2020-03-06 2023-11-07 Kyndryl, Inc. Headphone biometric authentication

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366269B2 (en) 2016-05-06 2019-07-30 Qualcomm Incorporated Biometric system with photoacoustic imaging
US20170323130A1 (en) * 2016-05-06 2017-11-09 Qualcomm Incorporated Bidirectional ultrasonic sensor system for biometric devices
KR102353770B1 (ko) * 2017-05-08 2022-01-20 삼성전자 주식회사 디스플레이에 통합된 압력 센서를 포함하는 전자장치
CN107656656B (zh) * 2017-10-24 2021-05-18 业成科技(成都)有限公司 声波式触控装置及其触控判断方法
US10783346B2 (en) * 2017-12-11 2020-09-22 Invensense, Inc. Enhancing quality of a fingerprint image
US10891506B2 (en) * 2018-06-07 2021-01-12 Qualcomm Incorporated System and method for subdermal imaging
KR102544608B1 (ko) * 2018-07-04 2023-06-19 삼성전자주식회사 생체 센서를 이용하여 획득된 생체 정보를 포함하는 이미지의 상태에 기반하여, 생체 정보와 관련된 인증을 수행 하는 방법 및 이를 구현한 전자 장치
SG11202101216UA (en) * 2018-08-09 2021-03-30 Lyten Inc Electromagnetic state sensing devices
US11126814B2 (en) 2018-10-17 2021-09-21 Qualcomm Incorporated Ultrasonic fingerprint sensor with flexible substrate
US10929636B2 (en) 2019-01-18 2021-02-23 Qualcomm Incorporated Ultrasonic fingerprint sensor with electrically nonconductive acoustic layer
US10891458B2 (en) * 2019-02-28 2021-01-12 Qualcomm Incorporated Module architecture for large area ultrasonic fingerprint sensor
US11430249B2 (en) * 2019-05-30 2022-08-30 Qualcomm Incorporated Passive acoustic fingerprint sensor
US11580204B2 (en) * 2019-06-26 2023-02-14 Qualcomm Incorporated Dual-frequency ultrasonic sensor system with frequency splitter
US11017195B2 (en) * 2019-06-27 2021-05-25 Qualcomm Incorporated Ultrasonic fingerprint scanning by means of photoacoustic excitation
US11397486B2 (en) 2019-08-30 2022-07-26 Apple Inc. Ultrasonic force detection
US11087108B2 (en) * 2019-11-21 2021-08-10 Qualcomm Incorporated Fingerprint sensor system including metamaterial
WO2021147023A1 (zh) * 2020-01-22 2021-07-29 深圳市汇顶科技股份有限公司 生物活体光声检测***、生物信息检测装置、电子设备及生物活体检测方法
KR20220028559A (ko) * 2020-08-28 2022-03-08 삼성전자주식회사 광음향 특성에 기반한 위조 지문 판단 방법 및 장치
CN112784231B (zh) * 2021-01-26 2022-07-29 深圳波导智慧科技有限公司 基于人脸识别的综合性网络操作平台及其认证设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138743A1 (en) * 2000-06-08 2002-09-26 Murakami Rick V. Method and apparatus for calibration over time of histological and physiological biometric markers for authentication
JP2005021380A (ja) * 2003-07-02 2005-01-27 Toshiba Corp 生体情報映像装置
WO2008059812A1 (fr) * 2006-11-14 2008-05-22 Kagoshima University Système de mesure opto-acoustique
JP2011143259A (ja) * 2011-02-28 2011-07-28 Toshiba Corp 生体情報計測装置
JP2014213158A (ja) * 2013-04-30 2014-11-17 富士フイルム株式会社 音響波計測装置
WO2016051749A1 (en) * 2014-09-29 2016-04-07 Canon Kabushiki Kaisha Object information acquiring apparatus
JP2016047077A (ja) * 2014-08-27 2016-04-07 プレキシオン株式会社 光音響画像化装置

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5224174A (en) 1990-11-07 1993-06-29 Niagara Technology Incorporated Surface feature mapping using high resolution c-scan ultrasonography
US5647364A (en) 1995-02-15 1997-07-15 Ultra-Scan Corporation Ultrasonic biometric imaging and identity verification system
EP1503330B1 (en) 2002-05-09 2010-06-02 Sony Corporation Method of detecting biological pattern, biological pattern detector, method of biological certificate and biological certificate apparatus
JP4234393B2 (ja) 2002-10-31 2009-03-04 株式会社東芝 生体情報計測装置
IL164030A0 (en) 2003-09-12 2005-12-18 Revital Pery Shechter Photoacoustic analyzer of a region of interest in a human body
US7370534B2 (en) 2005-03-24 2008-05-13 Imperium, Inc. Multiangle ultrasound imager
US20070179365A1 (en) 2006-01-31 2007-08-02 Glucon Inc. Method for monitoring body fluids
WO2008108871A2 (en) * 2006-07-31 2008-09-12 Lumidigm, Inc. Spatial-spectral fingerprint spoof detection
WO2008134135A2 (en) * 2007-03-21 2008-11-06 Lumidigm, Inc. Biometrics based on locally consistent features
KR102389147B1 (ko) * 2007-09-24 2022-04-21 애플 인크. 전자 장치 내의 내장형 인증 시스템들
JP4448189B2 (ja) 2008-06-18 2010-04-07 キヤノン株式会社 生体情報取得装置
US8384038B2 (en) * 2009-06-24 2013-02-26 General Electric Company Readout electronics for photon counting and energy discriminating detectors
US9057695B2 (en) * 2009-09-24 2015-06-16 Canon Kabushiki Kaisha Apparatus and method for irradiating a scattering medium with a reconstructive wave
WO2011112622A1 (en) * 2010-03-08 2011-09-15 Ultra-Scan Corporation Biometric sensor with delay layer
JP4902768B2 (ja) * 2010-05-11 2012-03-21 シャープ株式会社 光ポインティング装置およびそれを備えた電子機器
US8977013B2 (en) * 2010-07-12 2015-03-10 The Institute For Diagnostic Imaging Research, University Of Windsor Biometric sensor and method for generating a three-dimensional representation of a portion of a finger
JP5693184B2 (ja) 2010-11-29 2015-04-01 キヤノン株式会社 生体情報取得装置
JP2013226335A (ja) * 2012-04-27 2013-11-07 Fujifilm Corp 音響波診断装置および画像表示方法
JP6176839B2 (ja) 2012-06-25 2017-08-09 東芝メディカルシステムズ株式会社 超音波診断装置
WO2014011403A1 (en) 2012-07-11 2014-01-16 The University Of Connecticut Dual-modality endoscope, method of manufacture, and use thereof
US9636083B2 (en) 2012-07-17 2017-05-02 The Johns Hopkins University High quality closed-loop ultrasound imaging system
US9157856B2 (en) 2012-09-10 2015-10-13 Yunbo Guo Integrated photonic crystal structures and their applications
JP6012386B2 (ja) * 2012-10-10 2016-10-25 キヤノン株式会社 被検体情報取得装置およびその制御方法
CA2900479A1 (en) 2013-02-06 2014-08-14 Sonavation, Inc. Biometric sensing device for three dimensional imaging of subcutaneous structures embedded within finger tissue
JP6125281B2 (ja) * 2013-03-06 2017-05-10 東芝メディカルシステムズ株式会社 医用画像診断装置、医用画像処理装置及び制御プログラム
WO2014172671A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Physiologic data acquisition and analysis
US9551783B2 (en) * 2013-06-03 2017-01-24 Qualcomm Incorporated Display with backside ultrasonic sensor array
US9323393B2 (en) * 2013-06-03 2016-04-26 Qualcomm Incorporated Display with peripherally configured ultrasonic biometric sensor
EP3022683B1 (en) 2013-07-16 2024-01-17 The Regents of The University of California Mut fingerprint identification system
JP6114663B2 (ja) * 2013-08-27 2017-04-12 富士フイルム株式会社 超音波診断装置および超音波画像生成方法
KR102126568B1 (ko) * 2013-10-31 2020-06-24 삼성전자주식회사 입력 데이터 처리 방법 및 그 전자 장치
JP6504826B2 (ja) 2014-02-10 2019-04-24 キヤノン株式会社 情報処理装置および情報処理方法
JP6327900B2 (ja) 2014-03-24 2018-05-23 キヤノン株式会社 被検体情報取得装置、***検査装置および装置
FR3022346B1 (fr) 2014-06-16 2022-10-07 Commissariat Energie Atomique Dispositif et procede de caracterisation d'un faisceau de lumiere
CN104132248B (zh) * 2014-07-31 2016-10-19 重庆大学 流体管道泄漏检测定位方法
US9639765B2 (en) * 2014-09-05 2017-05-02 Qualcomm Incorporated Multi-stage liveness determination
JP6025888B2 (ja) 2015-02-26 2016-11-16 キヤノン株式会社 光音響装置、装置および方法
CN204463160U (zh) * 2015-03-19 2015-07-08 周飞 指掌纹成像***
US9619638B2 (en) * 2015-08-25 2017-04-11 International Business Machines Corporation Vehicle operations based on biometric fingerprint analysis
US10067229B2 (en) 2015-09-24 2018-09-04 Qualcomm Incorporated Receive-side beam forming for an ultrasonic image sensor
US10140534B2 (en) 2015-09-26 2018-11-27 Qualcomm Incorporated Ultrasonic imaging devices and methods
US20170112383A1 (en) * 2015-10-23 2017-04-27 Nec Laboratories America, Inc. Three dimensional vein imaging using photo-acoustic tomography
US10111644B2 (en) 2016-04-05 2018-10-30 The Board Of Trustees Of The Leland Stanford Junior University Method of coherent flow imaging using synthetic transmit focusing and acoustic reciprocity
US10366269B2 (en) 2016-05-06 2019-07-30 Qualcomm Incorporated Biometric system with photoacoustic imaging
US20180055369A1 (en) * 2016-08-31 2018-03-01 Qualcomm Incorporated Layered sensing including rf-acoustic imaging

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138743A1 (en) * 2000-06-08 2002-09-26 Murakami Rick V. Method and apparatus for calibration over time of histological and physiological biometric markers for authentication
JP2005021380A (ja) * 2003-07-02 2005-01-27 Toshiba Corp 生体情報映像装置
WO2008059812A1 (fr) * 2006-11-14 2008-05-22 Kagoshima University Système de mesure opto-acoustique
JP2011143259A (ja) * 2011-02-28 2011-07-28 Toshiba Corp 生体情報計測装置
JP2014213158A (ja) * 2013-04-30 2014-11-17 富士フイルム株式会社 音響波計測装置
JP2016047077A (ja) * 2014-08-27 2016-04-07 プレキシオン株式会社 光音響画像化装置
WO2016051749A1 (en) * 2014-09-29 2016-04-07 Canon Kabushiki Kaisha Object information acquiring apparatus
JP2016067491A (ja) * 2014-09-29 2016-05-09 キヤノン株式会社 被検体情報取得装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
西條芳文: "医学・生物学用超音波顕微鏡の新たな展開", 第26回バイオエンジニアリング講演会論文集, JPN6021002330, 11 January 2014 (2014-01-11), JP, pages 325 - 326, ISSN: 0004432482 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11809536B2 (en) 2020-03-06 2023-11-07 Kyndryl, Inc. Headphone biometric authentication

Also Published As

Publication number Publication date
CN109328354A (zh) 2019-02-12
US10235551B2 (en) 2019-03-19
US20170323131A1 (en) 2017-11-09
TW201740313A (zh) 2017-11-16
CA3019154A1 (en) 2017-11-09
TWI761341B (zh) 2022-04-21
BR112018072794A8 (pt) 2023-04-04
JP6847976B2 (ja) 2021-03-24
KR102500728B1 (ko) 2023-02-15
KR20190004281A (ko) 2019-01-11
CN109328354B (zh) 2021-07-13
EP3452950A1 (en) 2019-03-13
BR112018072794A2 (pt) 2019-03-12
WO2017192233A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
US10902236B2 (en) Biometric system with photoacoustic imaging
JP6847976B2 (ja) 光音響撮像を伴うバイオメトリックシステム
TWI827602B (zh) 用於皮下成像之系統及方法
US11017251B2 (en) Ultrasonic imaging devices and methods
US20180055369A1 (en) Layered sensing including rf-acoustic imaging
US9946914B1 (en) Liveness detection via ultrasonic ridge-valley tomography
US10685204B2 (en) Biometric age estimation via ultrasonic imaging
BR112018072814B1 (pt) Sistema biométrico com processamento de imagem fotoacústica

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210303

R150 Certificate of patent or registration of utility model

Ref document number: 6847976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250