JP2019521734A - 生物学的特性を検出するための光エミッタおよびセンサ - Google Patents

生物学的特性を検出するための光エミッタおよびセンサ Download PDF

Info

Publication number
JP2019521734A
JP2019521734A JP2018561233A JP2018561233A JP2019521734A JP 2019521734 A JP2019521734 A JP 2019521734A JP 2018561233 A JP2018561233 A JP 2018561233A JP 2018561233 A JP2018561233 A JP 2018561233A JP 2019521734 A JP2019521734 A JP 2019521734A
Authority
JP
Japan
Prior art keywords
light
body part
array
processor
photodetector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018561233A
Other languages
English (en)
Inventor
ジェローム チャンドラ バート,
ジェローム チャンドラ バート,
リチャード イアン オルセン,
リチャード イアン オルセン,
Original Assignee
インサイト システムズ
インサイト システムズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インサイト システムズ, インサイト システムズ filed Critical インサイト システムズ
Publication of JP2019521734A publication Critical patent/JP2019521734A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1306Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1318Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233Special features of optical sensors or probes classified in A61B5/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)

Abstract

バイオセンサデバイスが、指等の身体部分によってタッチするための表面を含む。LEDのアレイ等の光源が、身体部分によって反射され、部分的に吸収されるように、表面を通して光を放出する。光検出器のアレイが、身体部分によって戻るように反射された光を検出し、身体部分における光吸収パターンに対応する、光反射の画像に対応する信号を生成する。光吸収パターンは、指紋、血管パターン、血管内の血液移動、または他のバイオメトリック特徴に相関し得る。プロセッサが、光検出器から信号を受信し、信号を分析し、身体部分の特性を判定する。特性は、検出された特性を記憶された特性と比較することによって、バイオセンサデバイスのユーザを認証するために使用され得る。【選択図】図2

Description

本願は、Jerome Chandra BhatおよびRichard Ian Olsenにより2016年5月23日に出願され、本譲受人に譲渡された、米国仮特許出願第62/340,218号を基礎とし、その優先権を主張する。この米国仮特許出願は、本明細書中に参考として援用される。
本発明は、血流、血液成分、指紋、血管パターン等の生物学的特性の感知、特に、光および光検出器を使用するそのような特性の感知に関する。
特定の波長(例えば、赤色またはIR)の光を人間の身体部分(例えば、指)に当て、身体部分を通して透過される光を測定することが、血流(例えば、脈拍)、血液中の成分(ヘモグロビン等)、脂肪、および他の特性を検出するために使用され得ることが、公知である。概して、光吸収が、特定の特性に相関する。
しかしながら、そのようなシステムは、概して、単一の機能のみを実施する医療デバイスに限定される。さらに、光吸収の測定は、身体部分を通してであるため、デバイスは、指等の試験されている特定の身体部分を囲繞するように特に作製されなければならない。
必要とされるものは、種々の機能のために使用され得、医療ならびに認証等の非医療目的のために使用され得る、よりフレキシブルかつコンパクトな生物学的センサである。ユーザ認証に関して、生物学的センサは、既存の消費者製品に容易に統合されることが可能であるべきである。
本デバイスを使用して、人物の生物学的特性を検出するために使用され得る、統合されたコンパクトな光エミッタおよびセンサデバイスが、説明される。特性は、医療/診断目的ならびに人物の認証のために使用されることができる。例えば、本デバイスは、ユーザを認証するために、スマートフォンまたはコンピュータ内に設置され得る。
一実施形態では、LEDまたはフィルタ処理された白色光等の多波長光源によって形成される高分解能ピクセルが、皮膚に当てられると、指等の身体部分を貫通する光を提供する。光検出器のアレイが、光エミッタ内に統合され、身体部分から戻るように反射された光の大きさを検出し、戻るように反射された光の大きさは、身体部分による光の吸収によって影響を受ける。光検出器のアレイは、光吸収の高分解能画像を作成し得る。ピクセル(例えば、波長)は、ある生物学的特性を標的とするように制御され得、本デバイスの分解能は、指紋および血管パターン等の詳細な特性を検出するために高くあり得る。ビデオ画像がさらに、捕捉され得る。光学部品が、皮膚の中へのある深さにおいてのみ吸収を検出するために使用され得る。本デバイス内のプロセッサが、光検出器からの信号を分析し、ユーザの認証等の結果を生成するようにプログラムされ得る。
本デバイスは、コンパクトかつ安価であり、認証またはユーザの生物学的特性の分析のためのポータブルデバイスにおけるその使用を可能にし得る。
そのようなデバイスの種々の他の設計および使用も、説明される。
図1は、選択された区域において選択された波長の光を放出し得る、高分解能光エミッタの上面図であり、本デバイスはまた、発光面に接触する人物の身体部分から光吸収を感知するために、各多波長ピクセル区域内に光検出器のアレイを含む。 図2は、認証または医療診断のために、指紋、血流、血液中のヘモグロビン、または他の特性を検出するために発光面上に配置される人物の指を示す、図1のデバイスの断面図である。 図3は、人物の血液中のヘモグロビンおよびオキシヘモグロビンのような成分の濃度を判定するために、図1および2のデバイス内のプロセッサによって使用され得る、光波長対血液中のヘモグロビンおよびオキシヘモグロビンの吸収の相関を図示する。 図4は、光が、透明または半透明光ガイドの縁部分に入射され、光ガイドの前面から放出され、フォトダイオードアレイが、人物の身体による光の吸収の画像を検出するために、光ガイドの後方に位置付けられる、生物学的特性を検出するために光源および光センサを含むデバイスの別の実施形態の断面図である。 図5は、スマートフォン、ラップトップコンピュータ、または他の消費者デバイスの保護外側カバー部分等の透明層に添着される図4のデバイスを図示する。 図6は、反射された光の検出との組み合わせにおいて、EKG信号の検出等、人物からの電気信号を感知するために、電極を用いて増強される図4のデバイスを図示する。 図7は、人物から発生するガスを検出するために、感受性ガス感知要素を用いてさらに増強される図5のデバイスを図示する。 図8は、本デバイスと接触する身体部分(例えば、指)の温度を判定するために、非接触赤外線温度センサを用いてさらに増強される図5のデバイスを図示する。 図9は、より高い分解能のために、より高い信号対雑音比のために、およびよりコンパクトなデバイスを形成するために、集束レンズが光センサアレイに当接する、本発明の別の実施形態を図示する。 図10は、光検出器の高分解能アレイを有する、単一の集積回路チップの正面図である。レンズアレイが、検出器アレイを覆って位置付けられ、これは、入射光を集束させ、信号対雑音比を増加させるために光検出器に入射する直接光の量を低減させる。光源が、光ガイドと接触する人物の身体部分の方向においてのみ光を放出する透明光ガイド等、多くの好適な設計を有し得る。反射された光は、光ガイドを通して光検出器に戻るように透過される。 図11は、図10と類似するが、光源(例えば、LEDまたはレーザ)を光検出器と同一の表面上に統合する。 図12は、種々のデバイスを用いて実施され得る機能を識別する。 図13は、ユーザの生物学的特性を検出するために本デバイスによって実施される基本ステップの実施例のフローチャートである。種々の図における同一または同等の要素は、同一の番号を用いて標識化される。
ある波長の光を放出し、画像捕捉を使用して、光放出窓と接触する人物の身体による光の吸収を検出する、種々のタイプのバイオセンサデバイスが、説明される。他の使用も、説明される。
図1は、捕捉されるべき画像のために好適なサイズを有するバイオセンサデバイス10の上面図である。一実施形態では、デバイス10は、その表面にタッチする指を検出するためだけに十分な大きさである。
デバイス10は、マイクロLED12または垂直共振器面発光レーザ(VCSEL)等の他の光源によって形成されるピクセル11のアレイを備える。そのようなレーザは、発光ダイオードのサブセットと見なされる。LED12は、異なる着目ピーク波長を放出する異なる種類であり得るか、またはLED12は、異なる着目波長を放出するための異なる蛍光体を伴う同一の種類(例えば、UV LED)であり得る。示される実施例では、単一のピクセル11内のLED12は、赤色R、青色B、緑色G、およびIR放出LEDを含む。異なる波長は、異なる量だけ皮膚を貫通し、より短い波長(青色、緑色)は、より長い波長(赤色、赤外線)よりも皮膚の中により浅く貫通する。別の実施形態では、デバイス10は、指内の血流の検出等の特定の機能のためにのみ意図され、LED12は、赤色またはIR等、特定の機能のための単一の狭帯域の波長のみを放出する。各ピクセル11はまた、広帯域フォトダイオード14または他のタイプの光検出器を含む。異なる波長を放出するLED12は、別個に通電され得、したがって、フォトダイオード14の出力は、通電されたLED12によって放出される波長に相関されることができる。デバイス10の分解能は、高分解能テレビと同一であり得る。
ピクセルアレイ内からの任意の1つの波長のLEDはまた、必要に応じて、連続的に照明され得、ピクセルアレイ内からの1つまたはそれを上回る検出器が、並行して読み取られ、デジタル処理によって取得される画像の分解能のさらなる強化を可能にするようにクロストークを排除し得る。例えば、そのような連続的な照明は、光を単に散乱するが吸収しない場所からの身体部分内の吸収特徴(例えば、血管)の場所の強化された区別を可能にする。加えて、読み取られる検出器(単数または複数)は、照射されたLEDに近接するもののみであり得、したがって、サンプリングされた身体部分区域は、高度に局所化される。
LEDは、OLEDまたは無機LEDであり得る。
代替として、種々の色ピクセルは、液晶ディスプレイ(LCD)によって形成され得る。典型的なLCDは、広い範囲の波長を有する白色光バックライトを使用する。赤色、緑色、青色、およびIRフィルタ等の色フィルタが、サブピクセルを形成し、制御可能な液晶層の後方に位置付けられる。液晶層は、サブピクセル場所毎に光シャッタを効果的に有する。光シャッタを制御することによって、各ピクセル内の異なる色が、制御される。フォトダイオード14は、次いで、LCDの上部を覆う透明な積層層内に形成され得る。
いずれの実施形態でも、フォトダイオード14および発光ピクセルは、分析されるべき人物の身体部分の同一の側上にあり、したがって、フォトダイオード14は、人物の皮膚による光の吸収を検出するため等、反射された光の画像を検出する。これは、人物の身体部分を通過する光の量を検出する公知のデバイスと対照的である。検出されている身体部分内の局所化された吸収は、基本的に、異なるフォトダイオード14によって受光される反射された光間の差異を検出することによって判定されるため、反射された光の画像は、吸収された光の画像に対応する。そのような差異は、吸収パターンをマッピングし、これを記憶された吸収パターンと比較するために使用されることができる。故に、反射された光の絶対的大きさは、サンプリングされている身体部分、任意の周囲光、LEDへの電流等に基づいて変動し得るが、光反射の大きさにおける差異は、依然として、身体部分内の吸収パターンに対応するであろう。
組み合わせ指紋検出器および血管場所検出器のためのピクセル11のアレイの実施例は、2cm×2cmであり、800個のピクセル11を含むアレイであり得る。分解能は、0.25mm程度に小さくあり得る。そのようなアレイサイズは、2つの異なる試験を使用するユーザの認証のためにスマートフォンまたは他のハンドヘルドデバイス内に組み込まれることができる。
LEDコントローラ18は、例えば、行および列アドレス指定を使用してLED12の通電を制御し、フォトダイオード14は、光検出器コントローラ20によって制御される。プロセッサ22は、コントローラ18および20の全体的制御を提供し、所望の機能に応じて、さらなる処理のために種々のフォトダイオード14の出力を検出する。一実施形態では、プロセッサ22は、指紋ならびに指内の血管の場所、脈拍、および血液中の成分を検出するために、本デバイスを制御する。血流を分析するために、ビデオのような複数の画像が、取得され得る。プロセッサ22は、ユーザを認証するためにデータをメモリ内に記憶された情報と比較し得るか、または医療分析のためにデータを使用し得る。
一実施形態では、LEDコントローラ18は、LEDの照明をラスタリングする、または別様に空間的に順序付ける一方、光検出器コントローラ20は、複数の個別の照明状態に対応する画像のシーケンスを捕捉する。プロセッサ22は、散乱光に関して捕捉された画像を補償するためにデータのシーケンスを処理し得、それによって、本デバイスと接触する身体部分内の吸収特徴によって形成される組み合わせられた画像の分解能を増加させ得る。
プロセッサ22およびコントローラ18/20を含む全体的デバイス10は、電力リードおよびデータリードのみを要求する単一のモジュール式デバイスとして形成され得る。
ピクセルアレイの異なる区分またはピクセル11のそれぞれは、異なるピクセル11からのフォトダイオード14とLED14との間のクロストークを低減させるために、別個に通電され得る。理想的には、身体部分は、衝突し、反射される光の散乱を最小限にし、最も高い分解能の画像を取得するために、デバイス10と直接接触する。集束および指向性光学部品もまた、分解能をさらに改良するために使用され得る。
図2は、本デバイスの保護ガラスカバー24と直接接触する人物の指23を示す、図1のデバイス10の簡略化された断面である。指23内の血管25もまた、示される。空気のものよりもはるかに高いが、ガラスカバー24の屈折率と類似する屈折率(例えば、1.5)を有する指23に起因して、(ガラスに直接接触する)指紋の***26および(ガラスから離れる)指紋の谷27は、それらの区域内で異なる量の光反射28を引き起こすであろう。谷区域は、ガラス/空気界面におけるTIRに起因して、ガラス表面から比較的に高いパーセンテージの光を反射するであろう一方、***区域は、比較的に高いパーセンテージの光を吸収するであろう。フォトダイオード14の高分解能に起因して、いくつかのフォトダイオード14は、谷27の下に位置し、その他は、***26の下に位置し、したがって、指紋の画像は、プロセッサ22(図1)によって検出可能であり、ユーザの認証のために記憶された指紋と相関されることができる。
ガラスカバー24は、無機ガラス、サファイア等の結晶材料、ガラスセラミック、またはポリマーを含み得る。
指紋検出器を阻害する方法が、公知である。不正行為に対して追加される保証として、プロセッサ22はまた、フォトダイオード14のデータを処理し、指内の血管と一貫する低波長(例えば、赤色、IR)吸収のパターンを判定する。指紋に対する血管の形状および場所は、個人間で独特であり、偽造することは非常に困難である。そのようなデータは、認証のために記憶されたデータに相関される。他の血液データもまた、医療分析のために取得され得る。図2は、赤色/IR光の吸収が、血管を含んでいない指の区域と比較して、血管の場所においてより高い、血管25の皮膚深さにおける光反射28を示す。検出された血管のマップが、次いで、プロセッサ22によって作成され得、基準血管の記憶されたマップと比較されることができる。
フォトダイオード14信号は、プロセッサ22によって相互に減算され得、したがって、差異は、着目波長の吸収に相関する。そのただの絶対値ではなく、高分解能フォトダイオード14によって出力される信号の差異は、LEDからのフォトダイオード14によって直接受光される光の同相除去を可能にし、したがって、信号体雑音比を大幅に増加させる。
概して、広い区域を横断するフォトダイオード14のアレイは、デバイス10が、ガラスカバー24に接触する、またはそれに近接近する適切なコントラストのアイテムのための画像捕捉デバイスとして作用することを可能にする。故に、指、掌、手首、または顔等の身体部分が、ガラスカバー24と接触する、またはそれに近接近する場合では、デバイス10は、指紋等の有益なバイオ認証およびバイオメトリックデータ、血管パターン等の浅い真皮下バイオ認証データ、顔および他の皮膚色調情報、ならびに皮膚常在病原体の存在を捕捉するために使用され得る。
さらに、ピクセルアレイは、ガラスカバー24と接触する、またはそれに近接近する1つまたはそれを上回る指または他の身体部分の存在および運動を検出するために単純に使用され、それによって、アレイが、さらなる専用タッチ感知アレイ、機械的ボタン、または別体のジェスチャサブシステムに関する要件を伴わずに、種々のジェスチャを感知するために、またはタッチスクリーンもしくは単純な「ボタン」として使用されることを可能にし得る。
加えて、異なる色のLED12を順序付けることによって、身体部分の分光法が、実施され、光学的に収集されるバイオメトリックデータをもたらし得る。波長がある程度皮膚を貫通する場合では、真皮下バイオメトリックデータが、取得され得る。例えば、赤色および緑色の両方が、血流、血管を検出し、心拍数を確認するために使用されることができ、適切な波長の赤色および赤外線の組み合わせが、血液酸素供給を確認するために使用され得る。
異なる波長は、異なる量だけ皮膚を貫通し、より短い波長(青色、緑色)は、より長い波長(赤色、赤外線)よりも皮膚の中により浅く貫通する。故に、ピクセル波長を横断して走査することによって、真皮の異なる深さをサンプリングする画像が、取得され得る。異なる画像からのデータは、次いで、相互に減算され、付加的分解能をもたらし得る。例えば、表皮データを捕捉する青色画像が、真皮下データのみを示すように、表皮および真皮下データの両方を捕捉する赤色画像から減算され得る。
波長応答の範囲を拡大することは、さらに多くの情報が収集されることを可能にする。より高いか、またはより低いかのいずれかの周波数における応答性を持つ付加的ピクセルを混合または追加することによって、病原体検出、UV暴露、水和、および身体化学等の付加的機能が、確認されることができる。いくつかの場合では、UVが、血液または皮膚内の蛍光成分を検出するために使用され得る。
加えて、画像のシーケンス(すなわち、ビデオ)を捕捉することによって、血管に沿った血液の脈拍の移動が、取得され、心拍数、それから血圧が推測され得る血液脈波速度、心拍出量、1回拍出量等のさらなるバイオメトリックデータを(直接、または推測によってのいずれかで)提供することができる。画像のシーケンスはまた、血流を観察し、検証されている身体部分が生きている身体部分を間違いなく備え、スプーフ材料サンプルまたは分離された、もしくは死後の身体部分の使用等を通したバイオ認証イベントを偽造する試行を備えていないことを推論するために使用され得る。同様に、光検出器とともに、種々の色を生成するLEDの組み合わせの使用は、例えば、指紋のコピーを保有するが、同時に生理学的検証を示す、人間の指に付けられる材料の識別を提供することができる。本「ビデオ」能力は、次いで、共形材料による指紋スプーフィングを阻止することに役立つことができる。
拡張された画像のシーケンスを捕捉および処理する場合では、補償が、ビデオ捕捉中の対象の運動に関して提供される必要があり得る。本場合では、例えば、青色、緑色、または他の適切な光源を用いて捕捉される表皮画像の運動が、ビデオ捕捉中の対象の運動を追跡するために使用されることができ、例えば、赤色または赤外光を用いて捕捉される、捕捉された真皮下画像内の運動を補償するために使用されることができる。
指の中に貫通する光が、指内の構造物に基づいて、後方散乱および反射の変動を受けることを考慮して、指紋の検出は、青色光等の指の中に最も貫通しない光からが最良であろう。しかし、指紋は、広い範囲の可視および近赤外波長を用いて読み取られる可能性が高くあり得る。
より長い波長を使用して、真皮下画像が、撮影されることができる。例えば、真皮の中への2〜3mmまたはそれを上回る距離への貫通を可能にする照明波長および電力を使用することは、光が、毛細血管および静脈が見出され得る真皮下領域まで貫通することを可能にするであろう。血管が指紋の***および谷と重なるであろうと仮定して、血管から収集される画像もまた、指紋の***および谷の存在によって影響を受ける可能性が高いであろう。故に、指紋の***および谷の存在の両方は、認識のために使用される層の特異性を強化し得る、または血管の画像から除去されることができる。指紋を除去することが望ましい一例示では、先に議論されるようなより短い波長の光によって捕捉されるような指紋の画像を単純に減算する技法が、展開されることができる。代替として、これは、フィルタ処理または類似する影響を有する他の技法等による、画像処理を介して行われ得る。指紋の影響はまた、(後の図に示される)本システム内への光学部品の包含等によって、その検出器の焦点が本質的に専ら、または大部分が真皮下であるように検出器アレイを設定することによって最小限にされ得る。
本バイオ認証方法論のアーチファクトとして、有意な生理学的情報が、同時に抽出されることができる。異なる照明下で捕捉された血管の画像を研究することによって、感知区域の直下の組織の分光分析を実施することが可能であり、この分光分析から、血液、間質液、または組織の化学が実施され得る。例えば、ヘモグロビンおよびオキシヘモグロビンが異なる吸光係数の変化を有する範囲である680nmおよび850nm等の2つの異なる波長下の画像を研究することによって(図3)、血液酸素飽和度SpO2の測度を得ることが、可能である。転じて、適切な照明波長下で捕捉された画像を研究することによって、血糖、赤血球数、白血球数、血液CO2、血糖、ならびに他の血液および間質液溶質が、検出されることができる。
上記の構成の全てでは、周囲光の影響が、考慮される必要があり得る。具体的には、指等の薄い身体部分を研究する場合では、周囲光は、指を通して検出器アレイに伝搬し、受信される信号または画像に干渉し得る。故に、周囲光の影響は、考慮される必要があり得る。周囲光は、日光等の本質的に定常状態の光源または白熱照明もしくは変調されるLED照明等の変調される光源を含み得る。周囲光に由来する検出された光学信号の部分は、最初に、アレイ光源を「オフ」状態にして検出器アレイをサンプリングすることによって定量化され得る。本信号は、次いで、アレイ光源による照明にのみ関連する信号を推論するように、アレイ光源が「オン」状態にあるとき、検出器アレイが続けて捕捉する信号から減算され得る。加えて、全てのフォトダイオード14は、同一の量の周囲光を検出し得るため、同相信号を減算することは、周囲光を相殺する。
相関される二重サンプリングの本方法はさらに、光検出器構成および各ピクセル内の複数の光検出器に関する選択肢の両方によって強化されることができる。本「周囲光除去」は、アレイ光源およびアレイ検出器サンプリング時間を、周囲光の任意の変調のものよりもはるかに高い周波数において変調することによって促進されることができる。任意の周囲光変調の周波数はさらに、検出器アレイ自体によって検出され得る。
上記は、マイクロLEDディスプレイを利用する例示を説明しているが、機能的に同等のモダリティが、OLEDディスプレイまたはアクティブマトリクスLCDディスプレイ等の適切な分解能の任意の他のディスプレイに統合される拡張された検出器のアレイの統合を通して達成されることができる。具体的には、ディスプレイが、非晶質シリコン、多結晶質シリコン、または有機半導体等の集積半導体素子を含む場合、フォトダイオードアレイは、実質的に類似する半導体処理を使用してディスプレイ上に形成され、したがって、最小の付加的処理コストおよびより高い分解能を伴い得る。
機能的に同等のモダリティはまた、例えば、光学モジュール、ガラス上のチップ(カバーガラスに直接取り付けられるチップ)、またはディスプレイ上のチップ(ディスプレイガラスに直接取り付けられるチップ)における別個の拡張された検出器のアレイを用いて達成され得る。そのようなモジュール、ガラス上のチップ、またはディスプレイ上のチップは、ディスプレイと直接統合され得るか、またはスタンドアロンアレイを備え得、その独自の照明源を備え得るか、あるいはディスプレイ等からの外部光源、または任意の他の適切な既存のピクセル化、均一、側面、ポイント、もしくは他の照明源を利用するように配列され得る。
拡張された検出器のアレイは、CMOS画像センサ等の統合されたセンサアレイを備え得、後に説明される、図4に描写されるように統合される光学部品を有し得る。モジュールカバーガラス自体は、必要に応じて、光学的に強化するか、光学的にフィルタ処理するか、または光学的に遮断する、層および反射防止コーティングなどを用いて、完全または部分的にコーティングされ得る。
そのようなモジュールは、複数のヒューマンインターフェースのための統合点および最終用途への生理学的強化として動作し得る。限定ではないが、例えば、消費者デバイス上の光学的に機能するオン/オフまたは他の「ボタン」、ピンチ、ズーム、スクロール、ジョイスティック、トラックボール、シグネチャ等の高レベル機能に関するジェスチャ認識等の特徴が、アルゴリズムまたはソフトウェアを介して既存の動作に追加されることができる。
統合された、またはスタンドアロンセンサモジュールはまた、付加的機械的ボタンアクションを提供するために、圧力センサまたは圧力感知アレイを用いて強化され得る。積層容量センサアレイ層もまた、統合され得、それから「タッチ」イベントの発生およびタッチイベントの関連付けられる力が、判定され得る。タッチイベントの力の判定はまた、最適なバイオ認証またはバイオメトリックデータに最適化されない大きさであるタッチイベントの消費者へのフィードバックとして使用され得る。例えば、モジュールを強く押しすぎることは、毛細血管への血流を制限し、それによって、それから受信される信号に影響を及ぼし得る。
統合された、またはスタンドアロンセンサモジュールはさらに、エポキシ、シリコーン、アクリル、またはフリットガラスもしくは化合物半導体ガラス等の低温融解ガラス等の光学的に透明な接着剤を介して、ディスプレイまたはカバーガラスに直接接合され得る。本場合では、接合は、モジュールカバーガラスおよびディスプレイガラスの界面全体を横断して延在する接着剤を備え得る。代替として、接着剤は、界面の一部を覆って(例えば、縁において)分注され得、モジュールカバーガラスおよびディスプレイガラスの大部分は、単純に、接触する、または近接近し得る。
図4は、異なる波長を放出するLED等の光源30が、保護カバーとしての役割もまた果たす光ガイド32の外縁の周囲にのみ位置する別の実施形態を図示する。光は、LEDを光ガイド32内に埋設する、または別様に光を縁に結合すること等によって、光ガイド32の縁部分に結合される。光は、TIRによって光ガイドの全ての区域に搬送され、光ガイド32の上面のみを通して出射する。光ガイド32は、光を上向きに指向させ、光を混合する、成形されたマイクロリフレクタ等の光抽出特徴を有し得る。故に、通電されたLEDからの光は、光ガイド面と接触する、またはそれに近接する身体部分の中に上向きに実質的に均一に放出され得る。光ガイド32によって放出される下向きの光は、殆どまたは全く存在しない。光ガイド32の多くは、身体部分から戻るように反射された光が光ガイド32を通過するように透明である。
光学部品34は、身体部分の中へのある距離のみから反射された光をフォトダイオードアレイ38上に集束させる集束マイクロレンズを備え得る。光学部品34はまた、身体部分からの入射光を光ガイドに垂直な狭い角度にのみ限定し、クロストークを低減させ、分析されている身体部分の特徴をより良好にマッピングし得る。フォトダイオードアレイ38は、CMOS画像センサ、CCD画像センサ、または任意の他の画像センサであり得る。
光遮断壁40が、フォトダイオードアレイ38に衝突しないように直接光を遮断するために使用され得る。モジュールは、LEDからの熱を吸熱するために、不透明熱伝導性封入体42を含み得る。図1の制御電子機器は、モジュールに取り付けられる、または別個であり得る。モジュールは、プリント回路基板へのはんだ付けのための接触パッドを有し得る。
図5は、スマートフォンまたは他のデバイスの透明表面層等の保護透明カバー44に当接する図4のモジュールを図示する。
図6に示されるように、統合された、またはスタンドアロンセンサモジュールはさらに、光ガイド32を通して、もしくはその周囲に延在する、またはモジュールの外部に位置するが、ユーザが電気的に監視されることを可能にするようにモジュールに電気的に接続される、1つまたはそれを上回る電極48および50を備え得る。例えば、そのような電極49および50は、ユーザの心電図(ECGまたはEKG)または生体インピーダンスを検出するために使用され得る。ECG信号は、心拍数またはECG信号の形態によって判定されるような関連する、差し迫った、もしくは実際の病状を判定するために、孤立して使用され得る。代替として、ECGは、血圧および他の医療的に重要なインジケータを判定するために、光学的に導出されるフォトプレチスモグラム(PPG)と連携して使用され得る。生体インピーダンスは、水和、脂肪含有量、または他のバイタルサインを判定するために使用され得る。筋肉作用もまた、電気的に監視され得る。全てのそのようなモニタは、単一のモジュール内に組み合わせられ得る。
ECG信号はまた、バイオ認証シグネチャとして使用され得る。したがって、バイオ認証は、指紋、血管撮像、もしくはECG等の単一のモダリティを介して、または複数のモダリティの組み合わせ、すなわち、多因子認証の形態を通して実施され得る。全てのバイオ認証イベントが、誤検出および検出漏れの形態におけるエラーを受けると仮定して、多因子バイオ認証の使用は、バイオ認証の正確度を改良することができる。例えば、多因子バイオ認証スキームは、2つの因子の肯定的認証および第3の因子の拒絶された認証を備える認証イベントを確認するように構成され、それによって、(低減されたセキュリティを犠牲にしてではあるが)検出漏れに起因してユーザがシステムからロックアウトされる確率を低減させる一方、少なくとも2つの因子が認証されることを要求することによって、誤検出およびスプーフィングに対する増加されたセキュリティを提供し得る。代替として、異なるモダリティが、異なる認証時間を有すると仮定して、多因子認証スキームは、単一の高速認証因子に基づいて、最初の高速低セキュリティ認証を提供し、付加的なより緩慢な認証因子を収集および処理するために要求される長い時間周期にわたって、2つまたはそれを上回る後続の増加するセキュリティ認証のレベルを提供するように構成され得る。
図7に示されるように、モジュールはさらに、統合されたガス感知要素54を用いて増強され得る。ガス感知要素54は、代わりに、別体の近接デバイスであり得る。適切な電気化学感知要素等の高特異性の高指向性ガスセンサの使用は、犬が人物の病気を嗅ぐことができるように、現在の、または差し迫った病状を検出するために使用され得る。そのようなデータは、孤立して、または上記に概説される光学部品および電気データと併せて使用され、データが解釈され得るより完全な文脈を提供し、それによって、より(統計的に)正確な医療診断または総合的健康/ウェルネス診断をもたらすことができる。
相補的ガス感知要素54の使用はまた、バイオ認証用途において使用され得る。指紋スプーフサンプルは、木材、糊、パテ、およびアセテートシート等の有機材料の中または上への指紋再現物を備え得る。そのような材料は、殆どが、特に、形成または硬化後の短い時間において、揮発性有機化合物を放出する。加えて、人間は全て、皮膚および汗を通して揮発性有機化合物(VOC)を放出する。したがって、接触点におけるガス状環境がバイオ認証イベントと実質的に同時にサンプリングされる、接触または近接近する指紋または他のバイオ認証イベントは、スプーフ材料または直接的な皮膚の存在を「嗅ぐ」機会を有する。さらに、任意の1人の個人によって放出されるVOCの特定の比率(その「臭気」)は、十分に固有であり、これは、十分な分解能がガス感知要素において存在する場合、さらなるバイオ識別因子またはモダリティとして使用され得る。そのような感知スキームは、実際の人間の指23の存在を検出するガス感知要素54と併せて、指紋および/または血管場所による光吸収を感知するフォトダイオードアレイ38によって図7に描写される。
統合された、またはスタンドアロンセンサモジュールは、それを横断して指が物理的に走査またはスワイプされ得るコンパクトなライン走査装置(ピクセルの単一または細いライン)として配列され得る。これは、縮小されたセンサ占有面積を用いて指または他の身体部分の拡大された部分を走査することが可能である利点を提供し得る。スタンドアロンセンサモジュールの場合では、縮小された占有面積は、携帯電話、腕時計、および他のウェアラブル等の空間制約プラットフォームへのデザインインを促進することができ、削減されたモジュールコストを促進することができる。指のスワイプアクションは、小さい形状因子のセンサが広い範囲の身体組織を調査することを可能にすることができる。広い範囲の身体組織にわたって感知することが可能であることは、特定のバイオ認証およびバイオメトリックマーカが、マーカが最も強力である、または最も高度に規定される特定の組織区域内でサンプリングされ得る利点を提供する。例えば、伝統的な指紋を取得しようとしている場合、遠位指節骨にわたって組織を走査することは、それが表皮特徴(***および谷)が豊富な領域であるため、最も有用な情報を提供するであろう。一方、指静脈識別データ等の独特の真皮下情報を捕捉することは、静脈がより大きく、したがって、検出することがより容易であること、およびバイオ認証イベント中のセンサモジュールとの接触による指への圧力の付与によってあまり影響を受けないことの両方である、中間指節骨にわたって最も成功することが分かり得る。故に、光学バイオ認証ライン走査装置は、指がこれにわたって走査される際、遠位指節骨からの指紋データおよび中間指節骨からの指静脈識別データを最適に捕捉するように構成され得る。モジュールはさらに、センサが指節間関節のうちの1つの下を通過する際の照明源または焦点距離の変化等によって、モジュールにわたる指の通過を感知し、指走査中にモジュールの動作を変更し得る。
ラインアレイセンサがさらに、平坦なカバーガラスまたは湾曲したカバーガラス上もしくはその後方に形成され、ガラスの曲線は、指または手首のものとほぼ合致し得る。そのようなセンサは、次いで、ネットワーク化される場合、ユーザのバイオ認証を提供するウェアラブルデバイスとして使用され得る、指輪または腕時計等のウェアラブルデバイスの中に組み込まれ得る。そのようなデバイスは、ワンタイムバイオ認証イベントを実施することができる。これは、次いで、センサアレイに連続的または周期的にポーリングし、ウェアラブルデバイスが外されていないこと、およびユーザが依然として生きていることを確認することができる。ウェアラブルデバイスは、次いで、ユーザが、任意の後続バイオ認証イベントを実施する必要なく、バイオ認証されたままであることを確認することができる。そのようなデバイスは、次いで、例えば、電話、クレジットカード支払いシステム、ATM、自動車、扉、およびデータボルトなどと無線でネットワーク化され、高速ユーザ認証を促進することができる。そのようなモダリティは、バイオ認証イベントが数回の心拍が捕捉されることを要求し得るECG信号の分析を備える場合等、これが冗長なイベントを備える場合に特に有用である。
図8に示されるように、統合された、またはスタンドアロンセンサモジュールからの信号はさらに、統合された、または別体の近接接触もしくは非接触温度センサ58からのデータを用いて増強され得る。低波長(赤色またはIR)フィルタ60が、センサ58を被覆し得る。温度データは、スタンドアロンバイオメトリックとして使用され得るか、またはその中で他のバイオメトリックが解釈されるさらなる文脈を提供するために使用され得る。
図9は、制御回路およびフォトダイオードがセンサチップ62内に統合され、集束光学部品64がより精密な集束のためにフォトダイオードアレイ上に直接形成される実施形態を示す。集束は、光ガイド32に接触する、身体部分の中へのある距離内であり得る。縁結合されたLED光源30もまた、示される。結果として生じるモジュールは、非常に薄く、種々の用途に容易に組み込まれる。
図10は、図9のセンサチップ62および光学部品の一実施形態の上面図である。各フォトダイオード14は、コンパクトなアレイを形成するために、0.25mmを下回り得る。別個のマイクロレンズ66が、各フォトダイオード14を覆って形成され、光捕捉を改良する。より大きいプレノプティックレンズ68が、フォトダイオードアレイの区分を覆って形成され、各プレノプティックレンズ68は、約16個のフォトダイオード14と重なり得る。プレノプティックレンズ68は、異なる深さにおいて焦点を合わせ、身体部分から反射された光についてのより多くの情報を収集するような指向性であり得る。種々のレンズは、透明シートを成形し、シートをフォトダイオードアレイを覆って積層することによって形成され得るか、またはフォトダイオードアレイを覆って直接成形することによって形成され得る。半球形レンズが、簡易化するために示されるが、レンズは、集束のために好適な任意の形状であり得る。チップは、任意の光ガイドガラスの後部に添着されることができる。別の実施形態では、光学部品は、スペーサを用いてフォトダイオードアレイから離される。基準フォトダイオード69が、周囲光を検出するために、プレノプティックレンズ68の外側に位置し得る。検出された信号を処理するためのシステム論理70が、コンパクトさおよび信号対雑音比の改良のために、フォトダイオードアレイと同一のチップ上に形成される。論理は、アナログ/デジタルコンバータと、デジタル処理回路とを含み得る。
図11は、LED光源72を用いて増強された図10のモジュールを図示する。光源72は、光を上に重なる光ガイドの中に入射し、フォトダイオードアレイにわたって光を拡散し得る。身体部分から反射する光は、光ガイドを通してフォトダイオードアレイに戻るように通過する。別の実施形態では、モジュールは、小さくあり得(例えば、2×2cmを下回る)、LED光源72からの光は、身体部分内で散乱され、フォトダイオードアレイ上に反射されるため、光ガイドは、必要とされない。
LED性能は、経時的に劣化するため、フォトダイオード14はまた、ベースラインに対してLED光出力を比較し、LED通電回路にフィードバックを提供し、ベースライン性能を達成するために使用され得る。
上記の実施形態は、狭帯域エミッタと併せて、広帯域検出器のアレイによって実施される分光分析を含むが、その機能性はまた、蛍光体変換白色LED等の広帯域エミッタと併せて、光学フィルタをその上に、またはその光路内に伴う検出器等の波長特有検出器の使用を通して実装され得る。
図12は、本明細書に説明されるモジュールの種々の可能性として考えられる使用を識別する。
図13は、本発明の一実施形態による、種々のモジュールによって実施される基本ステップを識別するフローチャートである。
ステップ80において、LEDディスプレイパネル、光ガイドパネル、または他の光源が、光検出器アレイに対して配列され、バイオセンサを形成する。
ステップ82において、バイオセンサの出力窓が、分析のために身体部分によってタッチされる。タッチセンサまたは光影センサが、身体部分が画像検出プロセスを開始するために出力窓上にあるとき、これを検出するために、本デバイス内に組み込まれ得る。
ステップ84において、LEDは、通電され、所望の波長を身体部分に当て、指紋検出、血管検出、脈拍等のために身体部分による局所化された光吸収を検出する。LEDは、並行して、または連続的に通電され得る。LEDが連続的に通電される場合、光検出器は、光の吸収を通電されたLEDに近接する身体部分における場所とより良好に関連付けるように、選択的に読み取られ得る。連続的照明は、任意のパターンであり得る。
ステップ86において、光検出器アレイからの信号が、列および行等によって走査され、アレイを横断する検出された光の相対的大きさを検出し、身体部分による光吸収の詳細な画像を効果的に取得する。
LEDが連続的に通電される場合では、本方法は、次いで、付加的空間的吸収データを提供するために、各通電後にステップ84に折り返し得る。
ステップ88において、未加工データが、ユーザの認証、医療分析等の結果を取得するために、モジュールのプロセッサによって処理される。
本発明の特定の実施形態が示され、説明されたが、変更および修正が、そのより広い側面において、本発明から逸脱することなく成され得、したがって、添付される請求項は、本発明の真の趣旨および範囲内である、全てのそのような変更および修正をそれらの範囲内に包含すべきであることが、当業者に明白となるであろう。
本発明は、例えば、以下を提供する:
(項目1)
バイオセンサデバイスであって、
人物の身体部分によってタッチするための、第1の表面と、
前記身体部分によって部分的に吸収されるように、前記第1の表面を通して光を放出するように構成される、光源と、
少なくとも前記身体部分によって戻るように反射された光を検出するように配列される、光検出器のアレイであって、前記光検出器は、前記戻るように反射された光に対応する第1の信号を生成する、光検出器のアレイと、
前記光検出器のアレイに結合され、前記身体部分の特性を判定するために前記第1の信号を分析するために構成される、検出回路と、
を備える、デバイス。
(項目2)
前記光源は、複数の発光ダイオードを備える、項目1に記載のデバイス。
(項目3)
前記光検出器の個々のものは、前記発光ダイオードの個々のものと関連付けられる、項目2に記載のデバイス。
(項目4)
前記発光ダイオードは、異なるピーク波長の光を放出する発光ダイオードを備える、項目2に記載のデバイス。
(項目5)
前記発光ダイオードは、血管によって吸収される波長の光を放出する、項目2に記載のデバイス。
(項目6)
前記光源は、ピクセルのアレイを備え、各ピクセルは、少なくとも1つの発光ダイオードと、光検出器とを含む、項目2に記載のデバイス。
(項目7)
各ピクセル内に複数の発光ダイオードが存在し、ピクセル内の各発光ダイオードは、異なるピーク波長の光を放出する、項目6に記載のデバイス。
(項目8)
前記光源は、光ガイドを備え、1つまたはそれを上回る発光ダイオードからの光は、前記光ガイドに光学的に結合され、前記光ガイドは、前記第1の表面を通して光を放出するために構成される、項目1に記載のデバイス。
(項目9)
前記光検出器のアレイは、前記身体部分から反射された光が、前記光検出器のアレイによる読取のために前記光ガイドを通過するように、前記第1の表面と対向する前記光ガイドの後方に位置する、項目8に記載のデバイス。
(項目10)
前記身体部分から反射された光の角度範囲を限定するために、前記光検出器を覆うレンズをさらに備える、項目1に記載のデバイス。
(項目11)
前記身体部分から反射された光を、前記身体部分の中へのある距離からだけ前記光検出器上に集束させるために、前記光検出器を覆うレンズをさらに備える、項目1に記載のデバイス。
(項目12)
前記デバイスに統合される非光学センサをさらに備える、項目1に記載のデバイス。
(項目13)
前記非光学センサは、前記身体部分によってタッチするための電極を備える、項目12に記載のデバイス。
(項目14)
前記非光学センサは、前記身体部分によって放出される少なくとも1つのガスを感知するためのガスセンサを備える、項目12に記載のデバイス。
(項目15)
前記身体部分は、指を備え、前記デバイスは、指紋を検出するように構成される、項目1に記載のデバイス。
(項目16)
前記身体部分は、指を備え、前記デバイスは、前記指内の血管を検出するように構成される、項目1に記載のデバイス。
(項目17)
前記デバイスに統合されるプロセッサをさらに備え、前記プロセッサは、前記光源の通電および前記光検出器によって受光される前記反射された光の検出を制御する、項目1に記載のデバイス。
(項目18)
プロセッサをさらに備え、前記プロセッサは、前記光検出器からのデータを処理し、前記データを記憶されたデータと比較し、前記デバイスのユーザの認証を示すように構成される、項目1に記載のデバイス。
(項目19)
プロセッサをさらに備え、前記光源は、複数の発光ダイオードを備え、前記プロセッサは、前記光検出器のうちの1つまたはそれを上回るものからの信号が前記プロセッサによって読み取られ、処理されている間、連続的に照射されるように前記発光ダイオードを制御するように構成される、項目1に記載のデバイス。
(項目20)
プロセッサをさらに備え、前記プロセッサは、前記身体部分の光反射画像を検出し、前記身体部分内の光の吸収の区域を判定するように構成される、項目1に記載のデバイス。
(項目21)
前記光検出器からのデータを処理するように構成されるプロセッサをさらに備え、前記プロセッサは、ジェスチャを検出するために前記身体部分の移動を検出する、項目1に記載のデバイス。
本デバイスを使用して、人物の生物学的特性を検出するために使用され得る、統合されたコンパクトな光エミッタおよびセンサデバイスが、説明される。特性は、医療/診断目的ならびに人物の認証のために使用されることができる。例えば、本デバイスは、ユーザを認証するために、スマートフォンまたはコンピュータ内に設置され得る。

Claims (21)

  1. バイオセンサデバイスであって、
    人物の身体部分によってタッチするための、第1の表面と、
    前記身体部分によって部分的に吸収されるように、前記第1の表面を通して光を放出するように構成される、光源と、
    少なくとも前記身体部分によって戻るように反射された光を検出するように配列される、光検出器のアレイであって、前記光検出器は、前記戻るように反射された光に対応する第1の信号を生成する、光検出器のアレイと、
    前記光検出器のアレイに結合され、前記身体部分の特性を判定するために前記第1の信号を分析するために構成される、検出回路と、
    を備える、デバイス。
  2. 前記光源は、複数の発光ダイオードを備える、請求項1に記載のデバイス。
  3. 前記光検出器の個々のものは、前記発光ダイオードの個々のものと関連付けられる、請求項2に記載のデバイス。
  4. 前記発光ダイオードは、異なるピーク波長の光を放出する発光ダイオードを備える、請求項2に記載のデバイス。
  5. 前記発光ダイオードは、血管によって吸収される波長の光を放出する、請求項2に記載のデバイス。
  6. 前記光源は、ピクセルのアレイを備え、各ピクセルは、少なくとも1つの発光ダイオードと、光検出器とを含む、請求項2に記載のデバイス。
  7. 各ピクセル内に複数の発光ダイオードが存在し、ピクセル内の各発光ダイオードは、異なるピーク波長の光を放出する、請求項6に記載のデバイス。
  8. 前記光源は、光ガイドを備え、1つまたはそれを上回る発光ダイオードからの光は、前記光ガイドに光学的に結合され、前記光ガイドは、前記第1の表面を通して光を放出するために構成される、請求項1に記載のデバイス。
  9. 前記光検出器のアレイは、前記身体部分から反射された光が、前記光検出器のアレイによる読取のために前記光ガイドを通過するように、前記第1の表面と対向する前記光ガイドの後方に位置する、請求項8に記載のデバイス。
  10. 前記身体部分から反射された光の角度範囲を限定するために、前記光検出器を覆うレンズをさらに備える、請求項1に記載のデバイス。
  11. 前記身体部分から反射された光を、前記身体部分の中へのある距離からだけ前記光検出器上に集束させるために、前記光検出器を覆うレンズをさらに備える、請求項1に記載のデバイス。
  12. 前記デバイスに統合される非光学センサをさらに備える、請求項1に記載のデバイス。
  13. 前記非光学センサは、前記身体部分によってタッチするための電極を備える、請求項12に記載のデバイス。
  14. 前記非光学センサは、前記身体部分によって放出される少なくとも1つのガスを感知するためのガスセンサを備える、請求項12に記載のデバイス。
  15. 前記身体部分は、指を備え、前記デバイスは、指紋を検出するように構成される、請求項1に記載のデバイス。
  16. 前記身体部分は、指を備え、前記デバイスは、前記指内の血管を検出するように構成される、請求項1に記載のデバイス。
  17. 前記デバイスに統合されるプロセッサをさらに備え、前記プロセッサは、前記光源の通電および前記光検出器によって受光される前記反射された光の検出を制御する、請求項1に記載のデバイス。
  18. プロセッサをさらに備え、前記プロセッサは、前記光検出器からのデータを処理し、前記データを記憶されたデータと比較し、前記デバイスのユーザの認証を示すように構成される、請求項1に記載のデバイス。
  19. プロセッサをさらに備え、前記光源は、複数の発光ダイオードを備え、前記プロセッサは、前記光検出器のうちの1つまたはそれを上回るものからの信号が前記プロセッサによって読み取られ、処理されている間、連続的に照射されるように前記発光ダイオードを制御するように構成される、請求項1に記載のデバイス。
  20. プロセッサをさらに備え、前記プロセッサは、前記身体部分の光反射画像を検出し、前記身体部分内の光の吸収の区域を判定するように構成される、請求項1に記載のデバイス。
  21. 前記光検出器からのデータを処理するように構成されるプロセッサをさらに備え、前記プロセッサは、ジェスチャを検出するために前記身体部分の移動を検出する、請求項1に記載のデバイス。
JP2018561233A 2016-05-23 2017-05-22 生物学的特性を検出するための光エミッタおよびセンサ Pending JP2019521734A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662340218P 2016-05-23 2016-05-23
US62/340,218 2016-05-23
US15/600,480 2017-05-19
US15/600,480 US10931859B2 (en) 2016-05-23 2017-05-19 Light emitter and sensors for detecting biologic characteristics
PCT/US2017/033859 WO2017205298A1 (en) 2016-05-23 2017-05-22 Light emitter and sensors for detecting biologic characteristics

Publications (1)

Publication Number Publication Date
JP2019521734A true JP2019521734A (ja) 2019-08-08

Family

ID=60330921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018561233A Pending JP2019521734A (ja) 2016-05-23 2017-05-22 生物学的特性を検出するための光エミッタおよびセンサ

Country Status (5)

Country Link
US (1) US10931859B2 (ja)
JP (1) JP2019521734A (ja)
KR (1) KR20190025841A (ja)
CN (1) CN109414225A (ja)
WO (1) WO2017205298A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11837015B2 (en) 2019-05-28 2023-12-05 Sony Group Corporation Imaging apparatus and imaging method

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10413251B2 (en) 2012-10-07 2019-09-17 Rhythm Diagnostic Systems, Inc. Wearable cardiac monitor
US10732771B2 (en) 2014-11-12 2020-08-04 Shenzhen GOODIX Technology Co., Ltd. Fingerprint sensors having in-pixel optical sensors
CN107580709B (zh) 2015-06-18 2021-02-12 深圳市汇顶科技股份有限公司 具有光学感应能力的多功能指纹传感器
CN107004130B (zh) 2015-06-18 2020-08-28 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块
US10410033B2 (en) 2015-06-18 2019-09-10 Shenzhen GOODIX Technology Co., Ltd. Under-LCD screen optical sensor module for on-screen fingerprint sensing
US10437974B2 (en) 2015-06-18 2019-10-08 Shenzhen GOODIX Technology Co., Ltd. Optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing
US10410037B2 (en) 2015-06-18 2019-09-10 Shenzhen GOODIX Technology Co., Ltd. Under-screen optical sensor module for on-screen fingerprint sensing implementing imaging lens, extra illumination or optical collimator array
US10614283B2 (en) 2017-03-07 2020-04-07 Shenzhen GOODIX Technology Co., Ltd. Devices with peripheral task bar display zone and under-LCD screen optical sensor module for on-screen fingerprint sensing
US10331939B2 (en) * 2017-07-06 2019-06-25 Shenzhen GOODIX Technology Co., Ltd. Multi-layer optical designs of under-screen optical sensor module having spaced optical collimator array and optical sensor array for on-screen fingerprint sensing
KR102005351B1 (ko) * 2017-12-07 2019-07-31 삼성전자주식회사 팬-아웃 센서 패키지
JP6770082B2 (ja) * 2018-02-06 2020-10-14 シェンチェン グディックス テクノロジー カンパニー,リミテッド アンダースクリーンバイオメトリクス認証装置、バイオメトリクス認証ユニット及び端末装置
US11562053B2 (en) * 2018-05-30 2023-01-24 Viavi Solutions Inc. User device incorporating multi-sensing sensor device
KR102590026B1 (ko) * 2018-07-12 2023-10-13 삼성전자주식회사 신호 측정 장치 및 방법과, 생체정보 측정 장치
EP3599643B1 (en) * 2018-07-26 2020-08-19 PA.Cotte Family Holding GmbH Multifunctional display
KR102605900B1 (ko) * 2018-09-18 2023-11-23 삼성전자주식회사 생체정보 추정 장치 및 방법
WO2020070590A1 (ja) * 2018-10-05 2020-04-09 株式会社半導体エネルギー研究所 認証システム、認証システムを用いた解錠履歴の記録方法
US20210015991A1 (en) * 2018-10-19 2021-01-21 PatenSee Ltd. Systems and methods for monitoring the functionality of a blood vessel
WO2020095739A1 (ja) * 2018-11-06 2020-05-14 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11456865B2 (en) * 2018-11-13 2022-09-27 Ares Technologies, Inc. Biometric scanner apparatus and methods for its use
KR20200058845A (ko) 2018-11-20 2020-05-28 삼성전자주식회사 사용자의 혈당과 관련된 정보를 획득하기 위한 전자 장치 및 방법
CN111310527A (zh) * 2018-12-12 2020-06-19 上海耕岩智能科技有限公司 一种屏下图像获取结构及电子设备
DE112019005940T5 (de) 2018-12-28 2021-08-12 Japan Display Inc. Erkennungsvorrichtung
CN109602406A (zh) * 2019-01-31 2019-04-12 宁波市第二医院 一种心血管护理设备
US20200272276A1 (en) * 2019-02-22 2020-08-27 Osram Opto Semiconductors Gmbh Embedded Vital Sign Monitoring in Display Screens
JP2022059099A (ja) * 2019-02-25 2022-04-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
CN111723621B (zh) * 2019-03-21 2023-11-03 上海耕岩智能科技有限公司 图像采集装置及电子设备
US11625944B2 (en) 2019-04-16 2023-04-11 Huawei Technologies Co., Ltd. Fingerprint recognition module, screen assembly, and electronic device
EP3985550A4 (en) * 2019-06-12 2023-01-11 BOE Technology Group Co., Ltd. PAPILLAR BAR PICTURE RECORDING METHOD, PAPILLAR BAR PICTURE RECORDING CIRCUIT AND DISPLAY PANEL
US20220361773A1 (en) * 2019-07-12 2022-11-17 Sony Group Corporation Electronic device
US11903700B2 (en) 2019-08-28 2024-02-20 Rds Vital signs monitoring systems and methods
CN110650278A (zh) * 2019-10-12 2020-01-03 Oppo广东移动通信有限公司 一种图像传感器、摄像头模组及电子设备
US11093595B2 (en) * 2019-10-17 2021-08-17 Shenzhen GOODIX Technology Co., Ltd. Anti-spoofing of two-dimensional fake objects with bright-dark reversal imaging in optical sensing modules
KR20210097255A (ko) 2020-01-29 2021-08-09 삼성디스플레이 주식회사 전자 장치 및 이를 이용한 생체 정보 측정 방법
US20210275039A1 (en) * 2020-03-04 2021-09-09 Cardiac Pacemakers, Inc. Body vibration analysis systems and methods
KR20220001786A (ko) * 2020-06-30 2022-01-06 삼성전자주식회사 생체정보 추정 장치 및 방법
CN111855542A (zh) * 2020-07-02 2020-10-30 江南大学 一种快速细胞计数装置及计数方法
KR20220010890A (ko) * 2020-07-20 2022-01-27 삼성전자주식회사 생체 이미징 시스템 및 생체 이미징 방법
KR102405616B1 (ko) * 2020-09-01 2022-06-08 (주) 에이슨 유연 경피성 산소 분압센서
KR20220039230A (ko) * 2020-09-22 2022-03-29 삼성전자주식회사 생체 정보 측정 장치 및 이를 포함하는 전자 장치
KR20220125547A (ko) * 2021-03-05 2022-09-14 삼성전자주식회사 생체 이미징 시스템 및 생체 이미징 방법
CN115705743A (zh) * 2021-08-12 2023-02-17 群创光电股份有限公司 感测装置与电子装置
DE102021124942A1 (de) * 2021-09-27 2023-03-30 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Vitalsensor und verfahren zum betrieb eines vitalsensors
CN113850223A (zh) * 2021-10-09 2021-12-28 武汉华星光电半导体显示技术有限公司 传感器装置及其驱动方法、显示装置
JP2023125159A (ja) * 2022-02-28 2023-09-07 セイコーエプソン株式会社 検出装置および測定装置
WO2023192306A1 (en) * 2022-03-29 2023-10-05 Activ Surgical, Inc. Systems and methods for multispectral and mosaic imaging
FR3135343B1 (fr) * 2022-05-09 2024-05-24 Isorg Dispositif d’acquisition d’empreintes digitales et procédé de commande d’un tel dispositif

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190791A (ja) * 2005-01-05 2006-07-20 Matsushita Electric Works Ltd 光検出素子、光検出素子の制御方法、空間情報検出装置
JP2008212311A (ja) * 2007-03-02 2008-09-18 Ricoh Co Ltd 生体認証装置
JP2008308037A (ja) * 2007-06-14 2008-12-25 Auto Network Gijutsu Kenkyusho:Kk 飲酒運転防止装置
JP2009003821A (ja) * 2007-06-25 2009-01-08 Hitachi Ltd 撮像装置及びこれを搭載した装置
JP2010131180A (ja) * 2008-12-04 2010-06-17 Hitachi Maxell Ltd 生体情報取得装置及び生体認証装置
JP2014122847A (ja) * 2012-12-21 2014-07-03 Olympus Corp 画像補正装置、画像補正プログラム、画像補正方法
US20140354597A1 (en) * 2013-06-03 2014-12-04 Qualcomm Inc. In-cell multifunctional pixel and display
US20150146944A1 (en) * 2013-11-22 2015-05-28 Shenzhen Huiding Technology Co., Ltd. Secure human fingerprint sensor
US20150363632A1 (en) * 2014-06-17 2015-12-17 Lg Electronics Inc. Mobile terminal and method for controlling the same
JP2016038913A (ja) * 2014-08-07 2016-03-22 三星電子株式会社Samsung Electronics Co.,Ltd. 認証装置及び認証方法並びに記録媒体
US20160092717A1 (en) * 2014-09-29 2016-03-31 Shanghai Oxi Technology Co., Ltd Information Detection and Display Apparatus, and Detecting Method and Displaying Method Thereof

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3150126B2 (ja) 1999-02-03 2001-03-26 静岡日本電気株式会社 指紋入力装置
AU2002214305A1 (en) 2000-11-17 2002-05-27 Takeda Chemical Industries Ltd. Pharmaceutical preparation containing copolyvidone
JP2003075135A (ja) 2001-08-31 2003-03-12 Nec Corp 指紋画像入力装置および指紋画像による生体識別方法
JP3858263B2 (ja) 2001-11-09 2006-12-13 日本電気株式会社 指紋画像入力装置及びそれを用いた電子機器
JP4135356B2 (ja) 2001-11-14 2008-08-20 株式会社日立製作所 生体状態検出を具備する指認証装置
US7204425B2 (en) * 2002-03-18 2007-04-17 Precision Dynamics Corporation Enhanced identification appliance
FR2850190B1 (fr) * 2003-01-21 2006-04-28 Atmel Grenoble Sa Procede et dispositif de reconnaissance de personne
US7158659B2 (en) 2003-04-18 2007-01-02 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. System and method for multiplexing illumination in combined finger recognition and finger navigation module
JP4524250B2 (ja) * 2003-08-13 2010-08-11 日立オートモティブシステムズ株式会社 個人認証装置
JP2005173700A (ja) 2003-12-08 2005-06-30 Canon Inc 指紋読み取り装置及び個人認証システム
US7230608B2 (en) 2004-04-23 2007-06-12 Eastman Kodak Company OLED display and touch screen
DE602004031564D1 (de) 2004-10-04 2011-04-07 Hitachi Ltd Personenbezogene identifikationseinrichtung
JP4671811B2 (ja) * 2004-11-05 2011-04-20 日立オートモティブシステムズ株式会社 指認証装置
KR100944021B1 (ko) * 2004-11-15 2010-02-24 닛본 덴끼 가부시끼가이샤 생체특징입력장치
KR100651740B1 (ko) * 2005-07-13 2006-12-01 한국전자통신연구원 마이크로렌즈를 이용한 지문센서
JP4182988B2 (ja) 2006-04-28 2008-11-19 日本電気株式会社 画像読取装置および画像読取方法
JP2008020942A (ja) * 2006-07-10 2008-01-31 Rohm Co Ltd 個人識別装置及びこれを用いた電子機器
US7995808B2 (en) * 2006-07-19 2011-08-09 Lumidigm, Inc. Contactless multispectral biometric capture
WO2008062544A1 (fr) * 2006-11-21 2008-05-29 Hitachi, Ltd. Dispositif d'authentification biométrique et terminal portable
JP2010522379A (ja) * 2007-03-21 2010-07-01 ルミダイム インコーポレイテッド 局所的に不変である特徴に基づく生体認証
US8335353B2 (en) * 2007-04-04 2012-12-18 Sony Corporation Biometrics authentication system
CN101743125B (zh) * 2007-06-14 2013-07-03 麻省理工学院 用于在衬底上沉积墨的***和方法
JP4823985B2 (ja) 2007-08-07 2011-11-24 株式会社日立製作所 生体認証装置及び情報端末
US20090074255A1 (en) 2007-09-18 2009-03-19 Motorola, Inc. Apparatus and method for capturing skin texture biometric in electronic devices
US20100283765A1 (en) 2008-03-03 2010-11-11 Sharp Kabushiki Kaisha Display device having optical sensors
JPWO2010044250A1 (ja) * 2008-10-15 2012-03-15 日本電気株式会社 パターン照合装置及びパターン照合方法
JP4650703B2 (ja) 2008-12-25 2011-03-16 ソニー株式会社 表示パネルおよびモジュール並びに電子機器
JP2010211756A (ja) * 2009-03-12 2010-09-24 Seiko Epson Corp 生体情報取得装置、生体情報取得方法及び生体認証装置
US20110007951A1 (en) * 2009-05-11 2011-01-13 University Of Massachusetts Lowell System and method for identification of fingerprints and mapping of blood vessels in a finger
TW201128486A (en) 2010-02-01 2011-08-16 Acer Inc Optical touch control display apparatus and method thereof
TWI442286B (zh) * 2010-02-01 2014-06-21 Acer Inc 觸控式輸入方法及其裝置
WO2012011181A1 (ja) 2010-07-22 2012-01-26 富士通株式会社 静脈撮像装置
JP5870922B2 (ja) * 2010-08-12 2016-03-01 日本電気株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20120194662A1 (en) * 2011-01-28 2012-08-02 The Hong Kong Polytechnic University Method and system for multispectral palmprint verification
JP5691669B2 (ja) * 2011-03-08 2015-04-01 富士通株式会社 生体情報処理装置、生体情報処理方法、および生体情報処理プログラム
CN102846321B (zh) * 2011-06-27 2015-03-25 联想(北京)有限公司 一种产生报警信息的方法和移动终端
US9195900B2 (en) * 2011-11-21 2015-11-24 Pixart Imaging Inc. System and method based on hybrid biometric detection
TWI539386B (zh) * 2011-11-21 2016-06-21 Pixart Imaging Inc The use of a variety of physiological information mixed identification of the identity of the system and methods
US9886116B2 (en) * 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
US9070648B2 (en) 2012-11-27 2015-06-30 Apple Inc. Electronic devices with display-integrated light sensors
WO2014112913A1 (en) 2013-01-16 2014-07-24 Flatfrog Laboratories Ab Touch-sensing display panel
WO2015108477A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Touch-sensing quantum dot lcd panel
CN104055521B (zh) * 2014-06-05 2017-10-27 胡宝华 用户身份识别方法、识别***及健康仪
US9570002B2 (en) 2014-06-17 2017-02-14 Apple Inc. Interactive display panel with IR diodes
US10140536B2 (en) * 2014-08-26 2018-11-27 Gingy Technology Inc. Fingerprint identification apparatus and biometric signals sensing method using the same
US10732771B2 (en) * 2014-11-12 2020-08-04 Shenzhen GOODIX Technology Co., Ltd. Fingerprint sensors having in-pixel optical sensors
CN104571731B (zh) 2015-02-16 2017-06-09 京东方科技集团股份有限公司 触摸面板和显示装置
CN105183273B (zh) 2015-08-04 2019-03-15 京东方科技集团股份有限公司 一种显示面板、移动终端及移动终端的控制方法
DE102015115484C5 (de) 2015-09-14 2019-11-21 JENETRIC GmbH Vorrichtung und Verfahren zur optischen Direktaufnahme von lebenden Hautbereichen
CN105678255B (zh) * 2016-01-04 2019-01-08 京东方科技集团股份有限公司 一种光学式指纹识别显示屏及显示装置
JP6583025B2 (ja) 2016-02-01 2019-10-02 富士通株式会社 生体情報処理装置、生体情報処理方法、生体情報処理プログラム、および距離検知装置
CN106055174B (zh) 2016-05-23 2019-03-29 京东方科技集团股份有限公司 一种触控显示装置
KR102418802B1 (ko) 2017-05-02 2022-07-11 엘지디스플레이 주식회사 표시장치
CN107436685B (zh) 2017-07-31 2020-07-07 京东方科技集团股份有限公司 显示装置、自发光的显示面板及手势识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190791A (ja) * 2005-01-05 2006-07-20 Matsushita Electric Works Ltd 光検出素子、光検出素子の制御方法、空間情報検出装置
JP2008212311A (ja) * 2007-03-02 2008-09-18 Ricoh Co Ltd 生体認証装置
JP2008308037A (ja) * 2007-06-14 2008-12-25 Auto Network Gijutsu Kenkyusho:Kk 飲酒運転防止装置
JP2009003821A (ja) * 2007-06-25 2009-01-08 Hitachi Ltd 撮像装置及びこれを搭載した装置
JP2010131180A (ja) * 2008-12-04 2010-06-17 Hitachi Maxell Ltd 生体情報取得装置及び生体認証装置
JP2014122847A (ja) * 2012-12-21 2014-07-03 Olympus Corp 画像補正装置、画像補正プログラム、画像補正方法
US20140354597A1 (en) * 2013-06-03 2014-12-04 Qualcomm Inc. In-cell multifunctional pixel and display
US20150146944A1 (en) * 2013-11-22 2015-05-28 Shenzhen Huiding Technology Co., Ltd. Secure human fingerprint sensor
US20150363632A1 (en) * 2014-06-17 2015-12-17 Lg Electronics Inc. Mobile terminal and method for controlling the same
JP2016038913A (ja) * 2014-08-07 2016-03-22 三星電子株式会社Samsung Electronics Co.,Ltd. 認証装置及び認証方法並びに記録媒体
US20160092717A1 (en) * 2014-09-29 2016-03-31 Shanghai Oxi Technology Co., Ltd Information Detection and Display Apparatus, and Detecting Method and Displaying Method Thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11837015B2 (en) 2019-05-28 2023-12-05 Sony Group Corporation Imaging apparatus and imaging method

Also Published As

Publication number Publication date
CN109414225A (zh) 2019-03-01
WO2017205298A1 (en) 2017-11-30
US20170337412A1 (en) 2017-11-23
US10931859B2 (en) 2021-02-23
KR20190025841A (ko) 2019-03-12

Similar Documents

Publication Publication Date Title
US10931859B2 (en) Light emitter and sensors for detecting biologic characteristics
US11341764B2 (en) Integrated light emitting display, IR light source, and sensors for detecting biologic characteristics
KR102202342B1 (ko) 생물학적 특성을 검출하는 일체형 발광 디스플레이 및 센서
CN111316287B (zh) 用于屏上指纹感测的超薄屏下光学传感器中的透镜-针孔阵列设计
CN111448570B (zh) 利用集成到显示屏的光学检测器对显示屏上或接近显示屏的指纹或其他图案进行光学感测
US10521641B2 (en) Secure human fingerprint sensor
EP3465399B1 (en) Optical collimators for under-screen optical sensor module for on-screen fingerprint sensing
KR101924916B1 (ko) 온-스크린 지문 감지를 위한 언더-스크린 광학 센서 모듈
US20170032169A1 (en) Swipe motion registration on a fingerprint sensor
US10410036B2 (en) Under-screen optical sensor module for on-screen fingerprint sensing
CN109478083B (zh) 具有力感测能力的光学指纹传感器
US20190377858A1 (en) Optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing
US20170270342A1 (en) Optical collimators for under-screen optical sensor module for on-screen fingerprint sensing
CN111095269A (zh) 使用位于显示屏***的照明光源的光学id感测
US10528834B2 (en) Biometric sensor for detection of wrist blood vessels in a wristwatch or wristband
CN111788574B (zh) 具有集成有光电检测器的tft的oled显示屏
CN112154443A (zh) 光路折叠的光学指纹感应器
CN110998600B (zh) 光学掌纹感测的方法和***

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210701