JP2023531733A - バイオメトリック光学センサモジュールを備える電子デバイス - Google Patents
バイオメトリック光学センサモジュールを備える電子デバイス Download PDFInfo
- Publication number
- JP2023531733A JP2023531733A JP2022579995A JP2022579995A JP2023531733A JP 2023531733 A JP2023531733 A JP 2023531733A JP 2022579995 A JP2022579995 A JP 2022579995A JP 2022579995 A JP2022579995 A JP 2022579995A JP 2023531733 A JP2023531733 A JP 2023531733A
- Authority
- JP
- Japan
- Prior art keywords
- light
- display panel
- electronic device
- predetermined
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
- G06V40/1394—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
- G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
- G06V40/1388—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Input (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本開示は、光学的感知によって物体を検出および認証するための電子ディスプレイデバイスに関し、電子ディスプレイデバイスは、画像を表示するための光放出ピクセルを有するディスプレイパネルと、接触感知動作のためにユーザによって触れられるためのインターフェースとしてディスプレイパネルを覆って形成されている上部透過表面と、ディスプレイパネルの下に位置しているか、またはディスプレイパネルに統合されている光学センサモジュールであって、1)ディスプレイパネルの表面上の物体から反射された光を受け取ることと、2)受け取られた光に従って画像データを生成することとを行うように構成されている光学検出器ピクセルのセンサアレイを備える光学センサモジュールとを備える。
Description
本開示は、電子デバイスの接触表面上の物体、特に、指等の物体を検出および認証するための光学センサモジュールを有する、電子ディスプレイデバイスに関する。本開示はさらに、ディスプレイパネルの接触表面上の物体を検出および認証するためのバイオメトリック光学センサシステムに関する。
例えば、指紋センサの形態のバイオメトリックシステムは、プライバシおよびデータ保護、ならびに身元認証のために、スマートフォン、タブレット、ノート型パソコン等のディスプレイを伴う電子デバイスに大規模に統合されている。今日、最も一般的な指紋センサは、デバイスのディスプレイから独立して機能する、容量センサである。デバイスの前面のほぼ全体を被覆するディスプレイに向かっている現在の動向は、容量センサが、電子機器のディスプレイと容易に統合されないため、バイオメトリック撮像モジュールを前面と統合することを困難にしている。
光学バイオメトリックセンサは、指からの反射が、カバーガラスを通して後方へ散乱され、バイオメトリックセンサに表示され得るため、ディスプレイのカバーガラスの真下に設置されることができる。そのようなバイオメトリックセンサシステムの実施例は、マイクロレンズベースのセンサシステム、ピンホールベースのセンサシステム、およびカメラ型センサシステムである。マイクロレンズベースのアンダーディスプレイバイオメトリックセンサの一実施例が、同一出願人からの係属中の出願第PCT/EP2019/061738号に開示されており、マイクロレンズのアレイは、開口/ピンホールのアレイおよびセンサアレイを伴う不透過層と組み合わせて提供され、それによって、光が、開口を通して、センサアレイの上へマイクロレンズ構造によって集束され得る。第PCT/EP2019/061738号が、参照することによって、全体として本明細書によって組み込まれる。ピンホール型バイオメトリックセンサが、第WO2017/211152号(特許文献1)に例証されている。ピンホール型およびマイクロレンズ型センサは、両方とも、所定の反射光の受光角を伴う、(物体側において)テレセントリック様のシステムと見なされることができる。受光角は、センサアレイ全体のためのものと同一であり、センサシステムの視認角度は、典型的には、0度である。カメラ型アンダーディスプレイバイオメトリックセンサは、バイオメトリック表面全体の視野を画定する、光学系を伴う単一のカメラを備え、すなわち、カメラの視認角度は、バイオメトリック表面上の異なる場所毎に変化している。カメラ型センサシステムの受光角は、したがって、バイオメトリック表面の異なるエリアを横断して変動しているであろう。
しかし、バイオメトリックセンサは、偽造物体、例えば、偽造指先が、センサを容易に欺き得るという課題に直面している。例えば、シリコーン、プラスチック、またはゴムから成型された、または3D印刷された指先は、指紋センサにおける指紋認証が、ディスプレイパネルのカバーガラス表面上のエアガラスインターフェース上の指紋表面構造における、谷線および隆線からの直接鏡面反射の差異に依拠し、反射率パターンが、偽造指紋によって模倣され得るため、現存のスマートフォンまたはタブレットに統合される、アンダーディスプレイ/インディスプレイ指紋センサを欺くことができる。
反射分光法は、異なる材料間を区別するために利用され得る、周知の技術であり、以前は卓上用指紋スキャナにおける生組織認識の問題に対処するために展開されていた。しかし、アンダーディスプレイおよびインディスプレイ指紋センサは、典型的には、指紋の真下のディスプレイパネルの光放出ピクセルを利用するため、捕捉された指紋構造は、主に、センサの受光角内で受け取られる、ディスプレイパネルの上部のエアガラスインターフェースからの直接反射によって生成され、すなわち、それらは、皮膚自体に関するいかなる情報も保有していない。アンダーディスプレイおよびインディスプレイバイオメトリック光学センサにおける反射分光法の直接的な実装は、したがって、不可能である。加えて、アンダーディスプレイおよびインディスプレイの適用における空間は、非常に限定される。Pishva et alの 「Spectroscopically Enhanced Method and System for Multi-Factor Biometric Authentication」 (IEICE Transactions on Information and Systems, 2008年, Volume E91.D, 頁1369-1379)に例証される、指紋のなりすまし検出に対するこれまでに既知の解決策は、アンダーディスプレイまたはインディスプレイバイオメトリック光学センサへの組込にとって好適ではない。本開示の1つの目的は、したがって、アンダーディスプレイおよびインディスプレイバイオメトリック光学センサシステムにおける、なりすまし検出を統合することである。
本発明者は、ディスプレイパネルのピクセルを慎重に制御することによって、ディスプレイパネルの上部表面に向かう光の放出が、それに応じて制御され得、それによって、反射分光法を展開する、物体の生組織認識/なりすまし検出が、電子ディスプレイデバイスのための現存のアンダーディスプレイおよびインディスプレイバイオメトリック光学センサモジュールに実装され得ることを認識している。一般的な着想は、照明パターンが、分光分析のための多重波長照明を確保するディスプレイピクセルを使用して、作成されるということである。例えば、OLEDディスプレイの場合、RGBディスプレイピクセルは、赤色光、緑色光、および青色光、すなわち、複数の別々の波長の形態でRGB光を伴う、多重波長照明を確保することができる。照明パターンは、物体の一部が、センサモジュールの受光角より大きい照明入射角を伴う光のみを用いて照明されるように設計され得る。このように、ガラスインターフェースからの反射は、検出から除外され得る。故に、生組織認識は、そこからディスプレイパネルの表面による鏡面反射が、センサモジュールの受光角外にある、照明パターンからの光のみを用いて照明される、センサアレイのエリアを分析することによって、反射分光法を展開して提供され得る。
本開示の第1の実施形態は、光学的感知によって物体を検出および認証するための電子デバイスに関し、画像を表示するためのピクセルを有するディスプレイパネルと、接触感知動作のためにユーザによって触れられるためのインターフェースとしてディスプレイパネルを覆って形成されている上部透過表面と、ディスプレイパネルの下に位置しているか、またはそれに統合されている光学センサモジュールとを備える。モバイル通信ユニット、コンピューティングデバイス、ディスプレイデバイス等の電子デバイスは、スマートフォン、またはタブレット、PC、カメラデバイス、タッチスクリーンデバイス、または同等物である。
本光学センサモジュールは、好ましくは、バイオメトリック光学的感知、例えば、指紋検出のための光学センサモジュールであり、好ましくは、センサモジュールは、ディスプレイパネルの表面上の物体から反射された光を受け取ることと、受け取られた光による画像データを生成することとを行うように構成されている、光学検出器ピクセルのセンサアレイを備える。
電子デバイスおよび/または光学センサモジュールは、例えば、接触感知動作中、例えば、ディスプレイパネルの表面上の物体に向かって所定の第1の照明パターンにおける光を提供するようにディスプレイパネルのピクセルを制御することによって、ディスプレイパネルの表面上の物体に向かって所定の第1の照明パターンの多重波長光を放出するように構成されてもよい。
電子デバイスおよび/または光学センサモジュールはさらに、センサアレイに、好ましくは、所定の受光角内で、ディスプレイパネルの表面上の物体から反射された光を方向付けるように構成されてもよい。
さらに、電子デバイスおよび/または光学センサモジュールは、光学センサモジュールのセンサアレイを用いて、そこからディスプレイパネルの表面による鏡面反射が、受光角外にある、所定の第1の照明パターンからの光のみを用いて照明された物体の第1の部分から反射された光に基づいて第1の画像データを入手するように構成されてもよい。
反射分光法は、物体を認証するために該第1の画像データにおける異なる波長における強度を分析することによって、提供され得る。
本発明者は、典型的なディスプレイパネル、例えば、OLEDディスプレイパネルが、異なるカラー、典型的には、赤色、緑色、および青色(RGB)の光放出ピクセルを有し、すなわち、多重波長光源が、反射分光法のためにちょうど手近であることを認識している。
本発明者はまた、物体自体に関する情報、例えば、指の皮膚の材料に関する情報を保有するためには、鏡面反射が、物体の材料に関するいかなる分光情報も保有していないため、ディスプレイパネルの表面上のエアガラスインターフェースからの鏡面反射を回避しなければならないことも認識している。しかし、インディスプレイおよびアンダーディスプレイバイオメトリック光学センサは、典型的には、反射光を受け取るためのある受光角を有するため、本発明者は、必要とされる分光情報を抽出するために、表面からの鏡面反射、光学的設定の受光角を考慮に入れ、ディスプレイパネルの光放出ピクセル内の波長変動を利用する、照明パターンが、作成されなければならないことを認識している。
多重波長照明パターンは、例えば、オンにされるべき各RGBピクセル内のピクセルのカラーを制御することによって、かつ反射信号からの対応する強度を測定することによって作成され得、例えば、物体が指である場合、例えば、ユーザの皮膚のカラーが、決定され得る。(センサ内の有色ピクセルの場合では、カラー区分が、センサアレイ内に提供され、全てのカラーのRGBピクセルが、同時に利用され得る。)実施例として、ユーザが、指紋認証動作のために指を登録するとき、バイオメトリック光学センサはまた、少なくとも2つの異なるカラーまたは波長AおよびBにおいて、それぞれ、測定される強度IAおよびIBとして、指からの散乱光の強度を測定する。IA/IBの比は、ユーザの指が、指紋を測定するための感知エリア上に置かれるとき、その時点で、後の測定と比較するために記憶され、それによって、指紋が、認証され得る。すなわち、従来的な指紋構造は、承認され得るが、指紋が生組織ではない場合、分光データは、変動するであろう。例えば、IA/IB基準が、一致しない場合、したがって、指紋は、分光的に認証されない、すなわち、なりすまし検出が、提供される。
一般的な着想は、新規の側面、すなわち、照明パターン、光の取込、データ分析、および物体認証が、ソフトウェア内に実装され得るため、現存のバイオメトリック光学センサの任意の構造上の修正を必ずしも要求しない。
光源制御および/またはデータ/画像分析は、電子デバイスの処理ユニットによって、および/または光学センサモジュールの処理ユニットによって提供され得る。
さらなる実施形態は、光放出ピクセルを有するディスプレイパネルの表面上の物体を検出および認証するためのバイオメトリック光学センサシステムに関し、本光学センサシステムは、
- ディスプレイパネルの下へ設置される、またはディスプレイパネルに統合されるための光学検出器ピクセルのセンサアレイであって、
a)ディスプレイパネルの表面上の物体から反射された光を受け取り、
b)受け取られた光に従って画像データを生成する、
ように構成されている、センサアレイ
を備え、
- ディスプレイパネルの表面上の物体に向かって所定の第1の照明パターンにおける光を制御するために、ディスプレイパネルのピクセルを利用することと、
- ディスプレイパネルの表面上の物体から反射された光を所定の受光角内のセンサアレイに方向付けることと、
- センサアレイを用いて、所定の第1の照明パターンからの光のみを用いて照明された物体の第1の部分から反射された光に基づいて第1の画像データを入手することであって、ディスプレイパネルの表面による所定の第1の照明パターンからの鏡面反射は、所定の受光角外にある、ことと、
- 物体を認証するために該第1の画像データにおける異なる波長における強度を分析することと
を行うように構成されている。
- ディスプレイパネルの下へ設置される、またはディスプレイパネルに統合されるための光学検出器ピクセルのセンサアレイであって、
a)ディスプレイパネルの表面上の物体から反射された光を受け取り、
b)受け取られた光に従って画像データを生成する、
ように構成されている、センサアレイ
を備え、
- ディスプレイパネルの表面上の物体に向かって所定の第1の照明パターンにおける光を制御するために、ディスプレイパネルのピクセルを利用することと、
- ディスプレイパネルの表面上の物体から反射された光を所定の受光角内のセンサアレイに方向付けることと、
- センサアレイを用いて、所定の第1の照明パターンからの光のみを用いて照明された物体の第1の部分から反射された光に基づいて第1の画像データを入手することであって、ディスプレイパネルの表面による所定の第1の照明パターンからの鏡面反射は、所定の受光角外にある、ことと、
- 物体を認証するために該第1の画像データにおける異なる波長における強度を分析することと
を行うように構成されている。
すなわち、本開示のバイオメトリック光学センサは、物体撮像および/または物体認証の内部データ処理を伴う、電子ディスプレイデバイスへの統合のために、ほぼスタンドアロンシステムとして実装され得、ディスプレイパネルのピクセルは、照明光源の少なくとも一部として制御および/または利用される。しかしながら、好ましい実施形態は、電子ディスプレイデバイスへの統合のためのバイオメトリック光学センサモジュールとしてであり、光源の制御、画像データ処理、および物体認証が、電子ディスプレイデバイスの1つまたはそれより多くの処理ユニットによって提供される。
本発明は、以下において、付随の図面を参照して、より詳細に説明されるであろう。
ピンホール型センサおよびマイクロレンズ型センサに関し、光学的設定の受光角は、典型的には、全ての視野角に対して固定された。一実施形態では、バイオメトリック光学センサの所定の受光角は、20度、または10度、または5度、または3度である。ピンホール型センサおよびマイクロレンズ型センサに関し、受光角は、通常、約3~5度である。
センサアレイの光学検出器ピクセルは、受け取られた光の異なるカラーを区別するために有色ピクセルであってもよい。
一実施形態では、ディスプレイパネルのピクセルは、RGB光放出ピクセルである。これは、例えば、OLED型ディスプレイにおける場合である。故に、電子デバイス/バイオメトリック光学センサシステムは、接触感知動作中、ディスプレイパネルの表面上の物体に向かって所定の第1の照明パターンにおけるRGB光を放出するようにディスプレイパネルのRGB光放出ピクセルを制御するように構成されてもよく、それによって、多重波長照明光が、確保される。
LCD(液晶ディスプレイ)ディスプレイパネルの場合、2つの垂直偏光子は、液晶層とともに、光の偏光を利用することによって、ディスプレイピクセル毎に、光のオン/オフスイッチとして作用し、すなわち、放出される光は、LCDパネルのディスプレイピクセルによって生成されないが、光の放出が、LCDパネルのディスプレイピクセルによって制御される。反射体シートが、ディスプレイパネルからのRGB光が、典型的には、ディスプレイパネルの下方に位置する、光学バイオメトリックセンサに到達できないように、典型的には、LCDのパネル底部に提供されるため、LCDディスプレイパネル自体のピクセルからの光を使用する、本開示のアプローチを実現することは、より困難であり得る。しかしながら、利用され得る一解決策は、近赤外線伝送システム、例えば、3MTMNITSであり、超薄型光学ディスプレイフィルムを採用し、指紋読取光学センサが、通常の反射体および拡散体シートを置換するために、特別な底部反射体シートおよび拡散体シートを利用して、LCD画面の後方に設置されることを可能にする。これらのシートは、例えば、赤外線(IR)光が、さほど歪曲されることなく、LCDディスプレイ全体を通して透過される一方、可視RGB光は、依然として、底部反射体シートによって上向きに反射され得るように構成されることができる。さらなる利点は、基本的なオン/オフスイッチであり、すなわち、2つの垂直偏光子および液晶構造が、維持され、また、IR光の入射を制御するために使用され得、すなわち、それによって、ディスプレイパネルの上部表面に向かうIR光の放出が、ディスプレイパネルの個々のピクセルによって制御され得る。それによって、本開示の照明パターンはまた、LCDディスプレイパネルを用いて生成され得る。
故に、ディスプレイパネルとは別個のLEDまたはレーザ等の少なくとも2つのプローブ光源が、提供され、プローブ光源は、少なくとも2つの異なる波長、例えば、少なくとも2つの異なるIR波長を有し、多重波長照明を確保し得、また、赤外線スペクトルでは、十分なスペクトル変動が存在するため、波長の関数としての強度変動もまた、赤外線の範囲内で非常に安定し、これは、LCDディスプレイパネルを用いた反射分光法のための基盤を提供し得る。
電子デバイスは、ひいては、ディスプレイパネルのピクセルがディスプレイパネルの表面上の物体を照明するように該プローブ光源の(ディスプレイパネルの表面に向かう)光の放出を制御するように構成され得る。それによって、プローブ光源からの光は、所定の第1および/または第2の照明パターンの少なくとも一部、または完全な形態となる。
LCDパネルにおける、本開示のアプローチの組込が、図12に図示され、アンダーディスプレイバイオメトリックセンサの適用のために、LCDディスプレイと、LCDパネルの下方に位置する、IR光源(単数または複数)を伴うバイオメトリック光学センサとを伴う、本開示による電子デバイスの断面例証図を示す。LCDディスプレイは、上部から、接触感知エリアを形成する上部表面を伴う、カバーガラスを備える。液晶層は、ピクセルを形成し、ピクセルレベルあたりの光の放出は、液晶層の上方および下方にある、上部および底部偏光子によって制御される。拡散体層、バックライト層、および反射体層が、底部偏光子の下方に提供される。アンダーディスプレイバイオメトリックセンサは、LCDディスプレイの下方に位置し、上部表面に向かって多重波長IR照明を提供するために、1つまたはそれより多くのIR光源を具備する。LCDディスプレイの全ての層は、アンダーディスプレイバイオメトリックセンサからのIR光に対して透過性であるが、偏光子は、依然として、IR照明パターン(単数または複数)が、生成され得るように、ピクセルレベル毎に、バイオメトリックセンサから到来するIR光の放出を制御し得る。上部表面から反射されるIR光はまた、LCDディスプレイを通して透過され、なりすまし検出を提供するために、バイオメトリックセンサによって受け取られ得る。
「従来的な」/「通常モードの」物体検出および撮像を実施するために、第2の照明パターンが、生成され得る。例えば、通常モードでは、感知エリアおよび/または上部表面上の物体の真下に位置する、全てのピクセルが、オンにされ/アクティベートされ、受光角内で受け取られた全ての反射が、光学センサによって捕捉および検出されるであろう。受け取られる光は、ガラスインターフェースおよび物体からの両方の反射を含む。すなわち、一実施形態では、電子デバイス/光学センサは、
- ディスプレイパネルの表面上の物体に向かって所定の第2の照明パターンにおける光を放出するようにディスプレイパネルを制御/利用することと、
- センサアレイを用いて、所定の第2の照明パターンからの光を用いて照明された物体の第2の部分から反射された光に基づいて第2の画像データを入手することと、
- センサアレイを用いて、物体の第2の部分から反射された光を含む第2の画像データを入手することと、
- 物体の画像を形成するために第2の画像データを分析することと
を行うように構成されてもよい。
- ディスプレイパネルの表面上の物体に向かって所定の第2の照明パターンにおける光を放出するようにディスプレイパネルを制御/利用することと、
- センサアレイを用いて、所定の第2の照明パターンからの光を用いて照明された物体の第2の部分から反射された光に基づいて第2の画像データを入手することと、
- センサアレイを用いて、物体の第2の部分から反射された光を含む第2の画像データを入手することと、
- 物体の画像を形成するために第2の画像データを分析することと
を行うように構成されてもよい。
また、下記に詳細に述べられるように、第2の照明パターンは、第1の照明パターンと同時に、またはその前、またはその後に提供され得る。これらはまた、同等であり得、すなわち、第1および第2の照明パターンは、同一の単一照明パターンである。それに対応して、第2の画像データの入手は、第1の画像データの入手の前に、またはそれと同時に、またはその後に提供され得、すなわち、例えば、第1および第2の照明パターンが、同時に提供される場合、これは、画像データの単一入手であり得る。
それに対応して、第1の画像データおよび/または第2の画像データは、センサアレイの少なくとも1つの所定のおよび/または固定されたサブセットに対応し得る。
一実施形態では、該第1の画像データにおける1つの波長における強度は、センサアレイのサブセットの全てのピクセル値の処理することに対応し、処理することは、平均すること、積分すること、および/または加算すること等である。
従来的な物体検出と同様に、背景強度較正が、必要とされる場合がある。背景強度較正は、例えば、新しい物体の登録中に提供されてもよい。故に、背景強度較正は、
- センサアレイを用いて、ディスプレイパネルの(表面上の物体を伴わない)表面のみから反射され、該所定の受光角内で受け取られる光に基づいて、第1の画像データに対応する、背景画像データを入手し、
- 該異なる波長のそれぞれの背景強度を決定するために、該異なる波長における強度を分析する、
ことによって提供され得る。
- センサアレイを用いて、ディスプレイパネルの(表面上の物体を伴わない)表面のみから反射され、該所定の受光角内で受け取られる光に基づいて、第1の画像データに対応する、背景画像データを入手し、
- 該異なる波長のそれぞれの背景強度を決定するために、該異なる波長における強度を分析する、
ことによって提供され得る。
物体認証、すなわち、なりすまし検出は、光の波長の関数として(例えば、背景強度に対する相対的な)強度変動を分析し、それを基準と比較することによって提供され得る。本基準は、例えば、反射率スペクトル変動であってもよい。
代替として、本基準は、物体が生組織であるかどうかを規定する1つまたはそれより多くの閾値等、1つまたはそれより多くの強度比閾値等の1つまたはそれより多くの閾値を提供される。本基準は、同種の物体から取得され得る。
具体的な物体に関する基準は、該具体的な物体に関する基準強度変動を決定するために、該異なる波長における強度を分析することによって、該物体の登録中に入手され得る。
一実施形態では、所定の第1および/または第2の照明パターンは、光放出ピクセルの1つまたはそれより多くの所定のサブセットのアクティベーションに対応する。センサアレイの所定のおよび/または固定された(アクティブ)サブセットの場所および構成は、それに応じて、所定の第1および/もしくは第2の照明パターンに関連し得、ならびに/またはそれによって規定され得る。
多重波長照明は、照明パターン(単数または複数)において、広帯域光によって、および/または少なくとも2つ、3つ、またはそれより多くの異なる別々の波長等の複数の別々の波長を用いて提供され得る。例えば、赤色のピークは、約564~580nm、緑色のピークは、約534~545nm、青色のピークは、約420~440nmである。赤外線スペクトルでは、例えば、850nm、980nm、1,050nm、1,300nm、および1,550nmにおける別々の波長の実施例を伴う、約800~2,000nmの広域波長範囲はまた、バイオメトリック感知にとって好適であり、費用効率の高いレーザ/LEDが、市販されており、本明細書に説明されるように、これらの別々のIR波長のいずれかの間には、分光分析にとって好適な波長のずれがある。
一実施形態では、所定の第1および/または第2の照明パターンは、所定の空間的照明パターンである。例えば、第1の照明パターンは、物体上に縞模様を形成してもよい。
一実施形態では、所定の第1および/または第2の照明パターンは、例えば、物体の照明される第1および第2の部分が同じであるか、または少なくとも部分的に重複しているような、所定の時間変動する照明パターンである。
一実施形態では、所定の第1および/または第2の照明パターンは、所定のカラー変動照明パターンである。
一実施形態では、所定の第1および第2の照明パターンは、前記第1および第2の画像データが同時に入手され得る等、同時に放出される。
一実施形態では、所定の第1および第2の照明パターンは、前記第1および第2の画像データが同時に入手され得るように同時に放出される。
一実施形態では、センサアレイの受光角、上部透過表面に対する光学検出器ピクセルの位置付け、ならびに/もしくは第1および/または第2の照明パターンは、光学検出器ピクセルが重複していない上部透過表面のエリアから反射および/または散乱される光を受け取るように配列される。すなわち、センサアレイの各光学検出器ピクセルは、上部透過表面の異なるエリア、および/または該上部透過表面と接触している物体の異なるエリアから反射された光を受け取ることになる。これは、いくつかの異なる方法で達成され得、例えば、光検出ピクセル間の距離、光検出ピクセルと上部透過表面との間の距離、および/またはセンサアレイの受光角に依存し得る。一般に、異なる光検出ピクセルによって受け取られる上部表面(または、該上部表面と接触している物体)からの光の間で重複することを回避するために、より大きな受光角は、光検出ピクセル間により長い距離、および/または光検出ピクセルと上部表面との間により短い距離を要求する。
OLED/LCDディスプレイの照明角度は、典型的には、有意に高く、75度を上回ることが多い、および/またはランバート分布を表示し得る。加えて、低い光学強度に起因して、ディスプレイの複数のピクセルが、オンにされる必要があることが典型的である。これは、異なる照明角度の光によって照明されている、上部表面に接触している物体のある点を結果としてもたらし得る。光検出ピクセルの密度(例えば、各ピクセルの間の距離)、センサアレイと上部表面との間の距離、およびセンサアレイの受光角等のセンサアレイの配列に応じて、異なる照明角度で物体の前述の点を照明する光は、反射/散乱され、その後、複数の光検出ピクセルによって受け取られ得、すなわち、物体の同一の点が、複数の光検出ピクセルによって撮像され得る。これとは逆に、ある実施形態では、電子デバイスは、各光検出ピクセルが、上部透過表面または該上部透過表面と接触している物体の異なるエリアを撮像するように構成されている。
ディスプレイパネルのタイプは、電子発光(ELD)ディスプレイ、液晶ディスプレイ(LCD)、OLEDまたはAMOLED等の発光ダイオード(LED)ディスプレイ、プラズマ(PDP)ディスプレイ、および量子ドット(QLED)ディスプレイのグループから選択され得る。
典型的なディスプレイパネルは、光放出ピクセルの3つの明確に異なるカラー、すなわち、赤色、緑色、および青色を有する。付加的なスペクトル分散を提供するために、1つまたはそれより多くの付加的なプローブ光源が、バイオメトリック光学センサの一部として、および/または電子デバイスの一部としてのいずれかで提供され得る。すなわち、ディスプレイパネルの光源とは別個のLEDまたはレーザ等の少なくとも1つのプローブ光源は、ディスプレイパネルの表面上の物体を照明するために、プローブ光を提供するために制御され得、それによって、プローブ光源からの光が、所定の第1および/または第2の照明パターンの一部となる。故に、プローブ光源からの光は、赤外光等のディスプレイパネルからの光とは異なる少なくとも1つのカラー/波長を備える。例えば、少なくとも第1のプローブ光源からの光は、ディスプレイパネルからの光未満のカラーである、および/または少なくとも第2のプローブ光源からの光は、ディスプレイパネルからの光より大きいカラーである。
マイクロレンズベースのアンダーディスプレイバイオメトリックセンサの一実施例が、同一出願人からの係属中の出願第PCT/EP2019/061738号に開示されている。本開示の一実施例では、バイオメトリック光学センサの光学的設定は、
- 光集束要素のアレイを伴う前面側と、集束要素と整合される、光学透過性開口のアレイを伴う不透過性の背面側とを有する、マイクロレンズ構造と、
- マイクロレンズ構造の背面側に対向する、光学検出器ピクセルのセンサアレイであって、各開口は、該光学検出器ピクセルのうちの少なくとも1つと整合される、センサアレイと、
を備える。
- 光集束要素のアレイを伴う前面側と、集束要素と整合される、光学透過性開口のアレイを伴う不透過性の背面側とを有する、マイクロレンズ構造と、
- マイクロレンズ構造の背面側に対向する、光学検出器ピクセルのセンサアレイであって、各開口は、該光学検出器ピクセルのうちの少なくとも1つと整合される、センサアレイと、
を備える。
光学センサは、好ましくは、物体から戻された光が、マイクロレンズ構造によって、センサアレイの上へ、透過性開口を通して、集束され得るように、かつ所定の値未満またはそれに等しい入射角を伴って、物体から戻された光が、マイクロレンズ構造によって、センサアレイに集束されるが、該所定の値より大きい入射角を伴って、物体から戻された光が、検出されないように構成されている。すなわち、本入射角の所定の値は、本明細書内で使用されるような受光角に対応する。そのような光学センサの一実施例が、図11の断面図に示される。
実施例
図1は、指紋画像を生成する従来的な方法を図示し、指先の表面における「谷線」および「隆線」が、異なる反射を作成し、谷線のエリアは、エアガラスインターフェースに起因して、7%の反射を生成するが、皮膚が表面のみに触れている、隆線のエリアは、0,02%の反射を生成し、すなわち、一意の指紋パターンを明確に図示する画像を生成するために、谷線と隆線とを区別することは、非常に容易である。
図1は、指紋画像を生成する従来的な方法を図示し、指先の表面における「谷線」および「隆線」が、異なる反射を作成し、谷線のエリアは、エアガラスインターフェースに起因して、7%の反射を生成するが、皮膚が表面のみに触れている、隆線のエリアは、0,02%の反射を生成し、すなわち、一意の指紋パターンを明確に図示する画像を生成するために、谷線と隆線とを区別することは、非常に容易である。
図2は、5人の異なる対象からの右手人差指からの反射率スペクトルを示す。絶対測定強度は、対象によって大きく変動するが、波長の関数としての強度変動は、非常に安定しており、これは、反射分光法のための基盤を提供する。
図3は、反射分光法を実施するときに鏡面反射を回避する、本開示の原理を例証する。「エリア2」は、全ての対応するディスプレイパネルのピクセルが、物体を直接照明するために光を発する、通常モード動作を指し示し、すなわち、本明細書内で称される第2の画像データが、エリア2が属する、直接照明されたエリアから入手される。「エリア1」は、真下に位置し、光放出ピクセルが、オフにされているが、近隣のピクセルが光を発するため、物体が、依然として、間接的に照明されるであろう、隣接する暗いエリアを指し示す。それによって、直接照明からの鏡面反射が、回避され得、反射分光法が、提供され得、本明細書内で称される第1の画像データが、エリア1に対応し得る。本実施例では、図3に示される照明パターンが、物体が直接照明され、物体の画像が提供される、通常モードのバイオメトリック画像と、物体の第1の部分のみが、そこからディスプレイパネルの表面による鏡面反射が、所定の受光角外である、照明パターンからの光を用いて照明される、なりすまし検出モードとの両方を入手するために使用され得るため、第1の照明パターンおよび第2の照明パターンは、等しい。
これはさらに、アンダーディスプレイ/インディスプレイマイクロレンズまたはピンホール型バイオメトリック光学センサの断面例示図を示す、図4~5に図示される。図4は、通常動作モードにおける、アンダーディスプレイ/インディスプレイマイクロレンズまたはピンホール型バイオメトリック光学センサの断面例示図を示す。OLEDディスプレイパネルを覆う、カバーガラスの上部表面に触れている、指先の一部が、示されており、バイオメトリック光学センサは、OLEDディスプレイパネルの下方にある。指の下方にあるディスプレイピクセルが、指を照明している、通常モード動作が、図示されている。図4では、照明角度は、実質的にゼロであり、すなわち、照明している光(別名、プローブ光)の入射角は、光学センサの受光角内にあり、それによって、鏡面反射が、光学センサによって検出される。これは、谷線におけるエアガラスインターフェースからの優位な反射に起因して、隆線と谷線とを区別することが容易であるため、指紋の画像を形成するために好適である。
図5は、図4に対応するが、指が、エリア2の真下のディスプレイピクセルによって照明される、エリア2と、エリア1の真下のディスプレイピクセルが、オフにされている、隣接するエリア1とが存在するという差を伴う。エリア2における照明角度、すなわち、照明している光(別名、プローブ光)の入射角は、光学センサの受光角内にあり、それによって、エリア2上に入射する照明光からの鏡面反射が、光学センサによって検出される。図5のエリア1では、真下のディスプレイピクセルが、オフにされており、エリア1内の指の部分は、エリア2の下方のディスプレイピクセルからの光のみを用いて、間接的に照明される。したがって、エリア1における照明角度は、はるかにより大きく、光学センサの受光角を超過し得る。照明光のより大きな入射角に起因して、エリア1における照明光からの鏡面反射は、この時点で、光学センサの受光角外にある。それによって、エアガラスインターフェースからの優位な反射が、検出から除去され得、反射分光法が、隆線が、指の材料に関する最も多くの情報を保有しているであろうため、特に、それらから可能である。
図6は、アンダーディスプレイカメラ型バイオメトリック光学センサの断面例示図を示す。OLEDディスプレイパネルを覆う、カバーガラスの上部表面に触れている、指先の一部が、示されている。バイオメトリック光学センサは、OLEDディスプレイパネルの下方のカメラ設定に統合され、単一の光学的設定が、感知エリア全体を視認している。それによって、カメラ型光学センサの受光角は、図6に図示されるように、視野角に依存する。
図7~10は、アンダーディスプレイおよびインディスプレイバイオメトリック光学センサにおいて、反射分光法を可能にするための照明パターンの異なる実施例を示す。図7~10では、接触感知エリアが、約10mmの辺長を伴う矩形として示される。図7では、約0.1~0.5mmの直径を伴う、OLEDの中心における暗い円が、本暗い円の下方のディスプレイピクセルが、オフにされていることを図示するために提供され、故に、反射分光法が、感知エリアの本暗い箇所内に提供され得る。暗い円の直径は、具体的な条件に対して、特に、カバーガラスの厚さおよび光学センサの分解能の観点において、最適化され得る。
図8は、感知エリア内の5つの暗い箇所を示し、図8における箇所はそれぞれ、図7における単一の箇所に対応し、すなわち、反射分光法が、全ての5つのエリアにおいて提供され得、それによって、暗い箇所の総エリアが、増加し、その箇所の場所が、より広範囲に分布されるため、なりすまし検出を改良する可能性が最も高い。暗い円の直径、数、および/または場所は、具体的な条件に対して、特に、カバーガラスの厚さおよび光学センサの分解能の観点において、最適化され得る。
図9は、感知エリア内の暗い十字形として図示される、照明パターンの実施例を示し、約0.1~0.5mmの十字形の縞幅と約数mmの縞長とを伴う。図9における実施例はさらに、反射分光法にとって好適な暗いエリアの合計を増加させている。
図10は、感知エリア内の中央部分に、数ミリメートルの直径を伴う、1つの中央の明るい箇所として図示される、照明パターンの実施例をし、暗いエリアの合計が、それによって、有意に増加される。図10における照明パターンは、カメラ型光学センサにとって最も好適である。
暗いエリアを増加させることは、一般に、反射分光法の強度が、必然的に増加するため、なりすまし検出を改良するが、しかしながら、依然として、間接照明のために、隣接するピクセルからのある程度の光が存在する必要があるため、一定の限界があるであろう。反射分光法のための照明パターンの一実施例は、センサフレームを横断して、断続的な黒色および白色の縞模様であり、すなわち、暗いエリアが、複数の暗い縞に起因して増加されるが、隣接する明るい縞からの光は、必要とされる間接照明を提供する。
図7~9における照明パターンの実施例は、単一フレーム取込および複数フレーム取込の両方のために利用され得る。単一フレーム取込では、通常の物体画像が、入手されるとともに、反射分光法も、同一の単一センサフレームから提供され、それによって、1つの所定の照明パターンのみが存在し、すなわち、第1の照明パターンは、第2の照明パターンと同一である。同一のフレーム内で、通常モードの物体撮像および反射分光法/なりすまし検出を取り込むことはまた、物体画像自体の品質にも依存する。係属中の出願第PCT/EP2019/061738号に開示される、アンダーディスプレイバイオメトリックセンサは、非常に高い画質を提供する、光学センサの実施例である。複数フレーム取込、例えば、2つの異なるフレームにおける取込では、第1および第2の照明パターンが、典型的には、異なり、第1の照明パターンは、反射分光法を最適化するために設計され得、第2の照明パターンは、通常モード動作を最適化するために設計され得る。
例示的閾値
上記で記述されるように、生組織を偽造サンプルと区別するための基準は、強度比閾値、例えば、RGB光放出ピクセルの赤色、緑色、および青色のカラーのうちの1つに対して相対的な強度比閾値を規定することによって、提供され得る。
上記で記述されるように、生組織を偽造サンプルと区別するための基準は、強度比閾値、例えば、RGB光放出ピクセルの赤色、緑色、および青色のカラーのうちの1つに対して相対的な強度比閾値を規定することによって、提供され得る。
典型的なOLED RGB光放出ピクセルは、以下の波長を有する。
・赤色 630nm±20nm
・緑色 530nm±20nm
・青色 460nm±10nm
・赤色 630nm±20nm
・緑色 530nm±20nm
・青色 460nm±10nm
3つの異なる生組織の指先が、鏡面反射を回避しながら、各カラーにおいて反射された強度を提供するために、本明細書に開示される反射分光法を採用して測定された。強度比値が、表1に示され、これらは、1の基準値として、赤色光における値を用いて正規化されている。
表1から、閾値の範囲が、生組織の指先を照合するために規定され得る。
・ 緑色 0.70~0.85
・ 青色 0.50~0.65
・ 緑色 0.70~0.85
・ 青色 0.50~0.65
故に、指紋は、(赤色に対する相対的な)緑色と青色のカラーの両方の強度比閾値が、これらの区間内にある場合、認証され得る。
3つの異なるシリコーンの指先が、鏡面反射を回避しながら、各カラーにおいて反射された強度を提供するために、本明細書に開示される反射分光法を採用して測定された。強度比値が、表2に示され、これらは、1の基準値として、赤色光における値を用いて正規化されている。
表2から見られるように、全ての検査されたシリコーンサンプルは、本開示のなりすまし検出において捕獲され得る。緑色カラーに関しては、3つの強度比閾値のうちの2つが、認証範囲外にあったが、青色カラーに関しては、全ての強度比閾値が、認証範囲外にあった。
本開示のさらなる詳細
1.光学的感知によって物体を検出および認証するための電子デバイスであって、電子デバイスは、
- 画像を表示するためのピクセルを有するディスプレイパネルと、
- 接触感知動作のためにユーザによって触れられるためのインターフェースとしてディスプレイパネルを覆って形成されている上部透過表面と、
- ディスプレイパネルの下に位置しているか、またはディスプレイパネルに統合されている光学センサモジュールであって、
a)ディスプレイパネルの表面上の物体から反射された光を受け取ることと、
b)受け取られた光に従って画像データを生成することと
を行うように構成されている光学検出器ピクセルのセンサアレイを備える光学センサモジュールと
を備え、電子デバイスは、接触感知動作中、
- ディスプレイパネルの表面上の物体に向かって所定の第1の照明パターンにおける光を提供するようにディスプレイパネルのピクセルを制御することと、
- ディスプレイパネルの表面上の物体から反射された光を所定の受光角内のセンサアレイに方向付けることと、
- センサアレイを用いて、所定の第1の照明パターンからの光のみを用いて照明された物体の第1の部分から反射された光に基づいて、またはその第1の画像データを入手することであって、ディスプレイパネルの表面による所定の第1の照明パターンからの鏡面反射は、所定の受光角外にある、ことと、
- 物体を認証するために該第1の画像データにおける異なる波長における強度を分析することと
を行うように構成されている、電子デバイス。
1.光学的感知によって物体を検出および認証するための電子デバイスであって、電子デバイスは、
- 画像を表示するためのピクセルを有するディスプレイパネルと、
- 接触感知動作のためにユーザによって触れられるためのインターフェースとしてディスプレイパネルを覆って形成されている上部透過表面と、
- ディスプレイパネルの下に位置しているか、またはディスプレイパネルに統合されている光学センサモジュールであって、
a)ディスプレイパネルの表面上の物体から反射された光を受け取ることと、
b)受け取られた光に従って画像データを生成することと
を行うように構成されている光学検出器ピクセルのセンサアレイを備える光学センサモジュールと
を備え、電子デバイスは、接触感知動作中、
- ディスプレイパネルの表面上の物体に向かって所定の第1の照明パターンにおける光を提供するようにディスプレイパネルのピクセルを制御することと、
- ディスプレイパネルの表面上の物体から反射された光を所定の受光角内のセンサアレイに方向付けることと、
- センサアレイを用いて、所定の第1の照明パターンからの光のみを用いて照明された物体の第1の部分から反射された光に基づいて、またはその第1の画像データを入手することであって、ディスプレイパネルの表面による所定の第1の照明パターンからの鏡面反射は、所定の受光角外にある、ことと、
- 物体を認証するために該第1の画像データにおける異なる波長における強度を分析することと
を行うように構成されている、電子デバイス。
2.所定の受光角は、20度、または10度、または5度、または3度である、項目1に記載の電子デバイス。
3.
- ディスプレイパネルの表面上の物体に向かって所定の第2の照明パターンにおける光を提供するようにディスプレイパネルのピクセルを制御することと、
- センサアレイを用いて、所定の第2の照明パターンからの光を用いて照明された物体の第2の部分から反射された光に基づいて第2の画像データを入手することと、
- センサアレイを用いて、物体の第2の部分から反射された光を含む第2の画像データを入手することと、
- 物体の画像を形成するために第2の画像データを分析することと
を行うように構成されている、前述の項目のいずれかに記載の電子デバイス。
- ディスプレイパネルの表面上の物体に向かって所定の第2の照明パターンにおける光を提供するようにディスプレイパネルのピクセルを制御することと、
- センサアレイを用いて、所定の第2の照明パターンからの光を用いて照明された物体の第2の部分から反射された光に基づいて第2の画像データを入手することと、
- センサアレイを用いて、物体の第2の部分から反射された光を含む第2の画像データを入手することと、
- 物体の画像を形成するために第2の画像データを分析することと
を行うように構成されている、前述の項目のいずれかに記載の電子デバイス。
4.第1の画像データおよび/または第2の画像データは、センサアレイの所定のおよび/または固定されたサブセットに対応する、前述の項目のいずれかに記載の電子デバイス。
5.該第1の画像データにおける1つの波長における強度は、センサアレイのサブセットの全てのピクセル値を処理することに対応し、処理することは、平均すること、積分すること、および/または加算すること等である、前述の項目のいずれかに記載の電子デバイス。
6.
- センサアレイを用いて、ディスプレイパネルの(表面上の物体を伴わない)表面のみから反射され、該所定の受光角内で受け取られる光に基づいて、第1の画像データに対応する、背景画像データを入手し、
- 該異なる波長のそれぞれの背景強度を決定するために、該異なる波長における強度を分析する、
ことによって、背景強度較正のようにさらに構成されている、前述の項目のいずれかに記載の電子デバイス。
- センサアレイを用いて、ディスプレイパネルの(表面上の物体を伴わない)表面のみから反射され、該所定の受光角内で受け取られる光に基づいて、第1の画像データに対応する、背景画像データを入手し、
- 該異なる波長のそれぞれの背景強度を決定するために、該異なる波長における強度を分析する、
ことによって、背景強度較正のようにさらに構成されている、前述の項目のいずれかに記載の電子デバイス。
7.新しい物体の登録中に、背景強度較正を実施するように構成されている、項目6に記載の電子デバイス。
8.物体は、光の波長の関数として(背景強度に対する相対的な)強度変動を分析し、それを基準と比較することによって認証される、前述の項目のいずれかに記載の電子デバイス。
9.本基準は、反射率スペクトル変動である、前述の項目8のいずれかに記載の電子デバイス。
10.本基準は、物体が生組織であるかどうかを規定する1つまたはそれより多くの閾値等、1つまたはそれより多くの強度比閾値等の1つまたはそれより多くの閾値である、前述の項目8のいずれかに記載の電子デバイス。
11.本基準は、同種の物体から取得される、前述の項目8~10のいずれかに記載の電子デバイス。
12.該具体的な物体に関する基準強度変動を決定するために、該異なる波長における強度を分析することによって、登録中に、具体的な物体に関する基準を取得するようにさらに構成されている、前述の項目8~11のいずれかに記載の電子デバイス。
13.所定の第1および/または第2の照明パターンは、物体の照明される第1および第2の部分が随意に、同じであるか、または少なくとも部分的に重複しているような、所定の時間変動する照明パターンである、前述の項目のいずれかに記載の電子デバイス。
14.所定の第1および/または第2の照明パターンは、ディスプレイパネルのピクセルの1つまたはそれより多くの所定のサブセットのアクティベーションに対応する、前述の項目のいずれかに記載の電子デバイス。
15.センサアレイの所定のおよび/または固定された(アクティブ)サブセットの場所および構成は、所定の第1および/もしくは第2の照明パターンに関連し得、ならびに/またはそれによって規定され得る、前述の項目のいずれかに記載の電子デバイス。
16.所定の第1および/または第2の照明パターンは、所定の空間的照明パターンである、前述の項目のいずれかに記載の電子デバイス。
17.所定の第1および/または第2の照明パターンは、所定のカラー変動照明パターンである、前述の項目のいずれかに記載の電子デバイス。
18.所定の第1および第2の照明パターンは、第1および第2の画像データが同時に入手され得るように同時に放出される、前述の項目のいずれかに記載の電子デバイス。
19.ディスプレイパネルのピクセルは、RGB光放出ピクセルであり、電子デバイスは、接触感知動作中、所定の第1および/または第2の照明パターンにおけるRGB光を放出するようにディスプレイパネルのRGB光放出ピクセルを制御するように構成されている、前述の項目のいずれかに記載の電子デバイス。
20.ディスプレイパネルは、電子発光(ELD)ディスプレイ、液晶ディスプレイ(LCD)、OLEDまたはAMOLED等の発光ダイオード(LED)ディスプレイ、プラズマ(PDP)ディスプレイ、および量子ドット(QLED)ディスプレイのグループから選択される、前述の項目のいずれかに記載の電子デバイス。
21.ディスプレイパネルとは別個のLEDまたはレーザ等の少なくとも1つのプローブ光源からのプローブ光が所定の第1および/または第2の照明パターンの一部となるように、ディスプレイパネルの表面上の物体を照明するために光を提供するようにプローブ光源を制御するようにさらに構成されている、前述の項目のいずれかに記載の電子デバイス。
22.ディスプレイパネルとは別個のLEDまたはレーザ等の少なくとも2つのプローブ光源を備える、電子デバイスであって、本プローブ光源は、少なくとも2つの異なる波長を有し、本電子デバイスは、プローブ光源からの光が、所定の第1および/または第2の照明パターンの一部となるように、ディスプレイパネルのピクセルがディスプレイパネルの表面上の物体を照明するように該プローブ光源の光の放出を制御するように構成されている、前述の項目のいずれかに記載の電子デバイス。
23.プローブ光源(単数または複数)からの光は、赤外光等、ディスプレイパネルからの光とは異なる少なくとも1つのカラーを含む、前述の項目21~22のいずれかに記載の電子デバイス。
24.少なくとも第1のプローブ光源からの光は、ディスプレイパネルからの光未満のカラーであり、少なくとも第2のプローブ光源からの光は、ディスプレイパネルからの光より大きいカラーである、前述の項目21~23のいずれかに記載の電子デバイス。
25.少なくとも1つのプローブ光源は、光学センサモジュールの一部である、前述の項目21~24のいずれかに記載の電子デバイス。
26.センサアレイの光学検出器ピクセルは、受け取られた光の異なるカラーを区別するために有色ピクセルである、前述の項目のいずれかに記載の電子デバイス。
27.前述の項目のいずれかに記載の光学センサモジュールと、画像情報を記憶するための記憶ユニットと、画像を認識するためにセンサアレイからの信号を処理するための処理ユニットとを備える、指紋検出器等の画像認識デバイス。
Claims (22)
- 光学的感知によって物体を検出および認証するための電子デバイスであって、前記電子デバイスは、
- 画像を表示するためのピクセルを有するディスプレイパネルと、
- 接触感知動作のためにユーザによって触れられるためのインターフェースとして前記ディスプレイパネルを覆って形成されている上部透過表面と、
- 前記ディスプレイパネルの下に位置しているか、または前記ディスプレイパネルに統合されている光学センサモジュールであって、
a)前記ディスプレイパネルの前記表面上の前記物体から反射された光を受け取ることと、
b)前記受け取られた光に従って画像データを生成することと
を行うように構成されている光学検出器ピクセルのセンサアレイを備える光学センサモジュールと
を備え、前記電子デバイスは、接触感知動作中、
- 前記ディスプレイパネルの前記表面上の前記物体に向かって所定の第1の照明パターンにおける光を提供するように前記ディスプレイパネルのピクセルを制御することと、
- 前記ディスプレイパネルの前記表面上の前記物体から反射された光を所定の受光角内の前記センサアレイに方向付けることと、
- 前記センサアレイを用いて、前記所定の第1の照明パターンからの光のみを用いて照明された前記物体の第1の部分から反射された光の第1の画像データを入手することであって、前記ディスプレイパネルの前記表面による前記所定の第1の照明パターンからの鏡面反射は、前記所定の受光角外にある、ことと、
- 前記物体を認証するために前記第1の画像データにおける異なる波長における強度を分析することと
を行うように構成されている、電子デバイス。 - - 前記ディスプレイパネルの前記表面上の前記物体に向かって所定の第2の照明パターンにおける光を提供するように前記ディスプレイパネルのピクセルを制御することと、
- 前記センサアレイを用いて、前記所定の第2の照明パターンからの光を用いて照明された前記物体の第2の部分から反射された光に基づいて第2の画像データを入手することと、
- 前記センサアレイを用いて、前記物体の前記第2の部分から反射された光を含む第2の画像データを入手することと、
- 前記物体の画像を形成するために前記第2の画像データを分析することと
を行うように構成されている、請求項1に記載の電子デバイス。 - 前記センサアレイの前記受光角、および前記上部透過表面に対する前記光学検出器ピクセルの位置付けは、前記光学検出器ピクセルが重複していない前記上部透過表面のエリアから反射された光を受け取るような受光角および位置付けである、前記請求項のいずれかに記載の電子デバイス。
- 前記第1の画像データおよび/または前記第2の画像データは、前記センサアレイの所定のおよび/または固定されたサブセットに対応する、前記請求項のいずれかに記載の電子デバイス。
- 前記第1の画像データにおける1つの波長における前記強度は、前記センサアレイのサブセットの全てのピクセル値を処理することに対応し、前記処理することは、平均すること、積分すること、および/または加算すること等である、前記請求項のいずれかに記載の電子デバイス。
- 前記物体は、前記光の前記波長の関数として(背景強度に対する相対的な)強度変動を分析し、それを基準と比較することによって認証される、前記請求項のいずれかに記載の電子デバイス。
- 前記基準は、反射率スペクトル変動、1つまたはそれより多くの閾値、1つまたはそれより多くの強度比閾値、および、前記物体が生組織であるかどうかを規定する1つまたはそれより多くの閾値のグループから選択される、前記請求項6のいずれかに記載の電子デバイス。
- 具体的な物体に関する基準強度変動を決定するために、前記異なる波長における強度を分析することによって、前記の登録中に前記具体的な物体に関する基準を取得するようにさらに構成されている、前記請求項6~7のいずれかに記載の電子デバイス。
- 前記所定の第1および/または第2の照明パターンは、前記物体の前記照明される第1および第2の部分が随意に同じであるか、または少なくとも部分的に重複しているような、所定の時間変動する照明パターンである、前記請求項のいずれかに記載の電子デバイス。
- 前記所定の第1および/または第2の照明パターンは、前記所定の第1および/または第2の照明パターンが所定の空間的照明パターンである等、前記ディスプレイパネルの前記ピクセルの1つまたはそれより多くの所定のサブセットのアクティベーションに対応する、前記請求項のいずれかに記載の電子デバイス。
- 前記センサアレイの所定のおよび/または固定された(アクティブ)サブセットの場所および構成は、前記所定の第1および/もしくは第2の照明パターンに関連し、ならびに/または、前記所定の第1および/もしくは第2の照明パターンによって規定される、前記請求項のいずれかに記載の電子デバイス。
- 前記所定の第1および第2の照明パターンは、前記第1および第2の画像データが同時に入手され得ることを可能にするように同時に放出される、前記請求項のいずれかに記載の電子デバイス。
- 前記ディスプレイパネルの前記ピクセルは、RGB光放出ピクセルであり、前記電子デバイスは、接触感知動作中、前記所定の第1および/または第2の照明パターンにおけるRGB光を放出するように前記ディスプレイパネルのRGB光放出ピクセルを制御するように構成されている、前記請求項のいずれかに記載の電子デバイス。
- 前記ディスプレイパネルとは別個のLEDまたはレーザ等の少なくとも1つのプローブ光源からのプローブ光が前記所定の第1および/または第2の照明パターンの一部となる等、前記ディスプレイパネルの前記表面上の前記物体を照明するために前記光を提供するように前記プローブ光源を制御するようにさらに構成されている、前記請求項のいずれかに記載の電子デバイス。
- 前記電子デバイスは、前記ディスプレイパネルとは別個のLEDまたはレーザ等の少なくとも2つのプローブ光源を備え、前記プローブ光源は、少なくとも2つの異なる波長を有し、前記ディスプレイパネルの前記ピクセルは、前記プローブ光源からの光が前記所定の第1および/または第2の照明パターンの一部となる等、前記ディスプレイパネルの前記表面上の前記物体を照明するように前記プローブ光源の前記光の放出を制御する、前記請求項のいずれかに記載の電子デバイス。
- 前記少なくとも1つまたは2つのプローブ光源は、前記光学センサモジュールの一部である、前記請求項14~15のいずれかに記載の電子デバイス。
- 前記ディスプレイパネルは、電子発光(ELD)ディスプレイ、液晶ディスプレイ(LCD)、OLEDまたはAMOLED等の発光ダイオード(LED)ディスプレイ、プラズマ(PDP)ディスプレイ、および量子ドット(QLED)ディスプレイのグループから選択される、前記請求項のいずれかに記載の電子デバイス。
- 前記プローブ光源(単数または複数)からの前記光は、赤外光等、前記ディスプレイパネルからの光とは異なる少なくとも1つのカラーを含む、前記請求項15~17のいずれかに記載の電子デバイス。
- 少なくとも第1のプローブ光源からの光は、前記ディスプレイパネルからの光未満のカラーであり、少なくとも第2のプローブ光源からの光は、前記ディスプレイパネルからの光より大きいカラーである、請求項15~18のいずれかに記載の電子デバイス。
- 前記少なくとも1つのプローブ光源は、前記光学センサモジュールの一部である、前記請求項15~19のいずれかに記載の電子デバイス。
- 前記センサアレイの前記光学検出器ピクセルは、前記受け取られた光の異なるカラーを区別するために有色ピクセルである、前記請求項のいずれかに記載の電子デバイス。
- 前記請求項のいずれかに記載の光学センサモジュールと、画像情報を記憶するための記憶ユニットと、画像を認識するために前記センサアレイからの前記信号を処理するための処理ユニットとを備える、指紋検出器等の画像認識デバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20182048 | 2020-06-24 | ||
EP20182048.7 | 2020-06-24 | ||
PCT/EP2021/067388 WO2021260134A1 (en) | 2020-06-24 | 2021-06-24 | Electronic device comprising a biometric optical sensor module |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023531733A true JP2023531733A (ja) | 2023-07-25 |
Family
ID=71143575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022579995A Pending JP2023531733A (ja) | 2020-06-24 | 2021-06-24 | バイオメトリック光学センサモジュールを備える電子デバイス |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230334898A1 (ja) |
EP (1) | EP4172859A1 (ja) |
JP (1) | JP2023531733A (ja) |
CN (1) | CN116457844A (ja) |
CA (1) | CA3184086A1 (ja) |
WO (1) | WO2021260134A1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10282582B2 (en) * | 2015-09-30 | 2019-05-07 | Apple Inc. | Finger biometric sensor for generating three dimensional fingerprint ridge data and related methods |
CN109154869B (zh) | 2016-06-07 | 2021-02-05 | 深圳市汇顶科技股份有限公司 | 用于屏上指纹感应的屏下光学传感器模块的光学准直器 |
-
2021
- 2021-06-24 JP JP2022579995A patent/JP2023531733A/ja active Pending
- 2021-06-24 CA CA3184086A patent/CA3184086A1/en active Pending
- 2021-06-24 WO PCT/EP2021/067388 patent/WO2021260134A1/en active Application Filing
- 2021-06-24 US US18/003,085 patent/US20230334898A1/en not_active Abandoned
- 2021-06-24 CN CN202180052786.XA patent/CN116457844A/zh active Pending
- 2021-06-24 EP EP21734355.7A patent/EP4172859A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
CA3184086A1 (en) | 2021-12-30 |
WO2021260134A1 (en) | 2021-12-30 |
EP4172859A1 (en) | 2023-05-03 |
CN116457844A (zh) | 2023-07-18 |
US20230334898A1 (en) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11048903B2 (en) | Under-LCD screen optical sensor module for on-screen fingerprint sensing | |
US11030434B2 (en) | Lens-pinhole array designs in ultra thin under screen optical sensors for on-screen fingerprint sensing | |
CN111448570B (zh) | 利用集成到显示屏的光学检测器对显示屏上或接近显示屏的指纹或其他图案进行光学感测 | |
US10318791B2 (en) | Anti-spoofing sensing for rejecting fake fingerprint patterns in under-screen optical sensor module for on-screen fingerprint sensing | |
US11017068B2 (en) | Optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing | |
US10635878B2 (en) | Optical fingerprint sensor with force sensing capability | |
US10614283B2 (en) | Devices with peripheral task bar display zone and under-LCD screen optical sensor module for on-screen fingerprint sensing | |
US10331939B2 (en) | Multi-layer optical designs of under-screen optical sensor module having spaced optical collimator array and optical sensor array for on-screen fingerprint sensing | |
US10410037B2 (en) | Under-screen optical sensor module for on-screen fingerprint sensing implementing imaging lens, extra illumination or optical collimator array | |
CN109791325B (zh) | 具有***任务栏显示区的设备和用于屏上指纹感测的lcd屏下光学传感器模块 | |
US10410036B2 (en) | Under-screen optical sensor module for on-screen fingerprint sensing | |
US11239275B2 (en) | Electronic device including processing circuitry for sensing images from spaced apart sub-arrays and related methods | |
US10885299B2 (en) | Electronic device including pin hole array mask above optical image sensor and laterally adjacent light source and related methods | |
EP3485342B1 (en) | Optical fingerprint sensor with force sensing capability | |
WO2018127101A1 (en) | Improving optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing | |
WO2018049944A1 (en) | Under-screen optical sensor module for on-screen fingerprint sensing | |
US20210117644A1 (en) | Optical sensing systems and devices including apertures supplanting photodiodes for increased light throughput | |
US11741745B2 (en) | Multicolor illumination in an optical fingerprint sensor for anti-spoofing | |
JP2023531733A (ja) | バイオメトリック光学センサモジュールを備える電子デバイス |