JP2020512634A - 虹彩コードの蓄積および信頼性割当 - Google Patents

虹彩コードの蓄積および信頼性割当 Download PDF

Info

Publication number
JP2020512634A
JP2020512634A JP2019551609A JP2019551609A JP2020512634A JP 2020512634 A JP2020512634 A JP 2020512634A JP 2019551609 A JP2019551609 A JP 2019551609A JP 2019551609 A JP2019551609 A JP 2019551609A JP 2020512634 A JP2020512634 A JP 2020512634A
Authority
JP
Japan
Prior art keywords
iris
user
code
iris code
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019551609A
Other languages
English (en)
Other versions
JP7125950B2 (ja
Inventor
エイドリアン ケーラー,
エイドリアン ケーラー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2020512634A publication Critical patent/JP2020512634A/ja
Priority to JP2022077003A priority Critical patent/JP7342191B2/ja
Application granted granted Critical
Publication of JP7125950B2 publication Critical patent/JP7125950B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Detergent Compositions (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

虹彩認識に関連するシステムおよび方法が、開示される。虹彩画像を入手するように構成される、虹彩結像装置と、虹彩結像装置から第1の複数の虹彩画像を受信し、第1の複数の虹彩画像に対応する第1の複数の虹彩コードを生成し、虹彩セル場所に対応する分布メトリックを生成し、分布メトリックを使用して、第1の複合虹彩コードを生成し、第1の複合虹彩コードおよび第1の記憶された虹彩コードを使用して、第1の整合値を生成するように構成される、プロセッサとを備える、システムが開示される。

Description

(関連出願の相互参照)
本願は、2017年3月24日に出願された米国仮出願第62/476,513号の利益を主張するものであり、その各々は、全体が参照により本明細書中に援用される。
開示される実施例は、概して、アクセス制御または身元スクリーニングに使用される虹彩認識システム、および頭部搭載型ディスプレイデバイスを含むユーザウェアラブルデバイスに組み込まれるシステムを含む、虹彩認識に関する。
ヒトの眼の虹彩は、概して、個々のユーザに関して一意かつ恒久的であり、経時的に一貫し、確実に結像され得る、視覚パターンを提示する。虹彩画像データの認識および分析は、したがって、個々のユーザを識別するための有利な機構であり得る。ヒトの眼の虹彩を認識するように設計されるシステムは、セキュリティおよびアクセス制御用途において特に有用である。そのようなシステムは、多くの条件下で正確である、信頼性がある、および使用可能であることから利益を得る。したがって、虹彩認識システムは、例えば、画像入手および品質、対象状態、配向、および照明条件の変動に耐性があり、低い他人受入および本人拒否率を実現することによるものを含み、正確であることが望ましい。
本明細書では、虹彩認識を実施するためのデバイスおよび方法が説明される。いくつかの実施例では、虹彩画像が、例えば、システムのヒトユーザからカメラによって入手され、虹彩画像のビット単位の表現(「虹彩コード」)が、生成される。いくつかの実施例では、虹彩コードが、そのセルの中の虹彩構造に対応する配向データを決定するための公知の方法(フィルタリング技法またはウェーブレット技法等)を使用して、虹彩画像を正規化し、セルに分割し、2進表現をその配向データに割り当てることによって、生成される。いくつかの実施例では、生成された虹彩コードの可変セルは、虹彩コード比較の正確度を調節および向上させるように、識別および除外されてもよい。いくつかの実施例では、生成された虹彩コードは、蓄積され、「ファジー」虹彩コード値を生成するために使用され、これらのファジー虹彩コード値への種々の統計的方法の適用は、虹彩コード比較の向上した正確度をもたらし得る。
図1は、人物によって視認される仮想現実オブジェクトおよび物理的オブジェクトを伴う、複合現実シナリオを描写する。
図2は、ウェアラブルシステムの実施例を描写する。
図3は、ウェアラブルシステムの例示的コンポーネントを描写する。
図4は、画像情報をユーザに出力するためのウェアラブルデバイスの導波管スタックの実施例を描写する。
図5は、眼の実施例を描写する。
図5Aは、眼の眼姿勢を決定するための例示的座標系を描写する。
図6は、眼追跡システムを含む、ウェアラブルシステムを描写する。
図7は、虹彩認識システムの実施例を描写する。
図8は、虹彩コードを比較するための例示的プロセスを描写する。
図9は、虹彩コードを蓄積および比較するための例示的プロセスを描写する。
図10Aは、例示的2進虹彩コードおよび例示的ファジー虹彩コードを描写する。
図10Bは、2つの例示的ファジー虹彩コードを描写する。
図11は、任意の携帯用または非携帯用デバイス内で具現化され得る、システムアーキテクチャの実施例を図示する。
ウェアラブルシステムの例示的3Dディスプレイ
ウェアラブルシステム(本明細書では、拡張現実(AR)システムとも称される)は、2Dまたは3D仮想画像をユーザに提示するように構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、仮想現実(VR)、AR、または複合現実(MR)環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ARデバイス(ARD)と同義的に使用されることができる。さらに、本開示の目的のために、用語「AR」は、用語「MR」と同義的に使用される。
図1は、いくつかの実施形態による、人物によって視認される、あるVRオブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図1では、MR場面100が、描写され、MR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム120を特徴とする、実世界公園状設定110が見える。これらのアイテムに加え、MR技術のユーザはまた、コンクリートプラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
3Dディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節(accmmodation)応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
VR、AR、およびMR体験は、1つ以上の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく(例えば、場面またはオブジェクトの若干異なる提示を提供する)、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書の他の場所に議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図2は、いくつかの実施形態による、ウェアラブルシステム200の実施例を図示し、これは、AR/VR/MR場面を提供するように構成されることができる。ウェアラブルシステム200はまた、ARシステム200とも称され得る。ウェアラブルシステム200は、ディスプレイ220と、ディスプレイ220の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ220は、ユーザ、装着者、または視認者210によって装着可能である、フレーム230に結合されてもよい。ディスプレイ220は、ユーザ210の眼の正面に位置付けられることができる。ディスプレイ220は、AR/VR/MR場面をユーザ210に提示するができる。ディスプレイ220は、ユーザ210の頭部上に装着される、頭部搭載型ディスプレイ(HMD)を含むことができる。
いくつかの実施形態では、スピーカ240が、フレーム230に結合され、ユーザ210の外耳道に隣接して位置付けられる(いくつかの実施形態では、示されない別のスピーカが、ユーザ210の他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音響制御を提供する)。ディスプレイ220は、環境からオーディオストリームを検出し、周囲音を捕捉するためのオーディオセンサ(例えば、マイクロホン)232を含むことができる。いくつかの実施形態では、示されない1つ以上の他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム200は、音声または発話認識をオーディオストリームに実施することができる。
ウェアラブルシステム200は、ユーザ210の周囲の環境内の世界を観察する、外向きに面した結像システム464(図4に示される)を含むことができる。ウェアラブルシステム200はまた、ユーザ210の眼移動を追跡し得る、内向きに面した結像システム462(図4に示される)を含むことができる。内向きに面した結像システム462は、一方の眼の移動または両方の眼の移動のいずれかを追跡してもよい。内向きに面した結像システム462は、ユーザ210の虹彩の画像を撮影し、ユーザ210の虹彩の画像は、虹彩画像のビット単位の表現(「虹彩コード」)を生成するために使用されてもよい。内向きに面した結像システム462は、フレーム230に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報462を処理し、例えば、眼の瞳孔径または配向、ユーザ210の眼移動または眼姿勢、虹彩画像のビット単位の表現(「虹彩コード」)、および同等物を決定し得る、モジュール260または270と電気通信してもよい。内向きに面した結像システム462は、1つ以上のカメラを含んでもよい。例えば、少なくとも1つのカメラが、各眼を結像するために使用されてもよい。カメラによって入手される画像は、別個に眼毎に、瞳孔サイズ、眼姿勢、および/または虹彩コードを決定するために使用されてもよい。
実施例として、ウェアラブルシステム200は、外向きに面した結像システム464または内向きに面した結像システム462を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
ディスプレイ220は、有線導線または無線接続等によって、フレーム230に固定して取り付けられる、ユーザ210によって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ210に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載され得る、ローカル処理およびデータモジュール260に動作可能に結合されることができる(250)。
ローカル処理およびデータモジュール260は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリ)等のデジタルメモリを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、画像捕捉デバイス(例えば、内向きに面した結像システム462および/または外向きに面した結像システム464内のカメラ)、オーディオセンサ(例えば、マイクロホン232)、慣性測定ユニット(IMU)、加速度計、コンパス、全地球測位システム(GPS)ユニット、無線デバイス、またはジャイロスコープ等の(例えば、フレーム230に動作可能に結合される、または別様にユーザ210に取り付けられ得る)センサから捕捉されるデータ(a)、または場合によっては処理または読出後にディスプレイ220への通過のために、遠隔処理モジュール270または遠隔データリポジトリ280を使用して入手または処理されるデータ(b)を含んでもよい。ローカル処理およびデータモジュール260は、これらの遠隔モジュールがローカル処理およびデータモジュール260へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク262および/または264によって、遠隔処理モジュール270および/または遠隔データリポジトリ280に動作可能に結合されてもよい。加えて、遠隔処理モジュール280および遠隔データリポジトリ280は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール270は、データまたは画像情報を分析および処理するように構成される、1つ以上のプロセッサを含んでもよい。いくつかの実施形態では、遠隔データリポジトリ280は、デジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール260において実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
例示的ウェアラブルシステム
図3は、いくつかの実施形態による、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図3は、ウェアラブルシステム200を示し、これは、ディスプレイ220と、フレーム230とを含むことができる。引き伸ばし図202は、ウェアラブルシステム200の種々のコンポーネントを図式的に図示する。いくつかの実施形態では、図3に図示されるコンポーネントのうちの1つ以上のものは、ディスプレイ220の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム200のユーザ210と関連付けられる、またはユーザの環境の種々のデータ(例えば、オーディオまたは視覚データ等)を収集することができる。
他の実施形態は、ウェアラブルシステム200が使用される用途に応じて、付加的またはより少ないコンポーネントを有し得ることを理解されたい。なお、図3は、種々のコンポーネントのうちのいくつか、およびウェアラブルシステム200を通して収集、分析、および記憶され得るデータのタイプの概念を提供する。
図3は、例示的ウェアラブルシステム200を示し、これは、ディスプレイ220を含むことができる。ディスプレイ220は、ユーザ210の頭部またはフレーム230に対応する筐体に搭載され得る、ディスプレイレンズ226を含むことができる。ディスプレイレンズ226は、フレーム230によって、ユーザ210の眼302、304の正面に位置付けられる、1つ以上の透明ミラーを含んでもよく、投影された光338を眼302、304の中にバウンスさせ、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光338の波面は、投影された光の所望の焦点距離と一致するように屈曲または集束されてもよい。図示されるように、2つの広視野マシンビジョンカメラ316(世界カメラとも称される)が、フレーム230に結合され、ユーザ210の周囲の環境を結像することができる。これらのカメラ316は、二重捕捉式可視光/非可視(例えば、赤外線)光カメラ316であることができる。カメラ316は、図4に示される外向きに面した結像システム464の一部であってもよい。カメラ316によって入手された画像は、姿勢プロセッサ336によって処理されることができる。例えば、姿勢プロセッサ336は、1つ以上のオブジェクト認識装置を実装し、ユーザ210またはユーザ210の環境内の別の人物の姿勢を識別する、またはユーザ210の環境内の物理的オブジェクトを識別することができる。
光338を眼302、304の中に投影するように構成される、ディスプレイミラーおよび光学系を伴う、一対の走査式レーザ成形波面(例えば、深度のために)光プロジェクタモジュールが、示される。描写される図はまた、ユーザ210の眼302、304を追跡し、レンダリング、ユーザ入力、虹彩コード生成、および同等物をサポートすることが可能であるように構成される、IR光源326(発光ダイオード「LED」等)とペアリングされる、2つの小型赤外線(IR)カメラ324を示す。IRカメラ324は、図4に示される、内向きに面した結像システム462の一部であってもよい。ウェアラブルシステム200はさらに、センサアセンブリ339を特徴とすることができ、これは、X、Y、およびZ軸加速度計能力、および磁気コンパスと、X、Y、およびZ軸ジャイロスコープ能力とを含み、好ましくは、200Hz等の比較的に高周波数でデータを提供し得る。センサアセンブリ339は、IMUの一部であってもよい。ウェアラブルシステム200はまた、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、またはARMプロセッサ(高度縮小命令セット機械)等の頭部姿勢プロセッサ336を備えることができ、これは、リアルタイムまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス316から出力された広視野画像情報から計算するように構成されてもよい。頭部姿勢プロセッサ336は、ハードウェアプロセッサであることができ、図2Aに示されるローカル処理およびデータモジュール260の一部として実装されることができる。ウェアラブルシステムはまた、1つ以上の深度センサ234を含むことができる。深度センサ234は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されることができる。深度センサ234は、レーザスキャナ(例えば、LIDAR)、超音波深度センサ、または深度感知カメラを含んでもよい。カメラ316が深度感知能力を有する、ある実装では、カメラ316はまた、深度センサ234と見なされてもよい。また、示されるのは、デジタルまたはアナログ処理を実行し、姿勢をセンサアセンブリ339からのジャイロスコープ、コンパス、または加速度計データから導出するように構成される、プロセッサ332である。プロセッサ332は、図2に示される、ローカル処理およびデータモジュール260の一部であってもよい。ウェアラブルシステム200はまた、例えば、GPS337(全地球測位システム)等の測位システムを含み、姿勢および測位分析を補助することができる。加えて、GPS337はさらに、ユーザ210の環境についての遠隔ベース(例えば、クラウドベース)の情報を提供してもよい。本情報は、ユーザ210の環境内のオブジェクトまたは情報を認識するために使用されてもよい。
ウェアラブルシステム200は、GPS337および遠隔コンピューティングシステム(例えば、遠隔処理モジュール270、別のユーザのARD等)によって入手されたデータを組み合わせてもよく、これは、ユーザ210の環境についてのより多くの情報を提供することができる。一実施例として、ウェアラブルシステム200は、GPSデータに基づいて、ユーザ210の場所を決定し、ユーザ210の場所と関連付けられた仮想オブジェクトを含む、世界マップを読み出すことができる(例えば、遠隔処理モジュール270と通信することによって)。別の実施例として、ウェアラブルシステム200は、カメラ316(図4に示される外向きに面した結像システム464の一部であり得る)を使用して、ユーザ210の環境を監視することができる。カメラ316によって入手された画像に基づいて、ウェアラブルシステム200は、環境内のオブジェクトを検出することができる。ウェアラブルシステム200はさらに、GPS337によって入手されたデータを使用して、オブジェクトを解釈することができる。
ウェアラブルシステム200はまた、レンダリングエンジン334を含んでもよく、これは、ユーザ210のための世界のビューのために、ユーザ210にローカルなレンダリング情報を提供し、スキャナの動作およびユーザの眼302、304の中への結像を促進するように構成されることができる。レンダリングエンジン334は、ハードウェアプロセッサ(例えば、中央処理ユニットまたはグラフィック処理ユニット等)によって実装されてもよい。いくつかの実施形態では、レンダリングエンジン334は、ローカル処理およびデータモジュール260の一部である。レンダリングエンジン334は、ウェアラブルシステム200の他のコンポーネントに通信可能に結合されることができる(例えば、有線または無線リンクを介して)。例えば、レンダリングエンジン334は、通信リンク274を介して、IRカメラ324に結合され、通信リンク272を介して、投影サブシステム318(網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザ210の眼302、304の中に投影し得る)に結合されることができる。レンダリングエンジン334はまた、それぞれ、リンク276および294を介して、例えば、センサ姿勢プロセッサ332および姿勢プロセッサ336等の他の処理ユニットと通信することができる。
IRカメラ324(例えば、小型赤外線カメラ)は、眼を追跡し、レンダリング、ユーザ入力、虹彩コード生成、および同等物をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度(眼の輻輳・開散運動(vergence)を用いて推定され得る)を含んでもよい。GPS337、ジャイロスコープ、コンパス、および加速度計、センサアセンブリ339、および同等物は、大まかなまたは高速姿勢推定を提供するために利用されてもよい。カメラ316のうちの1つ以上のものは、画像および姿勢を入手することができ、これは、関連付けられたクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザ210のビューを他のユーザと共有するために利用されてもよい。
図3に描写される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実施形態は、これらのセンサまたはモジュールの1つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図3に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等の他のコンポーネントに搭載される、またはその中に格納されてもよい。一実施例として、画像姿勢プロセッサ336、センサ姿勢プロセッサ332、およびレンダリングエンジン334は、ベルトパック内に位置付けられ、超広帯域、Wi−Fi、Bluetooth(登録商標)、および同等物等の無線通信を介して、または有線通信を介して、ウェアラブルシステム200の他のコンポーネントと通信するように構成されてもよい。描写されるフレーム230は、好ましくは、ユーザ210によって頭部搭載可能かつ装着可能である。しかしながら、ウェアラブルシステム200のいくつかのコンポーネントは、ユーザ210の身体の他の部分に装着されてもよい。例えば、スピーカ240が、ユーザ210の耳の中に挿入され、音をユーザ210に提供してもよい。
投影された光338に関して、いくつかの実施形態では、IRカメラ324は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳される場所を測定するために利用されてもよい。眼が輻輳する全ての点の3次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影された光は、眼302、304に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。本開示のウェアラブルシステムおよび他のディスプレイシステムの実施例はまた、米国特許公開第2016/0270656号(参照することによってその全体として本明細書に組み込まれる)に説明される。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動移動と遠近調節の組み合わせに起因して、オブジェクトを3次元として知覚し得る。相互に対する2つの眼の輻輳・開散運動移動(例えば、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転)は、眼の水晶体の合焦(または「遠近調節」)と緊密に関連付けられる。通常条件下、焦点を1つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、「遠近調節−輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な整合を提供するディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
さらに、約0.7ミリメートル未満のビーム直径を伴う空間的にコヒーレントな光は、眼が合焦している場所にかかわらず、ヒトの眼によって正しく解決されることができる。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、IRカメラ324を用いて追跡されてもよく、レンダリングエンジン334および投影サブシステム318は、単視軌跡上またはそれに近接する全てのオブジェクトを合焦させ、(例えば、意図的に作成されたぼけを使用して)全ての他のオブジェクトを変動する程度に焦点をずらしてレンダリングするために利用されてもよい。好ましくは、ディスプレイ220は、ユーザに、約60フレーム/秒以上のフレームレートでレンダリングする。上記に説明されるように、好ましくは、IRカメラ324は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力および虹彩コード生成としての役割も果たすための焦点場所キューも取り上げるように構成されてもよい。好ましくは、そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成される。
いくつかの実施形態では、ディスプレイ220は、好ましくは、視覚的オブジェクト整合のために約20ミリ秒未満の待ち時間、約0.1度未満の角度整合、および約1弧分の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム220は、位置特定システムと統合されてもよく、これは、GPS要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る。位置特定情報は、関連世界のユーザ210のビュー内における正確なレンダリングを促進するために利用されてもよい(例えば、そのような情報は、眼鏡が実世界に対する場所を把握することを促進するであろう)。
いくつかの実施形態では、ウェアラブルシステム200は、ユーザ210の眼302、304の遠近調節に基づいて、1つ以上の仮想画像を表示するように構成される。ユーザ210に画像が投影されている場所に合焦させるように強制する、他の3Dディスプレイアプローチと異なり、いくつかの実施形態では、ウェアラブルシステム200は、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザ210に提示される1つ以上の画像のより快適な視認を可能にするように構成される。例えば、ユーザ210の眼302、304が、1mの現在の焦点を有する場合、画像は、ユーザ210の焦点と一致するように投影されてもよい。ユーザ210が、焦点を3mに偏移させる場合、画像は、新しい焦点と一致するように投影される。したがって、ユーザ210に所定の焦点を強制するのではなく、ウェアラブルシステム200は、いくつかの実施形態では、ユーザ210の眼302、304がより自然な様式において機能することを可能にする。
そのようなウェアラブルシステム200は、VRデバイスに対して典型的に観察される、眼精疲労、頭痛、および他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ウェアラブルシステム200の種々の実施形態は、1つ以上の可変焦点要素(VFE)を通して、仮想画像を可変焦点距離に投影するように構成される。いくつかの実施形態では、3D知覚は、画像をユーザ210から離れた固定焦点面に投影する、多平面焦点システムを通して達成されてもよい。いくつかの実施形態は、可変平面焦点を採用し、焦点面は、ユーザ210の焦点の現在の状態と一致するように、z−方向に前後に移動される。
多平面焦点システムおよび可変平面焦点システムの両方において、ウェアラブルシステム200は、眼追跡を採用し、眼302、304の輻輳・開散運動を決定し、ユーザ210の現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。他の実施形態では、ウェアラブルシステム200は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、可変焦点の光ビームをラスタパターンで可変に投影する、光変調器を含む。したがって、画像を可変焦点距離に投影するウェアラブルシステム200のディスプレイの能力は、ユーザがオブジェクトを3Dにおいて視認するための遠近調節を容易にするだけではなく、また、米国特許公開第2016/0270656号(参照することによってその全体として本明細書に組み込まれる)にさらに説明されるように、ユーザの眼球異常を補償するために使用されてもよい。いくつかの実施形態では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザ210に投影してもよい。例えば、以下にさらに説明されるように、空間光変調器は、画像を1つ以上の導波管上に投影してもよく、これは、次いで、画像をユーザ210に伝送する。
導波管スタックアセンブリ
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、4400bを使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ480を含む。いくつかの実施形態では、ウェアラブルシステム400は、図2のウェアラブルシステム200に対応してもよく、図4は、そのウェアラブルシステム200のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ480は、図2のディスプレイ220の中に統合されてもよい。
図4を継続して参照すると、導波管アセンブリ480はまた、複数の特徴458、456、454、452を導波管間に含んでもよい。いくつかの実施形態では、特徴458、456、454、452は、レンズであってもよい。他の実施形態では、特徴458、456、454、452は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい(例えば、空気間隙を形成するためのクラッディング層または構造)。
導波管456、454、452は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス420、422、424、426、428は、それぞれ、眼410に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管440b、438b、436b、434b、432bの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス420、422、424、426、428の出力表面から出射し、導波管440b、438b、436b、434b、432bの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度(および発散量)において眼410に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス420、422、424、426、428は、それぞれ、対応する導波管440b、438b、436b、434b、432bの中への投入のための画像情報をそれぞれ生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス420、422、424、426、428は、例えば、1つ以上の光学導管(光ファイバケーブル等)を介して、画像情報を画像投入デバイス420、422、424、426、428のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ460が、スタックされた導波管アセンブリ480および画像投入デバイス420、422、424、426、428の動作を制御する。コントローラ460は、導波管440b、438b、436b、434b、432bへの画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性コンピュータ可読媒体内の命令)を含む。いくつかの実施形態では、コントローラ460は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ460は、いくつかの実施形態では、処理モジュール260または270(図2に図示される)の一部であってもよい。
導波管440b、438b、436b、434b、432bは、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管440b、438b、436b、434b、432bはそれぞれ、主要な上部および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管440b、438b、436b、434b、432bはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼410に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素440a、438a、436a、434a、432aを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素(440a、438a、436a、434a、432a)は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管440b、438b、436b、434b、432bの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、上部または底部主要表面に配置されてもよい、または導波管440b、438b、436b、434b、432bの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、透明基板に取り付けられ、導波管440b、438b、436b、434b、432bを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管440b、438b、436b、434b、432bは、材料のモノリシック部品であってもよく、光抽出光学要素440a、438a、436a、434a、432aは、その材料部品の表面上および/または内部に形成されてもよい。
図4を継続して参照すると、本明細書に議論されるように、各導波管440b、438b、436b、434b、432bは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管432bは、そのような導波管432bの中に投入されるにつれて、コリメートされた光を眼410に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管434bは、眼410に到達し得る前に、第1のレンズ452(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。第1のレンズ452は、眼/脳が、その次の上方の導波管434bから生じる光を光学無限遠から眼410に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管436bは、眼410に到達する前に、その出力光を第1のレンズ452および第2のレンズ454の両方を通して通過させる。第1および第2のレンズ452および454の組み合わせられた屈折力は、眼/脳が、第3の導波管436bから生じる光が次の上方の導波管434bからの光であった光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層(例えば、導波管438b、440b)およびレンズ(例えば、レンズ456、458)も同様に構成され、スタック内の最高導波管440bを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ480の他側の世界470から生じる光を視認/解釈するとき、レンズ458、456、454、452のスタックを補償するために、補償レンズ層430が、スタックの上部に配置され、下方のレンズスタック458、456、454、452の集約力を補償してもよい。(補償レンズ層430およびスタックされた導波アセンブリ480は、全体として、世界470から生じる光が、スタックされた導波アセンブリ480によって最初に受信されたときに光が有したものと実質的に同一レベルの発散(またはコリメーション)において、眼410に伝達されるように、構成されてもよい。)そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい(例えば、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図4を継続して参照すると、光抽出光学要素440a、438a、436a、434a、432aは、光をその個別の導波管から再指向し、かつ導波管と関連付けられた特定の深度平面のための適切な量の発散またはコリメーションを用いて本光を出力することの両方のために構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素440a、438a、436a、434a、432aは、具体的角度において光を出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素440a、438a、436a、434a、432aは、体積ホログラム、表面ホログラム、および/または回折格子であってもよい。回折格子等の光抽出光学要素は、2015年6月25日に公開された米国特許公開第2015/0178939号(参照することによってその全体として本明細書に組み込まれる)に説明される。
いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、回折パターンを形成する回折特徴または「回折光学要素」(本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみが、DOEの各交差点を用いて、眼410に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼304に向かって非常に均一なパターンの出射放出となることができる。
いくつかの実施形態では、1つ以上のDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なDOEは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる(その場合、パターンは、入射光を能動的に回折させる)。
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である1つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第1の深度平面および第2の深度平面の両方の詳細を1つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの2つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、2つの導波管と関連付けられた2つの深度平面間を区別不能である場合、コントローラ460(ローカル処理およびデータモジュール260の実施形態であり得る)は、これらの導波管のうちの1つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのDOEがオンおよびオフ状態間で切替可能である実施形態では、DOEは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム400は、世界470の一部を結像する、外向きに面した結像システム464(例えば、デジタルカメラ)を含むことができる。世界470の本部分は、世界カメラの視野(FOV)と称され得、結像システム464は、時として、FOVカメラとも称される。世界カメラのFOVは、視認者210のFOVと同一である場合とそうではない場合があり、これは、視認者210が所与の時間に知覚する、世界470の一部を包含する。例えば、いくつかの状況では、世界カメラのFOVは、ウェアラブルシステム400の視認者210の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野(FOR)と称され得る。FORは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、ウェアラブルシステム400を囲繞する4πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のFORは、より小さい立体角に接し得る。外向きに面した結像システム464から得られた画像は、ユーザによって行われるジェスチャ(例えば、手または指のジェスチャ)を追跡し、ユーザの正面における世界470内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム400は、オーディオセンサ232、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実施形態では、1つ以上の他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ232は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム400は、発話源を特定する際に、または特定の瞬間等にアクティブな話者を決定するために、外向きに面した結像システム464およびオーディオセンサ230の両方からの情報を使用することができる。例えば、ウェアラブルシステム400は、単独で、または(例えば、ミラーで見られるような)話者の反射画像と組み合わせて、音声認識を使用し、話者の身元を決定することができる。別の実施例として、ウェアラブルシステム400は、指向性マイクロホンから入手される音声に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム400は、発話認識アルゴリズムを用いて、話者の位置から生じる音声を解析して発話の内容を決定し、音声認識技法を使用して話者の身元(例えば、氏名または他の人口統計情報)を決定することができる。
ウェアラブルシステム400はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム466(例えば、デジタルカメラ)を含むことができる。内向きに面した結像システム466は、眼410の画像を捕捉し、眼304の瞳孔のサイズおよび/または配向を決定するために使用されてもよい。内向きに面した結像システム466は、ユーザが見ている方向(例えば、眼姿勢)を決定する際に使用するため、または(例えば、虹彩識別を介した)ユーザのバイオメトリック識別のための画像を得るために使用されることができる。いくつかの実施形態では、少なくとも1つのカメラが、眼毎に、独立して、各眼の瞳孔サイズおよび/または眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼410のみの瞳孔直径または配向(例えば、一対の眼あたり単一カメラのみを使用して)が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに面した結像システム466によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム400によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム400はまた、IMU、加速度計、ジャイロスコープ、および同等物等のセンサを使用して、頭部姿勢(例えば、頭部位置または頭部配向)を決定してもよい。
ウェアラブルシステム400は、ユーザが、コマンドをコントローラ460に入力し、ウェアラブルシステム400と相互作用し得る、ユーザ入力デバイス466を含むことができる。例えば、ユーザ入力デバイス466は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度(DOF)コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド(Dパッド)、ワンド、触知デバイス、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)等を含むことができる。マルチDOFコントローラは、コントローラの一部または全部の可能性として考えられる平行移動(例えば、左/右、前方/後方、または上/下)または回転(例えば、ヨー、ピッチ、またはロール)におけるユーザ入力を感知することができる。平行移動をサポートする、マルチDOFコントローラは、3DOFと称され得る一方、平行移動および回転をサポートする、マルチDOFコントローラは、6DOFと称され得る。ある場合には、ユーザは、指(例えば、親指)を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム400に提供してもよい(例えば、ユーザ入力をウェアラブルシステム400によって提供されるユーザインターフェースに提供するために)。ユーザ入力デバイス466は、ウェアラブルシステム400の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス466は、ウェアラブルシステム400と有線または無線通信することができる。
ウェアラブルシステムの他のコンポーネント
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、1つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ(例えば、ドラゴン)の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい(例えば、ユーザウェアラブルグローブ)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、1つ以上の物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造(例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ)を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの1つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの1つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス466(図4に示される)は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、HMD、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第2015/0016777号(参照することによってその全体として本明細書に組み込まれる)に説明される。
例示的眼画像
図5は、眼瞼504、強膜508(「白」眼)、虹彩512、および瞳孔516を伴う眼500の画像を図示する。曲線516aは、瞳孔516と虹彩512との間の瞳孔境界を示し、曲線512aは、虹彩512と強膜508との間の辺縁境界を示す。眼瞼504は、上眼瞼504aおよび下眼瞼504bを含む。眼500は、(例えば、ユーザの顔および凝視が両方とも、ユーザの直接前の遠隔オブジェクトに向かうであろう際に配向される)自然静止姿勢で図示される。眼500の自然静止姿勢は、自然静止姿勢(例えば、図5に示される眼500の平面の直接外)にあり、本実施例では、瞳孔516内で心合されたときに、眼500の表面と直交する方向である、自然静止方向520によって示されることができる。
眼500が移動して異なるオブジェクトに向かって見ると、眼姿勢は、自然静止方向520に対して変化するであろう。現在の眼姿勢は、眼500の表面に直交する(かつ瞳孔516内で心合される)が、眼が現在指向されているオブジェクトに向かって配向される方向である、眼姿勢方向524を参照して決定されることができる。図5Aに示される例示的座標系を参照すると、眼500の姿勢は、両方とも眼の自然静止方向520に対して眼の眼姿勢方向524の方位角偏向および天頂偏向を示す、2つの角度パラメータとして表されることができる。例証の目的のために、これらの角度パラメータは、θ(基準方位角から決定される方位角偏向)およびφ(時として極性偏向とも称される天頂偏向)として表されることができる。いくつかの実施形態では、眼姿勢方向524の周囲の眼の角度ロールが、眼姿勢の決定に含まれることができ、角度ロールは、以降の分析に含まれることができる。いくつかの実施形態では、眼姿勢を決定するための他の技法、例えば、ピッチ、ヨー、および随意に、ロールシステムが、使用されることができる。
眼画像は、任意の適切なプロセスを使用して、例えば、1つ以上の連続フレームから画像を抽出し得るビデオ処理アルゴリズムを使用して、ビデオから得られることができる。眼の姿勢は、種々の眼追跡技法を使用して、眼画像から決定されることができる。例えば、眼姿勢は、提供される光源への角膜のレンズ効果を考慮することによって決定されることができる。任意の好適な眼追跡技法が、本明細書に説明される眼瞼形状推定技法において眼姿勢を決定するために使用されることができる。
例示的眼追跡システム
図6は、眼追跡システムを含む、ウェアラブルシステム600の概略図を描写する。ウェアラブルシステム600は、いくつかの実施形態では、頭部搭載型ユニット602の中に位置するコンポーネントと、非頭部搭載型ユニット604の中に位置するコンポーネントとを含んでもよい。非頭部搭載型ユニット604は、実施例として、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、バックパックの中のコンポーネント、遠隔コンポーネント、および同等物であってもよい。非頭部搭載型ユニット604の中にウェアラブルシステム600のコンポーネントのうちのいくつかを組み込むことは、頭部搭載型ユニット602のサイズ、重量、複雑性、および費用を削減することに役立ち得る。いくつかの実装では、頭部搭載型ユニット602および/または非頭部搭載型604の1つ以上のコンポーネントによって実施されるものとして説明される機能性の一部または全ては、ウェアラブルシステム600の中の他の場所に含まれる1つ以上のコンポーネントを介して提供されてもよい。例えば、頭部搭載型ユニット602のCPU612に関連して下記に説明される機能性の一部または全ては、非頭部搭載型ユニット604のCPU616を介して提供されてもよく、その逆も同様である。いくつかの実施例では、そのような機能性の一部または全ては、ウェアラブルシステム600の周辺デバイスを介して提供されてもよい。さらに、いくつかの実装では、そのような機能性の一部または全ては、図2を参照して上記に説明されているものに類似する様式で、1つ以上のクラウドコンピューティングデバイスまたは他の遠隔に位置するコンピューティングデバイスを介して提供されてもよい。
図6に示されるように、ウェアラブルシステム600は、ユーザの眼610の画像を捕捉するカメラ324を含む、眼追跡システムを含むことができる。所望される場合、眼追跡システムはまた、光源326aおよび326b(発光ダイオード「LED」等)を含んでもよい。光源326aおよび326bは、閃光(すなわち、カメラ324によって捕捉される眼の画像に現れる眼610からの反射)を生成してもよい。カメラ324に対する光源326aおよび326bの位置が、把握されてもよく、結果として、カメラ324によって捕捉される画像内の閃光の位置が、眼610を追跡する際に使用されてもよい。いくつかの実施形態では、眼610のうちの単一のものと関連付けられる、1つの光源326および1つのカメラ324が存在し得る。いくつかの実施形態では、眼610のそれぞれと関連付けられる、1つの光源326および1つのカメラ324が存在し得る。いくつかの実施形態では、眼610のうちの一方またはそれぞれと関連付けられる、1つ以上のカメラ324および1つ以上の光源326が存在し得る。いくつかの実施形態では、眼610のそれぞれと関連付けられる、2つの光源326aおよび326bおよび1つ以上のカメラ324が存在し得る。いくつかの実施形態では、眼610のそれぞれと関連付けられる、光源326aおよび326b等の3つ以上の光源および1つ以上のカメラ324が存在し得る。
眼追跡モジュール614は、眼追跡カメラ324から画像を受信してもよく、画像を分析して種々の情報を抽出してもよい。実施例として、眼追跡モジュール614は、眼610の姿勢、眼追跡カメラ324(および頭部搭載型ユニット602)に対する眼610の3次元位置、眼610の一方または両方が合焦される方向、ユーザの輻輳・開散運動深度(すなわち、ユーザが合焦しているユーザからの深度)、瞳孔の位置、角膜および角膜球体の位置、眼のそれぞれの回転中心、および眼、眼の虹彩、および同等物の視点中心を検出してもよい。図6に示されるように、眼追跡モジュール614は、頭部搭載型ユニット602の中のCPU612を使用して実装されるモジュールであってもよい。
眼追跡モジュール614からのデータは、ウェアラブルシステム600の中の他のコンポーネントに提供されてもよい。実施例として、そのようなデータは、明視野レンダリングコントローラ618および虹彩モジュール620のためのモジュールを含む、CPU616等の非頭部搭載型ユニット604の中のコンポーネントに伝送されてもよい。
レンダリングコントローラ618は、眼追跡モジュール614からの情報を使用し、レンダリングエンジン624(例えば、GPU6620の中のモジュールであり得、画像をディスプレイ220に提供し得る、レンダリングエンジン)によってユーザに表示される画像を調節してもよい。
時として、「ピンホール視点カメラ」(または単純に「視点カメラ」)または「仮想ピンホールカメラ」(または単純に「仮想カメラ」)とも称される、「レンダリングカメラ」は、おそらく仮想世界内のオブジェクトのデータベースからの仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、かつおそらくユーザまたは装着者を囲繞する環境内の実際のオブジェクトに対する、場所および配向を有してもよい。換言すると、レンダリングカメラは、ユーザまたは装着者がレンダリング空間の3D仮想コンテンツ(例えば、仮想オブジェクト)を視認するレンダリング空間内の視点を表してもよい。レンダリングカメラは、眼610に提示される仮想オブジェクトのデータベースに基づいて仮想画像をレンダリングするように、レンダリングエンジン624によって管理されてもよい。仮想画像は、ユーザの視点から撮影された場合のようにレンダリングされてもよい。例えば、仮想画像は、内因性パラメータの具体的セット(例えば、焦点距離、カメラピクセルサイズ、主点座標、傾斜/歪曲パラメータ等)および外因性パラメータの具体的セット(例えば、仮想世界に対する平行移動成分および回転成分)を有する、ピンホールカメラ(「レンダリングカメラ」に対応する)によって捕捉された場合のようにレンダリングされてもよい。仮想画像は、レンダリングカメラの位置および配向(例えば、レンダリングカメラの外因性パラメータ)を有する、そのようなカメラの視点から撮影される。本システムは、内因性および外因性レンダリングカメラパラメータを定義および/または調節し得ることになる。例えば、本システムは、仮想画像が、ユーザの視点からであるように見える画像を提供するように、眼に対する具体的場所を有するカメラの視点から捕捉された場合のようにレンダリングされ得るように、外因性レンダリングカメラパラメータの特定のセットを定義し得る。本システムは、後に、該具体的場所との位置合わせを維持するように、外因性レンダリングカメラパラメータをオンザフライで動的に調節してもよい。同様に、内因性レンダリングカメラパラメータが、定義され、経時的に動的に調節されてもよい。いくつかの実装では、画像は、ユーザまたは装着者の眼に対する具体的場所(視点中心または回転中心または他の場所等)に開口(例えば、ピンホール)を有する、カメラの視点から捕捉された場合のようにレンダリングされる。
いくつかの実施形態では、本システムは、ユーザの眼が相互から物理的に分離され、したがって、異なる場所に一貫して位置付けられると、ユーザの左眼のための1つのレンダリングカメラおよびユーザの右眼のための別のレンダリングカメラを作成する、または動的に再配置および/または再配向してもよい。少なくともいくつかの実装では、視認者の左眼と関連付けられるレンダリングカメラの視点からレンダリングされる仮想コンテンツは、頭部搭載型ディスプレイ(例えば、頭部搭載型ユニット602)の左側のアイピースを通してユーザに提示され得、右眼と関連付けられるレンダリングカメラの視点からレンダリングされる仮想コンテンツは、そのような頭部搭載型ディスプレイの右側のアイピースを通してユーザに提示され得ることになる。レンダリングプロセスにおけるレンダリングカメラの作成、調節、および使用について議論するさらなる詳細は、「METHODS AND SYSTEMS FOR DETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION」と題された米国特許出願第15/274,823号(あらゆる目的のために参照することによってその全体として本明細書に明示的に組み込まれる)の中で提供される。
いくつかの実施例では、ウェアラブルシステム600の1つ以上のモジュール(またはコンポーネント)(例えば、明視野レンダリングコントローラ618、レンダリングエンジン624、および同等物)は、(例えば、それぞれ、頭部姿勢および眼追跡データから決定されるような)ユーザの頭部および眼の位置および配向に基づいて、レンダリング空間内のレンダリングカメラの位置および配向を決定してもよい。
すなわち、ウェアラブルシステム600は、ユーザの頭部および眼の位置および配向を3D仮想環境内の特定の場所および角度位置に効果的にマッピングし、3D仮想環境内の特定の場所および角度位置にレンダリングカメラを配置および配向し、ユーザのための仮想コンテンツをレンダリングカメラによって捕捉されるであろうものとしてレンダリングしてもよい。実世界・仮想世界マッピングプロセスについて議論するさらなる詳細は、「SELECTING VIRTUAL OBJECTS IN A THREE−DIMENSIONAL SPACE」と題された米国特許出願第15/296,869号(あらゆる目的のために参照することによってその全体として本明細書に明示的に組み込まれる)の中で提供される。実施例として、レンダリングコントローラ618は、画像を表示するために任意の所与の時間に利用される深度平面(または複数の深度平面)を選択することによって、画像が表示される深度を調節してもよい。いくつかの実装では、そのような深度平面切替は、1つ以上の内因性レンダリングカメラパラメータの調節を通して実施されてもよい。
虹彩モジュール620は、眼追跡モジュール614からの情報を使用し、例えば、下記に説明されるような虹彩コードを生成してもよい。例えば、虹彩モジュール620は、画像プロセッサと、虹彩コード発生器と、虹彩コード分析器と、データベースと、アクセス制御モジュールと、下記に説明されるような任意の他の好適なコンポーネントとを含んでもよい
虹彩認識
虹彩認識システムは、種々の環境、例えば、集団のデータベースから具体的人物を識別する、建物/部屋アクセス制御システム、銀行識別検証、および空港スクリーニングプログラムで使用される。虹彩認識システムは、虹彩の1つ以上の入手された画像からの入手された画像データ、例えば、カメラを用いてユーザの眼から入手された虹彩画像からの虹彩コードを、1つ以上の虹彩画像からのデータの(例えば、データベース内の)セットに対して比較しようとしてもよい。入手された画像データがセットの中で見出される(「整合」)場合、虹彩認識システムは、ユーザがセットの中にいることを示してもよく、ユーザを識別および/または認証してもよい。入手された画像データがセットの中で見出されない(「不整合」)場合、虹彩認識システムは、ユーザがセットの中にいないことを示してもよく、ユーザを認証しない場合がある。本明細書に説明されるシステムおよび方法は、ユーザウェアラブルデバイスを組み込むものを含む、種々の虹彩認識システムと併用されてもよい。そのようなユーザウェアラブルデバイスは、ユーザの虹彩から画像データを入手するように構成される結像デバイスを含み得る、頭部搭載型ディスプレイデバイスを含んでもよい。
虹彩認識は、ヒトの指紋、声、または顔を認識するように設計されるもの等の他のバイオメトリックシステムより耐性があり、堅調であり得る。例えば、虹彩認識システムは、画像サイズ(瞳孔サイズを含む)、位置、および配向の有意な変動に適応してもよい。虹彩認識システムはまた、虹彩画像等の入力データが非常に異なる条件下で入手され、非常に異なって見え得る場合でさえも、高い感度を呈し得る。
虹彩認識システムは、上記に説明されるような頭部搭載型ディスプレイデバイスに関連して使用するために特に望ましくあり得る。そのようなデバイスの目標は、頻繁に、例えば、デバイスのディスプレイ上に提示されるような仮想環境への没入感を達成することである。没入感覚は、仮想環境からユーザを心理的に引き出し得る、マウスおよびキーボード等の入力デバイスに取って代わる、またはそれを増補するように、虹彩走査の使用によって増進されることができる。虹彩認識システムを介して虹彩入力を提供することは、従来の入力デバイスを使用するよりも自然または直感的として知覚され得る。さらに、ユーザの自分の実際の環境のビューが覆い隠される用途(例えば、仮想現実)では、そのような入力デバイスの使用は、デバイスを見るユーザの能力が損なわれ得るため困難であり得る。マウスまたはキーボードと異なり、例えば、頭部搭載型デバイスに対して(拡張によってユーザの眼に)固定されるカメラは、ユーザによってアクションが殆どまたは全く要求されることなく、実際の環境のユーザのビューが覆い隠されている間に、および/またはユーザの手が他のタスクに専念している間に、(例えば、ユーザの眼を走査することによって)ユーザ入力を得ることができる。1つの例示的用途として、虹彩認識を使用し、仮想環境を表す仮想現実デバイスのユーザを認証することは、キーボードを使用してパスワードを入力すること等の潜在的に煩雑な認証手順を回避することによって、仮想環境へのユーザの没入感を維持または留保することができる。同様に、虹彩認識は、入力を支払システムに提供する、セキュアシステムまたは特徴をロック解除または有効にする、個人的に識別可能な情報(例えば、医療記録)へのアクセスを提供する、または比較的にシームレスかつ直感的な様式で他の好適な機能を果たすために、頭部搭載型デバイスで使用されることができる。
虹彩認識システムに関して、虹彩コードが、虹彩画像から生成され、他の虹彩画像からの虹彩コードに対する比較に使用されてもよい。一般的に言えば、2つの虹彩コードを比較し、それらが同一の虹彩に属するかどうかを決定することは、試験の不合格が、虹彩コードが整合であることを示す、統計的独立の試験を適用することである。虹彩コードが多くの自由度を有する、いくつかの実施例では、2つの異なる眼の虹彩画像の虹彩コード間の誤整合、すなわち、虹彩画像の2つの虹彩コードが同一のユーザに属するという誤った識別の可能性は、非常に低い。誤整合の仮定上の見込みは、例えば、使用される整合パラメータに応じて、100,000分の1〜100兆分の1に及び得る。例えば、誤整合の見込みは、(例えば、小規模虹彩コードデータベースに対して)虹彩認識が比較的に少数の潜在的ユーザの検証を実施するために使用される場合はより低い、(例えば、大規模虹彩コードデータベースに対して)または虹彩認識が比較的多数の潜在的ユーザの検証を実施するために使用される場合はより高くあり得る。
図7は、いくつかの実施形態による、虹彩認識システムの実施例を描写する。例示的虹彩認識システム1000(以降では「システム1000」と称される)は、システム1000のユーザの眼の虹彩1020の画像のうちの1つ以上のものを入力および分析するように構成され、1つ以上の機能1200(以降では「機能1200」と称される)へのアクセスを制御してもよい。いくつかの実施例では、虹彩認識システム1000は、虹彩1020のデジタル強度画像等の画像を生成するために使用され得る、眼結像カメラ1040(以降では、「カメラ1040」と称される)を含むように構成されてもよい。いくつかの実施例では、カメラ1040によって生成される1つ以上の画像は、画像プロセッサ1060に入力される。いくつかの実施例では、画像プロセッサ1060は、虹彩コード発生器1120によって数値虹彩コードに変換され得るように、(単独で、または内部センサ1080および/または外部センサ1100からの付加的入力を用いて)画像を操作する。いくつかの実施例では、虹彩コード分析器1140は、既存の虹彩コード(関係データベース等のデータベース1160の中に記憶され得る)に対して虹彩コードを比較し、ユーザの身元に関連する1つ以上の値を決定する。いくつかの実施例では、アクセスコントローラ1180は、これらの1つ以上の値を使用し、ユーザが機能1200を利用し得るかどうか、およびその方法を決定する。いくつかの実施例では、内部センサ1080および/または外部センサ1100からの入力は、アクセスコントローラ1180を補助するために使用される。いくつかの実施例では、これらのコンポーネントのうちの1つ以上のものは、図6に関して上記に説明される虹彩モジュール620の中に含まれてもよい。
カメラ1040は、虹彩1020の画像に対応する画像データを出力する。カメラ1040は、汎用光学カメラ、または、例えば、(例えば、カメラ1040が頭部搭載型デバイスの中で虹彩1020に近接近して搭載され得るように)近い焦点距離において、または虹彩1020全体の合焦画像を得るために十分な被写界深度を用いて、オブジェクトを結像する能力を処理することによって、ヒト虹彩を結像するために特別に構成されるカメラであってもよい。いくつかの実施例は、接近眼結像(例えば、頭部搭載型デバイスの場合のように、カメラ1040と眼との間の12インチ未満)のために構成されもよいが、他の実施例は、例えば、2〜10フィートまたは10〜30フィート以上の、中間またはより長い距離の眼結像のために構成されもよい。いくつかの実施例では、カメラ1040は、デジタル画像センサ(CCDセンサ等)を含み、画像センサの対応する領域(例えば、ピクセル)に入射する光の強度に対応する一連の値を出力する。例えば、画像センサは、ピクセルに入射する光の強度が0〜255の単一の値として表される、8ビットグレースケール画像を出力してもよい。いくつかの実施例では、画像センサは、ピクセルに入射する光の強度が、それぞれ、赤色、緑色、および青色光の強度を表す、0〜255の3つの値として表される、24ビットカラー画像を出力してもよい。画像データの他の眼結像技術および表現も、可能であり、具体的システム要件に応じて、好ましくあり得る。
画像プロセッサ1060を使用する実施例では、カメラ1040によって出力される画像データは、画像プロセッサ1060に入力されてもよい。画像プロセッサ1060は、画像データに1つ以上の処理動作を実施し、例えば、その画像データから生成される虹彩コードの信頼性を向上させ、次いで、例えば、処理された画像データを虹彩コード発生器1120に出力してもよい。いくつかの実施例では、画像プロセッサ1060は、例えば、フーリエまたはウェーブレット変換を使用し、合焦画像と相関性がある中間および上限周波数の存在を決定することによって、虹彩画像が合焦している程度を決定してもよい。焦点情報は、低品質画像を拒否するため、または非合焦画像から生成される虹彩コードよりも潜在的に信頼性がある、または情報を与えるものとして、合焦画像から生成される虹彩コードにフラグを付けるために有用であり得る。例えば、最小限に容認可能な合焦画像の閾値は、閾値を下回る画像が拒否され得るように設定されてもよい。いくつかの実施例では、焦点は、画像内の中間および上限周波数の存在を増加させるように調節されてもよい。いくつかの実施例では、より優れた処理効率を達成するために、画像焦点は、任意の画像処理または虹彩コーディング動作の前に査定されてもよい。いくつかの実施例では、画像焦点は、1つ以上の画像処理または虹彩コーディング動作の後に査定されてもよい。
いくつかの実施例では、画像プロセッサ1060は、虹彩コードの生成を促進するフォーマットで画像データを配列してもよい。1つのそのようなフォーマットは、虹彩の辺縁と瞳孔縁との間の虹彩のリング状領域を含む、2次元空間内の座標に対して画像データを整合させる、疑似極性フォーマットである。画像プロセッサ1060はまた、縁検出動作を実施し、辺縁および瞳孔縁を識別してもよい。いくつかの実施例では、画像プロセッサ1060は、虹彩が眼瞼等によって覆い隠される、画像データの領域を検出し、本画像データを除去する、または虹彩コード生成等の虹彩データへの動作に干渉しないような方法でそれを提示してもよい。
いくつかの実施例では、システム1000は、カメラ1040と同一のユーザに指向され得る、1つ以上の内部センサ1080、および/またはローカル環境および/または遠隔環境内の情報を検出するように構成される1つ以上の外部センサ1100(例えば、インターネットまたはクラウドベースのセンサ)を含んでもよい。センサ1080および/または1100は、データを提供し、システム1000の種々の特徴を補助してもよい。例示的センサは、加速度計、外部光センサ、内部光センサ(すなわち、ユーザに面する)、網膜センサ、地理位置/フェンスセンサシステム、および同等物を含んでもよい。いくつかの実施例では、センサ1080および/または1100は、頭部搭載型ディスプレイデバイスの中に組み込まれてもよい。いくつかの実施例では、センサ1080および/または1100は、眼配向の初期査定を行い、適切な虹彩画像の可能性を決定するため、または補正を軸外画像に適用することを補助するために、使用されてもよい。いくつかの実施例では、虹彩認識の整合閾値は、センサ情報を使用して設定されてもよい。例えば、地理位置センサシステムは、ユーザが、虹彩画像が一貫した照明条件において生成され、比較的に低いエラー率が予期され得る、家庭環境にいること、またはユーザが、虹彩画像があまり一貫していない場合があり、より高いエラー率が予期され得る、屋外環境にいることを示してもよい。いくつかの実施例では、地理位置センサシステムは、頭部搭載型ディスプレイデバイスへの近接性を検出するために、または、例えば、ローカルネットワーキングコンポーネントに接続することによって、追加セキュリティを提供するために使用され得る、「フォブ」等のハードウェアコンポーネントを含んでもよい。
内部センサ1080および/または外部センサ1100はまた、頭部搭載型ディスプレイデバイスがユーザによって係脱されたときを決定するために役立ち得る。例えば、頭部搭載型ディスプレイデバイスの係脱は、加速度計測定によって、光測定によって、またはアイウェアのステムの位置によって示されてもよい。光測定は、ユーザの顔または皮膚からの反射光に基づいて、および/またはユーザから生じるセンサによって検出される赤外線信号の不在に基づいてもよい。係脱はまた、システム1000がもはや虹彩1020を正常に結像することができなくなるときに決定されてもよい。本決定は、例えば、いくつかの整合失敗がある時間周期内に検出された後に起こってもよい。
いくつかの実施例では、画像プロセッサ1060によって出力される、処理された画像データは、虹彩コード発生器1120への入力として使用されてもよい。虹彩コード発生器1120は、1つ以上の虹彩画像を表す虹彩データを受信し、虹彩データに対応する1つ以上の数値虹彩コードを生成する。いくつかの実施例では、虹彩コード発生器1120は、虹彩データをセルに分割し、虹彩セルにそれぞれ対応する1つ以上の値を含む、虹彩コードを生成する。例えば、虹彩コードは、合計2,048ビットまたは256バイトに関して、複素平面内の位相ベクトルの座標に対応し得る、1つのセルあたり2ビットを使用して、1,024個のセルを表してもよい。いくつかの実施例は、より多いまたは少ないセル、および1つのセルあたりより多いまたは少ないデータを使用し、より小さいまたは大きい虹彩コードをもたらしてもよい。例えば、虹彩コードは、64バイト〜1,024バイトまたは256バイト〜4,096バイトの範囲内であってもよい。さらに、虹彩コードは、8ビットまたはバイトの倍数にある必要はない。
いくつかの実施例では、虹彩コード発生器1120は、1つ以上の虹彩画像を蓄積するように、かつ1つ以上の画像から虹彩コードを生成するように構成されてもよい。虹彩コードを生成するために使用される虹彩画像の数を増加させることは、特に、より多くの計算および処理能力を潜在的に要求することを犠牲にして、虹彩画像データが低信頼であり得る環境内で、虹彩コードの信頼性および堅調性を向上させ得る。
虹彩コード発生器1120によって生成される虹彩コードは、虹彩コード分析器1140によって入力として使用されてもよい。虹彩コード分析器1140は、データベース1160の中に記憶された虹彩コード・ユーザペアのセット等のデータのセットに対して1つ以上の入力虹彩コードを比較し、ユーザの身元に関連する1つ以上の値を決定してもよい。いくつかの実施例では、虹彩コード分析器1140は、虹彩コード・ユーザペアのセットの中の虹彩コード等の記憶された虹彩コードに対して1つ以上の入力虹彩コードを比較し、整合値を生成してもよい。いくつかの実施例では、虹彩コード分析器1140は、入力虹彩コードに対応するユーザの身元を出力してもよい。いくつかの実施例では、虹彩コード分析器1140は、整合が見出されるかどうか、すなわち、入力虹彩コードがデータベース1160の中等の虹彩データのセットの中の記憶された虹彩コード等の虹彩データに対応するかどうかに対応する、2進値を出力してもよい。いくつかの実施例では、虹彩コード分析器1140は、整合が入力虹彩コードのために存在する、または存在しないという統計的信頼等の虹彩データに関する統計的データに対応する、1つ以上の値を出力する。いくつかの実施例では、虹彩コード分析器1140は、ユーザセッションから生成された虹彩コードの群を継続的に更新してもよい。例えば、生成された虹彩コードは、規定数の生成された虹彩コードを記憶するように構成される、先入れ先出し(FIFO)バッファの中に蓄積されてもよい。いくつかの実施例では、虹彩コード分析器1140は、複数の虹彩コードを蓄積し、複数の虹彩コードから単一の虹彩コード(ファジー虹彩コード等)を生成してもよい。いくつかの実施例では、バッファサイズは、特定のアプリケーションの必要性、または内部センサ1080および/または外部センサ1100からの入力に応じて、ユーザセッション中に変動されてもよい。
いくつかの実施例では、虹彩コード分析器1140は、ユーザセッション中に生成される虹彩コードを周期的にリセットしてもよい。いくつかの実施例では、リセットは、ある数の不整合が検出された後、またはある時間周期が経過した後に実施されてもよい。いくつかの実施例では、リセットは、イベントによってトリガされてもよい。例えば、頭部搭載型ディスプレイデバイスを組み込むシステムでは、内部センサ1080および/または外部センサ1100が、ユーザからの頭部搭載型ディスプレイデバイスの係脱、または環境照明条件の急激な変化(頭部搭載型ディスプレイデバイスの可能性として考えられる除去を示す)を検出する場合、リセットが実施されてもよい。
いくつかの実施例では、アクセスコントローラ1180は、虹彩コード分析器1140によって出力される値を使用し、セキュリティまたはアクセス制御を、機能1200、またはシステム1000の他の特徴または機能性に提供してもよい。例えば、機能1200は、あるユーザのみが保護エリアへのドアをロック解除することを可能にされるように、建物の保護エリア内のドアロックを制御する機能を含んでもよい。ドアロックをロック解除する許可を伴うユーザとしてユーザを識別する、虹彩コード分析器1140の出力値、例えば、閾値を超える虹彩整合値である出力値によると、アクセスコントローラ1180は、例えば、ドアをロック解除するように機能1200に指図することによって、ドアロック解除機能性をアクティブ化してもよい。同様に、ドアロックをロック解除する許可を伴うユーザとしてユーザを識別しない、虹彩コード分析器1140の出力値によると、アクセスコントローラ1180は、ドアをロックされた状態で維持するように機能1200に指図してもよい。
図7に示されるシステム1000の要素のうちのいくつかまたは全ては、1つ以上のプロセッサによって実行されるソフトウェア命令を使用して、実装されてもよい。そのようなプロセッサは、限定ではないが、通信デバイス(例えば、携帯電話、スマートフォン)、マルチメディアデバイス(例えば、MP3プレーヤ、TV、ラジオ)、携帯用またはハンドヘルドコンピュータ(例えば、タブレット、ノートブック、ラップトップ)、デスクトップコンピュータ、一体型デスクトップ、周辺デバイス、ウェアラブルデバイス(頭部搭載型ディスプレイデバイスを含み得る、頭部搭載型デバイスを含む)、またはこれらのタイプのデバイスのうちの2つ以上のものの組み合わせを含む、システム1000の包含に適合可能な任意の他のシステムまたはデバイスを含む、携帯用または非携帯用デバイス内で具現化されてもよい。
図7に示されるシステム1000は、システム1000の1つの例示的アーキテクチャにすぎず、システム1000は、示されるものよりも多いまたは少ないコンポーネント、またはコンポーネントの異なる構成を有し得ることが明白となるはずである。図7に示される種々のコンポーネントは、1つ以上の信号処理および/または特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装されてもよい。さらに、開示される方法が実施される場合、これらの方法のステップは、連続的に実施される必要はない。
本開示は、図7に示されるシステム1000のいかなる特定の物理的実施形態にも限定されない。例えば、システム1000は、単一の物理的筐体、または2つ以上の別個の筐体の中に実装されてもよい。いくつかの実施例では、1つ以上のコンポーネントが、仮想現実(VR)または拡張現実(AR)頭部搭載型ディスプレイデバイス等のウェアラブルコンピューティングデバイスの中で提供されてもよい一方で、1つ以上の他のコンポーネントは、携帯電話、タブレットコンピュータ、ラップトップ、デスクトップ、腕時計、衣類、ベルトパック、バックパック、またはヘッドバンド用等の別個の筐体またはケーシングに有線または無線配列でテザリングされてもよい。例えば、カメラ1040およびセンサ1080/1100のうちの1つ以上のものは、カメラおよび/またはセンサがユーザの頭部および眼(それら自体が頭部搭載型ディスプレイデバイスに対して固定され得る)に対して固定されたままであるように、頭部搭載型ディスプレイデバイスに搭載されてもよい。
システム1000は、単一の虹彩1020のみを結像することに限定されない。いくつかの実施例では、システム1000は、ユーザの単一の虹彩のみを結像および処理してもよいが、いくつかの実施例では、システム1000は、ユーザの両眼(典型的には独立した虹彩パターンを呈する)、または複数のユーザからの複数の眼を結像および処理するように構成されてもよい。
画像処理
使用可能な虹彩画像データは、眼瞼によって覆い隠されない、虹彩の辺縁と瞳孔縁との間の眼の領域に対応する。画像プロセッサ1060は、虹彩の辺縁および瞳孔縁、および眼瞼境界を検出するように構成されてもよい。いくつかの実施例では、本縁検出を実施することは、例えば、方程式(1)として、Daugman, How Iris Recognition Works, IEEE Transactions on Circuits and Systems for Video Technology, Vol. 14, No. 1, January 2004, pp. 21−30に教示されるように、円形縁検出器動作を利用する。
方程式(1)では、I(x,y)は、デカルト座標(x,y)における虹彩画像データの強度を表し、記号は、コンボリューション演算子を表し、rは、半径を表し、Gσ(r)は、平滑化関数である。Daugmanに説明されるように、例えば、上記に説明される演算は、画像ドメイン(x,y)内で、半径rの円弧dsおよび中心座標(x,y)に沿って、I(x,y)の閉曲線積分の不鮮明な偏導関数の最大値を反復して識別することによって、画像内の虹彩境界を検出するために使用されてもよい。虹彩境界の検出後、干渉または画像異常の測定値が、(例えば、眼瞼被覆の量を計算することによって)査定されてもよい。いくつかの実施例では、画像データは、(例えば、画像プロセッサ1060によって)拒否されてもよく、および/または対応する虹彩コードは、過剰な干渉または画像異常が見出される場合に(例えば、虹彩コード分析器1140によって)分析から省略されてもよい。
初期虹彩画像は、デカルト座標系から疑似極座標系に変換または転換されてもよい。いくつかの実施例では、虹彩1020の辺縁および瞳孔縁、および睫毛および眼瞼による任意の重複を識別した後、結果として生じる環状虹彩画像は、長方形のゴムシートを使用して「開封」され、および/またはデカルト(例えば、x,y)座標系から極性(例えば、r,θ)座標系に変換される。例えば、これは、部分的に、例えば、方程式(2)としてDaugmanに説明されるように、虹彩画像I(x,y)を、rが単位間隔[0,1]として瞳孔境界から辺縁まで及ぶ、無次元非同心極座標系(r,θ)に変換することによって、実施されてもよい。
方程式(2)では、xおよびyは、内側虹彩境界を画定する瞳孔境界点であり、xおよびyは、外側虹彩境界を画定する強膜境界である。これらの境界は、x(r,θ)およびy(r,θ)方程式を最大限にすることによって、検出されてもよい。
虹彩コード生成
本開示は、画像データから虹彩コードを生成することの特定の様式に限定されない。いくつかの実施例では、虹彩コードは、画像データを複数の領域またはセルに分割し、2ビットを使用して、セル毎に位相情報に対応する複素平面内のベクトルを符号化することによって、表されてもよい。画像強度ではなく位相情報から虹彩コードを生成することは、位相情報が不良な結像条件でさえも確実に回復され得るように、位相情報が、概して、ファジーまたは低解像度画像内でさえも留保され得るという点で、有利であり得る。位相情報は、虹彩画像から抽出されてもよい。例えば、Daugmanに説明されるような2Dガボールウェーブレットが、虹彩パターンを位相復調し、方程式(3)等で実および虚数成分と複素値係数を生成するために使用されてもよい。
方程式(3)では、h{Re,Im}は、その実および虚数部分が、2D積分の記号に基づいて1または0のいずれかである、フェーザであり、I(ρ,φ)は、(ゴムシートモデルを使用した正規化後の)疑似極座標内の虹彩画像の強度であり、αおよびβは、ウェーブレットパラメータであり、ωは、βに反比例するウェーブレット周波数であり、(r,θ)は、虹彩のセルの極座標である。セルの複素値は、それぞれ2ビットによって表される、複素平面内の4つの象限(例えば、[0,1]、[1,1]、[1,0]、および[0,0])のうちの1つに量子化されてもよい。虹彩画像データの角度配向の変動は、最良整合を求めるように極座標系の角度成分の周期的スクロールによって対処されてもよい。代替として、基礎的画像データは、虹彩コードが生成される前に、例えば、オイラー行列または別の変換を使用して、回転整合されてもよい。
いくつかの実施例では、1つ以上の虹彩画像からのセル値は、セル安定性または変動性の割当要件または他の決定を満たすことができない場合がある。(虹彩コード自体に類似する)そのようなセルのマスクまたはマップが、生成されてもよい。例えば、2Dガボールウェーブレット変換から投影される、いくつかの複素値が、複素平面の一方または両方の軸の近傍に位置してもよく、サンプル変動が、これらの値を非一貫的または不正確に量子化させ得る。虹彩コード分析からこれらの一貫性のないビットまたはセル値を省略することは、虹彩認識正確度を向上させ得る。いくつかの実施例では、マスクを表すビット単位のマップが、例えば、虹彩コード分析器(例えば、虹彩コード分析器1140)によって無視されるべきであるビットまたはセル値を識別するように、虹彩コードに適用されてもよい。本ビット単位のマップは、記憶された虹彩コードと生成された虹彩コードとの間の整合を決定するときに、虹彩コードの可変または非一貫性セルを隠す、または除外するために使用されてもよい。いくつかの実施例では、マップは、虹彩画像の虹彩領域に対応する虹彩コードの一貫性および非一貫性セルの両方を含むが、眼瞼、睫毛、および/または反射光効果を除外してもよい。
いくつかの実施例では、複素値の第2のセットが、2Dガボールウェーブレット変換の第1のセットと異なる配向を有する、2Dガボールウェーブレット変換の第2のセットから投影されてもよい。複素値の第2のセットは、一貫性のないビットの異なるパターンを有する、または別様に2Dガボールウェーブレット変換の第1のセットの座標系に対して45度回転される座標系に量子化されてもよい。2Dガボールウェーブレット変換の第1のセットからの一貫性のないビットは、次いで、より一貫性があり、したがって、整合検証の正確度を向上させ得る、2Dガボールウェーブレット変換の第2のセットから生成されるセル値と置換されてもよい。いくつかの実施例では、虹彩画像のセル毎の複素値は、量子化に起因し得る非一貫性を低減または回避するように、記憶された虹彩画像から生成される複素値と直接平均化および/または比較されてもよい。
いくつかの実施例では、1つ以上の虹彩画像が、入手され、複合虹彩コードを生成するために使用されてもよい。複合虹彩コードのセル毎に、最終値が、そのセルに割り当てられてもよい。いくつかの実施例では、「投票方式」(例えば、単純多数)が、最終値を算出するために使用されてもよい。いくつかの実施例では、各値は、優勢値が1つ以上の虹彩画像からのそのセルに関して存在するかどうかを決定するように、他のカテゴリ値の各グループと統計的に比較されてもよい。いくつかの実施例では、(その分布への信頼の測定値の有無にかかわらず)確率分布等の分布メトリックが、虹彩コード間の整合の可能性を決定するために使用されてもよい。
虹彩コード分析および整合
虹彩コード分析器1140は、記憶された虹彩コード(いくつかの実施例では、データベース1160の中に記憶される)に対して生成された虹彩コード(複合虹彩コード等)を比較し、生成された虹彩コードが記憶された虹彩コードのための整合であるかどうかを決定してもよい。本開示は、整合が存在するかどうかを決定するための特定の機構に限定されない。いくつかの実施例では、整合が存在するかどうかは、2つの虹彩コードが統計的に独立しているかどうかの試験の結果を使用して決定され、生成された虹彩コードが記憶された虹彩コードから統計的に独立していないように、試験が不合格である場合には、生成された虹彩コードは、記憶された虹彩コードのための整合と見なされてもよい。
いくつかの実施形態では、虹彩コード分析の正確度を最大限にすることが望ましくあり得る。例えば、不整合が整合として不正確に識別される可能性である、他人受入率(FAR)またはタイプIIエラー、また、整合が不整合として不正確に識別される可能性である、本人拒否率(FRR)またはタイプIエラーの両方を低減させることが望ましい。これらのエラー率は、整合および不整合を分類するために使用される閾値に依存し得る。異なる虹彩認識システムおよびアルゴリズムの正確度を比較するために使用され得る測定値は、等価エラー率(EER)、または整合画像ペアの本人拒否率が不整合画像ペアの他人受入率に等しい、閾値におけるエラー率である。一般的に言えば、より低いEERを伴うシステムは、より高いEERを伴うシステムよりも正確な結果を達成し得る。
虹彩認識システムの向上された正確度は、いくつかの方法で達成され得る。例えば、より良好なシステムコンポーネントは、より高い分解能の画像、より良好な集束機構、および/または環境内の不要な光から結像面積を遮蔽する改良された方法を可能にし得る。これは、虹彩コードがより正確かつ確実に生成され得る、より高品質でより再現可能な虹彩画像を可能にし得る。正確度はまた、低品質画像を破棄することによって向上され得る。例えば、虹彩画像は、虹彩認識におけるその画像の有用性に関する品質スコアを割り当てられてもよい。実施例として、焦点がずれている、過剰な反射成分を有する、過剰な眼瞼被覆を有する、または極端な角度で撮影された画像は、これらの因子が虹彩認識のためのその有用性を限定するため、低品質スコアを割り当てられてもよい。本システムは、画像の品質スコアを閾値と比較し、その品質スコアが閾値を満たさない場合に画像を破棄してもよい。いくつかの実施例では、本システムは、適切またはより高い品質の画像が得られるまで、付加的画像を入手してもよい。いくつかの実施例では、本システムは、ユーザ命令または閃光等のユーザキューを提供し、画像入手のための所望の眼配向を促進してもよい。
種々の方法が、虹彩認識システムにおいて2つの虹彩コードの間の差を定量化するために使用されてもよく、使用される1つまたは複数の方法は、システムにEERを知らせる、またはそれに影響を及ぼし得る。本差を定量化するための1つのそのようなメトリックは、ハミング距離(HD)である。(ハミング距離計算から除外される虹彩コードビットを識別する)maskAおよびmaskBが、それぞれ適用される、codeAとcodeBとの間のハミング距離は、方程式(4)として定義され得る。
方程式(4)では、ブール排他的OR演算子(
)は、2つの虹彩コード(例えば、codeAおよびcodeB)の間のビット単位の差を出力する。ビット単位の値maskAおよびmaskBは、例えば、maskA、maskB、および排他的OR演算の出力の間でビット単位のAND演算を実施し、次いで、隠されていないビットの総数によって結果を正規化することによって(すなわち、
)、ハミング距離計算から除外されるべきである、眼瞼、睫毛、照明収差、または虹彩認識への他の障害物に対応する虹彩コード領域を表すために、ゼロの値を使用してもよい。
結果として生じるハミング距離(HD)は、2つの虹彩コードの間のビット単位の類似性の測定値を提供する。より小さいハミング距離は、2つの虹彩コードの間のさらなる類似性に対応する。いくつかの実施例では、2つの虹彩コードの間のハミング距離は、整合が存在するかどうかを決定するように閾値と比較される。例えば、閾値を下回る2つの虹彩コードの間のハミング距離は、2つの虹彩コードが整合することを示してもよい。より低い閾値は、より多くの本人拒否を生成する危険を冒すが、より少ない整合を識別させ得る。同様に、より高い閾値は、より多くの他人受入を生成する危険を冒すが、より多くの整合を識別させ得る。いくつかの実施例では、閾値は、虹彩コードが生成される画像データの信頼性および一貫性等の考慮事項に応じて、約0.25〜約0.36の範囲内に設定されてもよい。いくつかの実施例では、複数の閾値が、採用されてもよい。
いくつかの実施例では、記憶および生成された虹彩コードのマスク(例えば、虹彩コードcodeAおよびcodeBに対応するmaskAおよびmaskB)もまた、例えば、虹彩コード自体を生成するために使用される同一の計算を使用して比較されてもよく、結果は、2つの虹彩コードの間の整合の決定の正確度をさらに向上させるために使用されてもよい。虹彩コード毎に、各ビット/特徴の信頼性を伝えるマップが、生成されてもよい。例えば、2つの虹彩コードのために生成される(例えば、眼瞼領域に対応する)2つのマップの間の類似性は、虹彩コードが同一の虹彩に属し、したがって、整合が2つの虹彩コードの間に存在することを示し得る。同様に、第1の虹彩コードの中の可変または一貫性のないセルの第1のマップは、1つ以上の虹彩コードからの可変または一貫性のないセルの第2のマップと比較されてもよい。第1のマップと第2のマップとの間の類似性は、第1の虹彩コードが1つ以上の虹彩コードと同一の虹彩に対応することを示し得る。
図7を参照すると、いくつかの実施例では、虹彩コード分析器1140は、虹彩コードのセルの変動を分析および定量化し、変動性または確率情報を利用し、虹彩整合計算の正確度を向上させ得る。いくつかの実施例では、比較的により高い変動性を呈し、したがって、あまり有用ではない情報を伝達し得るセルは、整合検出から除外されてもよい。いくつかの実施例では、セル変動に対応する情報(統計的情報等)が、量子化された値を可変セルにより正確に割り当てるために使用されてもよい。いくつかの実施例では、部分整合値または他の加重値が、整合検出のために可変セルに割り当てられてもよい。
虹彩コードは、虹彩コード分析器1140によって確率値を使用して表されてもよい。これは、特に、小さいサンプルサイズを使用する、または虹彩コードまたは画像データが高い変動性を呈するシステムにおいて、虹彩認識正確度を向上させ得る。
例えば、虹彩コードが、単一ビット結果(例えば、虹彩画像の領域とのフィルタのコンボリューションの正または負の値に対応する、1および0)として表される1つ以上のセルを含む、実施例では、各そのようなビットは、サンプルサイズに基づいて確率または加重値として特性評価され得る。これは、ある確率xを伴う表の値xおよび確率(1−x)を伴う裏の値を生成する、加重コインに類似する。推定値の統計的品質についての情報を含む、xの推定値は、2つの虹彩コードの間の整合の品質を算出するために使用されてもよい。例えば、虹彩コードの中のビット毎に、確率xは、そのビットの加重の可能性として考えられる結果の事前分布を使用して推定されてもよい。可能性として考えられる加重にわたる事前確率分布は、ベータ分布を使用してモデル化されてもよく、予備知識の状態は、形状パラメータaおよびbを使用してモデル化されてもよい。1つの例示的ベータ分布は、方程式(5)として表され得る。
方程式(5)では、形状パラメータaおよびbの例示的値は、それぞれ、0.01および0.1を含んでもよい。Γは、ガンマ関数である(すなわち、Γ(n)=(n=1)!)。
ビットが1n回の値および0m回の値を有することが観察される、ビットの観察の数n+mの後、可能性として考えられる加重の確率分布は、Beta(x;a+n,b+m)として表され得る。本モデル、期待値E[x]、およびxに関するモデル分布の分散var[x]は、それぞれ、方程式(6)、(7)、および(8)として表され得る。
したがって、期待値および分散は、n+m回観察された虹彩における各ビットの加重に関して表され得る。虹彩コード分析器1140は、本統計的情報を使用し、虹彩コード演算への信頼の程度を定量化してもよい。いくつかの実施形態では、虹彩コード分析器1140が、未加工サンプルビット情報の全てではないが虹彩コードの中のビット毎に、期待値E[x]および分散var[x]または(a+b)および(b+m)のいずれかを記憶することが十分であり得る。したがって、いくつかの実施例では、2,048の単一ビット入力を含む、虹彩コードが、期待値および分散を表す2,048対の実数によって、虹彩コード分析器1140において置換されてもよい。これは、「ファジー虹彩コード」(FIC)と称され得る。
虹彩コード分析器1140は、種々の差メトリックを使用し、2つのファジー虹彩コードの間の差を定量化してもよい。そのようなメトリックは、前述で説明されたハミング距離に類似する「距離」測定の形態によって特性評価され得る。いくつかの実施例では、差メトリックは、虹彩コードの中のビット数に対して正規化され得る。
1つの例示的差メトリックは、「ソフトハミング距離」(SHD)である。ファジーコードjからのビットiの期待値をE[x (j)]として定義し、SHDは、方程式(9)のように、虹彩コード分析器1140において、全てのビットを横断した期待値の絶対差の総和として表され得る。
別の例示的差メトリックは、「中央ハミング距離」(MHD)である。ファジーコードjからのビットiの中央値(ここでは、0および1の最確値)をmed[x (j)]として定義し、MHDは、方程式(10)のように、虹彩コード分析器1140において、全てのビットを横断した中央値の絶対差の総和として表され得る。
別の例示的差メトリックは、「ファジーZ−スコア」(FZS)である。ファジーコードjからのビットiの加重についての分布の分散は、var[x (j)]として定義され得る。FZSは、次いで、方程式(11)のように、虹彩コード分析器1140において、全てのビットを横断した期待値の絶対差の総和として表され得、各そのような差は、関連付けられる分散の総和によってスケーリングされる。
これらの例示的差メトリックのうちの1つ以上のものを使用して、虹彩コード分析器1140は、2つのファジー虹彩コードを比較し、例えば、ある事前決定された閾値に基づいて、同一の虹彩への整合があるかどうかを決定してもよい。
ある差メトリックは、K=2個の可能性として考えられる結果の確率が多項分布によって規定されるように、基礎的加重を有するランダムプロセスとしてzビットのグループを扱うものとして説明され得る。いくつかの実施形態では、マッピングが、可能性として考えられる結果をグループ化するように可能性として考えられる結果に適用されてもよい。マッピングは、教師付きまたは教師なし機械学習、クラスタリングを使用して、決定/適用される、または分析的に構築されてもよい。例えば、虹彩上の同一の場所における2つの異なるフィルタのコンボリューションに対応するビットペアは、z=2を伴うグループ、したがって、K=2=4個の可能性として考えられる結果を構成するであろう。(しかしながら、グループの中のビットは、虹彩の同一、隣接、または完全に異なる面積において適用されるフィルタの結果であり得るため、虹彩画像上の同一の場所に対応する場合とそうではない場合がある。)これは、K個のカテゴリ毎に1つの要素(すなわち、ビットグループの可能性として考えられる結果)を有する、確率
のベクトルを伴うカテゴリ分布として表され得る。xの値は、それらの総和が1に等しいように正規化されてもよい。加重は、2項事例においてベータ分布に関して上記に説明されるパラメータaおよびbに類似する、K個の形状パラメータ(または「集中パラメータ」)を伴うディリクレ分布
によって特性評価され得る。形状パラメータは、ビットグループの事前情報を符号化する値から始まってもよく、個々の測定が異なる虹彩画像内の対応するグループについて行われると更新されてもよい。
いくつかの実施例では、虹彩コード分析器1140は、FICの代わりに「ファジー多項虹彩コード」(FMIC)を使用してもよい。グループサイズzに関して、FMICは、K=2個の実際の形状パラメータによってそれぞれ表される、2,048/z個のエントリを有してもよい。2項事例に関して上記で定義される例示的差メトリックは、下記に示されるように、多項事例に一般化されてもよい。いくつかの実施例では、インジケータベクトル
は、全ての要素が、1に設定される特定のグループのための加重ベクトルにおける最高確率に対応する要素を除いて、0に設定される、K次元ベクトルのセットであってもよい。ベクトル
は、第jのFMICの中の第iのビットグループに対応する、インジケータベクトルとして定義され得る。
は、第iのグループのためのK次元加重ベクトルの期待値(すなわち、そのグループのための加重の最良推定値)として定義され得、方程式(12)として表され得る。
方程式(13)は、特定のグループに関する形状パラメータの総和を表し得る。μ=E(X)を定義すると、共分散行列Σは、方程式(14)として表され得る。
(ビットの数ではなく)ビットグループの数を意味するようにNを定義すると、例示的差メトリックの多項バージョンは、方程式(15)、(16)、および/または(17)として表され得る。
いくつかの実施例では、上記の例示的差メトリックは、最小分散εを用いて評価され得る。これらの実施例では、計算で使用される分散は、最小分散εを加えた観察された分散、または観察された分散および最小分散εのうちの大きい方であってもよい。最小分散εは、差メトリックをより良好に調整するように加算されてもよい。これは、データの欠如を補償するように行われてもよい。
図8は、いくつかの実施形態による、虹彩コードを比較するための例示的プロセスを描写する。図8では、虹彩コード分析器1140は、2つの虹彩コードを比較するプロセスを実行して示されている。虹彩コード分析器1140は、セル確率分布をリセットし(2020)、現在のユーザセッションからいくつかの虹彩コードを蓄積し(2040)、1つ以上のセルに関してセル確率分布を計算する(2060)ように構成されてもよい。1つ以上のセルの値が、識別または決定されてもよく(2080)、サイズ依存性信頼値が、1つ以上のセルに関して計算されてもよい(2100)。いくつかの実施例では、値は、ある変動性基準を満たさないセルに関して計算されない。いくつかの実施例では、生成された虹彩コードの信頼区間/値を記憶された虹彩コードの信頼区間/値と比較すること等の統計的比較に基づいて、セルは、生成された虹彩コードと記憶された虹彩コードとの間のハミング距離を計算する(2140)前に、値を割り当てられる(2120)、または省略されてもよい。いくつかの実施例では、虹彩コード分析器1140は、SHD、MHD、および/またはFZSメトリック、または別のファジーメトリックを使用し、2つの(ファジー)虹彩コードを比較してもよい。
いくつかの実施例では、虹彩コード分析器1140は、単一の生成された虹彩コードを記憶された虹彩コードと比較するように、または2つ以上の生成された虹彩コードに基づいて複合虹彩コードを生成するように構成されてもよい。いくつかの実施例では、虹彩コード分析器1140は、複合虹彩コードを生成するために、最小数または事前決定された数(例えば、2、50、1,000、3,000)の虹彩画像または虹彩コードを要求し得る。
図9は、いくつかの実施形態による、虹彩コードを蓄積および比較するための例示的プロセスを描写する。図9では、虹彩コード分析器1140は、いくつかの生成された虹彩コードを蓄積し(3020)、セル毎にファジー虹彩コードを生成する(3040)ように構成されてもよい。いくつかの実施例では、虹彩コードのセットを横断したビットの平均(または1の2進ビット値の確率)に対応する、0〜1に及ぶ非2進値が、計算されてもよい。各非2進値の信頼は、十分に大きいサンプルサイズを用いた実施例において確実に再現可能であり得る。例えば、0または1結果の確率が等しい(例えば、平均ビット値が0.5である)、非2進複合虹彩コードでは、一貫性のないビットは、再現可能であり得る(すなわち、確率は、極めて信頼性があり得、確率ベルヌーイ変数として挙動し得る)。いくつかの実施例では、ハミング距離計算から対応するビットまたはセル値を省略するのではなく、修正されたハミング距離計算(3060)が、平均非2進ビット値を使用して実施されてもよい。非2進複合虹彩コードが、別の非2進複合虹彩コード、または各ビットの2進値が0〜1の範囲内の連続値として扱われる2進複合虹彩コードに対して整合するために、使用されてもよい。これは、整合および非整合のためのハミング距離分布の間の分離を向上させ、ひいては、有効EERを低下させ得る。
図10Aは、いくつかの実施形態による、例示的2進虹彩コードおよび例示的ファジー虹彩コードを描写する。値1011000100を伴う記憶された2進虹彩コードの例示的10ビット部分が、線4000として示される。線4100は、1つ以上の生成された虹彩コードの中の対応するビット値毎に「1」値の確率を表す、ファジー虹彩コードを示す。いくつかのビットは、それらの対応する確率値に基づいて、一貫性がないとして特性評価され得る。例えば、図10Aのビット1に関するもの等の0.40〜0.60の範囲内の確率値は、不確定として特性評価され得る。虹彩コードの生成されたセットの残りのビットは、次いで、ビット部分がX011000000(「X」が一貫性のないビットを表す)の値を有し、ビット8における不整合を示すように、0または1のいずれかの値に量子化され、2進虹彩コードは、1の値を有し、ファジー虹彩コードは、0の値を有する。一貫性のないビットが不整合ビットとして扱われる場合、2つの虹彩コード部分に関するハミング距離は、ビット1および8における不整合に起因して、2/10、すなわち、0.2として算出されてもよい。いくつかの実施例では、ビット1がハミング距離計算から省略される場合、結果は、1/10、すなわち、0.1であろう。いくつかの実施例では、ビット1がハミング距離計算から省略される場合、結果は、1/9であろう。いくつかの実施例では、ビット1が0.5の値を有するものとして扱われる場合には、ビット1の差は、|1−0.5|、すなわち、0.5となり、1.5/10、すなわち、0.15のハミング距離をもたらすであろう。
虹彩コード分析器1140が、0.2〜0.8の任意の確率値を一貫性がないとして特性評価するように構成される、実施例では、次いで、虹彩コードの例示的な生成されたセットは、3つの一貫性のないビット(ビット1、4、および6)を反映する、X01X0X0000の値と、ビット8における不整合とを有するであろう。いくつかの実施例では、3つの一貫性のないビットが不整合として特性評価される場合には、ハミング距離は、4/10、すなわち、0.4000であろう。いくつかの実施例では、一貫性のないビット1、4、および6が、それぞれ、0.5、0.8、および0.3のそれらの確率値を割り当てられる場合には、|1−0.5|、|1−0.8|、および|0−0.3|の対応する微分値が、ハミング距離(0.5+0.2+0.3+1)/10=0.20を計算するために使用されるであろう。
図10Aに関して説明される実施例は、ファジー複合虹彩コードと2進虹彩コードとの間の整合比較を伴うが、いくつかの実施例は、2つのファジー虹彩コードの間の整合比較を伴い得る。図10Bは、2つの例示的ファジー虹彩コードを描写する。図10Bは、4200として、記憶されたファジー虹彩コードの値、すなわち、0.7/0.0/1.0/1.0/0.2/0.2/0.2/1.0/0.0/0.0を示す。図10Bはまた、4300として、生成されたファジー虹彩コードの値、すなわち、0.5/0.1/1.0/0.8/0.1/0.3/0.1/1.0/0.0/0.0を示す。これら2つの非2進複合虹彩コードを比較するときの修正されたハミング距離は、(0.2+0.1+0.0+0.2+0.1+0.1+0.1+1.0+0.0+0.0)/10.0、すなわち、0.18である。
いくつかの実施例では、1つを上回る記憶された虹彩コードが、ユーザと関連付けられてもよい。これらの記憶された虹彩コードは、ユーザ条件、環境条件、内部および/または外部センサによって検出可能な状態、または他の基準と関連付けられてもよい。例えば、記憶された虹彩コードは、内部および/または外部センサによって検出されるある光条件と、または内部センサによって(凝視追跡等によって)識別されるある眼配向と関連付けられてもよい。いくつかの実施例では、虹彩コードの多数の記憶されたセットから誤検出整合の危険性を低減させるために、虹彩コード分析器1140は、ある条件下で、例えば、センサ入力がある入力パラメータを満たす場合に、付加的虹彩コードを利用するようにのみ構成されてもよい。いくつかの実施例では、虹彩コード分析器1140は、異なる虹彩コードに異なるハミング距離閾値を利用するように構成されてもよい。例えば、虹彩コード分析器1140は、第1の虹彩コードを使用して整合を検証するために、第1のハミング距離閾値を、第2の虹彩コードを使用して整合を検証するために、第2のより低い(したがってより厳密な)ハミング距離閾値を使用してもよい。
頭部搭載型ディスプレイデバイスを組み込むシステムは、虹彩コード比較を精緻化するための機会を提供してもよい。例えば、ユーザに結合されない結像デバイスを使用して初期虹彩画像を入手するシステムと異なり、ユーザウェアラブルシステムは、初期ユーザ識別後にユーザと係合されたままであり、初期ユーザ整合が確認された後でさえも継続中の虹彩画像入手を可能にし得る。整合後画像は、ユーザの身元を再確認するため、将来のユーザ識別に使用される、記憶された虹彩コードをさらに精緻化するため、および/または整合への統計的信頼を向上させるために、使用されてもよい。
いくつかの実施例では、虹彩認識システムは、頭部搭載型または非頭部搭載型システムの中にあるかどうかにかかわらず、整合プロセス事態に関する他のデータを収集および/または計算してもよい。例えば、これは、正整合の分布(例えば、セッション中の初期整合検証および/または再検証において達成されるハミング距離)、または(信頼または分散測定値の有無にかかわらず)達成される平均ハミング距離を含んでもよい。本データは、例えば、アクセスコントローラを較正するために使用されてもよい。例えば、一部のユーザは、他のユーザよりも低いハミング距離を一貫して達成することが可能であり得、システムによって設定される閾値は、所望のセキュリティおよび/またはユーザ体験を達成するように、それに応じて調節されてもよい。いくつかの実施例では、本システムはまた、整合または不整合と相関性がある場合とそうではない場合がある、他のセンサシステムからのデータを収集または処理してもよい。いくつかの実施例では、ユーザまたはアカウントは、同一のユーザのための複数の虹彩コードと関連付けられてもよい。いくつかの実施例では、虹彩コードのうちのいずれかへの整合は、整合を達成するために十分であり得、いくつかの実施例では、虹彩コードのうちの1つ以上のものは、他のセンサ基準が満たされる場合にのみ整合が可能にされる、二次虹彩コードであってもよい。
いくつかの実施例では、整合は、周期的に再検証されてもよく、これは、整合ユーザの継続的存在を確認することによってセキュリティを増進し得る。再検証は、例えば、1秒毎、10秒毎、1分毎、または1時間毎に行われてもよい。いくつかの実施例では、再査定率は、使用または要求されているユーザ機能に応じて変動し得る。例えば、ゲーム機能を果たすとき、再検証は、要求されない場合がある、またはゲームセッションの終了に応じて開始してもよいが、機密財政または健康情報にアクセスすることは、アクセス周期中に周期的再検証を要求し得る。いくつかの実施例では、アクセスコントローラ1180は、例えば、ユーザが、(異なる虹彩がある)別のユーザがシステムを使用することを可能にするように所望する場合に、ユーザが再検証を一時的に、または条件付きで一時停止することを可能にするように構成されてもよい。いくつかの実施例では、再検証を一時停止するユーザの能力は、機密財政または健康情報、または機密としてタグ付けされたコンテンツ等のあるユーザ機能またはデータに対して選択的にブロックされてもよい。
いくつかの実施例では、異なるレベルのセキュリティアクセスが、異なるレベルのアカウントアクセスまたは機能性と関連付けられてもよい。例えば、より低いレベルのセキュリティアクセスが、準最適画像入手条件下でより速い虹彩検証を可能にし得、基本的ユーザ機能性のために十分であり得る一方で、ユーザの身元へのより高いレベルの信頼に対応する、より高いレベルのセキュリティは、複数の虹彩画像を入手および分析した後のみ許可され得る。図7を参照すると、いくつかの実施形態では、システム1000は、虹彩検証が、不整合または完全整合のいずれかに対応する整合値だけではなく、条件付きまたは部分整合に対応する値も提供するように、構成されてもよい。いくつかの実施例では、システム1000の第1の機能性(機能1200のうちの1つ以上のもの等)が、完全整合に応答してアクティブ化されてもよい一方で、システム1000の第2の機能性は、条件付き整合に応答してアクティブ化されてもよい。第2の機能性は、第1の機能性のサブセットであってもよい、第1の機能性よりも限定されてもよい、または別様に第1の機能性と同じではなくてもよい。いくつかの実施例では、機能1200のうちの1つ以上のものが、虹彩検証を殆どまたは全く伴わずに使用可能であり得る一方で、他の機能1200は、ユーザの身元へのより高いレベルの信頼を要求し得る。いくつかの実施例では、ゲーム等のあまり機密ではない用途が、より高いハミング距離閾値を可能にし得る一方で、財政または健康情報へのアクセス等のより機密である用途は、より低いまたは厳密なハミング距離閾値を要求し得る。いくつかの実施例では、整合値が条件付き整合に対応すると決定することに応答して、システム1000は、付加的虹彩画像を入手し、付加的虹彩コードを生成し、複合虹彩コードを生成し、完全整合または不整合に対応する新しい整合値を生成してもよい。
上記の例示的プロセスは、任意の好適な論理回路を使用して、コンピュータシステムで実装されてもよい。好適な論理回路は、ソフトウェアプログラムで実装される命令を実行するときにプロセスを実施する、1つ以上のコンピュータプロセッサ(例えば、CPU、GPU等)を含んでもよい。加えて、そのようなプロセスはまた、プロセスを提供する論理設計を実装する、プログラマブル論理(例えば、PLD、FPGA等)またはカスタマイズされた論理(例えば、ASIC等)等のハードウェア論理回路で実装される、対応する論理設計を介して、提供されてもよい。さらに、そのようなプロセスは、ソフトウェアおよびハードウェア論理回路を起動する、両方の1つ以上のプロセッサを組み合わせる実装を介して、提供されてもよい。
図11は、上記の実施例のうちのいずれかまたは全てを実装するために使用され得る、例示的システム5000を図示する。例示的システム5000は、携帯用デバイス(ウェアラブルデバイスを含む)または非携帯用デバイス、例えば、通信デバイス(例えば、携帯電話、スマートフォン)、マルチメディアデバイス(例えば、MP3プレーヤ、TV、ラジオ)、携帯用またはハンドヘルドコンピュータ(例えば、タブレット、ノートブック、ラップトップ)、デスクトップコンピュータ、一体型デスクトップ、周辺デバイス、頭部搭載型デバイス(例えば、統合ディスプレイを含み得る)、またはこれらのタイプのデバイスのうちの2つ以上のものの組み合わせを含む、例示的システム5000を含むように適合可能な任意の他のシステムまたはデバイスの中に含まれてもよい。上記の実施例は、無線ネットワークを介して通信する2つ以上のコンピュータ等の2つ以上の物理的に別個のデバイスで具現化されてもよい。上記の実施例は、データを、頭部搭載型ディスプレイデバイスへ、および/またはそこから通信する、ベルトパック等の2つ以上の物理的に異なるデバイスで具現化されてもよい。例示的システム5000は、1つ以上のコンピュータ可読媒体5010と、処理システム5040と、I/Oサブシステム5060と、無線通信回路(例えば、RF回路)5080と、オーディオデバイス(例えば、スピーカ、マイクロホン)5100と、センサ5110とを含む。これらのコンポーネントは、1つ以上の通信バスまたは信号ライン5030によって結合されてもよい。
図11に示されるアーキテクチャは、例示的システム5000の1つの例示的アーキテクチャにすぎず、例示的システム5000は、示されるものよりも多いまたは少ないコンポーネント、またはコンポーネントの異なる構成を有してもよい。図11に示される種々のコンポーネントは、1つ以上のデジタル信号プロセッサ(DSP)および/または特定用途向け集積回路(ASIC)を含む、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装されてもよい。
図11の例示的システム5000を参照すると、無線通信回路5080は、1つ以上の他のデバイスへの無線(例えば、RF)リンクまたはネットワークを経由して情報を送信および受信するために使用されてもよく、本機能を実施するための回路を含んでもよい。無線通信回路5080およびオーディオデバイス5100は、周辺機器インターフェース5160を介して処理システム5040に結合されてもよい。周辺機器インターフェース5160は、周辺機器(例えば、無線通信回路5080、オーディオデバイス5100、およびセンサ5110)と処理システム5040との間の通信を確立および維持するための種々の既知のコンポーネントを含んでもよい。オーディオデバイス5100は、周辺機器インターフェース5160から受信される音声信号を処理し、ユーザが他のユーザとリアルタイムで通信することを可能にするための回路を含んでもよい。オーディオデバイス5100は、例えば、1つ以上のスピーカおよび/または1つ以上のマイクロホンを含んでもよい。いくつかの実施例では、オーディオデバイス5100は、ヘッドホンジャック(図示せず)を含んでもよい。
センサ5110は、限定されないが、1つ以上の発光ダイオード(LED)または他の光エミッタ、1つ以上のフォトダイオードまたは他の光センサ、1つ以上の光熱センサ、磁力計、加速度計、ジャイロスコープ、気圧計、コンパス、近接性センサ、カメラ、周囲光センサ、温度計、GPSセンサ、電気眼球図記録(EOG)センサ、および残存バッテリ寿命、電力消費量、プロセッサ速度、CPU負荷、および同等物を感知し得る種々のシステムセンサを含む、種々のセンサを含んでもよい。頭部搭載型デバイス(ディスプレイを含み得る)を伴うこと等の実施例では、1つ以上のセンサは、ユーザの眼移動を追跡すること、またはその眼の画像に基づいてユーザを識別すること等のユーザの眼に関連する機能性に関連して採用されてもよい。
周辺機器インターフェース5160は、システム5000の入力および出力周辺機器を、1つ以上のプロセッサ5180および1つ以上のコンピュータ可読媒体5010に結合してもよい。1つ以上のプロセッサ5180は、コントローラ5200を介して1つ以上のコンピュータ可読媒体5010と通信してもよい。コンピュータ可読媒体5010は、1つ以上のプロセッサ5180によって使用するためのコードおよび/またはデータを記憶し得る、任意のデバイスまたは媒体(信号を除外する)であってもよい。いくつかの実施例では、コンピュータ可読媒体5010は、非一過性のコンピュータ可読記憶媒体であってもよい。コンピュータ可読媒体5010は、限定ではないが、キャッシュ、メインメモリ、および二次メモリを含む、メモリ階層を含んでもよい。メモリ階層は、RAM(例えば、SRAM、DRAM、DDRAM)、ROM、FLASH、ディスクドライブ、磁気テープ、CD(コンパクトディスク)、およびDVD(デジタルビデオディスク)等の磁気および/または光学記憶デバイスの任意の組み合わせを使用して、実装されてもよい。コンピュータ可読媒体5010はまた、(信号を除外し、信号が変調される搬送波を除外するが)コンピュータ命令またはデータを示す情報伝達信号を搬送するための伝送媒体を含んでもよい。例えば、伝送媒体は、限定ではないが、インターネット(ワールドワイドウェブを含む)、イントラネット、ローカエルエリアネットワーク(LAN)、ワイドローカルエリアネットワーク(WLAN)、ストレージエリアネットワーク(SAN)、メトロポリタンエリアネットワーク(MAN)、および同等物を含む、通信ネットワークを含んでもよい。
1つ以上のプロセッサ5180は、コンピュータ可読媒体5010の中に記憶された種々のソフトウェアコンポーネントを起動し、例示的システム5000のための種々の機能を果たしてもよい。いくつかの実施例では、ソフトウェアコンポーネントは、オペレーティングシステム5220と、通信モジュール(または命令のセット)5240と、I/O処理モジュール(または命令のセット)5260と、グラフィックスモジュール(または命令のセット)5280と、1つ以上のアプリケーション(または命令のセット)5300とを含んでもよい。これらのモジュールおよび上記のアプリケーションはそれぞれ、上記に説明される1つ以上の機能および本願に説明される方法(例えば、コンピュータ実装方法および本明細書に説明される他の情報処理方法)を実施するための命令のセットに対応し得る。これらのモジュール(すなわち、命令のセット)は、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実装される必要はなく、したがって、これらのモジュールの種々のサブセットは、種々の実施例では、組み合わせられる、または別様に再配列されてもよい。いくつかの実施例では、コンピュータ可読媒体5010は、上記で識別されるモジュールおよびデータ構造のサブセットを記憶してもよい。さらに、コンピュータ可読媒体5010は、上記に説明されていない付加的モジュールおよびデータ構造を記憶してもよい。
オペレーティングシステム5220は、一般的システムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理等)を制御および管理するための種々のプロシージャ、命令のセット、ソフトウェアコンポーネント、および/またはドライバを含んでもよく、種々のハードウェアとソフトウェアコンポーネントとの間の通信を促進する。
通信モジュール5240は、1つ以上の外部ポート5360を経由して、または無線通信回路5080を介して、他のデバイスとの通信を促進してもよく、無線通信回路5080および/または外部ポート5360から受信されるデータを取り扱うための種々のソフトウェアコンポーネントを含んでもよい。
グラフィックスモジュール5280は、1つ以上のディスプレイ表面上でグラフィカルオブジェクトをレンダリング、動画化、および表示するための種々の既知のソフトウェアコンポーネントを含んでもよい。ディスプレイ表面は、2Dまたは3Dディスプレイを含んでもよい。ディスプレイ表面は、例示的システム5000の1つ以上のコンポーネントに直接または間接的に結合されてもよい。タッチ感知ディスプレイ(例えば、タッチスクリーン)を伴う実施例では、グラフィックスモジュール5280は、タッチ感知ディスプレイ上でオブジェクトをレンダリング、表示、および動画化するためのコンポーネントを含んでもよい。いくつかの実施例では、グラフィックスモジュール5280は、遠隔ディスプレイをレンダリングするためのコンポーネントを含んでもよい。カメラを組み込むもの等のいくつかの実施例では、グラフィックスモジュール5280は、レンダリングされたグラフィックオブジェクトとカメラデータ(頭部搭載型カメラから捕捉されるもの等)または写真データ(衛星によって捕捉された画像等)を合成することによって形成される画像を作成および/または表示するためのコンポーネントを含んでもよい。いくつかの実施例では、グラフィックスモジュール5280は、画像を頭部搭載型ディスプレイデバイスにレンダリングするためのコンポーネントを含んでもよい。いくつかの実施例では、画像は、仮想コンテンツの要素のビュー(例えば、3次元仮想環境内のオブジェクト)および/または物理的世界のビュー(例えば、ユーザの物理的周辺を示すカメラ入力)を含んでもよい。いくつかの実施例では、ディスプレイは、仮想コンテンツおよび物理的世界のビューの合成画像を提示してもよい。いくつかの実施例では、物理的世界のビューは、レンダリングされた画像であってもよく、いくつかの実施例では、物理的世界のビューは、カメラからの画像であってもよい。
1つ以上のアプリケーション5300は、限定ではないが、ブラウザ、アドレス帳、連絡先リスト、Eメール、インスタントメッセージ、文書処理、キーボードエミュレーション、ウィジェット、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、音声複製、場所決定能力(全地球測位システム(GPS)によって提供されるもの等)、音楽プレーヤ等を含む、例示的システム5000上にインストールされた任意のアプリケーションを含んでもよい。
I/Oサブシステム5060は、種々の機能を制御する、または果たすための1つ以上のI/Oデバイス5140に結合されてもよい。眼追跡または虹彩認識機能性を含む実施例等の眼データの処理を伴う実施例では、I/Oサブシステム5060は、眼関連入力および出力専用の1つ以上のI/Oデバイス5120に結合されてもよい。1つ以上の眼I/Oデバイス5120は、眼入力(例えば、眼追跡のためのセンサ)またはユーザジェスチャ入力(例えば、光学センサ)を処理するための種々のコンポーネントを含み得る、眼I/Oデバイスコントローラ5320を介して、処理システム5040と通信してもよい。1つ以上の他のI/Oコントローラ5340は、電気信号を他のI/Oデバイス5140に送信し、そこから受信してもよい。そのようなI/Oデバイス5140は、物理的ボタン、ダイヤル、スライダスイッチ、スティック、キーボード、タッチパネル、付加的ディスプレイ画面、またはそれらの任意の組み合わせを含んでもよい。
I/O処理モジュール5260は、限定されないが、眼I/Oデバイスコントローラ5320を介して眼I/Oデバイス5120から、またはI/Oコントローラ5340を介して他のI/Oデバイス5140から受信される、入力を受信および処理することを含む、1つ以上の眼I/Oデバイス5120および/または1つ以上の他のI/Oデバイス5140と関連付けられる種々のタスクを実施するための種々のソフトウェアコンポーネントを含んでもよい。いくつかの実施例では、I/Oデバイス5140および/またはI/O処理モジュール5260は、触知または非触知手段によって提供され得る、ジェスチャ入力と関連付けられる種々のタスクを実施してもよい。いくつかの実施例では、ジェスチャ入力は、例えば、ユーザの眼、腕、手、および/または指の移動を検出するためのカメラまたは別のセンサによって提供されてもよい。いくつかの実施例では、1つ以上のI/Oデバイス5140および/またはI/O処理モジュール5260は、ユーザが相互作用することを所望するディスプレイ上のオブジェクト、例えば、ユーザが指し示しているGUI要素を識別するように構成されてもよい。いくつかの実施例では、1つ以上の眼I/Oデバイス5120および/またはI/O処理モジュール5260は、ユーザが見ているオブジェクトまたはディスプレイ上の領域を識別すること等の眼追跡タスクを実施するように(光学またはEOGセンサの助けを借りて等)構成されてもよい。いくつかの実施例では、デバイス(ハードウェア「ビーコン」等)が、2Dまたは3D環境に対するユーザの手の場所を識別すること等の1つ以上のI/Oデバイス5140および/またはI/O処理モジュール5260のジェスチャ関連タスクを補助するように、ユーザによって装着または保持されてもよい。いくつかの実施例では、1つ以上の眼I/Oデバイス5120および/またはI/O処理モジュール5260は、ユーザの眼に関するカメラセンサからのデータ等のセンサ入力に基づいて、ユーザを識別するように構成されてもよい。
いくつかの実施例では、グラフィックスモジュール5280は、グラフィカルユーザインターフェース(GUI)内で視覚出力をユーザに表示してもよい。視覚出力は、テキスト、グラフィック、ビデオ、およびそれらの任意の組み合わせを含んでもよい。視覚出力の一部または全ては、ユーザインターフェースオブジェクトに対応してもよい。いくつかの実施例では、1つ以上のI/Oデバイス5120および/または5140および/またはコントローラ5320および/または5340は(媒体5010内の任意の関連付けられるモジュールおよび/または命令のセットとともに)、ジェスチャおよび/または眼移動を検出および追跡してもよく、検出されたジェスチャおよび/または眼移動を、1つ以上のユーザインターフェースオブジェクト等のグラフィカルオブジェクトとの相互作用に変換してもよい。1つ以上の眼I/Oデバイス5120および/または眼I/Oデバイスコントローラ5320が、ユーザの眼移動を追跡するように構成される、実施例では、ユーザは、グラフィカルオブジェクトを見ることによって、それらと直接相互作用してもよい。
フィードバックが、表示されているものおよび/または例示的システム5000の1つまたは複数の状態に基づいて、1つ以上の眼I/Oデバイス5120または1つ以上の他のI/Oデバイス5140によって等、提供されてもよい。フィードバックは、光学的に(例えば、光信号または表示された画像)、機械的に(例えば、触知フィードバック、タッチフィードバック、力フィードバック、または同等物)、電気的に(例えば、電気刺激)、嗅覚、音響的に(例えば、ビープ音または同等物)、または同等物、またはそれらの任意の組み合わせで、かつ可変または非可変様式で、伝送されてもよい。
例示的システム5000はまた、種々のハードウェアコンポーネントに給電するための電力システム5440を含んでもよく、電力管理システム、1つ以上の電源、再充電システム、停電検出回路、電力コンバータまたはインバータ、電力状態インジケータ、および典型的には携帯用デバイスにおける電力の生成、管理、および分配と関連付けられる任意の他のコンポーネントを含んでもよい。
いくつかの実施例では、周辺機器インターフェース5160、1つ以上のプロセッサ5180、およびコントローラ5200は、処理システム5040等の単一のチップ上に実装されてもよい。いくつかの他の実施例では、それらは、別個のチップ上に実装されてもよい。
いくつかの実施例では、システムが開示される。本システムは、虹彩画像を入手するように構成される、虹彩結像装置と、虹彩結像装置から第1の複数の虹彩画像を受信し、第1の複数の虹彩画像に対応する第1の複数の虹彩コードを生成し、虹彩セル場所に対応する分布メトリックを生成し、分布メトリックを使用して、第1の複合虹彩コードを生成し、第1の複合虹彩コードおよび第1の記憶された虹彩コードを使用して、第1の整合値を生成するように構成される、プロセッサとを備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1の複数の虹彩コードのうちの各虹彩コードは、複数の値を備えてもよく、複数の値のうちの各値は、虹彩セルに対応する。上記の実施例のうちの1つ以上のものに加えて、または代替として、虹彩セル場所は、第1の虹彩セルに対応してもよく、第1の複数の虹彩コードのうちの各虹彩コードは、第1の虹彩セルに対応する値を備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、プロセッサはさらに、第1の整合値が閾値を超えるという決定に応答して、システムの機能性をアクティブ化するように構成されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、本システムはさらに、頭部搭載型ディスプレイを備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1の複合虹彩コードおよび第1の記憶された虹彩コードはそれぞれ、ファジー虹彩コードであってもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1の整合値は、ソフトハミング距離、中央ハミング距離、およびファジーZ−スコアのうちの少なくとも1つであってもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、分布メトリックを生成するステップは、サンプルサイズ依存性信頼値を決定するステップを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1の整合値を生成するステップは、第1の複合虹彩コードの信頼区間を第1の記憶された虹彩コードの信頼区間と比較するステップを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、分布メトリックを生成するステップは、セル値の確率を決定するステップを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、分布メトリックを生成するステップは、セル値の発生の数を定量化するステップを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1の複数の虹彩コードのうちの虹彩コードは、2進セル値を備えてもよく、第1の複合虹彩コードは、非2進セル値を備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、プロセッサはさらに、品質スコアを第1の複数の虹彩画像のうちの虹彩画像に割り当て、品質スコアを閾値と比較し、品質スコアが閾値を満たさないという決定に応答して、虹彩画像を除外するように構成されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1の整合値を生成するステップは、ハミング距離を計算するステップを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、プロセッサはさらに、第1の整合値が完全整合に対応するかどうかを決定するように構成されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、プロセッサはさらに、第1の整合値が条件付き整合に対応するかどうかを決定するように構成されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、プロセッサはさらに、第1の整合値が完全整合に対応するという決定に応答して、システムの第1の機能性をアクティブ化し、第1の整合値が条件付き整合に対応するという決定に応答して、システムの第2の機能性であって、第1の機能性と同じではない第2の機能性をアクティブ化するように構成されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、プロセッサはさらに、第1の整合値が条件付き整合に対応するという決定に応答して、虹彩結像装置から第2の複数の虹彩画像を受信し、第2の複数の虹彩コードを生成し、第2の複合虹彩コードを生成し、第2の複合虹彩コードおよび第1の記憶された虹彩コードを使用して、第2の整合値を生成するように構成されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1の複数の虹彩画像は、事前決定された最小数の虹彩画像を備えてもよい。
いくつかの実施例では、方法が開示される。本方法は、第1の複数の虹彩画像を受信するステップと、第1の複数の虹彩画像に対応する第1の複数の虹彩コードを生成するステップと、虹彩セル場所に対応する分布メトリックを生成するステップと、分布メトリックを使用して、第1の複合虹彩コードを生成するステップと、第1の複合虹彩コードおよび第1の記憶された虹彩コードを使用して、第1の整合値を生成するステップとを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1の複数の虹彩コードのうちの各虹彩コードは、複数の値を備えてもよく、複数の値のうちの各値は、虹彩セルに対応する。上記の実施例のうちの1つ以上のものに加えて、または代替として、虹彩セル場所は、第1の虹彩セルに対応してもよく、第1の複数の虹彩コードのうちの各虹彩コードは、第1の虹彩セルに対応する値を備える。
いくつかの実施例では、システムが開示される。本システムは、ユーザによって装着されるように構成される、ヘッドギアユニットであって、仮想環境をユーザに表示するように構成される、ディスプレイであって、それを通して実際の環境が可視である、透過型アイピースを備える、ディスプレイと、ユーザの虹彩の画像を入手するように構成される、虹彩結像装置であって、ユーザに対して固定されたままであるように構成される、虹彩結像装置と、虹彩結像装置から、第1の複数の虹彩画像であって、ユーザと関連付けられる複数の画像を受信し、第1の複数の虹彩画像に対応する第1の複数の虹彩コードを生成し、虹彩セル場所に対応する分布メトリックを生成し、分布メトリックを使用して、第1の複合虹彩コードを生成し、第1の複合虹彩コードおよび第1の記憶された虹彩コードを使用して、第1の整合値であって、ユーザに対応する第1の整合値を生成するように構成される、プロセッサとを含む、ヘッドギアユニットを備えてもよい。
本開示は、その実施例を参照して特に示され、説明されているが、形態および詳細の種々の変更が、本開示の範囲から逸脱することなく行われ得ることが、当業者によって理解されるであろう。

Claims (23)

  1. システムであって、
    虹彩画像を入手するように構成される虹彩結像装置と、
    プロセッサであって、
    前記虹彩結像装置から第1の複数の虹彩画像を受信することと、
    前記第1の複数の虹彩画像に対応する第1の複数の虹彩コードを生成することと、
    虹彩セル場所に対応する分布メトリックを生成することと、
    前記分布メトリックを使用して、第1の複合虹彩コードを生成することと、
    前記第1の複合虹彩コードおよび第1の記憶された虹彩コードを使用して、第1の整合値を生成することと
    を行うように構成される、プロセッサと
    を備える、システム。
  2. 前記第1の複数の虹彩コードのうちの各虹彩コードは、複数の値を備え、前記複数の値のうちの各値は、虹彩セルに対応する、請求項1に記載のシステム。
  3. 前記虹彩セル場所は、第1の虹彩セルに対応し、
    前記第1の複数の虹彩コードのうちの各虹彩コードは、前記第1の虹彩セルに対応する値を備える、請求項2に記載のシステム。
  4. 前記プロセッサはさらに、
    前記第1の整合値が閾値を超えるという決定に応答して、前記システムの機能性をアクティブ化するように構成される、請求項1に記載のシステム。
  5. 頭部搭載型ディスプレイをさらに備える、請求項1に記載のシステム。
  6. 前記第1の複合虹彩コードおよび前記第1の記憶された虹彩コードはそれぞれ、ファジー虹彩コードである、請求項1に記載のシステム。
  7. 前記第1の整合値は、ソフトハミング距離、中央ハミング距離、およびファジーZ−スコアのうちの少なくとも1つである、請求項1に記載のシステム。
  8. 前記分布メトリックを生成することは、サンプルサイズ依存性信頼値を決定することを含む、請求項1に記載のシステム。
  9. 前記第1の整合値を生成することは、前記第1の複合虹彩コードの信頼区間を前記第1の記憶された虹彩コードの信頼区間と比較することを含む、請求項1に記載のシステム。
  10. 前記分布メトリックを生成することは、セル値の確率を決定することを含む、請求項1に記載のシステム。
  11. 前記分布メトリックを生成することは、セル値の発生の数を定量化することを含む、請求項1に記載のシステム。
  12. 前記第1の複数の虹彩コードのうちの虹彩コードは、2進セル値を備え、前記第1の複合虹彩コードは、非2進セル値を備える、請求項1に記載のシステム。
  13. 前記プロセッサはさらに、
    品質スコアを前記第1の複数の虹彩画像のうちの虹彩画像に割り当てることと、
    前記品質スコアを閾値と比較することと、
    前記品質スコアが前記閾値を満たさないという決定に応答して、前記虹彩画像を除外することと
    を行うように構成される、請求項1に記載のシステム。
  14. 前記第1の整合値を生成することは、ハミング距離を計算することを含む、請求項1に記載のシステム。
  15. 前記プロセッサはさらに、前記第1の整合値が完全整合に対応するかどうかを決定するように構成される、請求項1に記載のシステム。
  16. 前記プロセッサはさらに、前記第1の整合値が条件付き整合に対応するかどうかを決定するように構成される、請求項15に記載のシステム。
  17. 前記プロセッサはさらに、
    前記第1の整合値が完全整合に対応するという決定に応答して、前記システムの第1の機能性をアクティブ化し、
    前記第1の整合値が条件付き整合に対応するという決定に応答して、前記システムの第2の機能性であって、前記第1の機能性と同じではない第2の機能性をアクティブ化する、
    ように構成される、請求項16に記載のシステム。
  18. 前記プロセッサはさらに、
    前記第1の整合値が条件付き整合に対応するという決定に応答して、
    前記虹彩結像装置から第2の複数の虹彩画像を受信することと、
    第2の複数の虹彩コードを生成することと、
    第2の複合虹彩コードを生成することと、
    前記第2の複合虹彩コードおよび前記第1の記憶された虹彩コードを使用して、第2の整合値を生成することと
    を行うように構成される、請求項16に記載のシステム。
  19. 前記第1の複数の虹彩画像は、事前決定された最小数の虹彩画像を備える、請求項1に記載のシステム。
  20. 方法であって、
    第1の複数の虹彩画像を受信することと、
    前記第1の複数の虹彩画像に対応する第1の複数の虹彩コードを生成することと、
    虹彩セル場所に対応する分布メトリックを生成することと、
    前記分布メトリックを使用して、第1の複合虹彩コードを生成することと、
    前記第1の複合虹彩コードおよび第1の記憶された虹彩コードを使用して、第1の整合値を生成することと
    を含む、方法。
  21. 前記第1の複数の虹彩コードのうちの各虹彩コードは、複数の値を備え、前記複数の値のうちの各値は、虹彩セルに対応する、請求項20に記載の方法。
  22. 前記虹彩セル場所は、第1の虹彩セルに対応し、
    前記第1の複数の虹彩コードのうちの各虹彩コードは、前記第1の虹彩セルに対応する値を備える、請求項21に記載の方法。
  23. システムであって、
    ユーザによって装着されるように構成されるヘッドギアユニットであって、前記ヘッドギアユニットは、
    仮想環境を前記ユーザに表示するように構成されるディスプレイであって、前記ディスプレイは、それを通して実際の環境が可視である、透過型アイピースを備える、ディスプレイと、
    前記ユーザの虹彩の画像を入手するように構成される虹彩結像装置であって、前記虹彩結像装置は、前記ユーザに対して固定されたままであるように構成される、虹彩結像装置と、
    プロセッサであって、
    前記虹彩結像装置から、第1の複数の虹彩画像を受信することであって、複数の画像は、前記ユーザと関連付けられる、ことと、
    前記第1の複数の虹彩画像に対応する第1の複数の虹彩コードを生成することと、
    虹彩セル場所に対応する分布メトリックを生成することと、
    前記分布メトリックを使用して、第1の複合虹彩コードを生成することと、
    前記第1の複合虹彩コードおよび第1の記憶された虹彩コードを使用して、第1の整合値を生成することであって、前記第1の整合値は、前記ユーザに対応する、ことと
    を行うように構成される、プロセッサと
    を含む、ヘッドギアユニット
    を備える、システム。
JP2019551609A 2017-03-24 2018-03-23 虹彩コードの蓄積および信頼性割当 Active JP7125950B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022077003A JP7342191B2 (ja) 2017-03-24 2022-05-09 虹彩コードの蓄積および信頼性割当

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762476513P 2017-03-24 2017-03-24
US62/476,513 2017-03-24
PCT/US2018/024215 WO2018176015A1 (en) 2017-03-24 2018-03-23 Accumulation and confidence assignment of iris codes

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022077003A Division JP7342191B2 (ja) 2017-03-24 2022-05-09 虹彩コードの蓄積および信頼性割当

Publications (2)

Publication Number Publication Date
JP2020512634A true JP2020512634A (ja) 2020-04-23
JP7125950B2 JP7125950B2 (ja) 2022-08-25

Family

ID=63583436

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019551609A Active JP7125950B2 (ja) 2017-03-24 2018-03-23 虹彩コードの蓄積および信頼性割当
JP2022077003A Active JP7342191B2 (ja) 2017-03-24 2022-05-09 虹彩コードの蓄積および信頼性割当

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022077003A Active JP7342191B2 (ja) 2017-03-24 2022-05-09 虹彩コードの蓄積および信頼性割当

Country Status (9)

Country Link
US (2) US11055530B2 (ja)
EP (2) EP4120127A1 (ja)
JP (2) JP7125950B2 (ja)
KR (2) KR102528488B1 (ja)
CN (2) CN110692062B (ja)
AU (2) AU2018237688B2 (ja)
CA (1) CA3057678A1 (ja)
IL (2) IL303078A (ja)
WO (1) WO2018176015A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3057678A1 (en) 2017-03-24 2018-09-27 Magic Leap, Inc. Accumulation and confidence assignment of iris codes
RU2670798C9 (ru) * 2017-11-24 2018-11-26 Самсунг Электроникс Ко., Лтд. Способ аутентификации пользователя по радужной оболочке глаз и соответствующее устройство
US10728518B2 (en) 2018-03-22 2020-07-28 Microsoft Technology Licensing, Llc Movement detection in low light environments
US10643341B2 (en) 2018-03-22 2020-05-05 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
US10944957B2 (en) 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
US10565720B2 (en) * 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US10762219B2 (en) 2018-05-18 2020-09-01 Microsoft Technology Licensing, Llc Automatic permissions for virtual objects
US11619814B1 (en) * 2018-06-04 2023-04-04 Meta Platforms Technologies, Llc Apparatus, system, and method for improving digital head-mounted displays
US11074675B2 (en) * 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US10893412B2 (en) 2018-08-27 2021-01-12 Apple Inc. Authenticated device assisted user authentication
US10832053B2 (en) * 2018-12-18 2020-11-10 Advanced New Technologies Co., Ltd. Creating an iris identifier to reduce search space of a biometric system
EP3973347A4 (en) 2019-05-20 2023-05-31 Magic Leap, Inc. EYE POSITION ESTIMATION SYSTEMS AND TECHNIQUES
WO2020240747A1 (ja) * 2019-05-29 2020-12-03 マクセル株式会社 個人情報表示装置及びその処理方法
US11263634B2 (en) 2019-08-16 2022-03-01 Advanced New Technologies Co., Ltd. Payment method and device
WO2021119212A1 (en) 2019-12-09 2021-06-17 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
US11635802B2 (en) * 2020-01-13 2023-04-25 Sony Interactive Entertainment Inc. Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems
CN114981846A (zh) * 2020-01-20 2022-08-30 索尼集团公司 图像生成设备、图像生成方法和程序
US11300784B2 (en) 2020-02-21 2022-04-12 Fotonation Limited Multi-perspective eye acquisition
CN111508142A (zh) * 2020-04-17 2020-08-07 深圳爱莫科技有限公司 视线语音交互自动售烟机
CN116033864A (zh) 2020-07-15 2023-04-28 奇跃公司 使用非球形角膜模型的眼睛跟踪
US11520152B1 (en) * 2020-08-06 2022-12-06 Apple Inc. Head-mounted display systems with gaze tracker alignment monitoring
US11822736B1 (en) * 2022-05-18 2023-11-21 Google Llc Passive-accessory mediated gesture interaction with a head-mounted device
US11579444B1 (en) * 2022-06-02 2023-02-14 Microsoft Technology Licensing, Llc Infrared microled based invisible illumination for eye tracking

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62212781A (ja) * 1986-03-14 1987-09-18 Hitachi Ltd 個人認証方式
JP2004030564A (ja) * 2002-02-05 2004-01-29 Matsushita Electric Ind Co Ltd 個人認証方法、個人認証装置および撮影装置
JP2004206444A (ja) * 2002-12-25 2004-07-22 Matsushita Electric Ind Co Ltd 個人認証方法および虹彩認証装置
JP2006185299A (ja) * 2004-12-28 2006-07-13 Media Technology:Kk アイリス識別装置
JP2007504562A (ja) * 2003-09-04 2007-03-01 サーノフ コーポレーション 1つの画像から虹彩認証を行う方法および装置
JP2008518708A (ja) * 2004-11-08 2008-06-05 イデシア・リミテッド 電子バイオメトリック識別認識のための方法及び装置
WO2009016846A1 (ja) * 2007-08-02 2009-02-05 Panasonic Corporation 虹彩認証装置および虹彩認証システム
US20100202669A1 (en) * 2007-09-24 2010-08-12 University Of Notre Dame Du Lac Iris recognition using consistency information
WO2012073381A1 (ja) * 2010-12-03 2012-06-07 富士通株式会社 生体認証装置及び生体認証方法
JP2016508323A (ja) * 2013-03-15 2016-03-17 三菱電機株式会社 暗号化したものを認証する方法及びバイオメトリックデータを認証するシステム
JP2017049868A (ja) * 2015-09-03 2017-03-09 株式会社東芝 ウェアラブル端末、方法及びシステム

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US5978494A (en) * 1998-03-04 1999-11-02 Sensar, Inc. Method of selecting the best enroll image for personal identification
JP2001167252A (ja) * 1999-12-10 2001-06-22 Oki Electric Ind Co Ltd 眼画像作成方法、アイリス認証方法及びアイリス認証装置
JP3991042B2 (ja) * 2002-02-05 2007-10-17 松下電器産業株式会社 個人認証方法および個人認証装置
KR20080106481A (ko) * 2002-07-29 2008-12-05 이데시아 엘티디. 전자 생체 신원 인식을 위한 방법 및 장치
KR100629550B1 (ko) * 2004-11-22 2006-09-27 아이리텍 잉크 다중스케일 가변영역분할 홍채인식 방법 및 시스템
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
JP2007156790A (ja) * 2005-12-05 2007-06-21 Hitachi Omron Terminal Solutions Corp 複数種の生体情報による認証をおこなう認証技術
KR100749380B1 (ko) * 2006-03-10 2007-08-16 연세대학교 산학협력단 암호화 생체인식시스템의 고유 생체코드 생성방법
KR100852629B1 (ko) * 2006-06-02 2008-08-18 연세대학교 산학협력단 다초점 영상 시퀀스를 이용한 홍채인식 시스템 및 방법
WO2009029638A1 (en) 2007-08-27 2009-03-05 Videntity Systems, Inc. Iris recognition
US20100014755A1 (en) * 2008-07-21 2010-01-21 Charles Lee Wilson System and method for grid-based image segmentation and matching
US20100232654A1 (en) * 2009-03-11 2010-09-16 Harris Corporation Method for reconstructing iris scans through novel inpainting techniques and mosaicing of partial collections
US10216995B2 (en) * 2009-09-25 2019-02-26 International Business Machines Corporation System and method for generating and employing short length iris codes
US8184067B1 (en) * 2011-07-20 2012-05-22 Google Inc. Nose bridge sensor
US20130326613A1 (en) * 2012-05-31 2013-12-05 Gregory Peter Kochanski Dynamic control of device unlocking security level
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
EP2929487A4 (en) * 2012-12-10 2016-08-10 Stanford Res Inst Int BIOMETRIC IRIS ADJUSTMENT SYSTEM
JP5642210B2 (ja) * 2013-02-04 2014-12-17 インテル コーポレイション 電子バイオメトリック識別認識のための方法及び装置
US9172692B2 (en) * 2013-03-14 2015-10-27 William M. Langley Systems and methods for securely transferring authentication information between a user and an electronic resource
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
EP3074924A4 (en) * 2013-10-08 2017-11-22 Princeton Identity, Inc. Iris biometric recognition module and access control assembly
US9189686B2 (en) * 2013-12-23 2015-11-17 King Fahd University Of Petroleum And Minerals Apparatus and method for iris image analysis
CN104809380B (zh) * 2014-01-24 2018-10-30 北京奇虎科技有限公司 头戴式智能设备及其使用者的身份一致性的判断方法
CN105874472B (zh) * 2014-02-21 2019-09-17 三星电子株式会社 具有虹膜颜色识别的多频带生物识别相机***
WO2016018487A2 (en) * 2014-05-09 2016-02-04 Eyefluene, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CA3186147A1 (en) * 2014-08-28 2016-02-28 Kevin Alan Tussy Facial recognition authentication system including path parameters
KR102255351B1 (ko) * 2014-09-11 2021-05-24 삼성전자주식회사 홍채 인식 방법 및 장치
US9836663B2 (en) * 2015-03-05 2017-12-05 Samsung Electronics Co., Ltd. User authenticating method and head mounted device supporting the same
US10594688B2 (en) * 2015-03-09 2020-03-17 Cross Match Technologies, Inc. Privacy-enhanced biometrics-secret binding scheme
NZ773813A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US9495590B1 (en) * 2015-04-23 2016-11-15 Global Bionic Optics, Ltd. Extended depth-of-field biometric system
US20160366317A1 (en) * 2015-06-12 2016-12-15 Delta ID Inc. Apparatuses and methods for image based biometric recognition
FR3037422B1 (fr) * 2015-06-15 2017-06-23 Morpho Procede d'identification et/ou d'authentification d'un individu par reconnaissance d'iris
WO2017053821A1 (en) 2015-09-25 2017-03-30 Magic Leap, Inc. Methods and systems for detecting and combining structural features in 3d reconstruction
KR102641655B1 (ko) 2015-10-20 2024-02-27 매직 립, 인코포레이티드 3차원 공간에서 가상 객체들 선택
KR102279550B1 (ko) * 2017-01-23 2021-07-20 삼성전자주식회사 홍채를 위한 합성 코드를 이용한 인증 방법 및 인증 장치
CA3057678A1 (en) * 2017-03-24 2018-09-27 Magic Leap, Inc. Accumulation and confidence assignment of iris codes

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62212781A (ja) * 1986-03-14 1987-09-18 Hitachi Ltd 個人認証方式
JP2004030564A (ja) * 2002-02-05 2004-01-29 Matsushita Electric Ind Co Ltd 個人認証方法、個人認証装置および撮影装置
JP2004206444A (ja) * 2002-12-25 2004-07-22 Matsushita Electric Ind Co Ltd 個人認証方法および虹彩認証装置
JP2007504562A (ja) * 2003-09-04 2007-03-01 サーノフ コーポレーション 1つの画像から虹彩認証を行う方法および装置
JP2008518708A (ja) * 2004-11-08 2008-06-05 イデシア・リミテッド 電子バイオメトリック識別認識のための方法及び装置
JP2006185299A (ja) * 2004-12-28 2006-07-13 Media Technology:Kk アイリス識別装置
WO2009016846A1 (ja) * 2007-08-02 2009-02-05 Panasonic Corporation 虹彩認証装置および虹彩認証システム
US20100202669A1 (en) * 2007-09-24 2010-08-12 University Of Notre Dame Du Lac Iris recognition using consistency information
WO2012073381A1 (ja) * 2010-12-03 2012-06-07 富士通株式会社 生体認証装置及び生体認証方法
JP2016508323A (ja) * 2013-03-15 2016-03-17 三菱電機株式会社 暗号化したものを認証する方法及びバイオメトリックデータを認証するシステム
JP2017049868A (ja) * 2015-09-03 2017-03-09 株式会社東芝 ウェアラブル端末、方法及びシステム

Also Published As

Publication number Publication date
WO2018176015A1 (en) 2018-09-27
JP2022105185A (ja) 2022-07-12
US20210342583A1 (en) 2021-11-04
IL269432A (en) 2019-11-28
JP7125950B2 (ja) 2022-08-25
EP3602399A4 (en) 2020-03-25
CN110692062B (zh) 2023-12-08
IL269432B1 (en) 2023-06-01
US11055530B2 (en) 2021-07-06
US11295551B2 (en) 2022-04-05
KR20190133204A (ko) 2019-12-02
IL269432B2 (en) 2023-10-01
JP7342191B2 (ja) 2023-09-11
AU2018237688A1 (en) 2019-10-10
KR20230062669A (ko) 2023-05-09
EP4120127A1 (en) 2023-01-18
CN117576773A (zh) 2024-02-20
AU2022271466A1 (en) 2022-12-22
EP3602399B1 (en) 2022-10-05
US20180276467A1 (en) 2018-09-27
EP3602399A1 (en) 2020-02-05
AU2018237688B2 (en) 2022-08-25
IL303078A (en) 2023-07-01
CN110692062A (zh) 2020-01-14
CA3057678A1 (en) 2018-09-27
KR102528488B1 (ko) 2023-05-02

Similar Documents

Publication Publication Date Title
JP7342191B2 (ja) 虹彩コードの蓄積および信頼性割当
JP7443332B2 (ja) ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択
US10831268B1 (en) Systems and methods for using eye tracking to improve user interactions with objects in artificial reality
KR20210077806A (ko) 혼합 현실 교정을 위한 안구주위 테스트
JP2023504207A (ja) ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法
US11656693B2 (en) Multimodal kinematic template matching and regression modeling for ray pointing prediction in virtual reality
KR20230040346A (ko) 비구면 각막 모델을 사용한 눈 추적
CN117337426A (zh) 音频加强的增强现实
US20210365533A1 (en) Systems and methods for authenticating a user of a head-mounted display
US20230069764A1 (en) Systems and methods for using natural gaze dynamics to detect input recognition errors
CN117897674A (zh) 使用自然凝视动力学来检测输入识别错误的***和方法
WO2023028171A1 (en) Systems and methods for using natural gaze dynamics to detect input recognition errors
CN118119915A (zh) 用于向用户传达模型不确定性的***和方法
EP4330796A1 (en) Handheld controller with thumb pressure sensing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R150 Certificate of patent or registration of utility model

Ref document number: 7125950

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150