JP6861628B2 - 眼の不快感を軽減させるディスプレイ - Google Patents

眼の不快感を軽減させるディスプレイ Download PDF

Info

Publication number
JP6861628B2
JP6861628B2 JP2017514673A JP2017514673A JP6861628B2 JP 6861628 B2 JP6861628 B2 JP 6861628B2 JP 2017514673 A JP2017514673 A JP 2017514673A JP 2017514673 A JP2017514673 A JP 2017514673A JP 6861628 B2 JP6861628 B2 JP 6861628B2
Authority
JP
Japan
Prior art keywords
eye
display system
observer
display
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017514673A
Other languages
English (en)
Other versions
JP2017534957A (ja
JP2017534957A5 (ja
Inventor
フラム,スコット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2017534957A publication Critical patent/JP2017534957A/ja
Publication of JP2017534957A5 publication Critical patent/JP2017534957A5/ja
Application granted granted Critical
Publication of JP6861628B2 publication Critical patent/JP6861628B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0167Emergency system, e.g. to prevent injuries
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Eye Examination Apparatus (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)
  • Medicines Containing Material From Animals Or Micro-Organisms (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

現在のディスプレイシステムは、説得力のある仮想現実に観察者を没頭させる。しかしながら、いかなるディスプレイシステムの長期の使用も、眼の不快感を生じさせ得る。眼の不快感は、長い時間期間の間表示画像(例えば、3D立体画像)を観察することから単純に生じ得る。いくつかのディスプレイシステムにおいて、観察者のアイデンティティ(identity)、姿勢、又は注視方向を評価するために使用されるプローブ光(probe light)が、眼のさらなる不快感を生じさせ得る。
一実施形態は、観察者の視界に配置されるディスプレイと、観察者の眼の状態を検知するよう構成されているセンササブシステムと、コントローラと、を含むディスプレイシステムを提供する。コントローラは、ディスプレイ及びセンササブシステムに動作可能に接続され、観察者が感じ得る眼の不快感を軽減させるために、検知された眼の状態に応じて、ディスプレイシステムの動作パラメータを調整するよう構成されている。
この発明の概要は、発明を実施するための形態において以下でさらに説明されるコンセプトのうち選択されたコンセプトを簡略化された形で紹介するために提供されている。この発明の概要は、特許請求される主題の主要な特徴又は必要不可欠な特徴を特定することを意図するものではないし、特許請求される主題の範囲を限定することを意図するものでもない。さらに、特許請求される主題は、本開示の何らかの部分に記される何らかの欠点を解決する実施形態に限定されるものでもない。
例示的なヘッドマウントディスプレイシステムの態様を示す図。 ヘッドマウントディスプレイシステムの例示的なディスプレイパネルの態様を示す図。 他の例示的なディスプレイシステムの態様を示す図。 他の例示的なディスプレイシステムの態様を示す図。 例示的なディスプレイシステムのさらなる態様を示す図。 ディスプレイシステムの観察者の眼の不快感を軽減させる又は防ぐための例示的な方法を示す図。
本開示の態様が、上記で挙げられた図示される実施形態を参照して、例として以下で説明される。1以上の実施形態において実質的に同じであり得るコンポーネント、プロセスステップ、及び他の要素が、協調的に特定され、最小限の繰り返しをもって説明される。しかしながら、協調的に特定される要素は、ある程度異なり得ることに留意されたい。本開示に含まれる図面は、概略的であり、概して縮尺通りではないことにさらに留意されたい。そうではなく、様々な図面のスケール、縦横比、及び、図面に示されるコンポーネントの数は、所定の特徴又は関係をより容易に確認できるようにするために、意図的に変えられていることがある。
図1は、装着者14Aにより装着されて使用される例示的なヘッドマウントディスプレイシステム12Aの態様を示している。図示されるディスプレイシステムは、装着者の眼の近くに配置される立体視シースルーディスプレイコンポーネントを含む。したがって、ディスプレイシステム12Aは、実世界画像が仮想表示画像と混合される拡張現実用途において使用され得る。
図1のディスプレイシステム12Aは、別個の右ディスプレイパネル16R及び左ディスプレイパネル16Lと、電子的に調整される調光スクリーン18と、を含む。いくつかの実施形態において、右ディスプレイパネル及び左ディスプレイパネルは、装着者の周囲のクリアな視界を装着者に与えるために、装着者の視点から全体又は一部が透明である。コントローラ20は、ディスプレイパネル、調光スクリーン、及び他のディスプレイシステムコンポーネントに動作可能に接続される。コントローラは、本明細書で説明される制御プロセスを実行に移すよう構成されているロジック及び関連付けられたコンピュータメモリを含む。
図2は、1つの非限定的な実施形態における、右又は左のディスプレイパネル16(16R、16L)の態様を示している。ディスプレイパネルは、バックライト22及び液晶ディスプレイ(LCD)マトリックス24を含む。バックライトは、発光ダイオード(LED)の集合体−例えば、白色LED、又は、分散された赤色LED、緑色LED、及び青色LED−を含み得る。バックライトは、LCDマトリックスを介するようにその発光を向ける(direct)よう配置され得、LCDマトリックスは、コントローラ20Aからの制御信号に基づいて、表示画像を形成する。LCDマトリックスは、矩形グリッド状又は他の幾何学的形状に配列された多数の個々にアドレス指定可能な画素を含み得る。いくつかの実施形態において、赤色光を透過させる画素が、マトリックスにおいて、緑色光及び青色光を透過させる画素に並置され得るので、LCDマトリックスは、カラー画像を形成する。他の実施形態において、反射型液晶素子(LCOS)マトリックス又はデジタルマイクロミラーアレイが、図2のLCDマトリックスの代わりに使用され得る。代替的に、アクティブLEDマトリックス又は適切な走査ビーム技術を使用して、右表示画像及び左表示画像を形成してもよい。図面は、別個の右ディスプレイパネル及び左ディスプレイパネルを示しているが、両眼を覆うように延びる1つのディスプレイパネルが、代わりに使用されてもよい。
調光スクリーン18が、必要とされるときに、ディスプレイパネル16を介して観察される実画像の輝度を低減させるよう構成されているので、仮想表示画像が、適切な相対輝度で提示され得る。調光スクリーンはまた、環境光−可視及びその他−への装着者の暴露を低減させる。このために、調光スクリーンは、例えば、ゲストホスト方式電気光学技術を含み得る。図示される実施形態において、調光スクリーンは、右ディスプレイパネル及び左ディスプレイパネルを覆うように配置される庇(visor)の形態をとる。したがって、調光スクリーンは、装着者の視野全体を制御可能に調光するよう構成され得る。
ヘッドマウントディスプレイシステム12Aは、センササブシステム26Aを含み、センササブシステム26Aも、コントローラ20Aに動作可能に接続される。図示される実施形態において、センササブシステムは、眼撮像カメラ28、軸上(on-axis)照射源30、及び軸外(off-axis)照射源30’を含む。各照射源は、眼撮像カメラの高感度波長帯域において赤外線(IR)又は近赤外線(NIR)を照射する。各照射源は、発光ダイオード(LED)、ダイオードレーザー、放電(discharge)照射源等を含み得る。「軸上」及び「軸外」という用語は、眼撮像カメラの光軸Aに対する照射の方向を指す。
任意の適切な対物レンズ系を介して、眼撮像カメラ28は、画角の範囲にわたって光を検出集光し、そのような画角を、矩形画素アレイのうちの対応する画素にマッピングする。一実施形態において、眼撮像カメラは、画素アレイのうちの画素のサブセットに関連付けられた複数の波長チャネル−例えば、赤、緑、青等−において光を検出することができる。代替的に、可視光、近赤外線(NIR)光、赤外線(IR)光、及び/又は紫外線(UV)光をグレースケールで撮像する単色眼撮像カメラが使用されてもよい。眼撮像カメラにおいて露光される画素の全ての色又は輝度値が、集合的にデジタル画像を構成する。コントローラ20Aは、眼撮像カメラからの出力を使用して、装着者14Aの注視方向Vをトラッキングするよう構成され得る。
軸上照射及び軸外照射は、注視トラッキングに関して異なる目的を果たす。図2に示されるように、軸外照射は、装着者の眼の角膜34で反射する鏡面反射光32をもたらし得る。軸外照射を用いて、瞳孔36が周囲の虹彩38よりも暗く見える「暗瞳孔」効果のために眼を照射することもできる。反対に、IR源又はNIR源からの軸上照射を用いて、瞳孔が周囲の虹彩よりも明るく見える「明瞳孔」効果をもたらすことができる。より詳細には、軸上照射源30からのIR又はNIRは、眼の網膜40の再帰性反射組織(retroreflective tissue)を照射し、これは、瞳孔を介して戻るように光を反射させて、瞳孔の明画像42を形成する。ディスプレイパネル16のビーム変向光学素子44は、眼撮像カメラ及び軸上照射源が、ディスプレイパネルの周辺でのそれらの配置にかかわらず、共通の光軸Aを共有することを可能にする。いくつかの実施形態において、眼撮像カメラは、強い環境光の存在下での明瞳孔コントラストを向上させるために、照射源の発光帯域外の透過をブロックする波長フィルタを含み得る。
眼撮像カメラ28からのデジタル画像データが、コントローラ20Aにおける関連付けられたロジック、又は、ネットワークを介してコントローラ20Aがアクセス可能であるリモートコンピュータシステムにおける関連付けられたロジックに伝達され得る。このロジックにおいて、デジタル画像データが処理されて、瞳孔中心、瞳孔輪郭、及び/又は、角膜からの1以上の鏡面反射光32等の特徴が判別され得る。デジタル画像データにおけるそのような特徴の位置が、特徴位置を注視ベクトルVに対応付けるモデル−例えば、多項式モデル−における入力パラメータとして使用され得る。注視ベクトルが右眼及び左眼について決定される実施形態において、コントローラはまた、装着者の焦点を、右注視ベクトルと左注視ベクトルとの交点として算出するよう構成され得る。いくつかの実施形態において、眼撮像カメラを使用して、装着者14Aのアイデンティティを判別するために、虹彩走査機能又は網膜走査機能を実行することができる。
ヘッドマウントディスプレイシステム12Aの長期の使用は、装着者に、眼の不快感又は疲労を生じさせ得る。何らかの眼の不快感は、長い時間期間の間、ディスプレイパネル16からの表示画像を観察することから単純に生じ得る。このタイプの不快感は、本質的に筋性のもの−眼を開けたままにした結果、瞳孔の拡張と収縮との繰り返し、及び/又は、眼の軌道内での眼の回転−であり得る。装着者はまた、立体ディスプレイを観察しているときに、眼の特定の不快感−すなわち、仮想表示画像に焦点を合わせるための頻繁な適応変化、及び、ヘッドマウントディスプレイシステムの不適切な配置に起因する苛立たしい適応、からもたらされる疲労−を感じることがある。
ディスプレイシステム12Aのセンササブシステムコンポーネントが、眼のさらなる不快感を生じさせ得る。上述したように、照射源30及び30’は、撮像目的で眼を照射するためにIRプローブ光又はNIRプローブ光を発し得る。そのような波長の光は、眼を熱くさせ、表面液を蒸発させ、乾燥を感じさせ得る。さらに、NIRに対して異常過敏である人も存在し、そのような人は、NIRプローブ光への長い暴露に起因して眼の不快感を感じる。
前述の図面及び説明は、1つの例示的なディスプレイシステム12Aと、関連する眼の不快感の問題と、を特定している。他の極めて異なるディスプレイシステムも、本開示の主旨及び範囲内にある。図3は、ヘッドマウント型でも装着型でもないディスプレイシステム12B及び12Cを示している。ディスプレイシステム12Bは、デスクトップコンピュータシステムである。眼に近いディスプレイパネル16R及び16Lの代わりに、ディスプレイシステム12Bは、観察者14Bの視界に配置されるコンピュータモニタ16Bを含む。ディスプレイシステム12Cは、タッチスクリーンディスプレイ16Cを有するスマートフォン又はタブレットである。図3の実施形態において、眼撮像カメラを含むセンササブシステム26BCは、各ディスプレイのベゼルの下に配置される。図3に示されるディスプレイは、必ずしも立体視ではない。それでも、ディスプレイの長期の観察、及び/又は、センササブシステムからのプローブ光への暴露は、観察者に、眼の不快感を感じさせ得る。
図4は、ホームエンターテイメントシステム12Dの形態であるディスプレイシステムのさらに別の実施形態を示している。このシステムは、ゲームシステム、マルチメディアシステム、又は生産システムとしても機能することができる。このシステムは、大判(large format)ディスプレイ16Dと、ディスプレイ16Dの周辺のセンササブシステム26Dと、を含む。この実施形態において、コントローラ20Dは、ディスプレイ及びセンササブシステムに動作可能に接続されるPC又はゲームシステムの形態をとり得る。図4の実施形態において、センササブシステムは、ジェスチャ検出のための平面画像カメラ28及び奥行きカメラ46を有するビジョンシステムの形態をとる。IR又はNIRの照射源30Dは、アイトラッキング及び/又は奥行き撮像(depth imaging)のために、観察者14Dを照射する。いくつかの実施形態において、センササブシステム26Dは、上述したような、専用の軸上照射源及び軸外照射源を含み得る。
奥行きカメラ46は、観察者14Dの環境の特徴及び観察者14Dの奥行きマップの時間分解シーケンスを取得するよう構成され得る。本明細書で使用される場合、「奥行きマップ」という用語は、各画素について奥行き値Zが対応する領域の奥行きを示す、撮像されたシーンの対応する領域(X,Y)にレジストレーションされた画素のアレイを指す。「奥行き」は、奥行きカメラからの距離が増大するにつれて増大する、奥行きカメラの光軸に平行な座標として規定され得る。
概して、奥行きカメラ46の性質は、本開示の様々な実施形態において異なり得る。一実施形態において、奥行きカメラにおける2つの立体視配向撮像アレイ(stereoscopically oriented imaging arrays)からの輝度データ又は色データが、奥行きマップを構築するために、同一位置にレジストレーションされて(co-registered)使用され得る。他の実施形態において、照射源30は、多数の離散的な特徴−例えば、直線又はドット−を含む構造化された赤外線(IR)照射パターンを対象に投影するよう構成され得る。奥行きカメラにおける撮像アレイは、対象から戻るように反射した構造化された照射を撮像するよう構成され得る。撮像された対象の様々な領域における隣接特徴間の間隔に基づいて、対象の奥行きマップが構築され得る。さらに他の実施形態において、奥行きカメラは、パルス状赤外線照射を対象に向けて投影することができる。奥行きカメラにおける撮像アレイのペアは、対象から戻るように反射したパルス状照射を検出するよう構成され得る。両方のアレイは、パルス状照射と同期される電子シャッターを含み得るが、これらのアレイについての積分時間は、照射源から対象への、次いでこれらのアレイへの、パルス状照射の画素分解飛行時間が、これら2つのアレイの対応する要素において受光される相対的な光量に基づいて識別できるように、異なり得る。
コントローラ20Dは−実際には、本明細書で説明されるコントローラのいずれも−、ソフトウェア及び/又はファームウェアでインスタンス化される様々な機能処理エンジンを含み得る。この態様が、図5にさらに示されている。コントローラ20Dにおけるジェスチャ認識エンジン48は、奥行きカメラ46からの奥行きデータを処理して、奥行きデータにおける1以上の人間対象を識別し、識別された人間対象の様々な骨格特徴を算出し、骨格特徴から様々な姿勢情報又はジェスチャ情報を収集するよう構成され得、このような姿勢情報又はジェスチャ情報が、コントローラ上で実行されているアプリケーション52又はOS50に提供される。
図4に示されるシナリオにおいて、例えば、観察者14Dは、注視方向又は手のジェスチャに基づいて、ディスプレイ16D上に提示されているUIをナビゲートしている。一例において、コントローラ20Dにおける注視トラッキングエンジン54は、平面画像カメラ28Dからの画像データに基づいて、ユーザが注視している点に対応するディスプレイスクリーン座標(X,Y)を算出する。観察者は、観察者の注視をディスプレイスクリーン上の他の点に移動させることにより、ディスプレイ上に提示されている様々なUI要素56の間でナビゲートすることができる。代替的又は追加的に、ジェスチャ認識エンジン48は、観察者の身体に対して固定されている座標系に対する観察者の手の位置に基づいて、UI座標を算出するよう構成されてもよい。この実施形態及び他の実施形態において、コントローラの顔認識エンジン58は、センササブシステムの1以上のカメラからの画像データを処理して、現在の観察者の顔特徴を解析するよう構成され得る。顔特徴の解析は、現在の観察者が特定されること−例えば、コントローラ又はネットワークコンピュータシステムに記憶されているプロファイルと照合されること−を可能にし得る。
複数の異なるディスプレイシステムの実施形態が本明細書で説明されるが、本開示は、様々な実施形態からの特徴の任意の適切なサブコンビネーションも包含する。例えば、タブレット又はスマートフォンが、奥行き撮像及びジェスチャ検出のために設けられるセンササブシステムを含んでもよい。ホームエンターテイメントシステムが、大判立体視ディスプレイを含んでもよい。多数の他のサブコンビネーションも企図されている。
上述した眼の不快感の問題に対処するために、コントローラ20(20A、20B等)は、ディスプレイシステムの観察者の眼の状態−すなわち、現在の又は近々の眼の不快感を示す状態−に応じて、ディスプレイシステム12(12A、12B等)の1以上の動作パラメータを調整するよう構成され得る。動作パラメータは、観察者の不快感を防ぐ又は軽減させるために調整され、それにより、観察者を快適な状態に戻す。
このために、図5に再度戻ると、センササブシステム26(26A、26B等)は、観察者14の眼の状態を検知するよう構成されている眼関連センサ60を含み得る。いくつかの実施形態において、眼関連センサは、眼のストレスに反応し得る。眼関連センサは、例えば、観察者の眼のIR照射又はNIR照射に起因する眼の熱さ及び/又は流体蒸発を検知する非接触眼温度センサであり得る。他の例において、眼関連センサは、観察者の眼を撮像するよう構成されている撮像センサであり得る。この種の眼関連センサは、眼の赤み、拡張した毛細血管、又は瞼の部分的な閉じを検知するよう構成され得る。これらの実施形態及び他の実施形態において、眼関連撮像センサは、瞳孔拡張を検知するよう構成され得る。眼関連撮像センサは、デジタルカメラ−例えば、ウェブカメラ、IR対応ウェブカメラ、又は、撮像された眼の表面温度に反応する長波長IRセンサを備えるウェブカメラ−の形態をとり得る。より具体的な例において、眼関連撮像センサは、観察者の眼における、眼を刺激する大気粒子状物質を判別することができる。いくつかの実施形態において、眼関連センサ60は、例えば、観察者の注視方向の変化に対応する、眼の軌道における眼の相対的に遅い回転、眼のより速い衝動性回転、及び、痙攣(twitch)に関連する非常に急速な眼の運動といった様々な種類の眼の運動を検知するよう構成され得る。
いくつかのシナリオにおいて、眼関連センサ60からの出力は、観察者が眼の不快感を感じていること、又は、眼の不快感が短時間のうちに生じる可能性が高いこと、を示し得る。例えば、眼の不快感は、眼の表面における増大した温度、増大した赤み若しくは拡張した毛細血管、瞼の増大した閉じ、又は観察者の眼における粒子状物質の存在、により示され得る。これらのようなインジケータは、眼のストレスを直接的に伝えるものである。しかしながら、眼のストレスのそれほど直接的ではないインジケータが使用されてもよい。例えば、眼の不快感は、瞳孔の大きさの変化の頻度(頻度が増すにつれ不快感が増す)と、観察者の焦点が移動される頻度と、に基づいて示されてもよい。異なる深度に位置する焦点面への焦点の頻繁な移動、及び、所与の焦点面内での水平方向及び垂直方向の移動は、不快感に先行し得るものである。
上述したように、検知された眼の状態が、現在の又は近々の眼の不快感を示す場合、コントローラ20は、不快感を軽減させる又は防ぐために、ディスプレイシステム12の1以上の動作パラメータを積極的に調整することができる。調整のために選択される動作パラメータは、本開示の異なる実施形態において、また、同じ実施形態の異なる動作シナリオにおいて、異なり得る。
いくつかの実施形態において、調整の対象となる動作パラメータは、ディスプレイ16(16A、16B等)のパラメータであり得る。例えば、眼の不快感が検知又は予測されたとき、表示画像輝度が調整され得る(すなわち、低減され得る)。人間の眼は、いかなる他の色よりも緑色光に敏感であるので、RGBディスプレイの緑チャネルにおける強度が保たれながら、RGBディスプレイの赤チャネル及び特に青チャネルにおける強度が低減され得る。強度全般のさらなる低減が表示画像の視認性を損なわせるであろう場合には、このアプローチを用いて、眼の不快感を軽減させることができる。
不快感を軽減させるために調整され得る、ディスプレイ16の別の動作パラメータは、表示画像色相である。より寒い色は、より暖かい色よりも、人間の網膜上でシャープでないように撮像される傾向にあり、これは、より頻繁な適応の試みと眼の疲労の増大とを生じさせる。したがって、眼の不快感が検知又は予測されたとき、表示画像色相が暖かくされ得る(warmed)(例えば、赤くされ得る(reddened))。表示画像フレームレートも、眼の不快感を軽減させるために調整され得る。詳細には、眼の不快感が検出されたとき、焦点の移動を頻繁に生じさせないようにするために、より低いフレームレートが使用され得る。ディスプレイ16が、調光スクリーン18を備える場合、調光スクリーンの不透過度が、環境光及び/又は実画像によって生じる眼の不快感を軽減させるために、増大され得る。立体視ディスプレイシステムにおいて、表示画像奥行きも調整され得る。詳細には、眼の不快感が検知されたとき、右画像フレームと左画像フレームとの間の水平視差が低減され得、それにより、表示画像が平面化される。この動作は、眼の皮質(ocular cortex)から、右画像及び左画像を「融合する」必要性を取り除くので、眼の不快感を軽減させる又は防ぐことができる。
他の実施形態において、調整の対象となる動作パラメータは、センササブシステム26のパラメータであり得る。例えば、観察者に対して向けられるIR照射源の照射強度が、眼の不快感を軽減させるために、必要に応じて低減され得る。発光ダイオードベースの照射源では、変調(すなわち、デューティサイクル)が、強度の代わりに又は強度に加えて、調整されてもよい。
上述した実施形態では、ディスプレイシステム12の動作パラメータを調整するかどうかを決定するために、観察者14の眼の状態の直接的な評価に重きが置かれている。他の実施形態では、眼の状態とともに、生理ストレスの少なくとも1つのインジケーションが評価される。したがって、センササブシステム26は、眼関連センサ60に加えて、観察者に関する生理ストレスを検知するよう構成されている少なくとも1つのストレスセンサ62を含み得る。ストレスは、直接的又は間接的に検知され得る。ここで企図されているストレスセンサは、非限定的な例として、心拍センサ64、呼吸センサ、血圧センサ、心拍波形センサ、血糖値センサ、血液酸素センサ、大気二酸化炭素センサ、皮膚抵抗測定に基づく発汗センサ、及び/又は皮膚温センサを含み得る。コントローラ20は、眼関連センサにより伝えられた眼の状態とともに、ストレスセンサにより伝えられた生理ストレスに基づいて、実際の又は予測される眼の不快感を推定するよう構成され得る。いくつかの実施形態において、ファジィロジックアプローチが、この推定を提供するために用いられ得る。
一例において、眼の運動又は瞳孔の大きさの変化を並行して伴う一時的な心拍数の増大は、観察者が眼の不快感を感じていることを示し得る。この例における心拍数の増大に代わる適切な代替は、呼吸の増大、血圧の増大、異常な心拍波形、一時的に高い又は低い血糖値、一時的に低い血液酸素濃度、大気二酸化炭素レベルの増大、又は、皮膚温若しくは発汗の増大を含み得る。
前述の説明は、限定的に理解されるべきではない。なぜならば、多数の変形及び拡張が企図されているからである。例えば、コントローラ20は、上述したように、ディスプレイシステム12の動作パラメータを調整するよう構成され得るが、その際に、ディスプレイシステム12における性能制約を考慮してもよい。ディスプレイ16が、テキストを表示するために使用されているとき、例えば、眼の不快感を感じている観察者により、表示画像輝度の著しい低減又は色相の調整が許容可能であり得る(さらには理解され得る)。同様に、注視ベクトルが、ユーザインタフェースをナビゲートするためだけに使用される場合、不快感を感じている観察者は、それほど正確ではない注視トラッキングを進んで受け入れるであろう。そのような条件下では、動作パラメータの積極的な調整−表示画像輝度又はプローブ照射の低減−が適切であり得る。一方、ユーザが、正確な注視トラッキングと仮想環境における詳細を判別する能力とに存続(survival)が依存するグラフィックス集約型ゲームに没頭している場合、ディスプレイシステム性能のいかなる低減も、たとえ快適さのためであっても、望まれないであろう。別の例において、表示画像輝度は、より明るい環境条件下でよりも、より暗い環境条件下で、眼の不快感に応じて、より低減され得る。別の例において、より暗い環境条件下での眼の不快感は、表示画像輝度の低減をトリガさせ得るのに対し、より明るい環境条件下での同じ不快感は、調光スクリーン18のアクティブ化をトリガさせ得、表示画像輝度の低減はより少ない。
本出願における図面は、完全に統合されたセンササブシステム26を示しているが、この態様は必須ではない。いくつかの実施形態において、センササブシステムは、1以上のリモートセンサ−すなわち、ディスプレイに物理的には接続されないセンサ−を含んでもよい。このようなセンサは、例えば、無線ネットワークを介してコントローラ20に通信可能に接続されるインテリジェントなリストバンド又はハンドヘルドデバイスに組み込まれてもよい。
上述した構成は、ディスプレイシステムの観察者が感じ得る眼の不快感を防ぐ又は軽減させるための様々な方法を可能にする。1つのそのような方法が、上述した例示的な構成を引き続き参照してこれより説明される。しかしながら、ここで説明される方法及び本開示の範囲内にある他の方法は、異なる構成によって可能にされてもよいことが理解されよう。
図6は、ディスプレイシステムの観察者が感じ得る眼の不快感を防ぐ又は軽減させるための例示的な方法66を示している。方法66の68において、表示画像が、ディスプレイシステムの関連付けられたディスプレイコンポーネントにおいて形成される。70において、観察者の注視方向が、ディスプレイシステムのセンササブシステムを介してトラッキングされる。72において、ユーザ入力が、トラッキングされている注視方向に基づいて、ディスプレイシステムにおいて提供される。
74において、観察者の眼の状態が、センササブシステムを介して検知される。任意的なステップ76において、観察者のストレスの少なくとも1つのさらなるインジケータが検知される。78において、観察者が眼の不快感を感じていること又は眼の不快感が生じる可能性が高いことを、検知された眼の状態が示しているかどうかが判定される。さらなる特定の例において、78における判定は、76からの観察者のストレスの少なくとも1つのさらなるインジケータにさらに基づき得る。観察者が眼の不快感を感じている(又は、観察者が眼の不快感を感じる可能性が高い)と判定された場合、80において、ディスプレイシステムの動作パラメータが、眼の不快感を防ぐ又は軽減させるために調整される。
前述の説明から明らかなように、本明細書で説明された方法及びプロセスは、1以上のコンピューティングマシンのコンピュータシステムに関連付けられ得る。このような方法及びプロセスは、コンピュータアプリケーションプログラム若しくはサービス、アプリケーションプログラミングインタフェース(API)、ライブラリ、及び/又は他のコンピュータプログラム製品として実装され得る。図5は、本明細書で説明された方法及びプロセスをサポートする、コントローラ20の形態のコンピュータシステムの非限定的な例を示している。コンピュータシステムは、ロジックマシン82及び関連付けられたコンピュータメモリ84を含む。
ロジックマシン82は、命令を実行するよう構成されている1以上の物理ロジックデバイスを含む。ロジックマシンは、1以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、又は他の論理構造の一部である命令を実行するよう構成され得る。このような命令は、タスクを実行する、データ型を実装する、1以上のコンポーネントの状態を変換する、技術的効果を達成する、又は所望の結果に達するために、実装され得る。
ロジックマシン82は、ソフトウェア命令を実行するよう構成されている1以上のプロセッサを含み得る。追加的又は代替的に、ロジックマシンは、ハードウェア命令又はファームウェア命令を実行するよう構成されている1以上のハードウェアロジックマシン又はファームウェアロジックマシンを含んでもよい。ロジックマシンのプロセッサは、シングルコアであってもマルチコアであってもよく、プロセッサ上で実行される命令は、順次処理、並列処理、及び/又は分散処理のために構成され得る。ロジックマシンの個々のコンポーネントは、任意的に、リモートに位置し得る且つ/又は協調処理のために構成され得る2以上の別個のデバイスの間で分散されてもよい。ロジックマシンの態様は、クラウドコンピューティング構成において構成されるリモートアクセス可能なネットワークコンピューティングデバイスにより仮想化されて実行されてもよい。
コンピュータメモリ84は、本明細書で説明された方法及びプロセスを実行するために関連付けられたロジックマシン82により実行可能な命令を保持するよう構成されている1以上の物理コンピュータメモリデバイスを含む。そのような方法及びプロセスが実行されるとき、コンピュータメモリの状態が、例えば異なるデータを保持するように、変換され得る。コンピュータメモリは、着脱可能なデバイス及び/又は内蔵デバイスを含み得る。コンピュータメモリは、とりわけ、光学メモリ(例えば、CD、DVD、HD−DVD(登録商標)、Blu−Ray(登録商標)ディスク等)、半導体メモリ(例えば、RAM、EPROM、EEPROM等)、及び/又は磁気メモリ(例えば、ハードディスクドライブ、フロッピー(登録商標)ディスクドライブ、テープドライブ、MRAM等)を含み得る。コンピュータメモリは、揮発性デバイス、不揮発性デバイス、ダイナミックデバイス、スタティックデバイス、読み取り/書き込みデバイス、読み取り専用デバイス、ランダムアクセスデバイス、順次アクセスデバイス、ロケーションアドレッサブルデバイス、ファイルアドレッサブルデバイス、及び/又はコンテンツアドレッサブルデバイスを含み得る。
コンピュータメモリ84は1以上の物理デバイスを含むことが理解されよう。しかしながら、本明細書で説明された命令の態様は、代替的に、有限期間の間物理デバイスにより保持されるものではない通信媒体(例えば、電磁気信号、光信号等)を介して伝達されてもよい。
ロジックマシン82及びコンピュータメモリ84の態様は、1以上のハードウェアロジックコンポーネントに一緒に統合されてもよい。そのようなハードウェアロジックコンポーネントは、例えば、フィールドプログラマブルゲートアレイ(FPGA)、特定プログラム及び用途向け集積回路及び特定用途向け集積回路(PASIC/ASIC)、特定プログラム向け標準品及び特定用途向け標準品(PSSP/ASSP)、システムオンチップ(SOC)、並びにコンプレックスプログラマブルロジックデバイス(CPLD)を含み得る。
「エンジン」という用語は、特定の機能を実行するために実装されるコンピュータシステムの態様を表すために使用され得る。いくつかの場合において、エンジンは、ロジックマシンがコンピュータメモリに保持されている命令を実行することにより、インスタンス化され得る。異なるエンジンが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、API、ファンクション等からインスタンス化され得ることが理解されよう。同様に、同じエンジンが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、API、ファンクション等によりインスタンス化され得る。「エンジン」という用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード等の個々又はグループを包含し得る。
通信システム124は、コンピュータシステムを1以上の他のマシンに通信可能に接続するよう構成され得る。通信システムは、1以上の異なる通信プロトコルと互換性がある有線通信デバイス及び/又は無線通信デバイスを含み得る。非限定的な例として、通信システムは、無線電話網、有線ローカルエリアネットワーク、無線ローカルエリアネットワーク、有線ワイドエリアネットワーク、又は無線ワイドエリアネットワークを介する通信のために構成され得る。いくつかの実施形態において、通信システムは、コンピューティングマシンが、インターネット等のネットワークを介して他のデバイスとの間でメッセージを送信及び/又は受信することを可能にし得る。
本明細書で説明された構成及び/又はアプローチは、本質的に例示であり、そのような特定の実施形態又は例は、限定であるとみなされるべきではないことを理解されたい。なぜならば、多数の変形が可能であるからである。本明細書で説明された特定のルーチン又は方法は、任意の数の処理方策のうちの1以上を表し得る。したがって、図示及び/又は説明された様々な動作は、図示及び/又は説明された順番で実行されることもあるし、他の順番で実行されることもあるし、並列に実行されることもあるし、省かれることもある。同様に、上述したプロセスの順番も、変更されることがある。
本開示の主題は、本明細書で開示された様々なプロセス、システム、構成、他の特徴、機能、動作、及び/又は特性に加えて、これらのありとあらゆる均等の形態の、全ての新規で非自明なコンビネーション及びサブコンビネーションを含む。

Claims (9)

  1. ディスプレイシステムであって、
    観察者の視界に配置されるディスプレイと、
    前記観察者の眼の状態を検知するよう構成されているセンササブシステムであって、近赤外プローブ光又は赤外プローブ光に起因する前記観察者の眼の熱さ及び/又は流体蒸発を検知するよう構成されている眼関連センサと、前記観察者の注視方向をトラッキングするための出力を提供するとともに、前記観察者の眼における、眼を刺激する大気粒子状物質を判別するための眼撮像カメラと、前記近赤外プローブ光又は前記赤外プローブ光を照射する2つの赤外光照射源と、を含むセンササブシステムと、
    前記ディスプレイ及び前記センササブシステムに動作可能に接続されるコントローラであって、前記眼撮像カメラからの前記出力を使用して、前記観察者の前記注視方向をトラッキングし、前記センササブシステムにより検知された前記眼の状態に応じて、前記ディスプレイシステムの動作パラメータを調整するよう構成されているコントローラと、
    を有し、前記眼の状態が眼の不快感を示すとき、前記動作パラメータを調整することは、前記観察者に対して向けられる前記2つの赤外光照射源の照射強度を低減させて、前記眼の不快感を軽減させることを含み、前記眼の不快感は眼の熱さ及び/又は流体蒸発の検出、若しくは大気粒子状物質の存在に基づく、ディスプレイシステム。
  2. 前記動作パラメータは、表示画像輝度を含む、請求項1記載のディスプレイシステム。
  3. 前記動作パラメータは、表示画像奥行きを含む、請求項1記載のディスプレイシステム。
  4. 前記センササブシステムは、眼の運動を検知するよう構成されているセンサを含む、請求項1記載のディスプレイシステム。
  5. 前記センササブシステムは、瞳孔拡張を検知するよう構成されているセンサを含む、請求項1記載のディスプレイシステム。
  6. 前記センササブシステムは、前記観察者に関する生理ストレスを検知するよう構成されているセンサを含む、請求項1記載のディスプレイシステム。
  7. 前記眼関連センサは、非接触眼温度センサである、請求項1記載のディスプレイシステム。
  8. 前記センササブシステムは、1以上のリモートセンサを含む、請求項1記載のディスプレイシステム。
  9. 前記コントローラは、前記ディスプレイシステムにおける性能制約を考慮して、前記動作パラメータを調整するよう構成されている、請求項1記載のディスプレイシステム。
JP2017514673A 2014-09-16 2015-09-15 眼の不快感を軽減させるディスプレイ Active JP6861628B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/487,622 US9699436B2 (en) 2014-09-16 2014-09-16 Display with eye-discomfort reduction
US14/487,622 2014-09-16
PCT/US2015/050068 WO2016044195A1 (en) 2014-09-16 2015-09-15 Display with eye-discomfort reduction

Publications (3)

Publication Number Publication Date
JP2017534957A JP2017534957A (ja) 2017-11-24
JP2017534957A5 JP2017534957A5 (ja) 2018-10-04
JP6861628B2 true JP6861628B2 (ja) 2021-04-21

Family

ID=54325044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017514673A Active JP6861628B2 (ja) 2014-09-16 2015-09-15 眼の不快感を軽減させるディスプレイ

Country Status (11)

Country Link
US (2) US9699436B2 (ja)
EP (1) EP3195091B1 (ja)
JP (1) JP6861628B2 (ja)
KR (1) KR102439387B1 (ja)
CN (1) CN106714663B (ja)
AU (1) AU2015318074B2 (ja)
BR (1) BR112017003692A2 (ja)
CA (1) CA2961206C (ja)
MX (1) MX2017003560A (ja)
RU (1) RU2709389C2 (ja)
WO (1) WO2016044195A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9821159B2 (en) 2010-11-16 2017-11-21 The Board Of Trustees Of The Leland Stanford Junior University Stimulation devices and methods
AU2014253754C1 (en) 2013-04-19 2015-07-30 Oculeve, Inc. Nasal stimulation devices and methods
AU2015223184B2 (en) 2014-02-25 2020-07-02 Oculeve, Inc. Polymer formulations for nasolacrimal stimulation
US9687652B2 (en) 2014-07-25 2017-06-27 Oculeve, Inc. Stimulation patterns for treating dry eye
US9699436B2 (en) * 2014-09-16 2017-07-04 Microsoft Technology Licensing, Llc Display with eye-discomfort reduction
WO2016065215A1 (en) 2014-10-22 2016-04-28 Oculeve, Inc. Stimulation devices and methods for treating dry eye
CA2965514A1 (en) 2014-10-22 2016-04-28 Oculeve, Inc. Contact lens for increasing tear production
DE102014223366A1 (de) * 2014-11-17 2016-05-19 BSH Hausgeräte GmbH Hausgerät mit einer berührungsempfindlichen Bedieneinrichtung sowie Verfahren zu seinem Betrieb
US10139903B2 (en) * 2015-09-25 2018-11-27 International Business Machines Corporation Adjustment of reticle display based on biometric information
US10252048B2 (en) 2016-02-19 2019-04-09 Oculeve, Inc. Nasal stimulation for rhinitis, nasal congestion, and ocular allergies
TWI729983B (zh) * 2016-04-05 2021-06-11 鴻海精密工業股份有限公司 電子裝置、螢幕調節系統及方法
CN107273071A (zh) * 2016-04-06 2017-10-20 富泰华工业(深圳)有限公司 电子装置、屏幕调节***及方法
US10918864B2 (en) 2016-05-02 2021-02-16 Oculeve, Inc. Intranasal stimulation for treatment of meibomian gland disease and blepharitis
CN106339084A (zh) * 2016-08-21 2017-01-18 乐视控股(北京)有限公司 虚拟现实设备的控制方法及***
SE541262C2 (en) 2016-11-15 2019-05-21 Heads Stockholm Ab Method and device for eye metric acquisition
RU2019118600A (ru) 2016-12-02 2021-01-11 Окулив, Инк. Аппарат и способ составления прогноза синдрома сухого глаза и рекомендаций по лечению
US10353212B2 (en) * 2017-01-11 2019-07-16 Samsung Electronics Co., Ltd. See-through type display apparatus and method of operating the same
CN106901692A (zh) * 2017-01-11 2017-06-30 广东小天才科技有限公司 虚拟现实设备
CN106873159A (zh) 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106961593A (zh) * 2017-03-20 2017-07-18 河南师范大学 一种立体感觉可调的舒适型vr眼镜
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US11712162B1 (en) 2017-06-28 2023-08-01 Bertec Corporation System for testing and/or training the vision of a user
US10722114B1 (en) 2017-06-28 2020-07-28 Bertec Corporation System and method for vision testing and/or training
US10463250B1 (en) 2017-06-28 2019-11-05 Bertec Corporation System and method for vision testing
US11337606B1 (en) 2017-06-28 2022-05-24 Bertec Corporation System for testing and/or training the vision of a user
US11033453B1 (en) 2017-06-28 2021-06-15 Bertec Corporation Neurocognitive training system for improving visual motor responses
US10945599B1 (en) 2017-06-28 2021-03-16 Bertec Corporation System and method for vision testing and/or training
US10264964B1 (en) * 2017-06-28 2019-04-23 Bertec Corporation Eye movement measurement device
CN107491166B (zh) * 2017-07-07 2021-03-09 深圳市冠旭电子股份有限公司 一种调节虚拟现实设备参数的方法及虚拟现实设备
WO2019046215A1 (en) * 2017-08-29 2019-03-07 Apple Inc. ADAPTIVE SCREEN ELECTRONIC DEVICE
KR101955293B1 (ko) * 2017-12-15 2019-03-08 가톨릭대학교 산학협력단 시각 피로도 분석 장치 및 그 방법
US11029834B2 (en) * 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area
US10859830B2 (en) * 2018-01-31 2020-12-08 Sony Interactive Entertainment LLC Image adjustment for an eye tracking system
JP2019152980A (ja) * 2018-03-01 2019-09-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN108510947B (zh) * 2018-04-16 2020-04-21 京东方科技集团股份有限公司 双屏调光方法及显示装置
US11366321B1 (en) 2019-04-23 2022-06-21 Apple Inc. Predictive dimming of optical passthrough displays
JP7467094B2 (ja) 2019-12-09 2024-04-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11568832B2 (en) 2020-08-23 2023-01-31 Ipexcel Services Pvt. Ltd. System and method for ocular assistance
WO2023205096A1 (en) * 2022-04-19 2023-10-26 Apple Inc. Head-mountable device for eye monitoring

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918894A (ja) * 1995-06-26 1997-01-17 Sanyo Electric Co Ltd 立体映像表示装置
JP3428920B2 (ja) * 1999-03-25 2003-07-22 キヤノン株式会社 視点位置検出装置、方法及び立体画像表示システム
US6690351B1 (en) 2000-04-06 2004-02-10 Xybernaut Corporation Computer display optimizer
KR20030031480A (ko) * 2000-04-28 2003-04-21 프지오메드, 인코포레이티드 폴리산 및 폴리알킬렌 옥사이드의 지혈 조성물 및 이들의이용 방법
US6671130B2 (en) * 2000-07-11 2003-12-30 Seagate Technology Llc Apparatus for supporting a recording/reading head and assembling a flex circuit in a disc drive
JP3647376B2 (ja) * 2001-01-31 2005-05-11 キヤノン株式会社 視点位置検出装置、視点位置検出方法及び立体画像表示システム
US7091928B2 (en) * 2001-03-02 2006-08-15 Rajasingham Arjuna Indraeswara Intelligent eye
US8094927B2 (en) 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
DE202004018136U1 (de) * 2004-07-14 2005-11-24 Daimlerchrysler Ag Öl-Kühlmittel-Modul
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
DE202005021156U1 (de) * 2005-12-15 2007-04-19 Carl Zeiss Surgical Gmbh Optische Beobachtungseinrichtung zur berührungslosen Messung der Temperatur und/oder zur berührungslosen Bestimmung von Geschwindigkeitskomponenten in Fluidströmungen und/oder zur berührungslosen Messung des Innendrucks eines betrachteten Objekts
US7744216B1 (en) 2006-01-06 2010-06-29 Lockheed Martin Corporation Display system intensity adjustment based on pupil dilation
JP2007265274A (ja) * 2006-03-29 2007-10-11 Sendai Foundation For Applied Information Sciences 生理適応型表示装置
US7855743B2 (en) * 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
US9891435B2 (en) * 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US7924272B2 (en) * 2006-11-27 2011-04-12 Microsoft Corporation Infrared sensor integrated in a touch panel
US8832557B2 (en) 2007-05-04 2014-09-09 Apple Inc. Adjusting media display in a personal display system based on perspective
JP2009134276A (ja) * 2007-11-05 2009-06-18 Panasonic Corp 表示装置、表示方法、表示プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、単眼鏡、及び据置型ディスプレイ
JP5545060B2 (ja) 2010-06-18 2014-07-09 ソニー株式会社 映像表示システム、シャッター眼鏡、並びに表示装置
JP5588260B2 (ja) * 2010-08-02 2014-09-10 ナブテスコ株式会社 航空機アクチュエータの制御装置
KR101309705B1 (ko) 2010-10-21 2013-09-17 도시바삼성스토리지테크놀러지코리아 주식회사 안경 및 이를 채용한 3d 영상표시 시스템
JP2012212990A (ja) 2011-03-30 2012-11-01 Brother Ind Ltd ヘッドマウントディスプレイ
US8953242B2 (en) * 2011-03-31 2015-02-10 Honeywell International Inc. Varible focus stereoscopic display system and method
CN103283243A (zh) 2011-05-19 2013-09-04 松下电器产业株式会社 图像显示***及三维用眼镜
US8766819B2 (en) * 2011-06-17 2014-07-01 The Boeing Company Crew allertness monitoring of biowaves
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
EP2812775A1 (en) 2012-02-06 2014-12-17 Sony Mobile Communications AB Gaze tracking with projector
JP5936379B2 (ja) * 2012-02-07 2016-06-22 シャープ株式会社 画像表示装置
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US20130300635A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
US20140002344A1 (en) 2012-06-29 2014-01-02 Mukund Pai Dynamic display adjustment
JP2014029448A (ja) * 2012-07-31 2014-02-13 Toshiba Corp 液晶モジュール及び液晶表示装置
JP2013077013A (ja) * 2012-11-20 2013-04-25 Sony Corp 表示装置、表示方法
US20140163329A1 (en) * 2012-12-11 2014-06-12 Elwha Llc Unobtrusive Active Eye Interrogation with Gaze Attractor
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
JP6207259B2 (ja) * 2013-06-28 2017-10-04 キヤノン株式会社 画像処理方法および画像処理装置
US10302944B2 (en) * 2013-06-28 2019-05-28 Seiko Epson Corporation Head-mount type display device and method of controlling head-mount type display device
US9357696B2 (en) * 2013-07-01 2016-06-07 Deere & Company Drive coupler for a reciprocating knife
US9699436B2 (en) * 2014-09-16 2017-07-04 Microsoft Technology Licensing, Llc Display with eye-discomfort reduction

Also Published As

Publication number Publication date
EP3195091A1 (en) 2017-07-26
EP3195091B1 (en) 2018-06-20
CA2961206C (en) 2022-05-03
CN106714663B (zh) 2019-05-14
JP2017534957A (ja) 2017-11-24
RU2017108566A (ru) 2018-09-17
CA2961206A1 (en) 2016-03-24
US20160080720A1 (en) 2016-03-17
RU2709389C2 (ru) 2019-12-17
CN106714663A (zh) 2017-05-24
MX2017003560A (es) 2017-07-14
WO2016044195A1 (en) 2016-03-24
US9699436B2 (en) 2017-07-04
US20170289519A1 (en) 2017-10-05
KR102439387B1 (ko) 2022-09-01
AU2015318074A1 (en) 2017-03-09
KR20170054499A (ko) 2017-05-17
RU2017108566A3 (ja) 2019-03-20
AU2015318074B2 (en) 2020-06-25
BR112017003692A2 (pt) 2017-11-28

Similar Documents

Publication Publication Date Title
JP6861628B2 (ja) 眼の不快感を軽減させるディスプレイ
KR102231910B1 (ko) 초점 이동에 반응하는 입체적 디스플레이
US10635169B2 (en) Eye-tracking enabled wearable devices
US9398848B2 (en) Eye gaze tracking
WO2017053871A2 (en) Methods and devices for providing enhanced visual acuity
JP2006507054A (ja) 眼及びその凝視方向を検知し、追跡する方法と装置
CN114175045B (zh) 利用亮度变化来确定用户特征
US12023128B2 (en) System and method for eye tracking
TW200927082A (en) Enhanced head mounted display
Du Plessis Graphical processing unit assisted image processing for accelerated eye tracking
US20230359273A1 (en) Retinal reflection tracking for gaze alignment
US20230309824A1 (en) Accommodation tracking based on retinal-imaging
WO2015080003A1 (ja) 瞳孔検出装置、視線検出装置および瞳孔検出方法
Hornak et al. Point-of-Gaze Estimation on Embedded Platform
WO2022031581A1 (en) Adjusting image content to improve user experience
JP2015013011A (ja) 視野制限画像データ作成プログラム及びこれを用いた視野制限装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180821

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200827

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200827

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200907

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210330

R150 Certificate of patent or registration of utility model

Ref document number: 6861628

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250