JP2022516358A - 生理学的状態を感知するための顔インタフェースを有するヘッドマウントディスプレイ - Google Patents

生理学的状態を感知するための顔インタフェースを有するヘッドマウントディスプレイ Download PDF

Info

Publication number
JP2022516358A
JP2022516358A JP2021539441A JP2021539441A JP2022516358A JP 2022516358 A JP2022516358 A JP 2022516358A JP 2021539441 A JP2021539441 A JP 2021539441A JP 2021539441 A JP2021539441 A JP 2021539441A JP 2022516358 A JP2022516358 A JP 2022516358A
Authority
JP
Japan
Prior art keywords
face
head
user
mounted display
physiological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021539441A
Other languages
English (en)
Inventor
ダニエル エム ストロングウォーター
クリスティ イー バウアリー
ダスティン エイ ハットフィールド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2022516358A publication Critical patent/JP2022516358A/ja
Priority to JP2023102532A priority Critical patent/JP2023123654A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

ヘッドマウントディスプレイは、ディスプレイユニットと顔インタフェースとを含む。ディスプレイユニットは、グラフィカルコンテンツをユーザに表示する。顔インタフェースは、ディスプレイユニットに着脱可能に結合可能であり、ユーザの顔の顔係合領域に係合し、それによってディスプレイユニットは、ユーザの顔に支持される。顔インタフェースは、顔係合領域内のユーザの生理学的状態を感知する生理学的センサを含む。【選択図】図2

Description

(関連出願の相互参照)
本出願は、2019年1月17日に出願された米国仮出願第62/793,466号に対する優先権及びその利益を主張する。前述の出願の内容は、参照により、その全体があらゆる目的で本明細書に組み込まれる。
本開示はヘッドマウントディスプレイに関し、具体的には、それを用いた生理学的状態の感知に関する。
ヘッドマウントディスプレイは、ユーザの頭部に装着され、それにグラフィカルコンテンツを表示する。典型的なヘッドマウントディスプレイは、ディスプレイ、頭部支持体、及び顔インタフェースを含む。ディスプレイは、グラフィカルコンテンツを表示する。頭部支持体は、ディスプレイに結合され、ディスプレイを支持するようにユーザの頭部に係合する。顔インタフェースはディスプレイに結合され、ディスプレイを支持するようにユーザの顔に係合する。例えば、コンピュータ生成環境のグラフィカルコンテンツを表示するために使用されるヘッドマウントディスプレイの場合、顔インタフェースは、実質的に全ての周囲光が眼に達するのを遮断するように、ユーザの眼を実質的に囲んでユーザの顔に係合し得る。顔インタフェースは、典型的には、顔の形状に係合して適合する従順性材料(例えば、発泡体又はゴム)で作製されるか、又はそれを含んでいる。
ユーザの顔は、例えば、ヘッドマウントディスプレイでグラフィカルコンテンツを配信する際に、様々な方法で使用され得る様々な生理学的情報を提供することができる。しかしながら、顔インタフェースは、様々な生理学的センサの視野から顔の部分を隠すことがあり、かつ/又は、本来ならば有益な情報を提供し得る生理学的状態に影響を及ぼすことがある。例えば、ユーザは、顔インタフェースとの顔の接触がなければ、驚いた顔の表情のために眉毛を上げるなどといった、特定の形態をとり、観察可能であろう顔の表情を提供することがある。
本明細書では、ヘッドマウントディスプレイの実装形態が開示されている。
実装形態では、ヘッドマウントディスプレイは、ディスプレイユニットと顔インタフェースとを含む。ディスプレイユニットは、グラフィカルコンテンツをユーザに表示する。顔インタフェースは、ディスプレイユニットに着脱可能に結合可能であり、ユーザの顔の顔係合領域に係合し、それによってディスプレイユニットはユーザの顔に支持される。顔インタフェースは、顔係合領域内のユーザの生理学的状態を感知する生理学的センサを含む。
実装形態では、ヘッドマウントディスプレイ用の顔インタフェースは、従順性構造体、生理学的センサ、機械的コネクタ、及びデータコネクタを含む。従順性構造体は、ユーザの顔の顔係合領域に係合し、ヘッドマウントディスプレイをそこに支持する。生理学的センサは、顔係合領域内のユーザの生理学的状態を測定するために、従順性構造体に結合されている。機械的コネクタは、従順性構造体に結合されており、ヘッドマウントディスプレイに着脱可能に結合可能である。データコネクタは、生理学的センサに結合されており、生理学的センサからヘッドマウントディスプレイに生理学的データを送信する。
実装形態では、ディスプレイシステムは、ヘッドマウントディスプレイと、ヘッドマウントディスプレイとは物理的に分離している電子デバイスと、を備えている。ヘッドマウントディスプレイは、グラフィカルコンテンツをユーザに表示するディスプレイユニットと、ディスプレイユニットに結合された顔インタフェースと、を含む。顔インタフェースは、ディスプレイユニットを顔に支持するために、ユーザの顔の顔係合領域に係合するように構成されている。顔インタフェースは、顔係合領域内のユーザの生理学的状態を感知する生理学的センサを含む。電子デバイスは、顔インタフェースと通信している。電子デバイスは、別の状態を感知するための別のセンサを含む。ヘッドマウントディスプレイは、生理学的状態及び別の状態の両方に従って判定を形成し、判定に従って動作を実行する。
実装形態では、ディスプレイシステムは、ディスプレイユニットを有するヘッドマウントディスプレイと、生理学的センサを有する顔インタフェースと、別の生理学的センサと、を含む。ディスプレイユニットは、グラフィカルコンテンツをユーザに表示する。顔インタフェースは、ディスプレイユニットに結合され、ディスプレイユニットを支持するように、ユーザの顔の顔係合領域に係合するように構成されている。顔インタフェースは、顔係合領域内のユーザの生理学的状態を感知するための生理学的センサを含む。別の生理学的センサは、顔係合領域外のユーザの別の生理学的状態を感知する。ディスプレイシステムは、生理学的状態及び他の生理学的状態の両方に従って判定を形成し、判定に従って動作を実行する。
図面において、破線(dash-dash line)は、一般に、視界から隠されるか、又は状態間で移動可能な構成要素を表す。一点鎖線(Dash-dot line)は、一般に、視界から隠れているユーザの部分を表す。
破線で描かれた隠れた構成要素と一点鎖線で描かれたユーザの隠れた部分とを有する、ユーザの頭部に装着されたヘッドマウントディスプレイの側面図である。 頭部に装着されている図1のヘッドマウントディスプレイの正面図である。 ヘッドマウントディスプレイの電子機器の概略図である。 ヘッドマウントディスプレイのコントローラの例示的なハードウェア構成の概略図である。 ユーザの顔係合領域、及びヘッドマウントディスプレイの顔インタフェースを示す、ヘッドマウントディスプレイ及びユーザの正面図である。 図5の線5A-5Aに沿って取られたヘッドマウントディスプレイの断面図である。 図5の線5B-5Bに沿って取られたヘッドマウントディスプレイの変形例の断面図である。 任意のセンサを有する顔インタフェースの概略図である。 図1のヘッドマウントディスプレイの背面図である。 顔係合領域を更に示すユーザの正面図である。 結合解除した構成(実線)と結合した構成(破線)の顔インタフェースを有するヘッドマウントディスプレイの背面図である。 機械的接続、電力接続及びデータ接続を含むヘッドマウントディスプレイの概略図である。 ヘッドマウントディスプレイを用いたユーザの生理学的識別方法のフローチャートである。 ユーザ用のヘッドマウントディスプレイの好適な顔インタフェースを識別する方法のフローチャートである。 好適な顔インタフェースを識別するための、ユーザの顔を評価するための顔インタフェースの背面図である。 ヘッドマウントディスプレイの配置を査定する方法のフローチャートである。 ヘッドマウントディスプレイでグラフィカルコンテンツを変更する方法のフローチャートである。 ディスプレイシステムを動作させる方法のフローチャートである。
本明細書ではヘッドマウントディスプレイ及びその顔インタフェースを開示する。それらは、顔インタフェース自体によって係合されたユーザの顔の部分内の生理学的状態を感知するものである。顔インタフェースは、1つ以上のセンサ及び/又はセンサの部分を含み得る。その代わりに、又はそれに加えて、顔インタフェースは感知窓を含えてもよい。その感知窓は、例えば、そのディスプレイ内などで、ヘッドマウントディスプレイのセンサにより、顔インタフェースによって係合される顔の部分の観察を可能にする。
ヘッドマウントディスプレイはまた、顔インタフェースによって囲まれたエリア、又は顔インタフェースより外向きのエリアを観察するヘッドマウントディスプレイのセンサなどにより、顔インタフェースによって係合されないエリア内のユーザの生理学的状態を感知するためのセンサを含んでもよい。顔インタフェースによって係合されたエリアからの生理学的情報は、例えば、様々な判定を行う、かつ/又はそれに応じて様々な出力を提供するために、顔インタフェースによって係合されないエリアからの生理学的情報と共に使用され得る。
顔インタフェースはまた、ディスプレイに着脱可能又は交換可能に結合可能であってもよい。それにより、異なる感知機能及び/又はフィット性(fit)の顔インタフェースを、例えば、異なるグラフィカルコンテンツ及び/又は異なるユーザに従って、ディスプレイに取り付けることができる。更に、顔インタフェースは、洗浄又は交換のために着脱可能であってもよい。
図1及び図2を参照すると、ヘッドマウントディスプレイ100は、ユーザの頭部Hに装着可能であり、(以下で更に詳細に論じる)コンピュータ生成環境などのグラフィカルコンテンツを表示する。ヘッドマウントディスプレイ100は概して、ディスプレイユニット110と、頭部支持体120と、顔インタフェース130と、電子機器140とを含む。ヘッドマウントディスプレイ100はまた、ディスプレイシステムと呼ばれることもある。
ディスプレイユニット110は、グラフィカルコンテンツを表示する1つ以上のディスプレイスクリーン112と、ディスプレイスクリーン112が結合され、様々な構成要素を視界から隠す筐体114と、を含む。筐体114は、周囲光がユーザの眼Eに達するのを遮断するように更に機能し得る。ディスプレイユニット110は、例えば、ハンドヘルドデバイスとしても使用可能であるスマートフォンなど、着脱可能なディスプレイスクリーンを有するのとは対照的に、ユーザの頭部Hに装着されている間にコンテンツを表示するための専用デバイスであってもよい。したがって、ディスプレイスクリーン112は、筐体114に交換可能に結合可能であるのとは対照的に、固定して結合されてもよい。
頭部支持体120は、ディスプレイユニット110に結合されており、ユーザの頭部Hに係合してディスプレイユニット110を頭部Hに支持する。頭部支持体120は、例えば、ユーザの頭部Hの側部及び後部に延びるバンドであってもよい。頭部支持体120は、ディスプレイユニット110の筐体114に結合されてもよい。
顔インタフェース130は、ディスプレイユニット110に結合されており、ユーザの顔Fに係合してディスプレイユニット110を頭部Hに支持する。例えば、顔インタフェース130は、例えば、筐体114(例えば、背面又は内向き端部若しくは表面)など、ユーザに近接してディスプレイユニット110の後端部に結合されてもよく、頭部支持体120は、ユーザの頭部H周りに張設され、それによって顔インタフェース130をユーザの顔Fに対して概ね後方に押し付け得る。顔インタフェース130は、概して、ユーザの顔とディスプレイスクリーン112との間に(例えば、ディスプレイスクリーン112又はその一部分が顔インタフェース130とユーザの顔との間にない状態で)配設され得る。顔インタフェース130は、生理学的状態(例えば、ユーザの状態)を検出する1つ以上の生理学的センサ132を含んでもよく、以下で更に詳細に論じる1つ以上の触覚出力デバイス133を更に含んでもよい。
電子機器140は、ヘッドマウントディスプレイ100の動作のための電子コンポーネントである。電子機器140は、例えば、筐体114内に収容されているディスプレイユニット110に結合されてもよい。ディスプレイシステムの電子機器140及び/又は他の電子機器のうちのいくつかは、ディスプレイユニット110及び/又は顔インタフェース130と通信する別のコンピューティングデバイスなど、ディスプレイユニット110から遠く隔てて配置されてもよい。図3を参照すると、電子機器は概して、コントローラ342、センサ344、通信インタフェース346、及びパワーエレクトロニクス348を含むことができる。電子機器140はまた、ディスプレイユニット110のディスプレイスクリーン112を含むものと考えることができる。コントローラ342は、概して、ヘッドマウントディスプレイ100の動作を制御し、例えば、センサ344及び/又は通信インタフェース346から入力信号を受信し、グラフィカルコンテンツを出力するための制御信号をディスプレイユニット110(例えば、ディスプレイスクリーン112)に送信する。コントローラ342の例示的なハードウェア構成について、図4を参照して以下に説明する。センサ344は、ユーザの状態(例えば、生理学的状態)、ヘッドマウントディスプレイ100の状態(例えば、位置、向き、動き)、及び/又は環境の状態(例えば、音、光、画像)を感知する。センサ344は、以下に説明する任意の好適な種類のセンサであってもよい(例えば、図6のセンサの種類を参照されたい)。通信インタフェース346は、ヘッドマウントディスプレイ100から物理的に分離された電子デバイス350から信号を受信するように構成されている。パワーエレクトロニクス348は、ヘッドマウントディスプレイを動作させるための電力を蓄積及び/又は供給し、また、例えば、1つ以上の電池を含んでもよい。電子デバイス350は、ユーザ入力デバイス(例えば、ユーザコントローラ)、ユーザに関連付けられた別の電子デバイス(例えば、スマートフォン又はウェアラブル電子デバイス)、又はユーザに関連付けられていない別の電子デバイス(例えば、サーバ、別の人物に関連付けられたスマートフォン)であってもよい。電子デバイス350は、ユーザの場所又は動きなど、ユーザの様々な他の状態を感知し得るセンサ350aを含んでもよい。電子デバイス350は、ヘッドマウントディスプレイ100を含むディスプレイシステムの一部とみなすことができる。
図4を参照すると、コントローラ342は、本明細書に開示する装置、システム、及び方法を実施するために使用されてもよい。例えば、コントローラ342は、様々な電子コンポーネント(例えば、センサ344及び通信インタフェース346)から様々な信号を受信し、それに従ってディスプレイスクリーン112の出力を制御して、グラフィカルコンテンツを表示することができる。例示的なハードウェア構成では、コントローラ342は、概して、プロセッサ442a、メモリ442b、記憶装置442c、通信インタフェース442d、及びコントローラ342の他のコンポーネントが通信するバス442eを含む。プロセッサ442aは、コンピュータ命令を実行し、それによって説明される動作を実行するための、中央処理装置などの任意の好適なプロセッサであってもよい。メモリ442bは、ランダムアクセスメモリ(RAM)などの揮発性メモリであってもよい。記憶装置442cは、ハードディスクドライブ(HDD)又はソリッドステートドライブ(SSD)などの不揮発性記憶装置であってもよい。記憶装置442cは、例えば、上記及び下記の方法でヘッドマウントディスプレイ100を動作させるためにプロセッサ442aによって実行される命令(例えば、コード)を格納するコンピュータ可読媒体を形成してもよい。通信インタフェース442dは、様々な信号(例えば、制御信号及び/又はセンサ信号)を送受信するために、他の電子コンポーネント(例えば、センサ344、通信インタフェース346、及び/又はディスプレイスクリーン112)と通信している。
図5を参照すると、顔インタフェース130は、顔係合領域F係合においてユーザの顔Fに係合する。図示するように、顔インタフェース130は、ユーザの眼E周りに延びている。顔インタフェース130は、顔面Fに係合し、ユーザの眼Eの上、側部周り、及び眼Eの下に延びることで周囲光が眼Eに到達するのを遮断する。顔係合領域F係合は、概して、顔インタフェース130の外縁部130aと内縁部130bとの間に更に延びる。顔係合領域F係合は、顔インタフェース130によって係合されることで、顔インタフェース130によって実質的に覆われているか、又はそれによって視界から隠されている。あるいは、顔インタフェース130は、ユーザの眼Eの周囲に完全に延びていなくてもよく、例えば、眼Eの上に延びているが眼Eの下に延びていないか、又はユーザの鼻Nの領域に隙間を有してもよい。例えば、顔係合領域F係合は、額係合領域FH係合のみを含んでもよい(例えば、図8を参照)。
図5A及び図5Bを参照すると、顔インタフェース130は、ユーザの顔Fに快適に係合して適合するよう、従順性となるように構成されている。顔インタフェース130は、顔係合領域F係合においてユーザの顔Fと係合し、1つ以上の生理学的センサ132及び/又は触覚出力デバイス133(図示せず)が結合される、従順性構造体530aを含む。従順性構造体530aは、(例えば、図5に示すように、ユーザの眼E周りに延びる)顔インタフェース130の一般的な形状を形成する。
図5Aに示すように、従順性構造体530aは、連続的に形成された構造体であってもよく、ディスプレイユニット110の筐体114に向かって圧縮されてもよい(例えば、破線で示すようなたわみ)。例えば、従順性構造体530aは、ゴム又はシリコーンなどのエラストマで形成されてもよく、この場合、従順性構造体530aは、ユーザの顔Fに直接係合し得る。生理学的センサ132は、従順性構造体530aに囲まれており(例えば、凹んでいるか、又はその中に埋め込まれている)、例えば、従順性構造体530aの外面にあるか、さもなければユーザに好適に近接しているなど、生理学的状態を感知するように配設される。
図5Bに示すように、従順性構造体530a’の変形例は、(例えば、発泡体、ゴム、又は他の圧縮性材料で作製された)従順性層530cが結合されるバッキング層530b(例えば、プラスチックなどのポリマーで形成された剛性又は可撓性プレート)などの、複数のコンポーネントから形成される。従順性層530cは、織物又は他の材料(例えば、可撓性シート状ポリマー)などの可撓性であるカバー530dによって更に被覆されてもよい。カバー530dはまた、図5Aに示すように、従順性構造体530aと併せて使用されてもよい。生理学的センサ132は、従順性層530cに囲まれており(例えば、凹んで又はその中に埋め込まれて)、ユーザの生理学的状態を感知するように配設される。例えば、以下で参照するように、生理学的センサ132は、カバー530dに近接して(例えば、それと接触して)配設された力センサ632aであってもよい。別の例では、以下で参照するように、生理学的センサ132は、電極632f又は別の生体電気信号センサ(例えば、脳活動センサ632g、筋活動センサ632h又は心拍センサ632i)であってもよく、この場合、カバー530dは、生理学的センサ132の領域内で導電性とすることができる。カバー530dはまた、従順性構造体530aと併せて使用されてもよい。
図6を参照すると、顔インタフェース130は、顔係合領域F係合におけるユーザの1つ以上の生理学的状態を感知するために使用される、1つ以上の生理学的センサ132を含む。生理学的センサ132はそれ自体、感知された生理学的状態に従ってセンサ信号を出力する完全センサであってもよい。例えば、生理学的センサ132は、感知された力に従ってアナログ信号又はデジタル信号を出力する力センサであってもよい。あるいは、生理学的センサ132は、センサシステムのコンポーネントであってもよい。例えば、生理学的センサ132は、ユーザの脳の電気活動を決定する遠隔コンピューティングデバイス(例えば、コントローラ342)に接続された脳波記録(electroencephalography、EEG)用の電極であってもよい。
1つ以上の生理学的センサ132は、力、温度、水分、変位、静電容量、脳活動(例えば、上述のEEG)、筋活動(例えば、力センサ及び/又は筋電計測法(electromyography、EMG)を介して)、及び/又は心拍数を含み得る、顔係合領域F係合における生理学的状態を感知するように構成され得る。様々な種類の生理学的センサ132のそれぞれが顔インタフェース130(例えば、センサ632aからセンサ632i)の一部として示されているが、顔インタフェース130は、それぞれの種類の生理学的センサ132のいずれも含まなくてもよいし、その1つ、又は複数を含んでもよいことを理解されたい。
力を測定するために、生理学的センサ132は、ばね変位センサ(例えば、既知の特性のバネの変位を測定する)、油圧又は空気圧ロードセル(例えば、収容された流体の圧力を測定する)、歪みゲージ、又は圧電力センサなどの、力センサ632aとすることができる。力センサ632aは、ユーザの顔Fに直接係合してもよいし、例えば、顔インタフェース130のカバー530dの後ろに、視界から隠されてもよい(図5Bを参照)。力センサ632aの領域において、カバー530dは、顔インタフェース130によってユーザの顔Fに加えられる力を正確に測定するように、好ましくは薄く、及び/又は概ね非圧縮性である。あるいは、カバー530dは、ユーザの顔Fと力センサ632aとの間の詰め物(例えば、発泡体、シリコーン、又は布地などの圧縮性材料で形成されるか、さもなければそれを含む)を提供するように圧縮性であってもよい。
水分を測定するために、生理学的センサ132は、湿度計又は赤外線湿度センサなどの水分センサ632bであってもよい。水分センサ632bが湿度計である場合、水分センサ632bは、ユーザの顔Fの顔係合領域F係合と流体連通している。例えば、水分センサ632bは、水分が透過し得る織布又は発泡材料の裏など、顔インタフェース130のカバー530dの裏に配設されてもよい。
温度を測定するために、生理学的センサ132は、熱電対、サーミスタ、抵抗温度計、又は赤外線温度センサなどの温度センサ632cであってもよい。熱電対、サーミスタ、又は抵抗温度計の場合、温度センサ632cは、ユーザの顔Fの顔係合領域F係合と直接接触するように配設されてもよいし、さもなければ、それと熱伝導関係にあってもよい(例えば、カバー530dの高熱伝導材料の裏にあり、それと導電可能に結合されている)。赤外線温度センサの場合、温度センサ632cは、ユーザの顔Fの顔係合領域F係合の赤外線を直接感知する、又はユーザの顔Fの顔係合領域F係合によって(例えば、カバー530dの)介在材料に熱伝導されるように感知することができる。
変位を測定するために、生理学的センサ132は、接触式変位ゲージなどの変位センサ632dであってもよい。顔Fの顔係合領域F係合が移動すると、変位センサ632dが移動され、その変位が測定される。
静電容量を測定するために、生理学的センサ132は、好適な種類の静電容量式センサ632eであってもよい。
脳活動(例えば、脳波記録すなわちEEG)、筋活動(例えば、筋電計測法すなわちEMG)、及び/又は心拍数(例えば、心電図(electrocardiography)すなわちECG)を測定するために、生理学的センサ132は、好適な生体電気信号センサであってもよい。一例では、生体電気信号センサは電極632fである。電極632fは、(例えば、脳活動、筋活動、又は心臓活動などの異なる生体電気活動(例えば、生体電気信号)を感知するために物理的に異なる)感知された生理学的状態に応じて異なる形態をとることができることに留意されたい。電極632fは、例えば、カバー530dの織布に織り込まれた導電性繊維を有するカバー530dに組み込まれてもよい。あるいは、電極632fは、別の材料から形成され、ユーザーの顔Fの顔係合領域F係合に直接接触するように配設されてもよい。
電極632fである代わりに、生理学的センサ132は、顔Fに接触して脳活動を測定する脳活動センサ632g(例えば、EEGセンサ)、顔Fに接触して筋活動を測定する筋活動センサ632h(例えば、EMGセンサ)、又は顔Fと接触若しくはそれを観察して心拍数を測定する心拍センサ632iであってもよい。
図7を参照すると、顔インタフェース130は、顔係合領域F係合が光学的に観察可能である窓736を含んでもよい。例えば、窓736は、カバー530dに形成されてもよく、ディスプレイユニット110に結合されたセンサ344のうちの1つは、その裏の顔係合領域F係合を観察し、ユーザの状態を感知することできる(例えば、ユーザの顔の動きを測定するためのカメラ、光エミッタ及び検出器を有する光学心拍センサ、又は赤外線センサ)。
図8を参照すると、1つ以上の生理学的センサ132は、ユーザの顔Fの顔係合領域F係合内の1つ以上の好適な位置に設けられ、それに関連する生理学的状態(例えば、力、水分、温度、変位、脳活動、筋活動、又は心臓活動)を測定することができる。例えば、生理的センサ132のうちの1つ以上は、ユーザの顔Fの顔係合領域F係合の額係合領域FH係合、こめかみ係合領域T係合、及び/又は頬係合領域C係合に配設されてもよい。力センサ632aは、例えば、額係合領域FH係合、こめかみ係合領域T係合、又は頬係合領域C係合などの、特定の顔の表情を検出するために、又は快適性を査定するために、圧力が測定されることが望ましいエリアに配設されてもよい。脳活動センサ632gは、額係合領域FH係合などの脳活動が測定可能であり得る場所に配置されてもよい。筋活動センサ632hは、例えば、額係合領域FH係合、こめかみ係合領域T係合、及び/又は頬係合領域C係合など、顔の表情を査定するために、顔の動きが測定され得る場所に配設されてもよい。心拍センサ632iは、こめかみ係合領域T係合などの心拍数を光学的に感知できる場所、又は額係合領域FH係合などの心拍数を電気的に測定できる場所に配設されてもよい。
図9~図10を参照すると、顔インタフェース130は、ディスプレイユニット110に着脱可能に結合可能であり得る。ヘッドマウントディスプレイ100は、顔インタフェース130とディスプレイユニット110との間において、1つ以上の位置での機械的接続902、1つ以上の電力接続904及び1つ以上のデータ接続906を形成する。
機械的接続902は、顔インタフェース130がディスプレイユニット110をユーザの顔F上に支持するなど、顔インタフェース130とディスプレイユニット110が互いに支持され得るように、顔インタフェース130をディスプレイユニット110に機械的に結合する。機械的接続902は、例えば、磁気的に(例えば、永久磁石及びそれに対応する永久磁石又は吸着板)、フックアンドループ式締結具により、締まり嵌め(例えば、ディスプレイユニット110の内部又は周囲に緊密に嵌合する顔インタフェース130の前方端部)により、対応するスロット若しくは凹部に受動的に係合する突出部により、機構(例えば、ラッチ)により、又はこれらの組み合わせにより、形成されてもよい。機械的接続902は、例えば、(例えば、従順性構造体530aに結合されている)顔インタフェース130周りに分配された顔インタフェース機械的コネクタ930aと、対応する位置にあるディスプレイユニット110の周りに分配された(例えば、筐体114に結合されている)ディスプレイユニット機械的コネクタ910aを用いて、1つ以上の位置に形成されてもよい。
電力接続904は、ディスプレイユニット110と顔インタフェース130との間で、例えば、ディスプレイユニット110によって給電される顔インタフェース130(例えば、ディスプレイユニット110によって給電される顔インタフェース130の生理学的センサ132)に電力を伝送する。電力接続904は、導電可能に(例えば、ばね接点によって係合された固定接点、又はプラグ及びそれに対応するレセプタクル)、又は無線で(例えば、対応する誘導コイルによって)のような好適な方法で形成されてもよい。電力接続904は、例えば、顔インタフェース130上の顔インタフェース電力コネクタ930bと、対応する位置にあるディスプレイユニット110上のディスプレイユニット電力コネクタ910bを用いて、1つ以上の位置に形成されてもよい。顔インタフェース電力コネクタ930bは、1つ以上の生理学的センサ132に結合されて、そこに電力を提供する。ディスプレイユニット電力コネクタ910bは、直接的又は間接的にパワーエレクトロニクス348に結合され、そこから電力を伝送する。
データ接続906は、ディスプレイユニット110(例えば、そのコントローラ342)から顔インタフェース130(例えば、生理学的センサ132及び/又はその触覚出力デバイス133)への制御信号、及び/又は、顔インタフェース130(例えば、その生理学的センサ132)からディスプレイユニット110(例えば、そのコントローラ342)へのセンサ信号など、ディスプレイユニット110と顔インタフェース130との間でデータを転送する。データ接続906は、導電可能に(例えば、バネ接点によって係合された固定接点、又はプラグ及びそれに対応するレセプタクル)、又は無線で(例えば、Bluetooth(登録商標)などの好適なプロトコルを使用する無線送受信機)など、任意の好適な方法で形成されてもよい。データ接続906は、例えば、顔インタフェース130上の顔インタフェースデータコネクタ930c、及び対応する場所でのディスプレイユニット110上のディスプレイユニットデータコネクタ910cを用いて、1つ以上の場所で形成されてもよい。顔インタフェースデータコネクタ930cは、直接的又は間接的に1つ以上の生理学的センサ132に結合されて、例えば、制御信号をそこへ、かつ/又はセンサ信号をそこから伝送する(例えば、感知した生理学的情報を通信する)。ディスプレイユニットデータコネクタ910cは、直接的又は間接的にコントローラ342に結合し、例えば、制御信号をそこから、かつ/又はセンサ信号をそこへ伝送する(例えば、感知した生理学的情報を受信する)。
電力接続904及びデータ接続906はいずれも、電力及びデータの両方を伝送可能なプラグ及びレセプタクルシステムなどの共通の接続システムによって形成されてもよい。例えば、電力接続904及びデータ接続906は、ユニバーサルシリアルバス(USB)タイプCなどの好適な種類のUSBコネクタで形成されてもよい。
ヘッドマウントディスプレイ100、特に、そのディスプレイユニット110は、異なる顔インタフェース130に交換可能に結合するように構成されてもよい。異なる顔インタフェース130は、(例えば、ディスプレイユニット110が異なる大きさの顔Fを有する人々に使用できるように)例えば、大きさ及び/又は形状が異なってもよい。異なる顔インタフェース130は、その代わりに、又はそれに加えて、例えば、異なる種類の生理学的センサ132(例えば、センサ632aからセンサ632i)、生理学的センサ132の数、及び/又は生理学的センサ132の配置を有することによって、その生理学的センサ132の構成が異なってもよい。異なる顔インタフェース130を、異なる構成の生理学的センサ132を有して提供することによって、異なる機能を提供することができる。例えば、1つの顔インタフェース130は、脳活動を監視するために、脳活動センサ632gのうちの1つ以上、及び/又は電極632fのうちの1つ以上を含んでもよく、一方で別の顔インタフェース130は、力センサ632aを含んでもよい。異なる顔インタフェース130は、例えば、互いに同じようにディスプレイユニット110との機械的接続902、電力接続904、及び/又はデータ接続906を形成することによって、ディスプレイユニット110に交換可能に結合可能とすることができる。例えば、2つの異なる顔インタフェース130は、電力接続904及びデータ接続906の両方を形成可能な標準化されたコネクタ(例えば、USB-C)など、共通の種類の電力コネクタ910b、930b及び/又はデータコネクタ910c、930cにより、電力接続904及び/又はデータ接続906を形成する。
図11~図15を参照すると、顔係合領域F係合における1つ以上の生理学的センサ132で感知された生理学的情報は、様々な異なる方法で、例えば、生理学的識別、ユーザのフィット性の査定、配置の査定及び/又は案内、グラフィカルコンテンツの変更や、個々の健康監視、多人の健康の研究、又はまだ決まっていない用途など、その他の目的のために単なる生理学的情報の出力のために、使用されてもよい。更に、生理学的センサ132の様々な用途のうちの1つ以上では、ヘッドマウントディスプレイ100は、電子機器140のセンサ344から情報を更に利用して、例えば、顔係合領域F係合にある1つ以上の生理学的センサ132により感知された生理学的情報を用いて、査定を補足、確認及び/又は否定することができる。センサ344は、例えば、顔係合領域F係合により囲まれた(例えば、顔インタフェース130によって囲まれた)エリア内のユーザの生理学的状態、例えば、ユーザの眼Eの状態又は特性を感知することができる。
図11を参照すると、ヘッドマウントディスプレイによる生理学的認証のための方法1100が提供されている。生理学的状態は、第1の動作1110において感知され、生理学的状態は、第2の動作1120においてユーザを識別又は認証するために評価され、ユーザを識別又は認証すると、第3の動作1130において許可がユーザに与えられる。
第1の動作1110では、生理学的状態は、顔係合領域F係合の1つ以上のセンサにより、例えば、コントローラ342と併せて、生理学的センサ132のうちの1つなどで感知される。生理学的状態は、例えば、(例えば、ユーザの顔Fの形状又は顔特徴を判定するための)様々な場所における力測定値及び/又は変位測定値、又はユーザを識別するのに適した生体電気信号を含み得る。
第1の動作1110は、ユーザの生理学的状態が、顔係合領域F係合外の顔領域において(すなわち、顔インタフェース130によって係合されていない領域において)追加的に感知されるサブ動作1115を更に含んでもよい。例えば、ディスプレイユニット110の電子機器140のセンサ344(例えば、カメラ)のうちの1つは、ユーザの眼Eの1つ以上の状態を感知することができる。
第2の動作1120では、第1の動作1110で感知された生理学的状態がコントローラ342などのコンピューティングデバイスで評価されて、ユーザを識別又は認証する。例えば、生理学的状態は、1人以上の承認されたユーザの以前に測定又は判定されたものと比較される。感知された生理学的状態が、ユーザの以前に測定された状態と一致するか、さもなければそれと比べても遜色ない場合、ユーザは識別又は認証されたとみなされる。
第2の動作1120は、顔係合領域F係合外の顔領域において感知された生理学的状態が評価されるサブ動作1125を更に含んでもよい。例えば、顔係合領域F係合の外側からの生理学的状態は、1人以上の承認されたユーザの以前に測定又は判定された状態と比較される。顔係合領域F係合の内部及びその外部の生理学的状態がいずれも、以前に測定された状態と一致するか、さもなければそれらと比べても遜色がない場合、ユーザは識別又は認証されたとみなされる。
第3の動作1130では、第2の動作1120で判定された識別又は認証に従って、ヘッドマウントディスプレイ100が、例えば、ヘッドマウントディスプレイ100の異なる機能(例えば、グラフィカルコンテンツ)にアクセスするために、ユーザに1つ以上の許可を提供する。
図12A及び図12Bを参照すると、ユーザにとって好適な顔インタフェースを決定する方法1200が提供される。ユーザの生理学的状態が第1の動作1210で感知され、その後、感知された生理学的状態は、第2の動作1220で異なる顔インタフェースの生理学的基準と比較され、第3の動作1230で異なる顔インタフェースのうちの1つが識別される。
第1の動作1210では、ユーザの生理学的状態が、周囲に(例えば、ユーザの眼Eの上、下、かつ/又は両側部に沿って)分配された生理学的センサ132を含む、図12Bに示す顔インタフェース1230aの変形例のような顔インタフェース130により、感知される。生理学的センサ132は、ユーザの顔Fの形状又はその特徴を測定するのに適した、力センサ632a(例えば、顔係合領域F係合の周りの力分布)又は変位センサ632dなどの種類のものである。
第2の動作1220では、第1の動作1210で感知された生理学的状態がヘッドマウントディスプレイ100のコントローラ342などのコンピューティングデバイスにより評価されて、顔の形状特性を決定する。例えば、顔の形状は、生理学的状態に基づいて(例えば、大きさ及び/又は民族性によって)広く特徴付けられてもよいし、顔の形状特性は、より個別に特徴付けられてもよい(例えば、ユーザの眉及び鼻などの個々の特徴の大きさ及び相対位置)。
第3の動作1230では、顔の形状特性が、コンピューティングデバイスにより、顔インタフェース130又は生理的センサ132を欠く他の顔インタフェースなどの、異なる顔インタフェースの対応する特性と比較されて、ユーザの顔Fの顔インタフェースのうち1つ以上の好適なものを識別する。例えば、異なる大きさ又は形状を有する異なる顔インタフェース130は、顔の形状特性の許容可能な値の範囲を有してもよく、顔の形状特性がその許容範囲内に収まる場合、ユーザにとって好適な顔インタフェース130が識別される。
図13を参照すると、ヘッドマウントディスプレイ100の配置を査定するための方法1300が提供されている。第1の動作1310で生理学的状態が感知され、第2の動作1320で位置が査定され、第3の動作1330で配置フィードバックが提供される。
第1の動作1310では、生理学的状態が、ユーザの顔F上の顔インタフェース130の配置を評価するのに適した生理学的センサ132のうちの1つなどのセンサにより、感知される。例えば、生理学的センサ132は、(例えば、顔Fの形状又は顔特性を決定することができる)力センサ632a又は変位センサ632d、静電容量式センサ632e、又は生体電気信号センサのうち好適なもののうちの1つ以上であってもよい。
第1の動作1310は、ユーザの生理学的状態が顔係合領域F係合外部の顔領域において(すなわち、顔インタフェース130によって係合されていない領域において)追加的に感知される第1のサブ動作1315を更に含んでもよい。例えば、ディスプレイユニット110の電子機器140のセンサ344のうちの1つは、ユーザの眼Eのうちの1つ以上の状態を(例えば、眼Eの位置を、カメラ及び画像認識を使用して)感知することができる。
第2の動作1320では、位置は、コントローラ342などのコンピューティングデバイスを用いて第1の動作1310で感知された生理学的状態に従って査定される。例えば、力センサ632a、静電容量式センサ632e及び静電容量式センサ632eによって感知された生理学的状態を、顔インタフェース130がユーザの顔に適切に位置付けられた以前のときに感知された生理学的状態と比較することによって、ユーザの顔Fとの適切な接点を評価することができる。
第2の動作1320は、顔係合領域F係合外部の顔領域に感知された生理学的状態が評価されるサブ動作1325を更に含んでもよい。例えば、ユーザの顔F上のヘッドマウントディスプレイ100の位置は、ユーザの眼Eの感知された位置に従って更に評価することができる。
第3の動作1330では、配置フィードバック(例えば、位置通知)は、例えば、コンピューティングデバイスにより制御され得るように、ディスプレイユニット110により出力されるグラフィカルフィードバックとして、音声出力デバイスによって出力される音声フィードバックとして、又は触覚出力デバイス133によって出力される触覚フィードバックとして、第2の動作1320で判定された位置評価に従って提供される。配置フィードバックは、2値(例えば、顔インタフェース130がユーザの顔Fの適切な位置にない場合にはネガティブな通知)であってもよいし、命令的(例えば、ヘッドマウントディスプレイ100を適切な位置にどのように移動させるかについての命令をユーザに提供する)であってもよい。
図14を参照すると、ヘッドマウントディスプレイを用いてグラフィカルコンテンツを変更する方法1400が提供されている。第1の動作1410では生理学的状態が感知され、第2の動作1420ではユーザの感情状態が査定され、第3の動作1430ではグラフィカルコンテンツがユーザの感情状態に従って変更される。
第1の動作1410では、生理学的状態が、ユーザの感情状態を評価するのに適した生理学的センサ132のうちの1つなどのセンサにより、感知される。例えば、生理学的センサ132は、電極632f、脳活動センサ632g、筋活動センサ632h、及び/又は心拍センサ632iなどの生体電気信号センサのうちの1つ以上であってもよい。脳活動、筋活動、又は心拍数の高値は、高揚した感情状態を示す場合があるが、脳活動、筋活動、又は心拍数の低値は、落ち着いた感情状態を示す場合がある。第1の動作1410は、異なる種類である別の生理学的状態が感知されるサブ動作1415を含んでもよい。他の生理学的状態は、顔係合領域F係合の内部又は外部で感知され得る。例えば、ユーザが、顔インタフェース130によって阻害され得る自然な顔の表情(例えば、笑顔)を試みたとき、筋活動センサ632h及び力センサ632aはそれぞれ、顔の表情を示す生理学的状態を感知することができる。
第2の動作1420では、ユーザの感情状態が、コントローラ342などのコンピューティングデバイスを用いて、第1の動作1410で感知された生理学的状態に従って査定される。例えば、脳活動、筋活動、又は心拍数を、上側閾値(例えば、それを超えるとユーザは高揚した感情状態にあると判定される)と比較されてもよいし、下側閾値(例えば、それを下回ると、ユーザが落ち着いた感情状態にあると判定される)と比較されてもよいし、傾向(例えば、増加又は減少する場合、ユーザは、それぞれ、高揚した又は落ち着いた感情状態に向かって進行していると判定される)又は他の基準(例えば、生体電気信号のパターン)に関して査定されてもよい。第2の動作1420は、他の生理学的状態が評価されるサブ動作1425を含んでもよい。例えば、感情状態の判定は、第1の生理学的状態と第2の(例えば、他の)生理学的状態の両方に基づいてもよい。
他の例では、力センサ632a及び/又は変位センサ632dを使用して、ユーザの感情状態を示す顔の表情(例えば、驚き又は落ち着きを示す顔の表情)を識別することができる。
第3の動作1430では、グラフィカルコンテンツが、第2の動作1420で判定されたユーザの感情状態に従って変更される。グラフィカルコンテンツは、例えば、(例えば、より迅速に動くグラフィカルコンテンツを表示することによって)高揚した感情状態を、又は(例えば、より迅速でないように動くグラフィカルコンテンツを表示することによって)落ち着いた感情状態を、誘導又は維持するように変更されてもよい。グラフィカルコンテンツはまた、グラフィカルコンテンツが配信されるソフトウェアプログラムの性質に従って変更されてもよい。例えば、高い感情状態を誘導することを意図したソフトウェアプログラムの場合、グラフィカルコンテンツは、ユーザの感情状態を、落ち着いた感情状態から離れるように変化させることを意図した方法で提供されてもよい。ユーザをリラックスさせることを意図したソフトウェアプログラムの場合は、グラフィカルコンテンツは、ユーザの感情状態を、高揚した感情状態から離れるように変化させることを意図した方法で提供されてもよい。
図15を参照すると、ユーザの顔係合領域F係合で感知された生理学的状態と別の状態とに従ってヘッドマウントディスプレイを動作させるための方法1500が提供されている。第1の動作1510では生理学的状態が感知され、第2の動作1520では別の状態が感知され、第3の動作1530では、この生理学的状態及びこの別の状態の両方に従って判定が行われ、第4の動作1540では、この判定に従って動作が実行される。
第1の動作1510では、生理学的状態が、ユーザの顔Fの顔係合領域F係合において、生理学的センサ132などのセンサによって感知される。生理学的センサ132は、上記のセンサの種類(例えば、632aから632i)のうちのいずれであってもよく、生理学的状態は上述の生理学的状態のいずれであってもよい。
第2の動作1520では、別の状態が別のセンサで感知される。別のセンサは、センサ344など、ヘッドマウントディスプレイ100の別のセンサであってもよく、この場合、センサ344は、顔係合領域F係合外の別の顔領域(例えば、眼の位置)におけるユーザの別の生理学的状態又は別の状態(例えば、ヘッドマウントディスプレイの動き)を感知することができる。あるいは、別のセンサは、電子デバイス350のセンサであってもよく、別の状態は(例えば、ユーザの動きを示す)電子デバイス350の動きであってもよい。
第3の動作1530では、第1の動作1510で感知された生理学的状態と、第2の動作1520で感知された別の状態の両方に従って判定が行われる。判定は、コントローラ342などのコンピューティングデバイスによって行われる。この判定には、生理学的状態と別の状態の両方が入力として必要である。一例では、ヘッドマウントディスプレイが位置から外れているという判定であってもよく、これは、不均一に分布した力の生理学的状態と、ユーザの眼Eがディスプレイユニット110に対してオフセットされているという別の状態の両方によって判定されてもよい。別の例では、ユーザが非常に活発であるという判定であってもよく、これは、高い脳活動の生理学的状態と電子デバイス350の高い動きの別の状態の両方に従って判定され得る。
第4の動作1540では、第3の動作1530で行われた判定に従って更なる動作が実行される。更なる動作の様々な例としては、(上述した)2値の若しくは命令的な位置フィードバックを提供すること、又はグラフィカルコンテンツを変更することが挙げられる(例えば、ユーザの迅速に変化するグラフィックスを表示することは、非常にアクティブである)。
物理的環境とは、人々が電子システムの助けなしに、感知及び/又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び臭覚などを介して、物理的環境を直接感知し、及び/又はそれと相互作用することができる。
対照的に、コンピュータ生成現実(computer-generated reality、CGR)環境は、人々が電子システムを介して感知及び/又は相互作用する、全体的又は部分的にシミュレーションされた環境を指す。CGRでは、人の身体運動のサブセット又はその表現が追跡され、それに応じて、CGR環境内でシミュレートされた1つ以上の仮想オブジェクトの1つ以上の特性が、少なくとも1つの物理学の法則でふるまうように調整される。例えば、CGRシステムは、人の頭部の回転を検出し、それに応じて、そのようなビュー及び音が物理的環境において変化し得るのと同様に、人に提示されるグラフィカルコンテンツ及び音場を調整することができる。状況によっては(例えば、アクセス性の理由から)、CGR環境における仮想オブジェクト(単数又は複数)の特性(単数又は複数)に対する調節は、身体運動の表現(例えば、音声コマンド)に応答して行われてもよい。
人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか1つを使用して、CGRオブジェクトを感知し、かつ/又はCGRオブジェクトと相互作用してもよい。例えば、人は、3D空間において点音源の知覚を提供する、3D又は空間的広がりを有するオーディオ環境を作り出すオーディオオブジェクトを感知し、かつ/又はそれと相互作用することができる。別の例では、オーディオオブジェクトは、コンピュータ生成オーディオを含め、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性を可能にすることができる。いくつかのCGR環境では、人は、オーディオオブジェクトのみを感知し、及び/又はそれと相互作用することができる。
CGRの例としては、仮想現実及び複合現実が挙げられる。
仮想現実(virtual reality、VR)環境とは、1つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計されたシミュレーション環境を指す。VR環境は、人が感知及び/又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ/又はコンピュータ生成環境内での人の身体運動のサブセットのシミュレーションを通じて、VR環境における仮想オブジェクトを感知し、かつ/又はそれと相互作用することができる。
コンピュータ生成感覚入力に全面的に基づくように設計されたVR環境とは対照的に、複合現実(mixed reality、MR)環境は、コンピュータ生成感覚入力(例えば、仮想オブジェクト)を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計されたシミュレーション環境を指す。仮想の連続体上で、現実環境は、一端における完全に物理的な環境と、他端における仮想現実環境との間のどこかにあるが、両端は含まない。
いくつかのMR環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、MR環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト(すなわち、物理的環境からの物理的物品又はその表現)と相互作用することを可能にするために、物理的環境に対する位置及び/又は向きを追跡することができる。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮することができる。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
拡張現実(augmented reality、AR)環境は、1つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられたシミュレーション環境を指す。例えば、AR環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイ上に仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境上に重ねられた仮想オブジェクトを知覚する。或いは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又はビデオをキャプチャする1つ以上の撮像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人は、システムを使用して、物理的環境の画像又は動画によって物理的環境を間接的に見て、物理的環境上に重ねられた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は、「パススルービデオ」と呼ばれ、システムが、1つ以上の撮像センサ(単数又は複数)を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にAR環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムは、仮想オブジェクトを、物理的環境に、例えば、ホログラムとして又は物理的表面上に投影するプロジェクションシステムを有してもよく、それによって、人は、システムを使用して、物理的環境上に重ねられた仮想オブジェクトを知覚する。
拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換されるシミュレーション環境を指す。例えば、パススルービデオを提供する際に、システムは、1つ以上のセンサ画像を変換して、撮像センサによってキャプチャされた遠近法とは異なる選択された遠近法(例えば、視点)による面付けを行うことができる。別の例として、物理的環境の表現は、その一部分をグラフィカルに変更(例えば、拡大)することによって変換されてもよく、それにより、変更された部分を元のキャプチャ画像を表すが非写実的であるバージョンとすることができる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は曖昧化することによって変換されてもよい。
拡張仮想(augmented virtuality、AV)環境は、物理的環境からの1つ以上の感覚入力を仮想環境又はコンピュータ生成環境が組み込むシミュレーション環境を指す。感覚入力は、物理的環境の1つ以上の特性の表現であり得る。例えば、AVの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、1つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。
多種多様の電子システムが存在することによって、人が様々なCGR環境を感知し、かつ/又はCGR環境と相互作用できるようになる。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ(heads-up display、HUD)、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、(例えば、コンタクトレンズと同様に)人の眼の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン/イヤフォン、スピーカアレイ、入力システム(例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ)、スマートフォン、タブレット、及びデスクトップ/ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、1つ以上のスピーカ(単数又は複数)及び一体型不透明ディスプレイを有してもよい。或いは、ヘッドマウントシステムは、外部の不透明ディスプレイ(例えば、スマートフォン)を受け入れるように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくは動画をキャプチャするための1つ以上の撮像センサ、及び/又は物理的環境の音声をキャプチャするための1つ以上のマイクロフォンを組み込んでいてもよい。不透明ディスプレイではなく、ヘッドマウントシステムは、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の眼に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、OLED、LED、uLED、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人間の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、例えば、ホログラムとして、又は物理的表面上に、仮想オブジェクトを物理的環境内に投影するように構成されていてもよい。
上述のように、本技術の一態様は、ユーザの生理学的状態の感知を含む、様々なソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの例において、この収集されたデータが、特定の人を一意に特定する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、ロケーションベースのデータ、電話番号、電子メールアドレス、ツイッターID、自宅の住所、ユーザの健康又はフィットネスのレベル(例えば、バイタルサイン測定値、服薬情報、運動情報)に関するデータ若しくは記録、誕生日、又は任意のその他の識別情報若しくは個人情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、他の使用の中でも、ユーザの識別及び様々なグラフィカルコンテンツのために使用することができる。更には、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって想到される。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求する技術を使用している個人への、積極的なフィードバックとして使用することもできる。
本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び/又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び/又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集/共有は、ユーザに告知して同意を得た後に実施されるべきである。更には、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び/又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はアクセスは、医療保険の相互運用性と説明責任に関する法律(Health Insurance Portability and Accountability Act、HIPAA)などの、連邦法及び/又は州法によって管理することができ、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国において、異なる個人データのタイプに関して異なるプライバシー慣行が保たれるべきである。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び/又はソフトウェア要素を提供することができると想到する。例えば、コンテンツを変更又はユーザを認証する場合、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。別の例では、ユーザは、グラフィカルコンテンツの変更又は健康の研究などのその他の使用のために、様々な生理学的を提供しないように選択することができる。更に別の例では、ユーザは、生理学的データが感知される時間を制限するように選択することができる(例えば、認証中にのみ)。「オプトイン」及び「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを想到する。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更には、本開示の意図は、個人情報データを、非意図的若しくは無許可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなった時点で削除することによって、危険性を最小限に抑えることができる。更には、かつ適用可能な場合、特定の健康関連アプリケーションにおいても、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切な場合には、特定の識別子(例えば、生年月日など)を除去すること、記憶されたデータの量又は特異性を制御すること(例えば、位置データを住所レベルよりも都市レベルで収集すること)、データがどのように記憶されるかを制御すること(例えば、データをユーザ全体にわたって集約すること)及び/又は他の方法によって、容易にすることができる。
それゆえ、本開示は、1つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを考察する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、実施不可能となるものではない。例えば、グラフィカルコンテンツは、非個人情報データ若しくはユーザに関連付けられたデバイスによって要求されたコンテンツなどの必要最小限の量の個人情報、利用可能な他の非個人情報、又は公的に利用可能な情報に基づいて変更することができる。

Claims (21)

  1. グラフィカルコンテンツをユーザに表示するためのディスプレイユニットと、
    前記ディスプレイユニットに着脱可能に結合可能であり、前記ユーザの顔の顔係合領域に係合する顔インタフェースであって、それにより、前記ディスプレイユニットが前記ユーザの前記顔に支持されており、前記顔係合領域内の前記ユーザの生理学的状態を感知する生理学的センサを含む、顔インタフェースと、
    を備える、ヘッドマウントデバイス。
  2. 前記顔インタフェースは、前記顔係合領域内の別の生理学的状態を感知するための別の生理学的センサを含む、請求項1に記載のヘッドマウントディスプレイ。
  3. 前記ヘッドマウントディスプレイは、前記ディスプレイユニットと前記顔インタフェースとの間の機械的接続と、電力が前記生理学的センサに伝送される、前記ディスプレイユニットと前記顔インタフェースとの間の電力接続と、センサ信号が前記生理学的センサから送信される、前記ディスプレイユニットと前記顔インタフェースとの間のデータ接続と、を形成する、請求項1に記載のヘッドマウントディスプレイ。
  4. 前記顔インタフェースは、前記ディスプレイユニットに、前記顔インタフェースの前記生理学的センサとは異なる種類の別の生理学的センサを有する別の顔インタフェースと交換可能に結合可能である、請求項3に記載のヘッドマウントディスプレイ。
  5. 前記別の顔インタフェースは、前記顔インタフェースが前記ディスプレイユニットとの前記電力接続及び前記データ接続を形成するのと同じように、前記ディスプレイユニットとの別の電力接続及び別のデータ接続を形成する、請求項4に記載のヘッドマウントディスプレイ。
  6. 前記顔インタフェースは、前記電力接続及び前記データ接続を形成するためのコネクタを含み、前記別の顔インタフェースは、前記コネクタと共通の種類の別のコネクタを含む、請求項5に記載のヘッドマウントディスプレイ。
  7. 前記生理学的センサは電極であり、前記生理学的状態は生体電気活動である、請求項1から6のいずれか一項に記載のヘッドマウントディスプレイ。
  8. 前記生理学的状態は、力、圧力、静電容量、水分、又は温度のうちの1つである、請求項1から7のいずれか一項に記載のヘッドマウントディスプレイ。
  9. 前記顔インタフェースは、別の生理学的センサを備え、前記生理学的センサ及び前記別の生理学的センサは、前記顔インタフェースの異なる位置で前記力、前記圧力、又は前記静電容量のうちの1つを感知する、請求項8に記載のヘッドマウントディスプレイ。
  10. 前記ディスプレイユニットは、別の生理学的センサを含み、前記顔インタフェースは、前記別の生理学的センサが前記ユーザの前記顔係合領域内の前記ユーザの別の状態を測定するように構成されている、請求項1又は3から6のいずれか一項に記載のヘッドマウントディスプレイ。
  11. 前記顔インタフェースは、前記別の生理学的センサが前記別の生理学的状態を光学的に感知する窓を含む、請求項10に記載のヘッドマウントディスプレイ。
  12. 前記顔インタフェースは、前記ユーザの前記顔係合領域に係合する導電性材料を含み、前記別の生理学的センサは、前記導電性材料を介して前記ユーザの前記別の生理学的状態を測定する、請求項10に記載のヘッドマウントディスプレイ。
  13. 前記顔係合領域外の前記ユーザの別の生理学的状態を感知するための別の生理学的センサを更に備え、
    前記ヘッドマウントディスプレイは、前記生理学的状態と前記別の生理学的状態の両方に従って判定を形成し、前記判定に従って動作を実行する、
    請求項1に記載のヘッドマウントディスプレイ。
  14. 前記別の生理学的センサは、前記顔係合領域によって囲まれた別の領域における前記別の生理学的状態を感知する、請求項13に記載のヘッドマウントディスプレイ。
  15. 前記別の生理学的状態は、前記ユーザの眼に関連付けられている、請求項13から14のいずれか一項に記載のヘッドマウントディスプレイ。
  16. 前記動作は、前記ユーザ上の前記ヘッドマウントディスプレイの位置の通知を提供することを含む、請求項13から15のいずれか一項に記載のヘッドマウントディスプレイ。
  17. 前記動作は、前記グラフィカルコンテンツを変更することを含む、請求項13から16のいずれか一項に記載のヘッドマウントディスプレイ。
  18. ヘッドマウントディスプレイ用の顔インタフェースであって、
    ユーザの顔の顔係合領域に係合するための従順性構造体と、
    前記従順性構造体に結合し、前記顔係合領域内の前記ユーザの生理学的状態を測定するための生理学的センサと、
    前記従順性構造体に結合する機械的コネクタであって、当該機械的コネクタによって前記顔インタフェースが前記ヘッドマウントディスプレイに着脱可能に結合可能である、機械的コネクタと、
    前記生理学的センサに結合するデータコネクタであって、当該データコネクタによって生理学的情報が前記生理学的センサから前記ヘッドマウントディスプレイに送信される、データコネクタと、
    を備える、顔インタフェース。
  19. 前記機械的コネクタは、前記ヘッドマウントディスプレイの別の機械的コネクタに対応し、前記データコネクタは、前記ヘッドマウントディスプレイの別のデータコネクタに対応する、請求項18に記載の顔インタフェース。
  20. 前記データコネクタは、前記ヘッドマウントディスプレイの別のデータコネクタとのデータ接続を形成し、前記データコネクタは、前記ヘッドマウントディスプレイと交換可能に結合可能な別の顔インタフェースの第3のデータコネクタと共通の種類のものである、請求項18から19のいずれか一項に記載の顔インタフェース。
  21. 前記生理学的センサは、前記ヘッドマウントディスプレイに交換可能に結合可能である別の顔インタフェースの別の生理学的センサとは異なる種類である、請求項18から20のいずれか一項に記載の顔インターフェィス。
JP2021539441A 2019-01-17 2020-01-14 生理学的状態を感知するための顔インタフェースを有するヘッドマウントディスプレイ Pending JP2022516358A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023102532A JP2023123654A (ja) 2019-01-17 2023-06-22 生理学的状態を感知するための顔インタフェースを有するヘッドマウントディスプレイ

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962793466P 2019-01-17 2019-01-17
US62/793,466 2019-01-17
PCT/US2020/013443 WO2020150193A1 (en) 2019-01-17 2020-01-14 Head-mounted display with facial interface for sensing physiological conditions

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023102532A Division JP2023123654A (ja) 2019-01-17 2023-06-22 生理学的状態を感知するための顔インタフェースを有するヘッドマウントディスプレイ

Publications (1)

Publication Number Publication Date
JP2022516358A true JP2022516358A (ja) 2022-02-25

Family

ID=69529029

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021539441A Pending JP2022516358A (ja) 2019-01-17 2020-01-14 生理学的状態を感知するための顔インタフェースを有するヘッドマウントディスプレイ
JP2023102532A Pending JP2023123654A (ja) 2019-01-17 2023-06-22 生理学的状態を感知するための顔インタフェースを有するヘッドマウントディスプレイ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023102532A Pending JP2023123654A (ja) 2019-01-17 2023-06-22 生理学的状態を感知するための顔インタフェースを有するヘッドマウントディスプレイ

Country Status (6)

Country Link
US (2) US11740475B2 (ja)
EP (1) EP3894999A1 (ja)
JP (2) JP2022516358A (ja)
KR (1) KR20210098521A (ja)
CN (2) CN113498503A (ja)
WO (1) WO2020150193A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11550392B2 (en) * 2019-05-20 2023-01-10 Hewlett-Packard Development Company, L.P. Signal combination of physiological sensor signals
US10699124B1 (en) 2019-09-09 2020-06-30 Ar, Llc Augmented reality content selection and display based on printed objects having security features
US11961294B2 (en) 2019-09-09 2024-04-16 Techinvest Company Limited Augmented, virtual and mixed-reality content selection and display
US10997418B2 (en) 2019-09-09 2021-05-04 Ar, Llc Augmented, virtual and mixed-reality content selection and display
JP7028854B2 (ja) * 2019-12-26 2022-03-02 株式会社オートネットワーク技術研究所 ワイヤーハーネス及び蓄電モジュール
US20230236665A1 (en) * 2020-07-30 2023-07-27 Hewlett-Packard Development Company, L.P. Head-mounted display sensor status
US20240035892A1 (en) * 2022-07-29 2024-02-01 Apple Inc. Contactless sensors for a head-mountable device
CN116068774B (zh) * 2023-03-06 2023-06-23 惠科股份有限公司 头戴式电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10127769A (ja) * 1996-10-28 1998-05-19 Matsushita Electric Works Ltd ディスプレイ装置
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
WO2015044851A2 (en) * 2013-09-25 2015-04-02 Mindmaze Sa Physiological parameter measurement and feedback system
US20180092706A1 (en) * 2016-10-03 2018-04-05 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery
KR20180113449A (ko) * 2017-04-06 2018-10-16 주식회사 룩시드랩스 헤드 마운트 디스플레이 장치
US20180348863A1 (en) * 2017-05-30 2018-12-06 Interaxon Inc. Wearable computing device with electrophysiological sensors
JP2018538765A (ja) * 2016-02-04 2018-12-27 ゾン シンシァォZENG Xinxiao 音声通信の方法、システム、及び、媒体

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7310072B2 (en) 1993-10-22 2007-12-18 Kopin Corporation Portable communication display device
TW275590B (en) 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
AU686511B2 (en) 1995-05-15 1998-02-05 Raytheon Company Low-cost light-weight head-mounted virtual-image projection display with low moments of inertia and low center of gravity
US5954642A (en) 1997-12-23 1999-09-21 Honeywell Inc. Adjustable head mounted display and system
AUPP949999A0 (en) 1999-03-29 1999-04-22 Resmed Limited Forehead support for facial mask II
US6436285B1 (en) 1999-12-22 2002-08-20 William B. Kerfoot Laminated microporous diffuser
US8482488B2 (en) 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
CN1681551B (zh) 2002-09-06 2011-03-02 雷斯梅德有限公司 呼吸面罩的前额衬垫
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US20150295923A1 (en) * 2007-03-28 2015-10-15 Autodesk, Inc. Environment based switching between two dimensions and three dimensions
US8605008B1 (en) 2007-05-04 2013-12-10 Apple Inc. Head-mounted display
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
CN102436064B (zh) 2010-09-29 2016-02-24 奥林巴斯株式会社 头戴式显示器
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5762892B2 (ja) * 2011-09-06 2015-08-12 ビッグローブ株式会社 情報表示システム、情報表示方法、及び情報表示用プログラム
US8661662B1 (en) 2012-08-10 2014-03-04 Eastman Kodak Company Making transparent touch-responsive device with micro-wire electrodes
US9069166B2 (en) * 2012-02-29 2015-06-30 Recon Instruments Inc. Gaze detecting heads-up display systems
JP5903018B2 (ja) 2012-09-26 2016-04-13 ソニー株式会社 ヘッドマウントディスプレイ
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9081210B2 (en) 2012-12-12 2015-07-14 Microsoft Technology Licensing, Llc Head worn device having temple arms to provide long axis compression
WO2014123117A1 (ja) 2013-02-05 2014-08-14 古河電気工業株式会社 電線構造体、電気接続構造及び電線構造体の製造方法
KR101781085B1 (ko) 2013-08-09 2017-09-22 가부시키가이샤 나리타 자력 회전 장치, 전동기, 및 전동 발전기
US9452260B2 (en) * 2013-11-22 2016-09-27 Verily Life Sciences Llc Closed loop control system based on a non-invasive continuous sensor
US9274340B2 (en) 2014-02-18 2016-03-01 Merge Labs, Inc. Soft head mounted display goggles for use with mobile computing devices
KR102299774B1 (ko) * 2014-08-28 2021-09-09 삼성전자주식회사 화면 구성 방법, 전자 장치 및 저장 매체
KR102230076B1 (ko) 2014-09-01 2021-03-19 삼성전자 주식회사 헤드 마운트 디스플레이 장치
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
EP3216023A4 (en) * 2014-11-07 2018-07-18 Eye Labs, LLC Visual stabilization system for head-mounted displays
US9904054B2 (en) 2015-01-23 2018-02-27 Oculus Vr, Llc Headset with strain gauge expression recognition system
KR102274743B1 (ko) * 2015-01-30 2021-07-08 삼성전자주식회사 전자 장치 및 전자 장치의 화면 영역 처리 방법
KR101564964B1 (ko) * 2015-02-05 2015-11-02 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치
US9836663B2 (en) 2015-03-05 2017-12-05 Samsung Electronics Co., Ltd. User authenticating method and head mounted device supporting the same
US11252399B2 (en) * 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
US20180092588A1 (en) * 2015-06-14 2018-04-05 Facense Ltd. Suggest activities according to the dominant nostril
US10545714B2 (en) * 2015-09-04 2020-01-28 Samsung Electronics Co., Ltd. Dual screen head mounted display
CN105455792B (zh) 2015-12-18 2018-09-25 济南中景电子科技有限公司 用于虚拟现实眼镜的头带
US10054503B2 (en) 2016-03-11 2018-08-21 Microsoft Technology Licensing, Llc Force sensor
US10359806B2 (en) 2016-03-28 2019-07-23 Sony Interactive Entertainment Inc. Pressure sensing to identify fitness and comfort of virtual reality headset
US9851267B1 (en) 2016-06-01 2017-12-26 Microsoft Technology Licensing, Llc Force-sensing element
EP3472828B1 (en) * 2016-06-20 2022-08-10 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
US10488830B2 (en) 2016-08-10 2019-11-26 Intel Corporation Automatic adjustment of head mounted display straps
KR102629569B1 (ko) * 2016-08-17 2024-01-29 삼성전자주식회사 카메라를 포함하는 전자 장치
WO2018093181A1 (ko) 2016-11-16 2018-05-24 삼성전자 주식회사 전자 장치 및 그 제어 방법
CN206321884U (zh) 2016-12-22 2017-07-11 深圳市掌网科技股份有限公司 一种用于头戴设备的贴面装置
WO2019240564A1 (ko) * 2018-06-15 2019-12-19 주식회사 룩시드랩스 생체 데이터 획득용 탈착식 기능모듈 및 이를 포함하는 헤드 마운트 디스플레이 장치
US10564717B1 (en) * 2018-07-16 2020-02-18 Facebook Technologies, Llc Apparatus, systems, and methods for sensing biopotential signals
KR20200103397A (ko) * 2019-02-25 2020-09-02 주식회사 룩시드랩스 생체 신호 센서 탑재 hmd 기기를 활용한 사용자의 스트레스 분석 및 개인 정신건강 관리 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10127769A (ja) * 1996-10-28 1998-05-19 Matsushita Electric Works Ltd ディスプレイ装置
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
WO2015044851A2 (en) * 2013-09-25 2015-04-02 Mindmaze Sa Physiological parameter measurement and feedback system
JP2018538765A (ja) * 2016-02-04 2018-12-27 ゾン シンシァォZENG Xinxiao 音声通信の方法、システム、及び、媒体
US20180092706A1 (en) * 2016-10-03 2018-04-05 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery
KR20180113449A (ko) * 2017-04-06 2018-10-16 주식회사 룩시드랩스 헤드 마운트 디스플레이 장치
US20180348863A1 (en) * 2017-05-30 2018-12-06 Interaxon Inc. Wearable computing device with electrophysiological sensors

Also Published As

Publication number Publication date
US11740475B2 (en) 2023-08-29
WO2020150193A1 (en) 2020-07-23
EP3894999A1 (en) 2021-10-20
US20200233220A1 (en) 2020-07-23
CN211834370U (zh) 2020-11-03
CN113498503A (zh) 2021-10-12
JP2023123654A (ja) 2023-09-05
KR20210098521A (ko) 2021-08-10
US20230350214A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
CN211834370U (zh) 头戴式显示器、用于头戴式显示器的面部界面和显示***
CN113330353B (zh) 头戴式显示器及其面部界面
JP2022504382A (ja) ヘッドマウントデバイス用のモジュールシステム
US11740742B2 (en) Electronic devices with finger sensors
US20230418378A1 (en) Creation of optimal working, learning, and resting environments on electronic devices
US11287886B1 (en) Systems for calibrating finger devices
CN114175045B (zh) 利用亮度变化来确定用户特征
US11768379B2 (en) Electronic device with facial sensors
US12001751B2 (en) Shared data and collaboration for head-mounted devices
US20230229007A1 (en) Fit detection for head-mountable devices
CN116910725A (zh) 已认证设备辅助的用户认证
CN209928142U (zh) 头戴式设备
US11762457B1 (en) User comfort monitoring and notification
WO2023196257A1 (en) Head-mountable device for user guidance
WO2024006107A1 (en) Gaze behavior detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230330