JP2016506530A - ヘッドマウントディスプレイ、およびこれを制御する方法 - Google Patents

ヘッドマウントディスプレイ、およびこれを制御する方法 Download PDF

Info

Publication number
JP2016506530A
JP2016506530A JP2015542930A JP2015542930A JP2016506530A JP 2016506530 A JP2016506530 A JP 2016506530A JP 2015542930 A JP2015542930 A JP 2015542930A JP 2015542930 A JP2015542930 A JP 2015542930A JP 2016506530 A JP2016506530 A JP 2016506530A
Authority
JP
Japan
Prior art keywords
external device
hmd
component
user
keypad
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015542930A
Other languages
English (en)
Other versions
JP6220889B2 (ja
Inventor
パーク，ヒョリム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2016506530A publication Critical patent/JP2016506530A/ja
Application granted granted Critical
Publication of JP6220889B2 publication Critical patent/JP6220889B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/42—User authentication using separate channels for security data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/032—Protect output to user by software means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ヘッドマウントディスプレイ（HMD）、およびＨＭＤを制御する方法を開示する。この方法は、ＨＭＤによって取り込まれた画像中で外部デバイスを検出すること、外部デバイスの第１のユーザインタフェース（UI）から少なくとも１つのコンポーネントを認識することであって、少なくとも１つのコンポーネントが、キーパッド、または、キーパッドへの入力信号に対応するデータを出力するためのウィンドウを含むこと、認識された少なくとも１つのコンポーネントを含む第２のＵＩを生成すること、第２のＵＩをＨＭＤ中で表示することであって、外部デバイスの検出元である画像を使用して、外部デバイス上に表示されている第１のＵＩの少なくとも１つのコンポーネントの上に、表示された第２のＵＩが重ねられること、および、外部デバイスにおいて現在受け取られている入力信号に対応するデータをＨＭＤ中の第２のＵＩ上に表示することを含む。

Description

[0001] 本発明は、ヘッドマウントディスプレイおよびこれを制御する方法に関し、より詳細には、プライバシ保護を必要とする情報をユーザが外部デバイス上に表示するときに、この情報をユーザが見ることができるようにするためのヘッドマウントディスプレイ、およびこれを制御する方法に関する。
[0002] ディジタルデバイスの軽量化および小型化の傾向に伴い、ますます多くのポータブルデバイスが使用されてきた。したがって、ユーザは、ポータブルデバイスを使用して、いつでもどこでも、意図したタスクをすぐに実行することができる。例えば、ポータブルデバイスを介して、バンキングサービスが時と場所にかかわらず利用可能であり、また、ユーザ間での連絡が容易にとられる。
[0003] 図１に、従来のポータブルデバイスにおけるバンキングサービスの例を示す。
[0004] 図１を参照すると、ユーザがポータブルデバイス１０を介してバンキングサービスを使用するつもりであるとき、ユーザは、証明パスワードを入力すべきである。証明パスワードはセキュリティを必要とするので、その内容は表示されず、他の人々が証明パスワードを見られないようにするためのセキュリティ指示１１が表示される。したがって、ポータブルデバイス１０上でのバンキングの間、一定レベルのセキュリティが保証される。
[0005] しかし、ユーザが証明パスワードを入力するとき、図１に示すように、ユーザが現在入力している特定のキーがキーパッド１２上で拡大される。ユーザの付近の誰かがパスワードを見破ろうとすれば、ユーザのパスワードは容易に知られてしまう。
[0006] ヘッドマウントディスプレイ（HMD）は、画像を表示するための、眼鏡のように頭部に装着可能な任意の画像表示装置を指す。ＨＭＤは、表示された情報をユーザのみが見ることができるようにする、一種のウェアラブルコンピュータである。したがって、情報がユーザの周囲の人々に晒されることはないので、ユーザのプライバシは容易に保護される。
[0007] ＨＭＤは、様々な外部デバイスと共に使用することができる。ＨＭＤは、ネットワークを介して外部デバイスに接続され、よって、外部から受信したコンテンツを出力することができる。さらに、ＨＭＤは、外部デバイスへのユーザ入力を受け取ること、または外部デバイスとの対話における動作を実施することができる。
[0008] 課題を解決するために考案された本発明の目的は、個人データが外部デバイス上に表示されることになるときに、個人データをヘッドマウントディスプレイ（HMD）上に表示して、個人データがユーザの周囲の人々に晒されないようにする方法にある。
[0009] 課題を解決するために考案された本発明の別の目的は、外部デバイス上に表示されたコンテンツのうちで保護を必要とするコンポーネントのみをＨＭＤ上に表示する方法にある。
[0010] 課題を解決するために考案された本発明の別の目的は、外部デバイスからの、保護を必要とするデータをＨＭＤ上に表示し、外部デバイス上のデータに、データを見ることができないように保護レイヤを適用する方法にある。
[0011] 課題を解決するために考案された本発明のさらに他の目的は、外部デバイス中の、データ保護のために保護レイヤが適用されるコンポーネントに関する、触覚フィードバックにある。
[0012] 本発明の目的は、ＨＭＤを制御する方法を提供することによって達成することができ、この方法は、ＨＭＤによって取り込まれた画像中で外部デバイスを検出すること、外部デバイスの第１のユーザインタフェース（UI）から少なくとも１つのコンポーネントを認識することであって、少なくとも１つのコンポーネントが、キーパッド、または、キーパッドへの入力信号に対応するデータを出力するためのウィンドウを含むこと、認識された少なくとも１つのコンポーネントを含む第２のＵＩを生成すること、第２のＵＩをＨＭＤ中で表示することであって、外部デバイスの検出元である画像を使用して、外部デバイス上に表示されている第１のＵＩの少なくとも１つのコンポーネントの上に、表示された第２のＵＩが重ねられること、および、外部デバイスにおいて現在受け取られている入力信号に対応するデータをＨＭＤ中の第２のＵＩ上に表示することを含む。
[0013] 本発明の別の態様では、本明細書においてＨＭＤが提供され、このＨＭＤは、ＨＭＤの動作を制御するように構成されたプロセッサと、画像を出力するように構成された表示ユニットと、外部デバイスとの間でデータを送受信するように構成された通信ユニットと、画像を取り込み、取り込んだ画像をプロセッサに提供するように構成されたセンサユニットとを備える。プロセッサは、ＨＭＤによって取り込まれた画像中で外部デバイスを検出すること、外部デバイスの第１のＵＩから少なくとも１つのコンポーネントを認識することであって、少なくとも１つのコンポーネントが、キーパッド、または、キーパッドへの入力信号に対応するデータを出力するためのウィンドウを含むこと、認識された少なくとも１つのコンポーネントを含む第２のＵＩを生成すること、外部デバイス上に表示されている第１のＵＩの少なくとも１つのコンポーネントの上に、表示された第２のＵＩが重ねられるように、第２のＵＩを表示すること、および、外部デバイスにおいて現在受け取られている入力信号に対応するデータを第２のＵＩ上に表示すること、を行うように構成される。
[0014] 外部デバイスが個人情報を表示することになっている場合に、本発明の一実施形態によれば、個人情報はＨＭＤを介して表示され、それにより、データ漏洩が防止されセキュリティが強化される。
[0015] 本発明の別の実施形態によれば、外部デバイス上に表示されているコンポーネントのうち、プライバシ保護を必要とするコンポーネントのみがＨＭＤ上に表示される。したがって、ユーザ利便性を高めることができる。
[0016] 本発明の別の実施形態によれば、データ保護のために、ＨＭＤ上に表示されるデータに保護レイヤが提供され、同じデータが外部デバイス上には表示されないようにされる。したがって、ユーザは中断なしにデータを見ることが可能にされ、外部デバイスを介したデータ漏洩は効率的に防止される。
[0017] 本発明のさらに他の実施形態によれば、外部デバイス上でデータ保護のために保護レイヤが提供されるコンポーネントに関してユーザのタッチ入力が受け取られると、外部デバイスは触覚フィードバックを提供し、それによりユーザ利便性が高まる。
[0018] 本発明の一層の理解を提供するために含められる添付の図面は、本発明の実施形態を例示し、記述と共に、本発明の原理を説明する助けとなる。
[0020]従来のポータブルデバイスにおけるバンキングサービスの例を示す図である。 [0021]本発明の一実施形態による、ヘッドマウントディスプレイ（HMD）と、ＨＭＤを装着したユーザと、ＨＭＤと対話する外部デバイスとを示す図である。 [0022]本発明の一実施形態による、ＨＭＤの機能ブロック図である。 [0023]本発明による、ユーザインタフェース（UI）を外部デバイス上に表示する一実施形態を示す図である。 [0024]本発明による、ＵＩをＨＭＤおよび外部デバイス上に表示する一実施形態を示す図である。 [0025]本発明による、ＵＩをＨＭＤおよび外部デバイス上に表示する別の実施形態を示す図である。 [0026]本発明による、ＵＩをＨＭＤおよび外部デバイス上に表示するさらに他の実施形態を示す図である。 [0027]本発明による、外部デバイス中のＵＩのコンポーネントの上に保護レイヤを表示する一実施形態を示す図である。 [0028]本発明による、ユーザの把持に従ってレイアウトが調整されたコンポーネントをＨＭＤ上に表示する一実施形態を示す図である。 [0029]本発明による、外部デバイス中の保護レイヤの表示プロパティを制御する一実施形態を示す図である。 [0030]本発明による、スマートＴＶである外部デバイスの一実施形態を示す図である。 [0031]本発明による、ディジタルドアロックである外部デバイスの別の実施形態を示す図である。 [0032]本発明による、スマートフォンである外部デバイスの別の実施形態を示す図である。 [0033]本発明による、現金自動預け払い機（ATM）である外部デバイスのさらに他の実施形態を示す図である。 [0034]本発明の一実施形態による、ＨＭＤを制御する方法を示すフローチャートである。
[0035] 本発明において使用される用語は、一般に知られ使用される用語から選択されているが、これらの用語は、オペレータの意図、習慣、または新技術の出現に従って、変更されることもある。本発明の記述において言及される用語のいくつかは、出願人によってその自由裁量で選択されたものであり、それらの詳細な意味は、本明細書における記述の当該部分において述べられる。したがって、本発明は、使用される実際の用語によって単に理解されるのではなく、各用語の内にあるその意味によって理解されなければならない。
[0036] 本発明の実施形態を、添付の図面と、添付の図面における記述とに関して詳細に述べるが、これらの図面および記述は、本発明を限定するものと解釈すべきではない。
[0037] 図２に、本発明の一実施形態による、ヘッドマウントディスプレイ（HMD）と、ＨＭＤを装着したユーザと、ＨＭＤと対話する外部デバイスとを示す。
[0038] 本発明による外部デバイス１００は、様々なタイプのコンテンツ１１１を出力することができる。例えば、外部デバイス１００は、生放送、映画、音楽、連続ドラマ、ウェブページ、ゲーム、アプリケーションなどを含めた、多様なマルチメディアコンテンツを出力することができる。
[0039] 外部デバイス１００は、外部デバイス１００から出力されるコンテンツ１１１を表示するための、少なくとも１つの表示ユニット１１０を備える。
[0040] 外部デバイス１００はさらに、ＨＭＤ２００および他のデバイスとの間でデータを送信または受信するための通信ユニット（図示せず）を備えてよい。
[0041] 外部デバイス１００上に表示されたコンテンツが保護を必要とするとき、本発明によれば、その表示されたコンテンツは、全体的にまたは部分的に、ＨＭＤ２００に送信されるものとすることができる。すなわち、外部デバイス１００上に表示されたＵＩが所定のコンポーネントを含む場合、外部デバイス１００は、ＵＩ全体をまたはＵＩに含まれるコンポーネントをＨＭＤ２００上に表示できるように、必要なデータをＨＭＤ２００に送信することができる。これについては、図４〜７を参照して後述する。
[0042] したがって、本発明では、外部デバイス１００は、表示ユニットおよび通信ユニットをそれぞれが含む様々なデバイスのうちのいずれかとすることができる。例えば、外部デバイス１００は、それがパーソナルディジタルアシスタント（PDA）、ラップトップコンピュータ、タブレットＰＣなど、データを表示することができ他のデバイスと通信することができるポータブルデバイスであるときには特に、有用である。というのは、ポータブルデバイスが屋外で使用されるときは、例えば個人情報に対して、プライバシ保護がしばしば必要とされるからである。これについては、図４に関してより詳細に述べる。
[0043] 図２に示すＨＭＤ２００は、外部デバイス１００とインタラクト（対話）可能に動作する。対話のために、ＨＭＤ２００は、外部デバイス１００と対合（ペアリング）されるか、または外部デバイス１００との通信接続を確立する。対合または通信接続確立は、ＨＭＤ２００または外部デバイス１００を介したユーザ入力に応答して、実施されてよい。
[0044] 例えば、ＨＭＤ２００は、外部デバイス１００との対合のための、または外部デバイス１００との通信接続を確立するための、ボタンまたはＵＩを提供することができる。加えて、ユーザは、このボタンまたはＵＩを使用して、ＨＭＤ２００を外部デバイス１００と対合するか、またはＨＭＤ２００と外部デバイス１００との間の通信接続を確立することができる。
[0045] ＨＭＤ２００が外部デバイス１００と対合されたかまたは外部デバイス１００との通信接続を確立した後は、外部デバイス１００からの保護されるべきデータをＨＭＤ２００上に表示することができる。
[0046] ネットワーク２０は、本発明では、ＨＭＤ２００と外部デバイス１００との間の通信を可能にする様々な有線またはワイヤレスネットワークのうちのいずれかとすることができる。利用可能なネットワークは、近接場通信（NFC）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ、ワイヤレスフィデリティ（WiFi）などに準拠して動作することができる。しかし、本発明は、特定のネットワークに限定されない。
[0047] 本発明では、ＨＭＤ２００は、前述のネットワークのうちの１つまたは組合せを介して、外部デバイス１００と通信することができる。
[0048] 図３は、本発明の一実施形態による、ＨＭＤの機能ブロック図である。図３に示すＨＭＤの構成は、本発明の一実施形態に過ぎず、したがって、本発明の範囲内でＨＭＤに対してコンポーネントを除去または追加することもできる。
[0049] 図３を参照すると、本発明の一実施形態によるＨＭＤ３００は、表示ユニット３１０、通信ユニット３２０、センサユニット３３０、およびプロセッサ３４０を備えてよい。
[0050] 表示ユニット３１０は、画像を画面上に表示する。表示ユニット３１０は、プロセッサ３４０中で実行されるコンテンツに基づいて、またはプロセッサ３４０から受け取られた制御コマンドに従って、画像を出力することができる。
[0051] 本発明の一実施形態によれば、表示ユニット３１０はまた、ＨＭＤ３００と対話する外部デバイス（例えばポータブルデバイス）から受け取られた制御コマンドに従って、画像を表示することもできる。
[0052] 例えば、表示ユニット３１０は、ＨＭＤ３００と対話する外部デバイス中で実行されているコンテンツを表示することができる。コンテンツは、ウェブページまたはアプリケーションを実行することによって表示されるＵＩ、ならびにピクチャまたはビデオを含む。コンテンツは、本発明では、特定の機能を実行するために表示される任意のデータを含み得る。ＨＭＤ３００は、通信ユニット３２０を介して外部デバイスからデータを受信し、受信したデータに基づいて画像を出力することができる。
[0053] 通信ユニット３２０は、様々なプロトコルに基づいて外部デバイスと通信することによって、データを送信または受信することができる。加えて、通信ユニット３２０は、有線またはワイヤレスネットワークにアクセスして、ネットワークを介してコンテンツなどのデータを送信または受信することもできる。
[0054] ＨＭＤ３００は、本発明では、通信ユニット３２０を介して外部デバイスと対合されるかまたは外部デバイスとの通信接続を確立することができ、よって、接続された外部デバイスとの間でデータを送信または受信することができる。通信ユニット３２０は、有線またはワイヤレスネットワークにアクセスすることができ、よって、コンテンツなどのディジタルデータ、ＵＩのグラフィックデータ、および制御コマンドを送受信することができる。
[0055] したがって、本発明のＨＭＤ３００は、プライバシ保護を必要とするデータを、通信ユニット３２０を介して外部デバイスから受信し、受信したデータを、ユーザのみがデータを見ることができる方式で表示ユニット３１０上に表示することができる。
[0056] センサユニット３３０は、ＨＭＤ３００に搭載された複数のセンサを使用して、ユーザ入力を、またはＨＭＤによって知覚される環境に関する情報を、プロセッサ３４０に送信することができる。センサユニット３３０は、複数のセンサを備えてよい。
[0057] 複数のセンサは、重力センサ、地磁気センサ、動きセンサ、ジャイロセンサ、加速度センサ、赤外線センサ、傾斜センサ、周辺光センサ、高度センサ、臭気センサ、温度センサ、深度センサ、圧力センサ、曲げセンサ、オーディオセンサ、ビデオセンサ、全地球測位システム（GPS）センサ、タッチセンサなどを含み得る。これらのセンサは、別個の要素としてＨＭＤ３００に備わってもよく、または、ＨＭＤ３００中の少なくとも１つの要素に組み込まれてもよい。
[0058] 前述のように、センサユニット３３０は、様々なセンサのセットを指す。センサユニット３３０は、ユーザの様々な環境を感知し、感知結果に対応する動作をプロセッサ３４０が実施できるように、感知結果をプロセッサ３４０に提供することができる。
[0059] 本発明は、プライバシ保護を必要とするデータが外部デバイス上に表示されるときに、このデータをユーザがＨＭＤ上で見ることができる環境を提供するものとする。特に、本発明の一実施形態では、外部デバイス上に表示されるデータと、ＨＭＤ上に表示されるデータとを結合して、ユーザの目から見て完全なデータにすることができる。よって、ユーザは、完全な情報を得る。
[0060] したがって、センサユニット３３０は、取込みセンサ（図示せず）を備えてよい。取込みセンサは、画像を取り込むことができる。言い換えれば、取込みセンサは、ＨＭＤ３００を装着したユーザの視界に対応する所定エリア中の画像を検出し、検出した画像をプロセッサ３４０に提供することができる。
[0061] プロセッサ３４０は、取込みセンサによって検出された画像に基づいて、ＨＭＤ３００を装着したユーザの視界に対応する所定エリア中に外部デバイスが存在するかどうか判定することができる。外部デバイスの存在を検出すると、プロセッサ３４０は、プライバシ保護を必要とするデータを外部デバイスから受信し、このデータを表示することができる。
[0062] 加えて、プロセッサ３４０は、取込みセンサによって検出された画像中の外部デバイス上に表示されたＵＩのコンポーネントを認識することができる。すなわち、プロセッサ３４０は、画像処理などによって、検出された画像に含まれるＵＩのコンポーネントを認識することができる。これについては、図６および７に関して後述する。
[0063] データがプライバシ保護を必要とするかどうか、または外部デバイスがＨＭＤにデータを送信することになるかどうかは、所定の条件に従って異なる方式で決定することができる。これについては、図４に関して述べる。
[0064] プロセッサ３４０は、ＨＭＤ３００内のデータを処理し、ＨＭＤ３００の各ユニットを制御し、ＨＭＤ３００のユニット間におけるデータの送受信を制御することができる。
[0065] 図３には示されていないが、ＨＭＤ３００は、記憶ユニット、オーディオ入出力（I/O）ユニット、または電力ユニットを備えてよい。
[0066] 記憶ユニット（図示せず）は、オーディオ、写真、ビデオ、およびアプリケーションのような、様々なディジタルデータを記憶することができる。記憶ユニットは、フラッシュメモリ、ランダムアクセスメモリ（RAM）、ソリッドステートドライブ（SSD）など、多様なディジタルデータ記憶空間を指す。
[0067] 記憶ユニットは、通信ユニット３２０を介して外部デバイスから受信されたデータを、一時的に記憶することができる。記憶ユニットを使用して、外部デバイスから受信されたデータまたはコンテンツをバッファリングし、バッファリングしたデータまたはコンテンツを、ＨＭＤ３００を介して出力することができる。本発明では、ＨＭＤ３００に記憶ユニットを設けることは任意選択である。
[0068] オーディオ出力ユニット（図示せず）は、スピーカやイヤフォンなどのオーディオ出力手段を含む。加えて、オーディオ出力ユニットは、プロセッサ３４０中で実行されるコンテンツに基づいて、またはプロセッサ３４０から受け取られた制御コマンドに応答して、音声を出力することもできる。本発明では、ＨＭＤ３００にオーディオ出力ユニットを設けることは任意選択である。
[0069] 電力ユニットは、ＨＭＤ３００に電力を供給するために、内部電池または外部電源に接続された電源である。
[0070] 図３に示すＨＭＤ３００のブロック図は、単に例示的なものである。別々に構成されたものとして図３に示すブロックは、論理的に分離された要素である。したがって、前述の要素は、デバイス設計に応じて、１つまたは複数のチップ上に取り付けられる場合がある。
[0071] 本発明は、プライバシ保護を必要とする情報をユーザが外部デバイス上に表示するときに、情報が外部に晒されないような方式で情報をＨＭＤ上に表示する方法を提供する。この方法について、図４〜７に関して以下に述べる。
[0072] 図４に、本発明による、ＵＩを外部デバイス上に表示する一実施形態を示す。
[0073] ＨＭＤは、ＨＭＤを装着したユーザの視界に対応する所定エリア中に、ＨＭＤと対話する外部デバイスがあるかないかを、センサユニットによって取り込まれた画像を使用して検出することができる。すなわち、ＨＭＤは、画像処理などによって、取り込まれた画像中で所定の外部デバイスの画像を検出することができる。
[0074] そのうえ、ＨＭＤは、ＨＭＤに関する位置情報および外部デバイスに関する位置情報を使用して、またはＨＭＤの赤外線センサによって、ＨＭＤと対話する外部デバイスを検出することもできる。
[0075] 検出された外部デバイス４００は、ＵＩ４１０を表示することができる。ＵＩ４１０は、外部デバイス４００中で実行されているアプリケーションやウェブページなどとの関係でユーザに提供されるインタフェースである。
[0076] ＵＩ４１０は、少なくとも１つのコンポーネントを含んでよい。図４に示すように、少なくとも１つのコンポーネントは、キーパッド４１１と、キーパッド４１１への入力信号に対応するデータを出力するためのウィンドウ４１３とを含み得る。
[0077] ユーザ識別子（ID）やパスワードなど、セキュリティを必要とするデータが外部デバイス４００中のＵＩ４１０上に表示されるとき、データ入力中にデータを外部に晒す危険がある。言い換えれば、ウィンドウ４１３に対するセキュリティ処理にもかかわらず、ユーザがデータをキーパッド４１１に入力している間に入力データがユーザの周囲の人々に晒されるおそれがあり、よってユーザはデータ露出の危険を冒す。
[0078] このコンテキストで、外部デバイスに対して通常モードと保護モードが定義され、本発明では、外部デバイスが保護モードに置かれた場合、セキュリティを必要とするデータはＨＭＤ上のみに表示される。モード切替えは、様々な方式で外部デバイスに対して実施することができる。最初に、外部デバイスのモードを切り替える一実施形態について以下に述べる。
[0079] 本発明の一実施形態によれば、外部デバイスのモードをユーザ入力に従って切り替えることができるように、外部デバイスはモード切替えアイコン４２０を表示する。すなわち、データ保護を要求するユーザ入力がユーザから受け取られると、例えばアイコン４２０が触れられると、外部デバイスは保護モードに切り替わることができる。
[0080] 本発明の別の実施形態では、外部デバイスは、外部デバイス上に表示されているコンテンツに関する属性情報を抽出することができ、抽出した属性情報に従って別のモードに切り替わることができる。コンテンツは、外部デバイス上に表示可能な任意のデータ、ならびに写真およびビデオを含み得る。コンテンツに関する属性情報は、外部デバイスの記憶ユニットに事前に記憶されているものとすることができる。さらに、コンテンツに関する属性情報は、データ保護が必要かどうかを示す情報を含んでよい。この属性情報は、ユーザが設定することができる。
[0081] 例えば、メンバシップもしくはログインを必要とするウェブページ、ユーザ確認を必要とするアプリケーション、またはロックされた状態の画像データ、などのコンテンツに対して、ユーザ確認またはユーザ認証が必要とされる場合、データ保護を属性情報中であらかじめ設定し、コンテンツのタイプと共に記憶することができる。よって、外部デバイスは、コンテンツを実行する間に、記憶ユニットを参照して、コンテンツに関する属性情報に基づいてそのモードを切り替えることができる。
[0082] 本発明の別の実施形態では、外部デバイスが事前設定済みＵＩを表示するとき、外部デバイスは通常モードから保護モードに切り替わることができる。事前設定済みＵＩは、キーパッドと、キーパッドへの入力信号に対応するデータを出力するウィンドウと、ユーザの個人情報を出力するウィンドウと、のうちの少なくとも１つのコンポーネントを含む。
[0083] このようにして、外部デバイスは、事前設定済みＵＩを表示すると同時に、通常モードから保護モードに切り替わることができる。加えて、外部デバイスは、それが保護モードで動作中であることを、図４に示す保護モードアイコン４２０を用いて示すことができる。
[0084] 前述のように、外部デバイスは、所定の条件に従って、あるモードから別のモードに切り替わることができる。しかし、外部デバイスがＨＭＤと対合されている場合、ＨＭＤが、所定の条件に従って外部デバイスのモード切替えを制御することができる。したがって、本発明の上記の実施形態では、外部デバイスとＨＭＤのいずれかが、外部デバイスのモードの切替えを担うことができる。
[0085] 本発明のさらに他の実施形態では、ＨＭＤは、ユーザがＨＭＤを装着しているかどうか判定することができる。ユーザがＨＭＤを装着していると判定すると、ＨＭＤは、外部デバイスを通常モードから保護モードに切り替えることができる。ＨＭＤは、タッチセンサや取込みセンサなどを含むセンサユニットを介して、ユーザがＨＭＤを装着しているかどうか判定することができる。ユーザがＨＭＤを装着していることは、ユーザがＨＭＤを介して個人情報を見ようと思っていることを含意する可能性があり、よって、ＨＭＤは外部デバイスを保護モードに切り替えることができる。
[0086] ＨＭＤは、外部デバイスのモード切替えを制御する代わりに、保護モードへの切替えを要求する信号を外部デバイスに送信することもでき、それにより、外部デバイスは保護モードに切り替わることができる。
[0087] 外部デバイスは、前述の実施形態に限定されず、様々な方式でそのモードを切り替えることができる。前述のように、外部デバイスのモードの切替えを担うエンティティは、外部デバイスまたはＨＭＤとすることができる。
[0088] 外部デバイスが通常モードから保護モードに切り替わったとき、ＨＭＤは、外部デバイス上に表示されたＵＩ中の少なくとも１つのコンポーネントを認識することができる。ＨＭＤはまた、認識した少なくとも１つのコンポーネントを含むＵＩを生成して、このＵＩを表示することができる。記述の便宜上、外部デバイスによって提供されるＵＩおよびＨＭＤによって提供されるＵＩを、それぞれ第１および第２のＵＩと呼ぶことにする。
[0089] 図５に、本発明による、ＵＩをＨＭＤおよび外部デバイス上に表示する一実施形態を示す。本発明の実施形態では、外部デバイス上に表示された第１のＵＩの全体が、第２のＵＩとしてＨＭＤ上に表示される。
[0090] 図５（ａ）を参照すると、事前設定済みアイコン５１１へのユーザ入力が受け取られると、外部デバイス５１０は保護モードに切り替わることができる。外部デバイス５１０が通常モードから保護モードに切り替わったとき、ＨＭＤ５２０は、第１のＵＩ５１３に関係するデータを外部デバイス５１０から受信し、第１のＵＩ５１３と同一の第２のＵＩ５２３を生成し、第２のＵＩ５２３を表示することができる。
[0091] ＨＭＤ５２０は、第２のＵＩ５２３を生成するのに必要なデータを外部デバイス５１０から受信し、受信したデータに基づいて第２のＵＩ５２３を生成することができる。別法としてまたは追加で、ＨＭＤ５２０は、センサユニットによって取り込まれた外部デバイス５１０の画像から外部デバイス５１０の表示ユニットまたは画面を認識し、表示ユニット上もしくは画面上に表示された画像を使用するかまたはこの画像を編集することによって、第２のＵＩ５２３を生成することもできる。
[0092] したがって、ユーザは、外部デバイス５１０によって提供されるＵＩ５１３と同一のＵＩ５２３を、ＨＭＤ５２０上で見ることができる。
[0093] 特に、キーパッドへの入力信号が受け取られると、第１のＵＩ５１３に含まれるコンポーネントのうちの１つであるウィンドウ５１５が、入力の状態を表すことができる。外部デバイス５１０が、入力信号に対応するデータをウィンドウ５１５上に表示したとき、このデータは、外部デバイス５１０の周囲の他の人々に晒されるおそれがある。したがって、外部デバイス５１０は、ウィンドウ５１５上に表示されるデータにセキュリティ処理を施し、それにより、ウィンドウ５１５上には入力状態のみが表示され、よって外部デバイス５１０の周囲の他の人々はデータの内容を見ることができない。
[0094] 他方、第２のＵＩ５２３に含まれるコンポーネント５２５、すなわち、キーパッドへの入力に対応するデータが出力されるウィンドウ５２５は、ＨＭＤ５２０を装着したユーザのみが見ることができるので、このデータにはセキュリティ処理が施されず、よって、入力状態および入力データを表示することができる。
[0095] ユーザは、全ての必要なデータを第２のＵＩ５２３上で見ることができる。したがって、外部デバイス５１０は、第１のＵＩ５１３の表示エリアの上に保護レイヤを表示して、外部デバイス５１０の周囲の人々に情報が晒されないようにすることができる。保護レイヤは、第１のＵＩ５１３の上に表示されるレイヤであり、このレイヤは、第１のＵＩ５１３上に表示されるデータを見えなくするかまたは識別不可能にする。これについては、図８、９、および１０に関して述べる。
[0096] 図６に、本発明による、ＵＩをＨＭＤおよび外部デバイス上に表示する別の実施形態を示す。本発明の前述の実施形態では、ＨＭＤの第２のＵＩは、外部デバイスの第１のＵＩと同じである。この実施形態では、ＨＭＤの第２のＵＩは、外部デバイスの第１のＵＩのコンポーネントの一部のみを含む。
[0097] 図６を参照すると、外部デバイス６１０によって提供される第１のＵＩ６１１は、少なくとも１つのコンポーネントを含んでよい。ＨＭＤ６２０は、第１のＵＩ６１１中の、あるコンポーネントのみを認識することができる。認識されるコンポーネントは、キーパッド６１３、または、キーパッド６１３への入力信号に対応するデータを出力するウィンドウを含み得る。図６に示すように、ＨＭＤ６２０は、第１のＵＩ中のキーパッド６１３を認識し、認識したキーパッド６１３を含む第２のＵＩを生成する。
[0098] 次に、ＨＭＤ６２０中の第１のＵＩ６１１のコンポーネントを認識する一実施形態について述べる。外部デバイス６１０は、第１のＵＩ６１１に含まれる少なくとも１つのコンポーネントに関係するデータを記憶ユニットに記憶するか、またはこのデータを外部サーバから受信することができる。外部デバイス６１０は、少なくとも１つのコンポーネントに関係する、記憶または受信されたデータを、ＨＭＤ６２０に送信することができる。次いで、ＨＭＤ６２０は、受信したデータからコンポーネントを認識することができる。
[0099] ＨＭＤ６２０中の第１のＵＩ６１１中のコンポーネントを認識する別の実施形態について以下に述べる。ＨＭＤ６２０は、外部デバイス６１０を検出するために取り込まれた画像中で、コンポーネントを認識することができる。言い換えれば、ＨＭＤ６２０は、取り込まれた外部デバイス６１０の画像から、外部デバイス６１０の表示ユニット上に表示された画像を、例えばシザリングによって切り離すことができ、切り離された画像中で第１のＵＩ中のコンポーネントのタイプを認識することができる。
[0100] ＨＭＤ６２０は、認識したコンポーネントに対応する事前記憶済みコンポーネントを含む、第２のＵＩ６２１を生成することができる。または、ＨＭＤ６２０は、認識したコンポーネントの画像を使用または編集することによって、第２のＵＩ６２１を生成することができる。
[0101] ＨＭＤ６２０は、外部デバイス６１０上に表示されている第１のＵＩ６１１の上に第２のＵＩ６２１が重ねられるように、第２のＵＩ６２１を表示することができる。
[0102] すなわち、ＨＭＤ６２０は、外部デバイス６１０を検出するために取り込まれた画像を使用して、外部デバイス６１０の表示ユニット（または画面）を認識することができる。したがって、ＨＭＤ６２０は、第２のＵＩ６２１に含まれるコンポーネントが第１のＵＩ６１１のコンポーネント６１３の上に重ねられるように、第２のＵＩ６２１を表示することができる。
[0103] ＨＭＤ６２０は、第２のＵＩ６２１を第１のＵＩ６１１の上に重ねる際に、ユーザの瞳孔のサイズ、第２のＵＩ６２１を見るのに用いられる光学システムのアイレリーフ、倍率、および視野（FOV）を考慮することができる。
[0104] したがって、ユーザは、第２のＵＩ６２１が第１のＵＩ６１１と結合された画像全体を、１つのインタフェースとして知覚することができる。
[0105] 加えて、外部デバイス６１０は、第２のＵＩ６２１が上に重ねられた第１のＵＩ６１１のコンポーネント６１３上に、保護レイヤを表示することができる。保護レイヤの使用により、有利なことに、外部デバイス６１０上で出力されたデータがユーザの周囲の人々に晒される危険が低減する。これについては、図８、９、および１０に関してより詳細に後述する。
[0106] 図７に、本発明による、ＵＩをＨＭＤおよび外部デバイス上に表示する第３の実施形態を示す。本発明の第２の実施形態では、１つのコンポーネントのみが第１のＵＩ中で認識され、認識されたコンポーネントを用いて第２のＵＩが生成されるが、本発明の第３の実施形態では、第２のＵＩは、第１のＵＩに含まれる複数のコンポーネントを用いて生成される。
[0107] 図７（ａ）を参照すると、事前設定済みアイコン７１１へのユーザ入力信号が受け取られると、外部デバイス７１０は、通常モードから保護モードに切り替わることができる。前述のように、外部デバイスは、ユーザ入力以外のトリガによって通常モードから保護モードに切り替えられてもよい。
[0108] 外部デバイス７１０が保護モードに切り替わったとき、ＨＭＤ７２０は、少なくとも１つのコンポーネントを認識することができる。ＨＭＤ７２０は、少なくとも１つのコンポーネントを、様々な方式で、例えば、コンポーネントに関係するデータを外部デバイスから受信すること、または取り込まれた画像を処理することによって、認識することができる。認識されるコンポーネントの数は限定されない。図７（ｂ）に示すように、ＨＭＤ７２０は、複数のコンポーネントを認識することができる。
[0109] 図７（ｂ）では、第１のＵＩは、キーパッド７１５と、キーパッド７１５への入力信号に対応するデータを出力するためのウィンドウ７１３とを、コンポーネントとして含む。よって、第２のＵＩは、キーパッド７２３と、キーパッド７２３への入力信号に対応するデータを出力するためのウィンドウ７２１とを含むことができる。
[0110] ここで留意すべきことの１つは、外部デバイス７１０が、第２のＵＩが上に重ねられた第１のＵＩのコンポーネント７１３および７１５の上に、保護レイヤを表示できることである。したがって、ユーザは、これら保護レイヤの表示エリア中のデータを見ることはできない。よって、ユーザは、ＨＭＤ７２０を装着して第１と第２のＵＩを同時に見るときにのみ、完全なＵＩを見ることができる。
[0111] ユーザの周囲に他の人々がいたとしても、外部デバイスからはどんなデータも漏洩しない。さらに、第２のＵＩは第１のＵＩのコンポーネントの上に重なるので、ユーザは、単に第１と第２のＵＩを同時に見るだけで、どんな特別な手間もなしに１つの完全なＵＩをすぐに見ることができる。
[0112] 一方、ＨＭＤ７２０は、外部デバイスにおいて現在受け取られている入力信号に対応するデータを、第２のユーザ認証インタフェース上に表示することができる。
[0113] ユーザのタッチ入力は、外部デバイスの第１のＵＩを介して受け取ることができる。対照的に、第２のＵＩは、ＨＭＤ７２０を介して表示された仮想インタフェースなので、ユーザのタッチ入力を受け取ることができない。
[0114] このコンテキストで、本発明によれば、外部デバイス７１０は、ユーザのタッチ入力を第１のＵＩ上で受け取り、ＨＭＤ７２０は、ユーザのタッチ入力に対するフィードバックを第２のＵＩ上で提供する。
[0115] 図７（ｂ）では、ユーザが外部デバイス７１０のキーパッド７１５上の特定のキーに触れたとき、ＨＭＤ７２０は、触れられたキーを示すフィードバックとして、触れられたキー７２５を第２のＵＩ上に表示することができる。
[0116] ここで、ＨＭＤ７２０は、ユーザのタッチ入力に対応するデータを外部デバイス７１０から受信し、受信したデータに対応する特定のキーとして、触れられたキー７２５を表示することができる。または、ＨＭＤ７２０は、センサユニットを介してユーザのタッチ入力の位置を決定し、決定した位置に対応するキーを第２のＵＩ中で認識することによって、触れられたキー７２５を表示することもできる。ＨＭＤ７２０は、外部デバイス７１０から受信された画像から、または外部デバイス７１０を検出するために取り込まれた画像から、ユーザのタッチ入力によって選択されたキーを認識することができる。本発明は特定の方法に限定されない。そうではなく、選択されたキーは、他の様々な方式で認識されてもよい。
[0117] 一方、外部デバイス７１０は、第２のＵＩが上に重ねられた第１のＵＩのコンポーネントの上に、保護レイヤを表示することができる。保護レイヤは、外部デバイスの周囲の人々が第１のＵＩ上に表示されたデータを見るのを困難にするために、第１のＵＩの上に表示されるレイヤである。よって、保護レイヤの表示エリアは、ユーザおよび他の人々には、暗い画面として知覚されるものとすることができる。
[0118] 第１のＵＩ上に保護レイヤが表示された場合、ユーザのタッチ入力が第１のＵＩ上で受け取られるときに問題が生じることがある。
[0119] 例えば、表示された保護レイヤの下にあるコンポーネントがキーパッドである場合、ユーザは、意図したキーを正しく入力するために、触れたキーを確認できるべきである。しかし、ユーザが第１のＵＩに触れるとき、ユーザは、第２のＵＩを見ながら意図したキーを見つけるのが困難な場合がある。
[0120] すなわち、ユーザのタッチ入力が第１のＵＩ上で受け取られる間、ユーザは、入力キーを第２のＵＩ７２３上で確認するであろう。入力インタフェース（第１のＵＩ）と、入力のために表示されたインタフェース（第２のＵＩ）との違いのせいで、ユーザは、タッチ入力を適用するのが困難に感じる場合がある。
[0121] したがって、本発明では、外部デバイスが保護レイヤを表示するとき、保護レイヤは、ユーザのタッチ入力を容易にするために様々な方式で表示されるものとすることができる。これについて、図８に関して詳細に述べる。
[0122] 図８に、本発明による、外部デバイス中のＵＩのコンポーネントの上に保護レイヤを表示する一実施形態を示す。外部デバイス８００中の第１のＵＩのコンポーネントとしてキーパッドが認識され、認識されたキーパッドを用いて第２のＵＩが生成されると仮定する。
[0123] 前述のように、外部デバイス８００は、第２のＵＩが上に重ねられた第１のＵＩのコンポーネントの上に、保護レイヤ８１０を表示することができる。第２のＵＩのコンポーネントがキーパッドを含む場合、保護レイヤ８１０は、第１のＵＩの輪郭を含むことができる。
[0124] したがって、ユーザが第１のＵＩのキーパッド上の特定のキーを識別することができなくても、ユーザは、輪郭に基づいて、第２のＵＩが上に重ねられた特定のキーを容易に見つけることができる。第１のＵＩの保護レイヤが輪郭を含むとき、ＨＭＤは、第２のＵＩをより透明にレンダリングすることによって、利用度の高いものとなる。すなわち、第２のＵＩがより透明になれば、ユーザは、合致する輪郭と、特定のキーを入力する自分の手とを見ることができ、よって、特定のキーを容易に入力することができる。
[0125] 保護レイヤ８１０がキーパッドの輪郭を提供するので、ユーザは、第２のＵＩを見ながら第１のＵＩ上の特定のキーに触れるとき、特定のキーを他のキーから容易に識別することができる。
[0126] 第２のＵＩがキーパッドをコンポーネントとして含むとき、第１のＵＩは、表示された保護レイヤ８１０の下にあるコンポーネントへのユーザのタッチ入力に対応する触覚フィードバックを提供することができる。したがって、外部デバイスは、タッチ入力を検出するためのセンサユニットと、タッチ入力に対応する触覚フィードバックを提供するための触覚フィードバックユニットとを備えてよい。
[0127] 外部デバイスがユーザのタッチ入力を受け取って、タッチ入力に対応する触覚フィードバックを提供する場合、ユーザの把持（grip）の形状が重要である。外部デバイスがスマートフォンなどのポータブルデバイスである場合は特に、表示装置サイズの増大のせいで、ポータブルデバイスを片手で制御することは難しい。したがって、ユーザは、外部デバイス上におけるユーザの把持の形状に応じて、外部デバイスを便利に使用する場合または不便に使用する場合がある。
[0128] したがって、外部デバイス中の第１のＵＩのコンポーネントがキーパッドを含むとき、ＨＭＤは、取り込まれた画像から、外部デバイス上におけるユーザの把持の形状を検出することができる。加えて、ＨＭＤは、検出した把持形状に従って、事前設定済みコンポーネントを第２のＵＩ上で提供することができる。事前設定済みコンポーネントは、検出された把持形状に従ってユーザのタッチを容易にするようにそのレイアウトが調整されたキーパッドとすることができる。これについて、図９に関して詳細に述べる。
[0129] 図９に、本発明による、ユーザの把持に従ってレイアウトが調整されたコンポーネントをＨＭＤ上に表示する一実施形態を示す。
[0130] 第２のＵＩを生成するために認識された第１のＵＩのコンポーネントがキーパッドを含む場合、前述のように、ＨＭＤ９２０は、ＨＭＤ９２０によって取り込まれた画像から、外部デバイス９１０上におけるユーザの把持の形状を検出することができる。
[0131] ＨＭＤ９２０は、ユーザの把持の形状に従ってユーザの利便性を高めるように調整されたレイアウトを有するキーパッドを、記憶ユニットに記憶することができる。よって、検出された把持形状に従った事前設定済みレイアウトを有するキーパッドが、第２のＵＩ９２１のコンポーネントとして生成される。したがって、第２のＵＩ９２１に含まれるキーパッドのレイアウトは、第１のＵＩに含まれるキーパッドのレイアウトとは異なる場合がある。
[0132] ＨＭＤ９２０が第２のＵＩ９２１を表示するとき、外部デバイス９１０は、第２のＵＩ９２１が上に重ねられた第１のＵＩのコンポーネントの上に、保護レイヤ９１１を表示することができる。
[0133] 図９（ａ）に示すように、保護レイヤ９１１は、第２のＵＩ９２１に含まれるキーパッドの輪郭を含むことができる。すなわち、第１と第２のＵＩに含まれるキーバッドのレイアウトが異なっていても、ユーザは第２のＵＩを見る。よって、保護レイヤ９１１は、第２のＵＩ９２１に含まれるキーパッドのレイアウトに対応する輪郭を含むことができる。
[0134] したがって、保護レイヤ９１１に含まれるキーパッドの輪郭は、第２のＵＩ９２１上に表示されるキーパッドの輪郭と合致する。加えて、キーパッドを含む第２のＵＩ９２１のコンポーネントは、保護レイヤ９１１の輪郭の上に重なることができる。
[0135] 外部デバイス９１０は、第１のＵＩ上の保護レイヤ９１１へのユーザのタッチ入力に対応する触覚フィードバックを提供することができる。保護レイヤ９１１は、ユーザの把持の形状に従って調整された第２のＵＩのキーパッド輪郭を含むので、外部デバイス９１０は、保護レイヤ９１１に含まれる輪郭に従って調整された触覚フィードバックを提供することができる。
[0136] したがって、ユーザは、触覚フィードバックからキーパッドの輪郭を感じることができ、よって容易にキーに触れることができる。
[0137] ユーザは、異なるレイアウトを有するキーパッドを見ながら、第１のＵＩのキーパッドに触れる。したがって、ユーザのタッチ入力に対応するキー入力は、ＨＭＤによって取り込まれた画像から識別することができ、または、タッチ入力の位置に関する情報を外部デバイスから受信してこの位置情報をキーパッドと照合することによって識別することができる。
[0138] 図９（ａ）には、本発明の一実施形態によるコンポーネントとして、ユーザの把持の形状に従って調整されたレイアウトを有するキーパッドを示す。図９（ｂ）には、本発明の一実施形態によるコンポーネントとして、ユーザの把持の形状に従って調整されたレイアウトを有する電話関連メニューを示す。ＨＭＤ９２０が、ユーザ入力についての少なくとも１つの選択オプションを有するメニューをコンポーネントとして表示する場合、ＨＭＤ９２０は、ユーザの把持の形状に従ってメニューのレイアウトを変更することができる。
[0139] したがって、第２のＵＩを生成するために認識された第１のＵＩのコンポーネントが、少なくとも１つの選択オプションを有するメニューを含むとき、ＨＭＤ９２０は、取り込まれた画像を使用して、外部デバイス９１０上におけるユーザの把持の形状を検出することができる。
[0140] ＨＭＤ９２０は、ユーザの把持の形状に従ってユーザが使いやすいように調整されたレイアウトを有するメニューを、記憶ユニットに記憶することができ、または、検出時にメニューのレイアウトを調整し、レイアウト調整されたメニューを第２のＵＩ９２３のコンポーネントとして生成することができる。
[0141] ＨＭＤ９２０が第２のＵＩ９２３を表示するとき、外部デバイス９１０は、第２のＵＩ９２３が上に重ねられた第１のＵＩのコンポーネントの上に、保護レイヤ９１３を表示することができる。図９（ｂ）に示すように、保護レイヤ９１３は、検出された把持形状に従って調整されたメニューの輪郭を含むことができる。
[0142] したがって、保護レイヤ９１３に含まれるメニューの輪郭は、第２のＵＩ９２３上に表示されたメニューの輪郭に合致する。すなわち、第２のＵＩ９２３のメニューを含むコンポーネントを、保護レイヤ９１３に含まれる輪郭の上に重ねることができる。
[0143] 加えて、外部デバイス９１０は、第１のＵＩを介した保護レイヤ９１３へのユーザのタッチ入力に対応する触覚フィードバックを提供することができる。保護レイヤ９１３は、第２のＵＩ９２３中の、ユーザの把持の形状に従って調整されたメニューの輪郭を含むので、外部デバイス９１０は、保護レイヤ９１３に含まれる輪郭に従って調整された触覚フィードバックを提供することができる。
[0144] 外部デバイス上に表示される保護レイヤは暗い画面であり、それによりユーザは保護レイヤの表示エリア中のデータを見ないであろうことを、本発明の一実施形態により上述した。一方、外部デバイス上のデータにプライバシ保護が必要とされるにもかかわらず、ユーザがこのデータを見たい場合もある。したがって、本発明は、保護レイヤの表示プロパティをユーザが制御できるようにする外部デバイスを提供する。
[0145] 図１０に、本発明による、外部デバイス上の保護レイヤの表示プロパティを制御する一実施形態を示す。
[0146] 本発明によれば、外部デバイスは、表示された保護レイヤの下にあるコンポーネントに関するユーザの入力に従って保護レイヤの表示プロパティを調整するためのインタフェースを、第１のＵＩに設けることができる。
[0147] 図１０（ａ）を参照すると、暗い画面の形をとる保護レイヤ１０１３を表示している間、第１のＵＩは、保護レイヤ１０１３の透明度をユーザが調整できるようにするためのインタフェース１０１１を提供することができる。ユーザがインタフェース１０１１を操作して保護レイヤ１０１３の透明度を調整すると、外部デバイスは、図１０（ｂ）に示すように、透明な保護レイヤ１０２３を表示することができる。
[0148] 図１０では、本発明の実施形態により保護レイヤの表示プロパティは透明度として示されているが、表示プロパティは、透明度に限定されず、彩度と透明度のうちの少なくとも一方を含み得る。
[0149] 一方、本発明では、外部デバイスは特定のデバイスに限定されない。よって、外部デバイスは、表示ユニットが設けられネットワークを介してＨＭＤに接続可能である限り、任意のデバイスとすることができる。しかし、外部デバイスが特定のデバイスである場合は、その利用度が高まる。これについて、図１１〜１４に関して述べる。
[0150] 図１１に、本発明による、スマートＴＶである外部デバイスの一実施形態を示す。
[0151] スマートＴＶの急速な増加に伴い、ますます多くのユーザがスマートＴＶを使用している。スマートＴＶは、ビデオオンデマンド（VOD）ならびに地上放送において多様なタイプのコンテンツを提供するので、ユーザはますます多くの有料コンテンツを享受する。結果的に、図１１（ａ）に示すように、ユーザがスマートＴＶ１１１０を見ることになるとき、ユーザは多くの場合、ユーザＩＤおよびパスワードを入力すべきである。ユーザＩＤおよびパスワードを受け取るための第１のＵＩ１１１１をスマートＴＶ１１１０が提供すると、ユーザは、リモートコントローラ１１２０を使用してユーザＩＤおよびパスワードを入力することができる。
[0152] 限られた空間内で所定数のユーザのみがスマートＴＶ１１１０を使用する環境にもかかわらず、コンテンツは、コンテンツのタイプに従って特定のユーザのみに制限されることがある。必要時には、ユーザＩＤおよびパスワードは、付近の人々に晒されることから保護されるべきである。しかし、ユーザがリモートコントローラ１１２０を使用してユーザＩＤおよびパスワードを入力するとき、図１１（ａ）に示すように、特定の入力キーが拡大されて表示され、よってユーザＩＤおよびパスワードが開示される。
[0153] したがって、図１１（ｂ）に示すように、本発明のＨＭＤ１１３０は、スマートＴＶ１１１０のコンポーネントを認識して、認識したコンポーネントを第２のＵＩ１１３１上で提供することができる。第２のＵＩ１１３１は、スマートＴＶ１１１０上に表示されている第１のＵＩのコンポーネントの上に重ねられるものとすることができる。スマートＴＶ１１１０は、第２のＵＩ１１３１が上に重ねられた第１のＵＩのコンポーネントの上に、保護レイヤを表示することができる。
[0154] スマートＴＶ１１１０は、リモートコントローラ１１２０を介してユーザ入力を受け取ることができ、ＨＭＤ１１３０は追加的に、現在受け取られている入力信号に対応するデータを第２のＵＩ１１３１上で提供することができる。
[0155] 図１２に、本発明による、ディジタルドアロックである外部デバイスの別の実施形態を示す。
[0156] 図１２（ａ）に示すディジタルドアロック１２１０は、最近、オフィスやアパートメントで一般的になってきた。事前設定済みのパスワードがディジタルドアロック１２１０の第１のＵＩ１２１１に入力されると、ディジタルドアロック１２１０は解除される。しかし、ディジタルドアロック１２１０は外部に露出しているので、ユーザがパスワードを入力している間にパスワードが部外者に晒される可能性が高い。
[0157] したがって、本発明では、ＨＭＤ１２２０が、パスワードを入力するためのコンポーネントを第１のＵＩ１２１１上で認識し、認識したコンポーネントを含む第２のＵＩ１２２１を提供する。ディジタルドアロック１２１０は、第１のＵＩ１２１１上に保護レイヤ１２１３を表示することができる。
[0158] 図１２（ｂ）に示すように、第２のＵＩ１２２１に含まれるキーパッドは、第１のＵＩに含まれるキーパッドのレイアウトとは異なるレイアウトを有するように構成されてよい。よって、ユーザがパスワードを入力するのを部外者が見たとしても、部外者は、入力されたキーを識別することができない。したがって、パスワードが晒されることはない。
[0159] 加えて、第１のＵＩ１２１１上に表示された保護レイヤ１２１３は、コンポーネントの輪郭を含むことができる。第１のＵＩ１２１１はさらに、ユーザのタッチ入力に対応する触覚フィードバックを提供することもできる。
[0160] 図１３に、本発明による、スマートフォンである外部デバイスの別の実施形態を示す。
[0161] 外部デバイスがポータルデバイスであり、ＨＭＤによる第２のＵＩの生成のために認識されるコンポーネントが、キーパッドと、キーパッドへの入力に対応するデータを出力するためのウィンドウとであると述べた。
[0162] しかし、キーパッドおよびウィンドウ以外の多くのコンポーネントがデータ保護を必要とすることもある。図１３（ａ）を参照すると、ポータブルデバイスがスマートフォン１３１０である場合、メッセージがソーシャルネットワーキングサービス（SNS）によってユーザ間で送受信されるときに、スマートフォン１３１０は、メッセージ送受信履歴を表示するコンポーネント１３１１を提供することがある。多くの場合にメッセージは個人データを搬送するので、これらはプライバシ保護をしばしば必要とする。
[0163] したがって、ＨＭＤ１３２０が、メッセージ送受信履歴を表示するためのコンポーネント１３１１を認識し、コンポーネント１３１１を第２のＵＩ１３２１上で提供することができる。スマートフォン１３１０は、コンポーネント１３１１の上に保護レイヤ１３１３を表示することができる。
[0164] したがって、ユーザは、公共の場所でも、メッセージ漏洩を心配することなく、別のユーザとの間でメッセージをより便利に送信または受信することができる。さらに、本発明によれば、ＨＭＤおよび外部デバイスは、外部へのデータ露出を防止することができ、それによりセキュリティを強化することができる。
[0165] 図１４に、本発明による、現金自動預け払い機（ATM）である外部デバイスのさらに他の実施形態を示す。
[0166] ＡＴＭは、公共の場所に設置されている。したがって、ユーザがＡＴＭ１４１０の第１のＵＩ１４１１上で口座のパスワードを入力するとき、ユーザは常に、パスワードが付近の人に晒されないように気を付けるべきである。
[0167] したがって、ＨＭＤ１４２０が、パスワードを入力するのに必要とされるコンポーネントを第１のＵＩ１４１１中で認識し、認識したコンポーネントを第２のＵＩ１４２１中で提供することができる。第２のＵＩ１４２１は、第１のＵＩ１４１１の上に重ねられるものとすることができる。したがって、ユーザは、第１および第２のＵＩ１４１１および１４２１を見ながら、ＡＴＭを扱うことができる。したがって、ユーザ利便性を高めることができる。
[0168] ＡＴＭ１４１０はユーザ入力を受け取るので、第１のＵＩ１４１１は、付近の人が入力データを識別できないように、保護レイヤ１４１３を表示することができる。
[0169] 図１５は、本発明の一実施形態による、ＨＭＤを制御する方法を示すフローチャートである。図１５を参照しながら、個人情報を保護するためにネットワークを介して外部デバイスに接続されたＨＭＤを制御する方法の一実施形態について以下に述べる。
[0170] 図１５を参照すると、ＨＭＤは、センサユニットによって取り込まれた画像中で外部デバイスを検出することができる（Ｓ１５００）。ＨＭＤは、取り込まれた画像を処理することによって、または、ＨＭＤの位置および方向ならびに外部デバイスの位置を使用して、外部デバイスを検出することができる。外部デバイスは、ネットワークを介してＨＭＤに接続されている。外部デバイスは、第１のＵＩを表示できる全ての可能なデバイスをカバーする。
[0171] ＨＭＤは、外部デバイスの第１のＵＩの少なくとも１つのコンポーネントを認識することができる（Ｓ１５１０）。図４に関して上述したように、少なくとも１つのコンポーネントは、キーパッドと、キーパッドへの入力信号に対応するデータを出力するためのウィンドウと、少なくとも１つの選択オプションを含むユーザメニューと、事前設定済みデータを表示するためのウィンドウと、のうちの少なくとも１つを含み得る。
[0172] 加えて、ＨＭＤは、図６に関して上述したようにＨＭＤによって取り込まれた画像を使用して、または外部デバイスから受信されたコンポーネント情報を使用して、画像処理および認識方法によって第１のＵＩの少なくとも１つのコンポーネントを認識することもできる。
[0173] 図５、６、および７に関して上述したように、ＨＭＤは、認識された少なくとも１つのコンポーネントを含む第２のＵＩを生成して表示することができる（Ｓ１５２０）。表示された第２のＵＩは、外部デバイスの検出元である画像を使用して、外部デバイスの上に表示されている第１のＵＩの上に重ねられてよい。
[0174] 図８に関して上述したように、外部デバイスは、第２のＵＩが上に重ねられた第１のＵＩのコンポーネントの上に、保護レイヤを表示することができる。第１のＵＩは、図１０に関して上述したように、ユーザ入力に従って保護レイヤの表示プロパティを調整するためのインタフェースを含んでよい。
[0175] ＨＭＤは、図５に関して上述したように、外部デバイスにおいて現在受け取られている入力信号に対応するデータを、第２のＵＩ上に表示することができる（Ｓ１５３０）。したがって、ＨＭＤと、ネットワークを介してＨＭＤと対話する外部デバイスとは、外部デバイスに入力されたデータが付近の人に晒される危険を低減することができる。
[0176] 発明の形態
発明を実施するための形態において、様々な実施形態について述べた。
[0177] 本発明は、ＨＭＤ、およびこれを制御する方法を提供する。
[0179] 便宜上、本発明を別個の図面に関して述べたが、図面において述べた実施形態によって新しい実施形態を実現することもできる。必要時には、本発明の前述の実施形態を実現するためのプログラムが書き込まれた、コンピュータによって読取り可能な記録媒体を設計することも、本発明の範囲内に入るであろう。
[0180] 前述の例示的な実施形態による、ＨＭＤおよびこれを制御する方法は、本明細書に示す例示的な実施形態に制限されない。したがって、本明細書に示す例示的な実施形態の変形および組合せも、本発明の範囲内に入るであろう。
[0181] 前述の例示的な実施形態による、ＨＭＤを制御する方法は、コンピュータ可読記録媒体に書き込むことができしたがってプロセッサによって読み取ることができるコードとして、実現することができる。コンピュータ可読記録媒体は、コンピュータによって読取り可能な方式でデータが記憶される任意のタイプの記録デバイスとすることができる。コンピュータ可読記録媒体の例は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光学データ記憶装置、および搬送波（例えば、インターネットを介した伝送）を含む。コンピュータ可読コードが非集中方式でコンピュータ可読記録媒体に書き込まれコンピュータ可読記録媒体から実行されるように、コンピュータ可読記録媒体は、ネットワークに接続された複数のコンピュータシステムに分散させることができる。本明細書における実施形態を実現するためのプログラム、コード、およびコードセグメントは、当業者によって解釈することができる。
[0182] 本発明をその例示的な実施形態に関して特に図示および記述したが、後続の特許請求の範囲によって定義される本発明の主旨および範囲を逸脱することなく、形および詳細における様々な変更を本発明に加えることもできることは、当業者には理解されるであろう。

Claims (20)

  1. ヘッドマウントディスプレイ（HMD）を制御する方法であって、
    前記ＨＭＤによって取り込まれた画像中で外部デバイスを検出すること、
    前記外部デバイスの第１のユーザインタフェース（UI）から少なくとも１つのコンポーネントを認識することであって、前記少なくとも１つのコンポーネントが、キーパッド、または、前記キーパッドへの入力信号に対応するデータを出力するためのウィンドウを含むこと、
    前記認識された少なくとも１つのコンポーネントを含む第２のＵＩを生成すること、
    前記第２のＵＩを前記ＨＭＤ中で表示することであって、前記外部デバイスの検出元である前記画像を使用して、前記外部デバイス上に表示されている前記第１のＵＩの前記少なくとも１つのコンポーネントの上に、前記表示された第２のＵＩが重ねられること、および、
    前記外部デバイスにおいて現在受け取られている入力信号に対応するデータを前記ＨＭＤ中の前記第２のＵＩ上に表示することを含む方法。
  2. 前記外部デバイスが、前記第２のＵＩが上に重ねられた前記第１のＵＩのコンポーネントの上に、保護レイヤを表示する、請求項１に記載の方法。
  3. 前記第２のＵＩ中のコンポーネントとしてキーパッドが含まれる場合に、前記保護レイヤが前記第１のＵＩの前記コンポーネントの輪郭を含む、請求項２に記載の方法。
  4. 前記第２のＵＩ中のコンポーネントとしてキーパッドが含まれる場合に、前記第１のＵＩが、前記第１のＵＩ中で表示された前記保護レイヤの下にある前記コンポーネントへのユーザのタッチ入力に対応する触覚フィードバックを提供する、請求項２に記載の方法。
  5. 前記第１のＵＩ中のコンポーネントとしてキーパッドが含まれる場合に、前記ＨＭＤによって取り込まれた前記画像を使用して、前記外部デバイス上におけるユーザの把持の形状を検出すること、および、
    前記検出された把持形状に従って、事前設定済みコンポーネントを前記第２のＵＩに提供することをさらに含み、
    前記事前設定済みコンポーネントが、前記検出された把持形状に従って調整されたレイアウトを有するキーパッドを含む、請求項２に記載の方法。
  6. 前記保護レイヤが、前記検出された把持形状に従った前記事前設定済みコンポーネントの輪郭を含み、前記保護レイヤ中に含まれる前記輪郭の上に、前記第２のＵＩによって提供される前記事前設定済みコンポーネントが重ねられる、請求項５に記載の方法。
  7. 前記第１のＵＩが、前記保護レイヤへのユーザのタッチ入力に対応する触覚フィードバックを提供し、前記触覚フィードバックが、前記保護レイヤに含まれる前記輪郭に従って調整される、請求項６に記載の方法。
  8. 前記第１のＵＩが、前記保護レイヤの表示プロパティをユーザ入力に従って調整するためのインタフェースを含む、請求項２に記載の方法。
  9. 前記表示プロパティが、輝度、彩度、透明度のうちの少なくとも１つを含む、請求項８に記載の方法。
  10. 少なくとも１つのコンポーネントを認識する前記工程が、前記外部デバイスが保護モードにあるときに実施され、前記外部デバイスのモードが前記保護モードおよび通常モードを含む、請求項１に記載の方法。
  11. 前記外部デバイス上に現在表示されているコンテンツに関する属性情報を抽出すること、および、
    前記抽出された属性情報に従って前記外部デバイスのモード間で切り替えることをさらに含む、請求項１０に記載の方法。
  12. 前記外部デバイスが前記第１のＵＩを表示した場合に、前記外部デバイスの前記モードを前記通常モードから前記保護モードに切り替えることをさらに含む、請求項１０に記載の方法。
  13. 前記ユーザが前記ＨＭＤを装着していることを検出すること、および、
    前記ユーザがＨＭＤを装着していることが検出された場合に、前記外部デバイスの前記モードを前記通常モードから前記保護モードに切り替えることをさらに含む、請求項１０に記載の方法。
  14. データ保護を要求するためのユーザ入力を前記外部デバイスが受け取った場合に、前記外部デバイスの前記モードを前記通常モードから前記保護モードに切り替えることをさらに含む、請求項１０に記載の方法。
  15. ヘッドマウントディスプレイ（HMD）であって、
    前記ＨＭＤの動作を制御するように構成されたプロセッサと、
    画像を出力するように構成された表示ユニットと、
    外部デバイスとの間でデータを送受信するように構成された通信ユニットと、
    画像を検出し、前記取り込んだ画像を前記プロセッサに提供するように構成されたセンサユニットとを備え、
    前記プロセッサが、
    前記ＨＭＤによって取り込まれた画像中で外部デバイスを検出すること、
    前記外部デバイスの第１のユーザ・インタフェース（UI）から少なくとも１つのコンポーネントを認識することであって、前記少なくとも１つのコンポーネントが、キーパッド、または、前記キーパッドへの入力信号に対応するデータを出力するためのウィンドウを含むこと、
    前記認識された少なくとも１つのコンポーネントを含む第２のＵＩを生成すること、
    前記外部デバイス上に表示されている前記第１のＵＩの前記少なくとも１つのコンポーネントの上に、前記表示された第２のＵＩが重ねられるように、前記第２のＵＩを表示すること、および、前記外部デバイスにおいて現在受け取られている入力信号に対応するデータを前記第２のＵＩ上に表示すること、を行うように構成された、ＨＭＤ。
  16. 前記外部デバイスが、前記第２のＵＩが上に重ねられた前記第１のＵＩのコンポーネントの上に、保護レイヤを表示する、請求項１５に記載のＨＭＤ。
  17. 前記第２のＵＩ中のコンポーネントとしてキーパッドが含まれる場合に、前記保護レイヤが、前記第２のＵＩが上に重ねられた前記第１のＵＩの前記コンポーネントの輪郭を含む、請求項１６に記載のＨＭＤ。
  18. 前記第２のＵＩ中のコンポーネントとしてキーパッドが含まれる場合に、前記第１のＵＩが、前記第１のＵＩ中で表示された前記保護レイヤの下にある前記コンポーネントへのユーザのタッチ入力に対応する触覚フィードバックを提供する、請求項１６に記載のＨＭＤ。
  19. 前記第１のＵＩが、前記保護レイヤの表示プロパティをユーザ入力に従って調整するためのインタフェースを含む、請求項１６に記載のＨＭＤ。
  20. 前記外部デバイスが保護モードにあるときに、前記プロセッサが前記第１のＵＩの少なくとも１つのコンポーネントを認識し、前記外部デバイスのモードが前記保護モードおよび通常モードを含む、請求項１５に記載のＨＭＤ。
JP2015542930A 2012-11-20 2013-01-03 ヘッドマウントディスプレイ、およびこれを制御する方法 Active JP6220889B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2012-0131673 2012-11-20
KR1020120131673A KR101991133B1 (ko) 2012-11-20 2012-11-20 헤드 마운트 디스플레이 및 그 제어 방법
US13/728,793 2012-12-27
US13/728,793 US8502780B1 (en) 2012-11-20 2012-12-27 Head mount display and method for controlling the same
PCT/KR2013/000016 WO2014081076A1 (en) 2012-11-20 2013-01-03 Head mount display and method for controlling the same

Publications (2)

Publication Number Publication Date
JP2016506530A true JP2016506530A (ja) 2016-03-03
JP6220889B2 JP6220889B2 (ja) 2017-10-25

Family

ID=48876382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015542930A Active JP6220889B2 (ja) 2012-11-20 2013-01-03 ヘッドマウントディスプレイ、およびこれを制御する方法

Country Status (6)

Country Link
US (2) US8502780B1 (ja)
EP (3) EP2923232B1 (ja)
JP (1) JP6220889B2 (ja)
KR (1) KR101991133B1 (ja)
CN (1) CN105026982B (ja)
WO (1) WO2014081076A1 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001657A (ja) * 2013-06-17 2015-01-05 コニカミノルタ株式会社 表示システム、表示方法および表示端末
JP2015210580A (ja) * 2014-04-24 2015-11-24 エイディシーテクノロジー株式会社 表示システム及びウェアラブル機器
JP6095191B1 (ja) * 2016-07-15 2017-03-15 ブレイニー株式会社 仮想現実システム、及び、情報処理システム
WO2017218567A1 (en) * 2016-06-16 2017-12-21 Visa International Service Association Security approaches for virtual reality transactions
JP2018010612A (ja) * 2017-02-08 2018-01-18 ブレイニー株式会社 仮想現実システム
WO2018143313A1 (ja) * 2017-02-01 2018-08-09 コニカミノルタ株式会社 ウェアラブル電子機器
JP2018534643A (ja) * 2015-09-16 2018-11-22 グーグル エルエルシー 拡張および／または仮想現実環境におけるタッチスクリーンホバーの検出
JP2019091118A (ja) * 2017-11-10 2019-06-13 パナソニックＩｐマネジメント株式会社 情報処理装置
JP2019169181A (ja) * 2014-03-03 2019-10-03 ノキア テクノロジーズ オーユー 装置と別装置との間の入力軸
JP2020087190A (ja) * 2018-11-29 2020-06-04 株式会社日立製作所 表示制御システム、表示装置、及び表示制御方法
JP2020520494A (ja) * 2017-05-04 2020-07-09 ソニー インタラクティブ エンタテインメント ヨーロッパ リミテッド ヘッドマウントディスプレイおよび方法
JP2020112982A (ja) * 2019-01-10 2020-07-27 セイコーエプソン株式会社 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
US10823962B2 (en) 2017-12-22 2020-11-03 Seiko Epson Corporation Processing device having connection detector, display system, and non-transitory computer-readable storage medium
JPWO2020240747A1 (ja) * 2019-05-29 2020-12-03
JPWO2020003361A1 (ja) * 2018-06-25 2021-03-11 マクセル株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法
US11037519B2 (en) 2018-10-26 2021-06-15 Seiko Epson Corporation Display device having display based on detection value, program, and method of controlling device
JP6892960B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、情報処理システム、制御方法及びプログラム
WO2022176721A1 (ja) * 2021-02-18 2022-08-25 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム
JP7466694B2 (ja) 2020-05-18 2024-04-12 グーグル エルエルシー 低電力セミパッシブ相対６自由度トラッキング

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781452B2 (en) 2011-02-21 2014-07-15 Motorola Mobility Llc Wireless devices and methods of operating wireless devices based on the presence of another person
JP2014219448A (ja) * 2013-05-01 2014-11-20 コニカミノルタ株式会社 表示システム、表示方法、表示端末および表示プログラム
WO2016117970A1 (en) * 2015-01-23 2016-07-28 Lg Electronics Inc. Head mounted display and method of controlling therefor
US9575721B2 (en) 2013-07-25 2017-02-21 Lg Electronics Inc. Head mounted display and method of controlling therefor
US9466266B2 (en) 2013-08-28 2016-10-11 Qualcomm Incorporated Dynamic display markers
US9158115B1 (en) * 2013-09-16 2015-10-13 Amazon Technologies, Inc. Touch control for immersion in a tablet goggles accessory
KR102077223B1 (ko) * 2013-10-11 2020-02-14 삼성전자주식회사 도어 락 장치, 디스플레이 장치, 모바일 디바이스 및 그 제어 방법
US20150130688A1 (en) * 2013-11-12 2015-05-14 Google Inc. Utilizing External Devices to Offload Text Entry on a Head Mountable Device
US8958158B1 (en) 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
US9690763B1 (en) 2013-12-17 2017-06-27 Bryant Christopher Lee Display of webpage elements on a connected computer
US8856948B1 (en) * 2013-12-23 2014-10-07 Google Inc. Displaying private information on personal devices
US9536067B1 (en) 2014-01-01 2017-01-03 Bryant Christopher Lee Password submission without additional user input
US8811951B1 (en) * 2014-01-07 2014-08-19 Google Inc. Managing display of private information
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
KR101564511B1 (ko) * 2014-05-26 2015-10-29 고려대학교 산학협력단 타겟 전자장치의 제어 방법 및 장치
KR101476217B1 (ko) 2014-05-28 2014-12-24 엘지전자 주식회사 황색 발광 형광체 및 이를 이용한 발광 소자 패키지
US20220171530A1 (en) * 2014-06-11 2022-06-02 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
US9679538B2 (en) * 2014-06-26 2017-06-13 Intel IP Corporation Eye display interface for a touch display device
KR20160005899A (ko) 2014-07-08 2016-01-18 엘지전자 주식회사 디지털 이미지 처리 장치, 시스템 및 제어 방법
KR102308970B1 (ko) * 2014-08-06 2021-10-07 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 입력신호 제공방법
JP6368579B2 (ja) * 2014-08-05 2018-08-01 株式会社日立エルジーデータストレージ 映像投射装置及びこれを用いたヘッドマウントディスプレイ
DE102014011853A1 (de) * 2014-08-08 2016-02-11 Giesecke & Devrient Gmbh Verfahren zum Durchführen einer Finanztransaktion
KR102271833B1 (ko) 2014-09-01 2021-07-01 삼성전자주식회사 전자 장치, 그 제어 방법 및 기록 매체
CN105635776B (zh) * 2014-11-06 2019-03-01 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及***
EP3219130A1 (en) * 2014-11-14 2017-09-20 Telefonaktiebolaget LM Ericsson (publ) Visual cryptography and obfuscation using augmented reality
US9933985B2 (en) * 2015-01-20 2018-04-03 Qualcomm Incorporated Systems and methods for managing content presentation involving a head mounted display and a presentation device
US10181219B1 (en) * 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
US9565176B2 (en) * 2015-03-10 2017-02-07 Citrix Systems, Inc. Multiscreen secure content access
US9760790B2 (en) 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
US20170017323A1 (en) * 2015-07-17 2017-01-19 Osterhout Group, Inc. External user interface for head worn computing
EP3136275A1 (en) * 2015-08-28 2017-03-01 Thomson Licensing Digital authentication using augmented reality
US10380966B2 (en) * 2015-08-31 2019-08-13 International Business Machines Corporation Power and processor management for a personal imaging system
US10133532B2 (en) * 2015-09-25 2018-11-20 Seiko Epson Corporation Display system, display device, information display method, and program
CN108140080B (zh) * 2015-12-09 2021-06-01 华为技术有限公司 一种显示的方法、装置及***
KR102356345B1 (ko) * 2016-04-20 2022-01-28 삼성전자주식회사 전자 장치 및 그 제어 방법
US10353478B2 (en) * 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality
KR102519578B1 (ko) * 2016-07-05 2023-04-07 삼성전자주식회사 전자 장치의 화면 표시 방법 및 그 장치
DE102016116774A1 (de) 2016-09-07 2018-03-08 Bundesdruckerei Gmbh Datenbrille zum Interagieren mit einem Nutzer
WO2018106675A1 (en) * 2016-12-09 2018-06-14 Thomson Licensing Method and apparatus for providing a virtual reality scene
US10437343B2 (en) * 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
US10311249B2 (en) 2017-03-31 2019-06-04 Google Llc Selectively obscuring private information based on contextual information
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
US10313148B1 (en) * 2017-06-29 2019-06-04 State Farm Mutual Automobile Insurance Company Configuring a device for movement-based control
US10355875B1 (en) * 2017-06-29 2019-07-16 State Farm Mutual Automobile Insurance Company Utilizing movement-based control data
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) * 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US10803832B2 (en) * 2017-08-01 2020-10-13 Samsung Electronics Co., Ltd. Synchronizing holographic displays and 3D objects with physical video panels
WO2019032967A1 (en) * 2017-08-10 2019-02-14 Google Llc HAND INTERACTION SENSITIVE TO THE CONTEXT
US10776475B2 (en) * 2017-11-13 2020-09-15 International Business Machines Corporation Secure password input in electronic devices
CN108038916B (zh) * 2017-12-27 2022-12-02 上海徕尼智能科技有限公司 一种增强现实的显示方法
WO2019203837A1 (en) * 2018-04-19 2019-10-24 Hewlett-Packard Development Company, L.P. Inputs to virtual reality devices from touch surface devices
US10504289B2 (en) * 2018-05-01 2019-12-10 Dell Products, Lp Method and apparatus for securely displaying private information using an augmented reality headset
US11353964B2 (en) * 2018-11-14 2022-06-07 Samsung Electronics Co., Ltd. Wearable device for displaying con lent, and method thereof
US11544370B1 (en) * 2018-12-27 2023-01-03 Worldpay, Llc Methods and systems for acoustic authentication
EP3690609B1 (en) * 2019-01-30 2021-09-22 DENTSPLY SIRONA Inc. Method and system for controlling dental machines
KR102356623B1 (ko) * 2019-02-01 2022-01-28 삼성전자주식회사 가상 비서 전자 장치 및 그 제어 방법
CN109799937B (zh) * 2019-02-25 2021-06-15 努比亚技术有限公司 一种输入控制方法、设备及计算机可读存储介质
CN111913562A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及存储介质
JP2021105782A (ja) * 2019-12-26 2021-07-26 セイコーエプソン株式会社 表示システム、表示方法、及び、プログラム
CN111176454B (zh) * 2020-01-07 2021-09-03 福建天晴数码有限公司 结合摄像头的终端锁屏方法、存储介质
CN111241510B (zh) * 2020-01-07 2021-09-07 福建天晴数码有限公司 基于指纹识别的终端屏幕控制方法、存储介质
CN111240566B (zh) * 2020-01-07 2021-09-03 福建天晴数码有限公司 基于蓝牙的终端屏幕控制方法、存储介质
US11106328B1 (en) 2020-07-28 2021-08-31 Qualcomm Incorporated Private control interfaces for extended reality
US11175791B1 (en) * 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification
CN113791708A (zh) * 2021-08-13 2021-12-14 维沃移动通信有限公司 屏幕隐私保护方法、装置及电子设备
WO2024076007A1 (ko) * 2022-10-06 2024-04-11 삼성전자주식회사 렌즈의 투명도에 기반하여 디스플레이의 휘도를 조절하기 위한 웨어러블 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009130985A1 (ja) * 2008-04-23 2009-10-29 コニカミノルタホールディングス株式会社 情報入力システム
US20120218188A1 (en) * 2011-02-24 2012-08-30 Tatsuki Kashitani Information processing apparatus, information processing method, and terminal apparatus

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9608175D0 (en) * 1996-04-19 1996-06-26 Ncr Int Inc Method of controlling veiwability of a display screen and a device therefor
JPH10240186A (ja) * 1997-02-28 1998-09-11 Toshiba Corp 表示制御装置および表示制御方法
GB9724781D0 (en) * 1997-11-24 1998-01-21 Ncr Int Inc Visual displays
US6154210A (en) * 1998-11-25 2000-11-28 Flashpoint Technology, Inc. Method and system for implementing button interface compatibility in touch-screen equipped digital imaging device
AUPQ439299A0 (en) * 1999-12-01 1999-12-23 Silverbrook Research Pty Ltd Interface system
JP3858091B2 (ja) * 2002-10-03 2006-12-13 独立行政法人産業技術総合研究所 パスワード認証装置およびパスワード認証方法
US8141159B2 (en) 2002-12-31 2012-03-20 Portauthority Technologies Inc. Method and system for protecting confidential information
US7253791B2 (en) 2003-11-13 2007-08-07 International Business Machines Corporation Selective viewing enablement system
EP1709519B1 (en) * 2003-12-31 2014-03-05 ABB Research Ltd. A virtual control panel
US7616764B2 (en) * 2004-07-07 2009-11-10 Oracle International Corporation Online data encryption and decryption
US7567241B2 (en) * 2004-08-03 2009-07-28 Silverbrook Research Pty Ltd Stylus with customizable appearance
US20070236474A1 (en) * 2006-04-10 2007-10-11 Immersion Corporation Touch Panel with a Haptically Generated Reference Key
SE0601216L (sv) * 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP4794669B2 (ja) * 2007-05-21 2011-10-19 シャープ株式会社 ディスプレイおよびそれに用いられる視野角制御素子
JP2009245392A (ja) * 2008-03-31 2009-10-22 Brother Ind Ltd ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8793694B2 (en) * 2009-02-26 2014-07-29 International Business Machines Corporation Policy driven autonomic performance data collection
CN101907921A (zh) * 2009-06-08 2010-12-08 联想(北京)有限公司 一种便携设备及其状态调整方法
KR20110044080A (ko) * 2009-10-22 2011-04-28 삼성전자주식회사 디스플레이장치 및 그 영상표시방법과 입체안경 및 그 구동방법
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9586147B2 (en) 2010-06-23 2017-03-07 Microsoft Technology Licensing, Llc Coordinating device interaction to enhance user experience
CN102375652A (zh) * 2010-08-16 2012-03-14 ***通信集团公司 移动终端用户界面调整***及其调整方法
CN103314344B (zh) * 2010-12-10 2015-11-25 索尼爱立信移动通讯有限公司 触敏触觉显示器
US8044942B1 (en) * 2011-01-18 2011-10-25 Aevoe Inc. Touch screen protector
US20120249587A1 (en) * 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
US20120306790A1 (en) * 2011-06-02 2012-12-06 Electronics And Telecommunications Research Institute Film type apparatus for providing haptic feedback and touch screen including the same
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US8184067B1 (en) * 2011-07-20 2012-05-22 Google Inc. Nose bridge sensor
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
CN102662585A (zh) * 2012-04-06 2012-09-12 潘晓雷 一种自适应调整屏幕触控输入范围的方法和移动终端
CN102694915B (zh) * 2012-05-18 2014-04-09 张群 用于具有触摸屏幕的手机的显示控制方法及***
US20130321452A1 (en) * 2012-05-30 2013-12-05 Honeywell International Inc. System and method for protecting the privacy of objects rendered on a display
US9720231B2 (en) * 2012-09-26 2017-08-01 Dolby Laboratories Licensing Corporation Display, imaging system and controller for eyewear display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009130985A1 (ja) * 2008-04-23 2009-10-29 コニカミノルタホールディングス株式会社 情報入力システム
US20120218188A1 (en) * 2011-02-24 2012-08-30 Tatsuki Kashitani Information processing apparatus, information processing method, and terminal apparatus
JP2012174208A (ja) * 2011-02-24 2012-09-10 Sony Corp 情報処理装置、情報処理方法、プログラム及び端末装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001657A (ja) * 2013-06-17 2015-01-05 コニカミノルタ株式会社 表示システム、表示方法および表示端末
JP2019169181A (ja) * 2014-03-03 2019-10-03 ノキア テクノロジーズ オーユー 装置と別装置との間の入力軸
JP2015210580A (ja) * 2014-04-24 2015-11-24 エイディシーテクノロジー株式会社 表示システム及びウェアラブル機器
JP2018534643A (ja) * 2015-09-16 2018-11-22 グーグル エルエルシー 拡張および／または仮想現実環境におけるタッチスクリーンホバーの検出
WO2017218567A1 (en) * 2016-06-16 2017-12-21 Visa International Service Association Security approaches for virtual reality transactions
WO2018011988A1 (ja) * 2016-07-15 2018-01-18 ブレイニー株式会社 仮想現実システム、及び、情報処理システム
JP6095191B1 (ja) * 2016-07-15 2017-03-15 ブレイニー株式会社 仮想現実システム、及び、情報処理システム
US10437057B2 (en) 2016-07-15 2019-10-08 Brainy Inc. Virtual reality system and information processing system
US10996474B2 (en) 2016-07-15 2021-05-04 Brainy Inc. Virtual reality system and information processing system
WO2018143313A1 (ja) * 2017-02-01 2018-08-09 コニカミノルタ株式会社 ウェアラブル電子機器
JP2018010612A (ja) * 2017-02-08 2018-01-18 ブレイニー株式会社 仮想現実システム
JP7191853B2 (ja) 2017-05-04 2022-12-19 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび方法
JP2020520494A (ja) * 2017-05-04 2020-07-09 ソニー インタラクティブ エンタテインメント ヨーロッパ リミテッド ヘッドマウントディスプレイおよび方法
JP2019091118A (ja) * 2017-11-10 2019-06-13 パナソニックＩｐマネジメント株式会社 情報処理装置
US10823962B2 (en) 2017-12-22 2020-11-03 Seiko Epson Corporation Processing device having connection detector, display system, and non-transitory computer-readable storage medium
JPWO2020003361A1 (ja) * 2018-06-25 2021-03-11 マクセル株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法
US11037519B2 (en) 2018-10-26 2021-06-15 Seiko Epson Corporation Display device having display based on detection value, program, and method of controlling device
JP7138028B2 (ja) 2018-11-29 2022-09-15 株式会社日立製作所 表示制御システム、表示装置、及び表示制御方法
JP7453300B2 (ja) 2018-11-29 2024-03-19 株式会社日立製作所 表示制御システム、表示装置、及び表示制御方法
JP2020087190A (ja) * 2018-11-29 2020-06-04 株式会社日立製作所 表示制御システム、表示装置、及び表示制御方法
JP2020112982A (ja) * 2019-01-10 2020-07-27 セイコーエプソン株式会社 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
JP7243193B2 (ja) 2019-01-10 2023-03-22 セイコーエプソン株式会社 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
JPWO2020240747A1 (ja) * 2019-05-29 2020-12-03
JP7279159B2 (ja) 2019-05-29 2023-05-22 マクセル株式会社 個人情報表示装置及びその処理方法
WO2020240747A1 (ja) * 2019-05-29 2020-12-03 マクセル株式会社 個人情報表示装置及びその処理方法
JP7466694B2 (ja) 2020-05-18 2024-04-12 グーグル エルエルシー 低電力セミパッシブ相対６自由度トラッキング
JP2022055697A (ja) * 2020-09-29 2022-04-08 Kddi株式会社 制御装置、情報処理システム、制御方法及びプログラム
JP6892960B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、情報処理システム、制御方法及びプログラム
WO2022176721A1 (ja) * 2021-02-18 2022-08-25 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム

Also Published As

Publication number Publication date
EP2923232A1 (en) 2015-09-30
EP2923232A4 (en) 2015-11-25
EP3098643A1 (en) 2016-11-30
US9804686B2 (en) 2017-10-31
EP3223061A1 (en) 2017-09-27
US20140139439A1 (en) 2014-05-22
US8502780B1 (en) 2013-08-06
CN105026982A (zh) 2015-11-04
CN105026982B (zh) 2017-11-07
KR101991133B1 (ko) 2019-06-19
KR20140064384A (ko) 2014-05-28
EP2923232B1 (en) 2017-03-29
EP3223061B1 (en) 2019-10-09
WO2014081076A1 (en) 2014-05-30
JP6220889B2 (ja) 2017-10-25

Similar Documents

Publication Publication Date Title
JP6220889B2 (ja) ヘッドマウントディスプレイ、およびこれを制御する方法
US9986086B2 (en) Mobile terminal and method of operating the same
CN102682520B (zh) 信息处理设备、信息处理方法和终端设备
EP2490421B1 (en) Method of transmitting and receiving data, display device and mobile terminal using the same
KR101688168B1 (ko) 이동 단말기 및 그 제어방법
US9607169B2 (en) Mobile terminal and method for controlling the same
EP2899954B1 (en) Mobile terminal
US20140181683A1 (en) Method and system for controlling external device
EP2704461B1 (en) Mobile terminal and control method thereof
US9395946B2 (en) Image viewing system, arbitrating terminal, image viewing method, and arbitrating method
KR20180068127A (ko) 이동단말기 및 그 제어방법
KR101816930B1 (ko) 데이터 송수신 방법, 그를 이용한 디스플레이 장치 및 휴대용 단말기
US20160054567A1 (en) Mobile terminal, glasses-type terminal, and mutual interworking method using screens thereof
US20150128292A1 (en) Method and system for displaying content including security information
US20180253717A1 (en) Terminal apparatus and control method for terminal apparatus
US20160259622A1 (en) Mobile terminal and method for controlling the same
KR20170011617A (ko) 이동 단말기 및 그것의 제어방법
JP2008097571A (ja) 電子機器および有効な機能の選択方法
US20170048591A1 (en) Mobile terminal and method for controlling the same
CN105808015A (zh) 防窥用户交互装置及方法
CN106464976B (zh) 显示设备、用户终端设备、服务器及其控制方法
CN111027107A (zh) 一种对象显示控制方法及电子设备
WO2023186011A1 (zh) 图像显示方法、装置及电子设备
WO2017096566A1 (zh) 一种显示的方法、装置及***
WO2021004352A1 (zh) 界面交互方法及终端

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171002

R150 Certificate of patent or registration of utility model

Ref document number: 6220889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250