JP2023075353A - Virtual object operation method and head-mounted display - Google Patents
Virtual object operation method and head-mounted display Download PDFInfo
- Publication number
- JP2023075353A JP2023075353A JP2023046344A JP2023046344A JP2023075353A JP 2023075353 A JP2023075353 A JP 2023075353A JP 2023046344 A JP2023046344 A JP 2023046344A JP 2023046344 A JP2023046344 A JP 2023046344A JP 2023075353 A JP2023075353 A JP 2023075353A
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- unit
- external display
- mounted display
- home position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 53
- 238000004891 communication Methods 0.000 claims abstract description 12
- 238000012790 confirmation Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 58
- 238000001514 detection method Methods 0.000 description 54
- 238000010586 diagram Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、仮想オブジェクト操作方法およびヘッドマウントディスプレイに関する。 The present invention relates to a virtual object manipulation method and a head mounted display.
情報処理装置の表示部に複数のウィンドウを表示し、操作入力に応じて、ウィンドウの入れ替えをする技術がある(例えば、特許文献1)。 2. Description of the Related Art There is a technique of displaying a plurality of windows on a display unit of an information processing apparatus and switching the windows according to an operation input (for example, Patent Document 1).
上記特許文献1に開示されている技術においては、位置が固定された情報処理装置の表示部に表示されているウィンドウの制御をするものである。
The technique disclosed in the above-mentioned
ここで、アプリケーション(アプリケーションを表示するウィンドウ)を表示する絶対座標を定めているヘッドマウントディスプレイを想定する。この場合、アプリケーションをユーザが操作する時に、使用するアプリケーションが紐づく位置に合せてユーザが動く必要が生じ得る。この結果、操作が煩雑になる可能性がある。 Now, assume a head-mounted display that defines absolute coordinates for displaying an application (a window that displays the application). In this case, when the user operates the application, the user may need to move according to the position associated with the application to be used. As a result, the operation may become complicated.
本発明の目的は、アプリケーションを簡易に操作できるヘッドマウントディスプレイを提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a head-mounted display capable of easily operating an application.
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will become apparent from the description of the specification and the accompanying drawings.
前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。 As means for solving the above problems, the technology described in the claims is used.
一例を挙げるならば、仮想空間または仮想オブジェクトを操作するための操作入力を受け付ける操作受付部と、外部とのデータ送受信を行う通信部と、制御部と、を備え、制御部は、操作受付部が外部ディスプレイ連携操作を受け付けた場合に、実空間にある外部ディスプレイ装置を、仮想オブジェクトを操作するための装置として連携させ、操作受付部が仮想オブジェクト選択操作を受け付けた場合に、仮想空間の任意の位置に配置された仮想オブジェクトから所定の仮想オブジェクトを選択し、操作受付部が仮想オブジェクト編集要求操作を受け付けた場合に、選択された所定の仮想オブジェクトに関する情報を、連携させた外部ディスプレイ装置に通信部を介して出力する。 For example, an operation reception unit that receives an operation input for operating a virtual space or a virtual object, a communication unit that transmits and receives data to and from the outside, and a control unit. accepts an external display cooperation operation, cooperates with an external display device in the real space as a device for operating a virtual object, and when the operation reception unit receives a virtual object selection operation, an arbitrary virtual space A predetermined virtual object is selected from the virtual objects arranged at the position of , and when the operation receiving unit receives an operation requesting virtual object editing, information about the selected predetermined virtual object is sent to the linked external display device. Output via the communication unit.
本発明の技術を用いることにより、アプリケーションを簡易に操作できる。 By using the technology of the present invention, the application can be easily operated.
以下、本発明の実施形態の例を、図面を用いて説明する。 Hereinafter, examples of embodiments of the present invention will be described with reference to the drawings.
図1(図1(a)~図1(c))を参照して本実施形態によるヘッドマウントディスプレイの概観を説明する。図1は、ヘッドマウントディスプレイ100の概観を示す図である。具体的に、図1(a)は、ユーザ1がヘッドマウントディスプレイ100を装着した状態におけるヘッドマウントディスプレイ100の上面図である。図1(b)は、ヘッドマウントディスプレイ100の正面図である。図1(c)は、ヘッドマウントディスプレイ100の側面図である。
An overview of the head-mounted display according to the present embodiment will be described with reference to FIGS. 1(a) to 1(c). FIG. 1 is a diagram showing an overview of a head mounted
ヘッドマウントディスプレイ100は、ユーザ1が頭部に装着した状態で、アプリケーションをユーザ1に視認可能に表示し、実行する装置である。ヘッドマウントディスプレイ100は、外界を撮像可能な第1撮像部133aおよび第1撮像部133bを有する。また、ヘッドマウントディスプレイ100は、透過型の表示手段である透過表示部131を有する。また、図1(c)に示すように、ヘッドマウントディスプレイ100は、音声出力部141(例えば、音声出力部141a)を有する。なお、透過表示部131の代わりに透過型ではない表示手段を用いるようにしてもよい。この場合、ヘッドマウントディスプレイ100は、当該表示手段に撮像結果を表示する。
The head-mounted
ヘッドマウントディスプレイ100は、1または複数のアプリケーションを記憶しており、ユーザ1からの操作指示により、当該アプリケーションを透過表示部131に表示する。なお、ヘッドマウントディスプレイ100は、アプリケーションを表示する位置を示す情報(例えば、絶対位置座標)を記憶しており、この情報に基づいてアプリケーションを表示する。
Head-mounted
続いて、図2を用いて、ユーザ1から視認可能な領域を示す視認領域を説明する。図2は、視認領域を説明する図である。ここで視認領域とは、透過表示部131を通してユーザ1が視認できる角度範囲をいう。この視認領域が外界のどの領域に対応するかは、ヘッドマウントディスプレイ100が外界に対してどの方向に向いているかで決まり、ユーザ1は、頭部の方向を変えることにより、任意の方向を視認領域内で視認することができる。さらに、ヘッドマウントディスプレイ100は、ユーザ1の周囲の外界空間に重畳して広がる仮想的な空間に仮想オブジェクト(例えば、上述の透過表示部131に表示されるアプリケーションの表示画面・操作画面等)を配置する。これにより、ユーザ1は、当該仮想オブジェクトを視認することができる。また、ユーザ1は、ヘッドマウントディスプレイ100に対して、所定の操作入力をすることにより、当該仮想オブジェクトを操作することができる。仮想オブジェクトは、外界の特定の位置に配置されているように視認される。なお、透過型でない表示手段を用いる場合、第1撮像部133により撮像された範囲が視認領域となる。
Next, a visible area indicating an area that can be visually recognized by the
ヘッドマウントディスプレイ100は、上述のように、ヘッドマウントディスプレイ100が記憶しているアプリケーションを実行する。本実施形態のヘッドマウントディスプレイ100は、ユーザ1がアプリケーションを操作(例えば、編集処理の操作)させる領域である操作領域(ホームポジション)を設定する。ここで、アプリケーションやホームポジションの位置は外界に対して固定される。
The head mounted
続いて、図3を用いてヘッドマウントディスプレイ100のハードウェア構成を説明する。図3は、ヘッドマウントディスプレイ100のハードウェア構成を説明する図である。ヘッドマウントディスプレイ100は、主制御部101を有し、バス102を介して各種装置を制御する。この主制御部101は、CPU(Central Processing Unit)等である。また、ヘッドマウントディスプレイ100は、RAM103、ストレージ110、センサ部150、通信部160、および拡張I/F部170を有する。センサ部150は、GPS受信部151、ジャイロセンサ152、地磁気センサ153、および加速度センサ154を有する。
Next, the hardware configuration of the head mounted
また、ヘッドマウントディスプレイ100は、操作入力部120、透過表示部131、画像信号処理部132、第1撮像部133、第2撮像部134、音声出力部141、音声信号処理部142、および音声入力部143を有する。操作入力部120は、操作キー121、およびタッチセンサ122を有する。上述の構成要素が、動作することにより、ヘッドマウントディスプレイ100の後述する機能が発揮される。
The head mounted
主制御部101は、ストレージ110に記憶されている各種情報処理プログラムを実行することにより、各種機能を実行させる演算処理装置である。RAM103は、各種プログラム実行時のワークエリアとなる。ストレージ110は、主制御部101が第1撮像部133や第2撮像部134により撮像した画像や、各種情報を記憶する部分である。
The
センサ部150は、ヘッドマウントディスプレイ100の位置および方向を特定するための情報を取得する部分である。センサ部150は、GPS受信部151、ジャイロセンサ152、地磁気センサ153、および加速度センサ154を有する。
GPS受信部151は、GPS信号を受信して得られるGPS情報を取得する。ジャイロセンサ152は、ヘッドマウントディスプレイ100の移動方位の検出を行う機能を有し、ヘッドマウントディスプレイ100の方向変化に伴う角速度データを示すジャイロ情報を取得する。地磁気センサ153は、地磁気に基づいてヘッドマウントディスプレイ100の絶対方位を表す角度を検出する方位検出装置の一種である。このような角度としては、例えば方位角を挙げることができる。加速度センサ154は、ヘッドマウントディスプレイ100の加速度および傾斜角の少なくとも一方を検出する機能を有する。
The
このように、センサ部150は、ヘッドマウントディスプレイ100の位置・方向を検出することができる。
Thus, the
通信部160は、無線通信する部分である。例えば、近距離無線通信する。拡張I/F部170は、周辺機器と接続するためのインターフェースである。
The
操作入力部120は、操作入力を受け付ける部分である。操作キー121は、ヘッドマウントディスプレイ100の所定位置(例えば、ユーザ1の耳にかける部分)に設置される物理キーである。タッチセンサ122は、透過表示部131等に設置される入力用センサである。
The
透過表示部131は、シースルー型(透過型)の表示装置である。画像信号処理部132は、第1撮像部133または第2撮像部134による画像を解析して、当該解析結果を主制御部101等に出力する部分である。
The
第1撮像部133は、外界を撮像する部分である。第2撮像部134は、ユーザ1の眼を撮像する部分である。音声出力部141は、音声を出力するスピーカ等である。音声信号処理部142は、音声入力部143により入力された音声を解析する部分である。音声入力部143は、ユーザ1の音声を入力する部分であり、マイク等である。
The first imaging unit 133 is a part that images the outside world. The second imaging unit 134 is a part that images the eyes of the
続いて、図4を用いて、ヘッドマウントディスプレイ100の機能説明をする。図4は、ヘッドマウントディスプレイ100の機能ブロック図である。ヘッドマウントディスプレイ100は、記憶部71、設定受付部72、位置特定部73、撮像部74、検出部75、設定部76、およびアプリ制御部77(アプリケーション制御部)を有する。
Next, the functions of the head mounted
記憶部71は、各種情報を記憶する部分である。例えば、記憶部71は、複数のアプリケーションを記憶している。また、記憶部71は、撮像部74により撮像された画像データを記憶してもよい。
The
設定受付部72は、ユーザ1による設定要求を示す操作に応じて、操作領域設定要求を受け付ける部分である。設定受付部72は、当該操作領域設定要求を受け付けると、位置特定部73、撮像部74および検出部75へ当該操作領域設定要求を受け付けた旨を通知する。設定受付部72は、当該操作領域設定要求を受け付けると、ホームポジション設定モードに移行する。ホームポジション設定モードとは、ホームポジションの設定を行うモードである。
The
なお、設定受付部72は、ユーザ1による設定要求を示す操作を受け付ける代わりに、ヘッドマウントディスプレイ100の電源が投入された際に、操作領域が設定されていない場合に、設定要求を自装置の制御部(例えば、主制御部101)から操作領域設定要求を受け付けるようにしてもよい。
Note that, instead of accepting an operation indicating a setting request by the
また、設定受付部72は、ユーザ1による使用指示を示す操作に応じて、操作領域使用要求を受け付ける部分である。設定受付部72は、当該操作領域使用要求を受け付けると、位置特定部73、撮像部74および検出部75へ当該操作領域使用要求を受け付けた旨を通知する。設定受付部72は、当該操作領域使用要求を受け付けると、ホームポジション使用モードに移行する。ホームポジション使用モードとは、ホームポジションの使用(表示)を行うモードである。
The
位置特定部73は、ヘッドマウントディスプレイ100の位置および方向(指向方向)を特定する部分である。位置特定部73は、例えば、センサ部150により実現される。位置特定部73は、上記操作領域設定要求を受け付けた旨または、操作領域使用要求を受け付けた旨を設定受付部72から受信すると、ヘッドマウントディスプレイ100の位置および方向を特定する。位置特定部73は、ヘッドマウントディスプレイ100の位置および方向を特定し、特定した位置および方向を設定部76へ送出する。また、位置特定部73は、ホームポジション使用モードの場合、特定した位置および方向をアプリ制御部77へ送出する。
撮像部74は、ヘッドマウントディスプレイ100を装着したユーザ1の部位を撮像する部分である。撮像部74は、第1撮像部133や第2撮像部134等により実現される。撮像部74は、設定受付部72から操作領域設定要求を受け付けた旨の通知または操作領域使用要求を受け付けた旨を受信すると、撮像した結果を検出部75へ送出する。撮像部74は、例えば、上述の視認領域を含む箇所を撮像したり、ユーザ1の目周辺を撮像したりする。撮像部74は、撮像した結果を検出部75へ送出する。
The imaging unit 74 is a part that images a part of the
検出部75は、撮像部74により撮像された画像に基づいて、ユーザ1が示す位置を検出する部分である。検出部75は、設定受付部72から操作領域設定要求を受け付けた旨の通知または操作領域使用要求を受け付けた旨を受信し、撮像部74から撮像した結果を受信すると、ユーザ1が示す位置を検出する。
The
検出部75は、撮像部74から撮像した結果として、視認領域を含む箇所の画像を取得した場合、当該画像を公知の画像解析処理をして、当該視認領域中に含まれている指の動きを特定する。すなわち、検出部75は、ユーザ1のジェスチャを検出し、当該ジェスチャに基づく位置を特定する。
When the
例えば、検出部75は、撮像部74から撮像した結果から、ユーザ1により領域を示すジェスチャを検出して、当該検出した結果により示される領域を特定する。検出部75は、ユーザ1の指の動作を検出し、当該指の動作に基づく領域(操作領域)の位置を特定する。検出部75は、当該領域の位置を示す情報を設定部76へ送出する。当該領域の位置を示す情報は、例えば、指により指定された位置に基づいた情報である。
For example, the
また、検出部75は、撮像部74から撮像した結果として、ユーザ1の目周辺を撮像した画像を取得した場合、当該画像を公知の画像解析処理をして、ユーザ1の視線の先の位置を検出する。例えば、検出部75は、当該ユーザ1の視線の先の位置として、透過表示部131上の視線の先の位置を検出する。この場合、検出部75は、操作領域に関する情報として、当該位置を示す情報を設定部76へ送出する。
In addition, when the
設定部76は、検出部75により検出された結果と、位置特定部73により特定された位置とに基づいて、記憶部71に記憶されているアプリケーションを操作させるための領域である操作領域(ホームポジション)に関する情報(例えば、当該操作領域に関する位置)を設定する部分である。
Based on the result detected by the
設定部76は、位置特定部73により特定された位置および方向と、検出部75により検出された結果により示される領域を示す情報とを取得した場合、当該領域を示す情報と、当該位置特定部73により特定された位置および方向とを記憶部71へ設定する。
When the setting unit 76 acquires the position and direction specified by the
設定部76は、位置特定部73により特定された位置および方向と、検出部75により検出された結果により視線の先の位置または指の動作に基づく領域の位置に基づいて定められる領域の情報とを記憶部71に設定する。
The setting unit 76 sets the position and direction specified by the
また、設定部76は、検出部75により検出された結果に基づく位置に対応するモニタを特定した場合、当該モニタの位置を操作領域の位置に設定するようにしてもよい。例えば、設定部76は、検出部75により検出された位置に対応する画像を撮像部74から取得し、予め記憶しているモニタのテンプレートと当該画像とを比較して、モニタを検出した場合、当該モニタの識別情報を操作領域に関する情報として設定する。
Further, when the setting unit 76 identifies the monitor corresponding to the position based on the detection result of the
アプリ制御部77は、ユーザ1による操作要求に応じて、記憶部71に記憶されているアプリケーションを透過表示部131の操作領域に表示させる部分である。アプリ制御部77は、ユーザ1による操作要求により、所定のアプリケーションの編集操作要求がなされた場合、当該アプリケーションを操作領域に表示すると共に、当該アプリケーションを編集可能な状態とする。
また、アプリ制御部77は、既にホームポジションに関する情報が記憶部71に記憶されている場合、位置特定部73から、ヘッドマウントディスプレイ100の位置、方向を適宜取得し、当該位置および方向に基づいて、ホームポジションが視認領域に含まれるか否かを判断する。アプリ制御部77は、ホームポジションが視認領域に含まれると判断すると、当該ホームポジションの領域を透過表示部131へ出力する。
Further, when information about the home position is already stored in
また、アプリ制御部77は、既に操作領域に関する情報が設定されている場合(操作領域に関する情報が設定済みである場合)に、当該位置に対応するモニタを特定した場合、当該モニタを新たな操作領域の位置に設定し直す。
Further, when the information on the operation area has already been set (when the information on the operation area has already been set) and the monitor corresponding to the position is specified, the
また、アプリ制御部77は、アプリケーションの表示位置を記憶しており、当該表示位置に基づいて、アプリケーションを表示する。当該表示位置は、ユーザの位置・向き等により定められる位置である。なお、記憶部71が、アプリケーションの表示位置を記憶してもよい。
<ホームポジションの設定>
続いて、図5を用いてホームポジションの設定方法を説明する。図5は、ホームポジションの設定方法を説明する図である。前提として、操作入力部120が受け付けた操作に基づいて、ホームポジションの設定モードとなっているものとする。
<Home position setting>
Next, a method of setting the home position will be described with reference to FIG. FIG. 5 is a diagram for explaining a home position setting method. As a premise, it is assumed that the home position setting mode is set based on the operation received by the
上記のようにホームポジションの設定モードとなると、撮像部74は、図5(a)に示す視認領域を所定期間撮像して、図5(a)に示すようなユーザ1の指を撮像する。例えば、検出部75は、矩形領域の上部中央部分から、矩形領域の下部中央部分までの指の軌跡を検出する。
When the home position setting mode is entered as described above, the imaging unit 74 images the visible region shown in FIG. 5A for a predetermined period of time, and images the finger of the
すなわち、検出部75は、撮像部74により撮像された結果を用いて図5(a)に示すような指の動き(ジェスチャ)を検出し、当該指の動きに基づいてユーザ1による指定領域(矩形領域)を特定し、ホームポジションとして設定する。さらに、検出部75は、視認領域と、透過表示部131の領域との差異に基づいて、ホームポジションの基準位置を決定する。
That is, the
例えば、検出部75は、視認領域中における位置関係と、視認領域と透過表示部131の領域との大きさの違いに基づいて、透過表示部131におけるホームポジションの基準位置を決定する。ここで、上記基準位置の決定方法について、図5(b)を用いて説明する。図5(b)は、透過表示部131における表示領域を示す。
For example, the
また、検出部75は、高さVと、距離VUと、距離VPと、距離VLとの比率を算出する。高さVは、透過表示部131の高さである。距離VUは、透過表示部131の上部からホームポジションの上部までの距離である。距離VPは、ホームポジションの上部からホームポジション下部までの距離である。距離VLは、ホームポジション下部から透過表示部131の下部までの距離である。
The
また、検出部75は、透過表示部131の幅H、透過表示部131の左部からホームポジションの左部までの距離HL、ホームポジションの左部からホームポジション右部までの距離HP、ホームポジション右部から透過表示部131の右部までの距離HRの比率を算出する。
Further, the
検出部75は、ヘッドマウントディスプレイ100から指の位置までの距離を算出し、当該距離、および上述の算出した比率に基づいて基準位置Pを定める。この基準位置Pは、透過表示部131中で表示する位置を示し、位置特定部73により特定された現在位置および指向方向を組み合わせることにより、ホームポジションの外界での絶対位置を定めることができる。基本は、ここで求めた外界での絶対位置がホームポジションであるが、変形例として、図5(b)で示した視認領域内の特定位置をホームポジションとして設定してもよい。この変形例の場合は、常にホームポジションを視認することができる。
The
なお、検出部75は、上記のように比率を考慮せずに、指定された領域のまま位置を特定するようにしてもよい。
Note that the
図5(a)では、ホームポジションの上部中央部分から、ホームポジションの下部中央部分までを指でなぞる場合の例を上げたが、他の方法によって、ホームポジションを指定してもよい。ここで、図6を用いて、ホームポジションの他の指定方法を説明する。図6は、ホームポジションの他の指定方法を説明する図である。例えば、図6(a)に示すように、ホームポジションの右上部から左下部へホームポジションの領域に沿って指定するようにしてもよい。また、図6(b)に示すように、ホームポジションの右上部から左下部をホームポジションの領域の対角線に沿って指定するようにしてもよい。 In FIG. 5A, an example of tracing with a finger from the upper center portion of the home position to the lower center portion of the home position was given, but the home position may be designated by other methods. Another method of specifying the home position will now be described with reference to FIG. FIG. 6 is a diagram for explaining another method of specifying the home position. For example, as shown in FIG. 6A, it may be specified along the home position area from the upper right portion of the home position to the lower left portion. Alternatively, as shown in FIG. 6B, the area from the upper right to the lower left of the home position may be specified along the diagonal line of the home position area.
また、検出部75は、撮像結果に基づいて、ヘッドマウントディスプレイ100からホームポジションの基準位置までの距離を算出する。図7(a)および図7(b)を用いて、ヘッドマウントディスプレイ100からホームポジションまでの距離を算出する方法を説明する。図7は、ヘッドマウントディスプレイ100からホームポジションまでの距離を算出する方法を説明する図である。図7(a)は、ユーザ1がヘッドマウントディスプレイ100を装着した状態におけるヘッドマウントディスプレイ100の上面図であり、水平角を示す図である。図7(b)は、ヘッドマウントディスプレイ100の側面図であり、仰俯角を示す図である。
Further, the
具体的に、検出部75は、撮像した画像の指の位置に基づいて図7(a)に示すヘッドマウントディスプレイ100の指向方向に対するホームポジションARの基準位置の水平角αを算出する。また、検出部75は、撮像した画像の指の位置に基づいて図7(b)に示すヘッドマウントディスプレイ100の指向方向に対するホームポジション基準位置の仰俯角βを算出する。
Specifically, the
検出部75は、撮像範囲の中央部分までの距離と、上記水平角αと、仰俯角βとに基づいてホームポジションARの基準位置までの距離Lを算出する。
The
なお、検出部75は、ヘッドマウントディスプレイ100からホームポジションARの基準位置までの距離と、ホームポジションARの幅と高さと、ホームポジションARの基準位置とを設定部76へ送出する。これに応じて、設定部76は、ヘッドマウントディスプレイ100からホームポジションARの基準位置までの距離Lと、ホームポジションの幅と、ホームポジションの高さと、ホームポジションの基準位置Pとをホームポジションに関する情報として、記憶部71へ記憶する。なお、ホームポジションの基準位置Pの絶対座標は位置特定部73が取得したヘッドマウントディスプレイ100の位置、指向方向、上記水平角α、仰俯角β、および距離Lから算出可能であることは言うまでもない。
Note that the
ここで、図8を用いて、ホームポジションARを設定する手順を説明する。図8は、ホームポジションARを設定する処理手順を示すフローチャートである。まず、設定受付部72が、ユーザ1による設定要求を示す操作に応じて、操作領域設定要求を受け付けると、ホームポジション設定モードとする(ステップS1:Yes)。なお、設定受付部72が、操作領域設定要求を受け付けていない場合(ステップS1:No)、処理を終了する。
Here, a procedure for setting the home position AR will be described using FIG. FIG. 8 is a flow chart showing a processing procedure for setting the home position AR. First, when the
設定受付部72が、操作領域設定要求を受け付けると、位置特定部73、撮像部74および検出部75へ当該操作領域設定要求を受け付けた旨を通知する。撮像部74は、これに応じて、撮像動作を開始し(有効化)、撮像結果を検出部75へ送出する(ステップS2)。
When the
位置特定部73は、GPS受信部151等により、ヘッドマウントディスプレイ100の現在位置を取得する(ステップS3)。また、位置特定部73は、地磁気センサ153等により指向方向(ヘッドマウントディスプレイ100の向いている方向)を取得する(ステップS4)。また、検出部75は、撮像部74から撮像結果を取得し、当該撮像結果に基づいて、ユーザ1の動きを特定し、当該撮像結果に基づいてユーザ1の指までの距離を算出する(ステップS5)。また、検出部75は、上記撮像結果に基づいてホームポジションの高さ・幅を特定する(ステップS6)。また、検出部75は、ユーザ1の指までの距離に基づいて基準位置Pを算出する。検出部75は、ヘッドマウントディスプレイ100からホームポジションARの基準位置までの距離Lと、ホームポジションの幅と、ホームポジションの高さと、ホームポジションの基準位置Pとを設定部76へ送出する(ステップS7)。
The
設定部76は、上記基準位置PおよびホームポジションARの高さ・幅を取得すると、ホームポジションARの確認メッセージを透過表示部131へ表示して、設定確認する(ステップS8)。
When the setting unit 76 acquires the reference position P and the height and width of the home position AR, the setting unit 76 displays a confirmation message of the home position AR on the
ユーザ1による操作入力により、設定承認を示す入力がなされると(ステップS8:Yes)、設定部76は、距離Lと、ホームポジションARの高さ・幅と、基準位置Pと、を記憶部71へ設定する。また、設定部76は、位置特定部73により特定された現在位置および指向方向もホームポジションARに関する情報として、記憶部71へ設定する(ステップS9)。
When the
また、設定部76は、撮像部74へ設定完了の旨を通知し、撮像部74は、撮像状態をオフ(無効化)にする(ステップS10)。また、設定部76は、ホームポジション設定モードを解除する。なお、ステップS8において、ユーザ1による操作入力により、設定否認を示す入力がなされると(ステップS8:No)、ステップS3へ移動する。
Further, the setting unit 76 notifies the imaging unit 74 of the setting completion, and the imaging unit 74 turns off (disables) the imaging state (step S10). Also, the setting unit 76 cancels the home position setting mode. In step S8, when the
続いて、ユーザ1移動時のホームポジションARの表示例を図9および図10を用いて説明する。まず、図9を用いて、ユーザ1が装着したヘッドマウントディスプレイ100において、ホームポジションARを設定するまでを説明する。図9は、ユーザ1が装着したヘッドマウントディスプレイ100において、ホームポジションARを設定するまでの状態を説明するための図である。
Next, a display example of the home position AR when the
図9(a)は、ユーザ1の部屋の見取り図である。図9(a)に示すように、ユーザ1の部屋には、ベッド600と、机601と、椅子602と、書棚603と、TV台604と、TV605と、を含むものとする。
FIG. 9A is a floor plan of
図9(b)は、ユーザ1が椅子602に座った状態を示す図である。ヘッドマウントディスプレイ100を装着したユーザ1は、椅子602に着席した状態で、操作入力部120を操作し、ヘッドマウントディスプレイ100は、これに応じてホームポジションARに関する情報を設定する。
FIG. 9(b) is a diagram showing a state in which the
続いて、図10を用いてホームポジションの表示制御について説明する。図10は、ホームポジションARの表示制御について説明するための図である。図10(a)は、ユーザ1がホームポジションとは異なる場所を見ている(ヘッドマウントディスプレイ100がホームポジションとは異なる方向を向いている)例を示す図である。図10(a)に示すように、ヘッドマウントディスプレイ100の方向(視認領域)に基準位置Pが無い場合、ヘッドマウントディスプレイ100は、ホームポジションARを表示しない。
Next, display control of the home position will be described with reference to FIG. FIG. 10 is a diagram for explaining display control of the home position AR. FIG. 10(a) is a diagram showing an example where the
また、図10(b)は、ヘッドマウントディスプレイ100がホームポジションARの方向を向いている(即ち、視認領域に基準位置Pがある)例を示す。図10(b)に示すように、ヘッドマウントディスプレイ100が、ホームポジションARの方向を向いた場合、視認領域に基準位置Pが含まれるので、ヘッドマウントディスプレイ100は、ホームポジションARを表示する。この時のホームポジションの表示態様は、設定時の向きを保ったままでもよいし、ユーザ1の方向に向きを変えてもよい。
FIG. 10(b) shows an example in which the head-mounted
続いて、図11を用いて、ホームポジションARの表示制御をする処理手順を説明する。図11は、ホームポジションARの表示制御をする処理を示すフローチャートである。ユーザ1の操作入力により、ホームポジション使用モードが指定されている場合(ステップS11:Yes)、アプリ制御部77は、記憶部71に記憶されているホームポジションARに関する情報(現在位置、指向方向、距離L、ホームポジションの幅、高さ、基準位置P)を取得する(ステップS12)。
Next, a processing procedure for controlling the display of the home position AR will be described with reference to FIG. FIG. 11 is a flow chart showing processing for controlling the display of the home position AR. When the home position use mode is designated by the operation input by the user 1 (step S11: Yes), the
続いて、アプリ制御部77は、位置特定部73から現在位置情報を取得する(ステップS13)。また、アプリ制御部77は、位置特定部73から指向方向を取得する(ステップS14)。
Subsequently, the
アプリ制御部77は、記憶部71に記憶されているホームポジションARに関する情報と、位置特定部73により特定された現在位置情報および指向方向とを比較する。アプリ制御部77は、当該比較した結果、ホームポジションの基準位置Pが視認領域内であり(ステップS15:Yes)、且つヘッドマウントディスプレイ100からホームポジションの基準位置Pまでの距離が所定値以内である場合(ステップS16:Yes)、ホームポジションを透過表示部131に表示する(ステップS17)。なお、ステップS15の条件に合致しない場合(ステップS15:No)またはステップS16の条件に合致しない場合(ステップS16:No)、ステップS18へ進む。
<ホームポジションへのアプリケーション移動>
続いて、図12~図17を用いて、ヘッドマウントディスプレイ100が表示しているアプリケーションをホームポジションへ移動させる方法について説明する。
<Move application to home position>
Next, a method of moving the application displayed on the head mounted
まず、図12を用いて、ホームポジションを設定した時のホームポジションの表示例を説明する。図12は、ホームポジションを設定した時のホームポジションの表示例を説明するための図である。図12(a)は、ユーザ1が椅子602に座った状態を示す図である。この状態で、ヘッドマウントディスプレイ100が、ユーザ1からの操作要求に応じてホームポジションを設定する。
First, with reference to FIG. 12, a display example of the home position when the home position is set will be described. FIG. 12 is a diagram for explaining a display example of the home position when the home position is set. FIG. 12(a) is a diagram showing a state in which the
図12(b)は、この状態において、ヘッドマウントディスプレイ100の透過表示部131に表示される画像の例である。図12(b)に示すように、ヘッドマウントディスプレイ100は、アプリAP1(アプリA)、アプリAP2(アプリB)を表示すると共に、ホームポジションを透過表示部131に表示する。
FIG. 12(b) is an example of an image displayed on the
続いて、図13に、ヘッドマウントディスプレイ100が、ホームポジションとは異なる方向を向いている場合の例を示す。図13(a)は、ヘッドマウントディスプレイ100が、ホームポジションとは異なる方向を向いている例である。図13(b)は、図13(a)の状態において、ヘッドマウントディスプレイ100の透過表示部131に表示される画像の例を示す図である。
Next, FIG. 13 shows an example in which the head mounted
図13(b)に示すように、ヘッドマウントディスプレイ100は、ホームポジションを表示せずに、当該方向に割り当てられているアプリAP3(アプリC)、アプリAP4(アプリD)、アプリAP5(アプリE)、アプリAP6(アプリF)を透過表示部131に表示する。
As shown in FIG. 13(b), the head-mounted
続いて、図14に、ヘッドマウントディスプレイ100が、アプリをホームポジションへ移動させる例を示す。図14に示すように、図13(b)の状態において、ユーザ1による操作入力により、アプリAP5が選択されると、メニューを表示する。このメニューにおいて、「呼ぶ」が選択されるものとする。この「呼ぶ」とは、ホームポジションに呼び出すことを示すメニューである。
Next, FIG. 14 shows an example in which the head mounted
メニューにおいて、「呼ぶ」が選択された後の状態について、図15を用いて説明する。図15(a)に示すように、図13(a)と同様に、ユーザ1が向いている方向は、変わっていない。図15(b)は、メニュー選択後の透過表示部131の表示状態を示す図である。図15(b)に示すように、選択されて、「呼ぶ」が指定されたアプリAP5は、ホームポジションへ移動しているため、表示対象から外れる。この場合、アプリ制御部77は、当該アプリAP5の移動前の位置および移動後の位置を記憶しておく。なお、アプリAP5が呼ばれた後、ヘッドマウントディスプレイ100は、移動前のアプリAP5の箇所を、移動前よりも薄い色で表示するようにしてもよい。これにより、ユーザ1は、移動前のアプリAP5の位置を視認することができ、この移動前のアプリAP5の領域でアプリの表示位置を調整する際の参考にすることができる。
The state after "call" is selected in the menu will be described with reference to FIG. As shown in FIG. 15(a), as in FIG. 13(a), the direction in which the
続いて、ユーザ1がホームポジションの位置する方向を向いた場合について図16を用いて説明する。図16(a)は、ユーザ1が姿勢を変えて、視認領域内にホームポジションが含まれる方向にヘッドマウントディスプレイ100が向いている状態である。
Next, a case where the
図16(b)は、上記の状態における、ヘッドマウントディスプレイ100の透過表示部131に表示される画像の例を示す図である。図16(b)に示すように、アプリ制御部77は、ホームポジションARの位置に、アプリAP5を配置して表示する。また、アプリ制御部77は、ユーザ1の入力操作により、アプリAP5に対するメニュー表示要求を受け付けた場合に、メニューを表示し、「戻る」が選択されると、アプリAP5を表示対象から外す。
FIG. 16B is a diagram showing an example of an image displayed on the
続いて、再度ユーザ1が左方向を向いた場合について図17を用いて説明する。図17(a)は、ユーザ1が姿勢を変えて、左方向にヘッドマウントディスプレイ100が向いている状態である。図17(b)は、上記の状態における、ヘッドマウントディスプレイ100の透過表示部131に表示される画像の例を示す図である。
Next, the case where the
図17(b)に示すように、アプリ制御部77は、アプリAP5について「戻る」メニューが選択されたことにより、アプリAP5を元の位置に戻して表示している。
As shown in FIG. 17B, the
続いて、アプリケーションの表示制御の処理手順について、図18を用いて説明する。図18は、アプリケーションの表示制御の処理手順を示すフローチャートである。まず、ホームポジション使用モードである場合(ステップS21:Yes)、位置特定部73がヘッドマウントディスプレイ100の現在位置を取得する(ステップS22)。また、位置特定部73は、指向方向を取得する(ステップS23)。アプリ制御部77は、位置特定部73から上記現在位置と指向方向とを取得し、記憶しているアプリケーションの表示位置に基づいて、現在位置および指向方向に応じたアプリケーションを表示する(ステップS24)。
Next, a processing procedure for application display control will be described with reference to FIG. 18 . FIG. 18 is a flow chart showing a processing procedure of display control of an application. First, if the home position use mode is set (step S21: Yes), the
アプリ制御部77は、何れかのアプリケーションが選択されたことを検出した場合(ステップS25:Yes)、メニューを表示する(ステップS26)。アプリ制御部77は、選択されたコマンドを特定する(ステップS27)。アプリ制御部77は、特定したコマンドが「戻す」であれば、選択されたアプリを元の位置に移動させて(ステップS29)、ステップS30へ進む。また、アプリ制御部77は、特定したコマンドが「呼ぶ」であれば、選択されたアプリをホームポジションへ移動させて(ステップS28)、ステップS30へ進む。また、アプリ制御部77は、「呼ぶ」「戻す」以外のメニューが選択された場合、何もせずにステップS30へ進む。ステップS30において、ホームポジション使用モードの終了を示す指示がなされていない場合(ステップS30:No)、ステップS22へ進む。また、ステップS30において、ホームポジションの終了を示す指示がなされている場合(ステップS30:Yes)、処理を終了する。
When the
<モニタとのリンク処理>
続いて、ホームポジションARの位置にモニタがある場合に、当該モニタをホームポジションARとするようにリンクする例を説明する。まず、ホームポジションARを設定する例を説明する。図19(a)は、ユーザ1が椅子602に座った状態を示す図である。ヘッドマウントディスプレイ100を装着したユーザ1は、椅子602に着席した状態で、操作入力部120を操作し、これに応じてホームポジションARを設定する。図19(b)は、上記の状態における、ヘッドマウントディスプレイ100の透過表示部131に表示される画像の例を示す図である。図19(b)に示すように、アプリ制御部77は、透過表示部131にホームポジションARを表示する。
<Link processing with monitor>
Next, when there is a monitor at the position of the home position AR, an example of linking the monitor to the home position AR will be described. First, an example of setting the home position AR will be described. FIG. 19(a) is a diagram showing a state in which the
続いて、ホームポジションARの位置にモニタ700が配置された場合に、当該モニタ700をホームポジションARとして設定し直す例について、図20を用いて説明する。
Next, an example of resetting the
図20(a)は、ユーザ1が椅子602に座った状態において、ユーザ1の前にモニタが配置されている例を示す図である。
FIG. 20( a ) is a diagram showing an example in which a monitor is placed in front of
このような状態において、アプリ制御部77は、ホームポジションの範囲にモニタが配置されているか否かを判断する。例えば、アプリ制御部77は、撮像部74による撮像結果と、予め記憶しているモニタのテンプレートとを比較してモニタが存在するか否かを判断する。
In such a state, the
アプリ制御部77は、モニタが存在すると判断した場合、当該モニタと接続するか否かを問い合わせるメッセージを透過表示部131に表示する。モニタと接続する旨、ユーザ1の操作入力がなされると、アプリ制御部77は、モニタに対して近距離無線通信して、当該モニタと情報の送受信が可能である状態にすると、当該モニタの識別情報を取得し、当該モニタの識別情報をホームポジションARに関する情報として追加する。このように、アプリ制御部77は、設定修正部として機能する。
When
そして、アプリ制御部77は、図20(b)に示すように、当該モニタをホームポジションARとして表示する。また、変形例として、視認領域にモニタ700が視認できる場合、そのモニタ700の画面を新たなホームポジションとして設定するという方法でもよい。その場合、必要に応じてモニタとリンクしていない元のホームポジション設定に戻せるようにしてもよい。
Then, the
続いて、ホームポジションARをモニタへリンクさせる処理手順について、図21を用いて説明する。図21は、ホームポジションARをモニタ700へリンクさせる処理手順を示すフローチャートである。図21に示すステップS31~ステップS35については、図11に示したステップS11~ステップS15とそれぞれ同じであるので、説明を省略する。
Next, a processing procedure for linking the home position AR to the monitor will be described with reference to FIG. FIG. 21 is a flow chart showing a processing procedure for linking the home position AR to the
ステップS36において、アプリ制御部77は、撮像部74による撮像結果と、予め記憶しているモニタ700のテンプレートとを比較して、ホームポジションの範囲に、モニタ700が存在するか否かを判断する(ステップS36)。ホームポジションARの範囲にモニタ700が存在する場合(ステップS36:Yes)、アプリ制御部77は、モニタ700とリンクするか否かを問い合わせるメッセージを出力する(ステップS37)。ユーザ操作により、リンク解除を示す指定がされた場合、モニタ700とのリンクを解除して(ステップS40)、ステップS41へ進む。なお、ホームポジションARの範囲にモニタ700が存在しない場合(ステップS36:No)、ステップS41へ進む。
In step S36, the
ステップS37において、モニタとリンクする旨のユーザ操作がなされた場合(ステップS37:Yes)、リンク可能なモニタ700が複数ある場合、モニタ700の一覧を表示し、モニタ700の選択を受け付ける(ステップS38)。なお、モニタ700が1台のみの場合、ステップS38の処理を省略してもよい。アプリ制御部77は、選択されたモニタ700とリンクして(ホームポジションを当該モニタに再設定する)(ステップS39)、ステップS41へ進む。
In step S37, if the user operates to link with the monitor (step S37: Yes), if there are a plurality of
ステップS41において、ホームポジション使用モードを終了する旨の指示がなされた場合(ステップS41:Yes)、処理を終了する。また、ステップS41において、ホームポジション使用モードを終了する旨の指示がなされていない場合(ステップS41:No)、ステップS33へ進む。 In step S41, if an instruction to end the home position use mode is given (step S41: Yes), the process ends. Also, in step S41, if the instruction to end the home position use mode is not issued (step S41: No), the process proceeds to step S33.
続いて、モニタ700をホームポジションとしている場合における、アプリケーションの表示制御の処理手順について、図22を用いて説明する。図22は、モニタ700をホームポジションARとしている場合における、アプリケーションの表示制御の処理手順を示すフローチャートである。なお、図22に示すステップS51~ステップS57、ステップS62については、図18に示したステップS21~ステップS27、ステップS30とそれぞれ同じであるので、説明を省略する。
Next, a processing procedure for application display control when the
ステップS57において、特定したコマンドが「戻す」であれば、モニタ700に表示させる対象がなくなるので、アプリ制御部77は、選択されたアプリのモニタ出力を終了し(ステップS60)、当該アプリを元の位置に移動させて(ステップS61)、ステップS62へ進む。
In step S57, if the specified command is "restore", there is no object to be displayed on
また、ステップS57において、特定したコマンドが「呼ぶ」であれば、アプリ制御部77は、選択されたアプリの表示を終了して(ステップS58)、当該アプリをホームポジションであるモニタ700へ表示させて(ステップS59)、ステップS62へ進む。また、アプリ制御部77は、「呼ぶ」「戻す」以外のメニューが選択された場合、何もせずにステップS62へ進む。
If the specified command is "call" in step S57,
上述のように、ヘッドマウントディスプレイ100では、記憶部71が、アプリケーションを記憶する。撮像部74は、ユーザの部位を撮像し、位置特定部73が、ヘッドマウントディスプレイ100の位置および方向を特定する。検出部75は、撮像部74により撮像された画像に基づいて、ユーザ1の状態を検出し、設定部76は、検出部75により検出された結果と、位置特定部73により特定された位置および方向とに基づいて、ホームポジションを示す位置を設定する。
As described above, in the head mounted
ヘッドマウントディスプレイ100は、ユーザの入力指定により、アプリケーションを操作する領域を設定するので、ユーザが操作しやすい位置でアプリケーションを操作させることができる。
Since the head mounted
具体的に、撮像部74は、ユーザ1の指を含む部分を撮像して、検出部75は、当該撮像結果により、ユーザ1のジェスチャを検出して、設定部76は、当該ジェスチャによる位置を用いてホームポジションに関する位置を設定する。この場合、ヘッドマウントディスプレイ100は、ユーザ1の指動作(ジェスチャ)結果に基づいてホームポジションに関する位置を設定するので、煩雑な操作入力ではなく、直感的で簡易な操作によりホームポジションを設定できる。
Specifically, the image pickup unit 74 picks up an image of a portion including the finger of the
また、撮像部74が、ユーザ1の目周辺を撮像し、検出部75が、撮像部74による撮像結果を用いてユーザの視線を検出し、当該視線による位置を検出し、設定部76は、視線による位置を用いてホームポジションに関する位置を設定する。この場合も、ヘッドマウントディスプレイ100は、煩雑な操作入力ではなく、直感的で簡易な操作によりホームポジションを設定できる。
In addition, the image capturing unit 74 captures an image around the eyes of the
また、検出部75により検出された位置および位置特定部73により特定された位置に基づいた位置にモニタ700がある場合、設定部76は、当該モニタ700の位置をホームポジションARに関する位置に設定する。この場合、ヘッドマウントディスプレイ100は、ユーザ1のジェスチャなどによる直感的な操作により、モニタ700をホームポジションARとして設定することができる。
Further, when the
また、設定部76により、ホームポジションARに関する位置が設定されている場合に、アプリ制御部77は、当該位置に対応する位置に、モニタ700を新たに特定した場合、当該モニタの位置を新たにホームポジションとして設定し直す。これにより、ヘッドマウントディスプレイ100は、ホームポジションを設定した後に、ユーザ1による新たな位置指定を示す操作を必要とせずにモニタの位置をホームポジションに設定することができる。
Further, when a position related to the home position AR is set by the setting unit 76 and the
また、アプリ制御部77は、所定の入力操作に応じて、記憶部71で記憶しているアプリケーションをホームポジションへ表示するように制御することで、ユーザが操作しやすい位置にアプリケーションを表示することができる。
In addition, the
上述の実施形態では、特に述べなかったが、複数のホームポジションを設定してもよい。また、この場合に、ヘッドマウントディスプレイ100の現在位置に基づいて、対象のホームポジションを決定するようにしてもよいし、ユーザ操作により指定されたホームポジションを優先するようにしてもよい。
Although not specifically mentioned in the above embodiment, a plurality of home positions may be set. In this case, the home position of the target may be determined based on the current position of the head mounted
位置特定部73は、緯度経度等の現在位置に基づいて位置を特定する場合について述べたが、他の種々の方法により位置を特定するようにしてもよい。例えば、基準となる物体(ランドマークとなる物体)に基づいた相対位置を特定するようにしてもよい。
Although the
上述の実施形態では、特に述べなかったが、コマンド指定(例えば、「呼ぶ」等)を音声入力により指定するようにしてもよい。 Although not specifically described in the above-described embodiment, command designation (for example, "call") may be designated by voice input.
上述の実施形態では、ホームポジションに関する情報として、現在位置および指向方向以外に距離L、ホームポジションの幅、高さ、および基準位置Pを設定する場合について述べたが、距離L、ホームポジションの幅、高さについては、予め定められている値を保持しておき、現在位置および指向方向と、基準位置Pとを設定するようにしてもよい。 In the above-described embodiment, the distance L, the width and height of the home position, and the reference position P are set in addition to the current position and the pointing direction as information related to the home position. As for the height, a predetermined value may be held, and the current position, orientation direction, and reference position P may be set.
前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。ハードウェアとソフトウェアを併用してもよい。 Some or all of the functions and the like of the present invention described above may be realized by hardware, for example, by designing them in an integrated circuit. Alternatively, the functions may be realized by software, in which the microprocessor unit or the like interprets and executes an operation program for realizing each function. Hardware and software may be used together.
また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 Also, the control lines and information lines shown in the drawings are those considered necessary for explanation, and do not necessarily show all the control lines and information lines on the product. In practice, it may be considered that almost all configurations are interconnected.
また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。 Also, the control lines and information lines shown in the drawings are those considered necessary for explanation, and do not necessarily show all the control lines and information lines on the product. In fact, it may be considered that almost all configurations are interconnected.
前記実施の形態は、以下の形態を含む 。
(付記1)
アプリケーションを記憶するヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイを装着したユーザの部位を撮像する撮像部と、
前記撮像部により撮像された画像に基づいて、前記ユーザが示す位置を検出する検出部と、
前記ヘッドマウントディスプレイの位置および方向を特定する位置特定部と、
前記検出部により検出された結果と、前記位置特定部により特定された位置および方向とに基づいて、前記アプリケーションを操作する領域である操作領域に関する情報を設定する設定部と、
を備える、
ヘッドマウントディスプレイ。
The embodiment includes the following modes.
(Appendix 1)
A head-mounted display that stores applications,
an imaging unit that images a part of a user wearing the head-mounted display;
a detection unit that detects the position indicated by the user based on the image captured by the imaging unit;
a position specifying unit that specifies the position and direction of the head mounted display;
a setting unit that sets information about an operation area, which is an area for operating the application, based on the result detected by the detection unit and the position and direction specified by the position specifying unit;
comprising
head mounted display.
(付記2)
アプリケーションを記憶するヘッドマウントディスプレイで実行する設定方法であって、
ユーザの部位を撮像する撮像ステップと、
前記撮像ステップで撮像した画像に基づいて、前記ヘッドマウントディスプレイを装着したユーザが示す位置を検出する検出ステップと、
前記ヘッドマウントディスプレイの位置および方向を特定する位置特定ステップと、
前記検出ステップで検出した結果と、前記位置特定ステップで特定した位置および方向とに基づいて、前記アプリケーションを操作する領域である操作領域に関する情報を設定する設定ステップと、を含む、
設定方法。
(Appendix 2)
A setting method for executing on a head mounted display storing an application,
an imaging step of imaging a part of the user;
a detection step of detecting a position indicated by a user wearing the head-mounted display based on the image captured in the imaging step;
a locating step of identifying the position and orientation of the head-mounted display;
a setting step of setting information about an operation area in which the application is operated, based on the result detected in the detection step and the position and direction identified in the position identification step;
Setting method.
1…ユーザ、71…記憶部、72…設定受付部、73…位置特定部、74…撮像部、75…検出部、76…設定部、77…アプリ制御部、100…ヘッドマウントディスプレイ、101…主制御部、103…RAM、110…ストレージ、120…操作入力部、121…操作キー、122…タッチセンサ、131…透過表示部、132…画像信号処理部、133…第1撮像部、134…第2撮像部、141…音声出力部、142…音声信号処理部、143…音声入力部、150…センサ部、151…GPS受信部、152…ジャイロセンサ、153…地磁気センサ、154…加速度センサ、160…通信部、170…拡張I/F部。
Claims (6)
前記仮想空間または前記仮想オブジェクトを操作するための操作入力を受け付ける操作受付ステップと、
前記操作受付ステップにおいて外部ディスプレイ連携操作を受け付けた場合に、実空間にある外部ディスプレイ装置を、前記仮想オブジェクトを操作するための装置として連携させる外部ディスプレイ連携ステップと、
前記操作受付ステップにおいて仮想オブジェクト選択操作を受け付けた場合に、前記仮想空間の任意の位置に配置された仮想オブジェクトから所定の仮想オブジェクトを選択する仮想オブジェクト選択ステップと、
前記操作受付ステップにおいて仮想オブジェクト編集要求操作を受け付けた場合に、前記仮想オブジェクト選択ステップで選択された前記所定の仮想オブジェクトに関する情報を、前記外部ディスプレイ連携ステップで連携させた前記外部ディスプレイ装置に出力する仮想オブジェクト出力ステップと、
を含む、
仮想オブジェクト操作方法。 A virtual object manipulation method for executing a virtual object placed at an arbitrary position in a virtual space on a visible head-mounted display, comprising:
an operation receiving step of receiving an operation input for operating the virtual space or the virtual object;
an external display linking step of linking an external display device in real space as a device for operating the virtual object when an external display linking operation is received in the operation receiving step;
a virtual object selection step of selecting a predetermined virtual object from virtual objects arranged at an arbitrary position in the virtual space when a virtual object selection operation is received in the operation receiving step;
When an operation requesting virtual object editing is received in the operation receiving step, information about the predetermined virtual object selected in the virtual object selecting step is output to the external display device linked in the external display linking step. a virtual object output step;
including,
Virtual object manipulation method.
前記操作受付ステップにおいて操作領域設定操作を受け付けた場合に、前記操作領域設定操作で指定される仮想空間の所定の位置に対応する実空間の位置に前記外部ディスプレイ装置があるか否かを確認する外部ディスプレイ確認ステップを更に備え、
前記外部ディスプレイ連携ステップにおいては、前記外部ディスプレイ確認ステップにおいて前記外部ディスプレイ装置があることが確認された場合に、前記外部ディスプレイ装置を、前記仮想オブジェクトを操作するための装置として連携させる、
仮想オブジェクト操作方法。 The virtual object manipulation method according to claim 1,
confirming whether or not the external display device is at a position in real space corresponding to a predetermined position in virtual space specified by the operation area setting operation when the operation area setting operation is accepted in the operation accepting step; further comprising an external display confirmation step,
In the external display linking step, if the presence of the external display device is confirmed in the external display confirming step, the external display device is linked as a device for operating the virtual object.
Virtual object manipulation method.
前記操作受付ステップにおいて仮想オブジェクト編集終了操作を受け付けた場合に、前記外部ディスプレイ連携ステップで連携させた前記外部ディスプレイ装置への前記仮想オブジェクト選択ステップで選択された前記所定の仮想オブジェクトに関する情報の出力を終了する仮想オブジェクト出力終了ステップ、
を更に含む、
仮想オブジェクト操作方法。 The virtual object manipulation method according to claim 1,
outputting information about the predetermined virtual object selected in the virtual object selection step to the external display device linked in the external display linking step when a virtual object editing end operation is received in the operation receiving step; a finished virtual object output end step;
further comprising
Virtual object manipulation method.
前記仮想空間または前記仮想オブジェクトを操作するための操作入力を受け付ける操作受付部と、
外部とのデータ送受信を行う通信部と、
制御部と、
を備え、
前記制御部は、
前記操作受付部が外部ディスプレイ連携操作を受け付けた場合に、実空間にある外部ディスプレイ装置を、前記仮想オブジェクトを操作するための装置として連携させ、
前記操作受付部が仮想オブジェクト選択操作を受け付けた場合に、前記仮想空間の任意の位置に配置された仮想オブジェクトから所定の仮想オブジェクトを選択し、
前記操作受付部が仮想オブジェクト編集要求操作を受け付けた場合に、前記選択された前記所定の仮想オブジェクトに関する情報を、前記連携させた前記外部ディスプレイ装置に前記通信部を介して出力する、
ヘッドマウントディスプレイ。 A head-mounted display capable of visually recognizing a virtual object placed at any position in a virtual space,
an operation reception unit that receives an operation input for operating the virtual space or the virtual object;
a communication unit that transmits and receives data to and from the outside;
a control unit;
with
The control unit
when the operation reception unit receives an external display cooperation operation, causing an external display device in real space to cooperate as a device for operating the virtual object;
selecting a predetermined virtual object from virtual objects arranged at an arbitrary position in the virtual space when the operation receiving unit receives a virtual object selection operation;
outputting information about the selected predetermined virtual object to the linked external display device via the communication unit when the operation receiving unit receives an operation requesting virtual object editing;
head mounted display.
前記制御部は、更に、
前記操作受付部が操作領域設定操作を受け付けた場合に、前記操作領域設定操作で指定される仮想空間の所定の位置に対応する実空間の位置に外部ディスプレイ装置があるか否かを確認し、
前記外部ディスプレイ装置があることが確認された場合に、前記外部ディスプレイ装置を、前記仮想オブジェクトを操作するための装置として連携させる、
ヘッドマウントディスプレイ。 The head mounted display according to claim 4,
The control unit further
confirming whether or not an external display device exists at a position in real space corresponding to a predetermined position in virtual space designated by the operation area setting operation when the operation reception unit receives the operation area setting operation;
Cooperating with the external display device as a device for operating the virtual object when the presence of the external display device is confirmed;
head mounted display.
前記制御部は、更に、前記操作受付部が仮想オブジェクト編集終了操作を受け付けた場合に、連携させた前記外部ディスプレイ装置への前記選択された前記所定の仮想オブジェクトに関する情報の前記通信部を介した出力を終了する、
ヘッドマウントディスプレイ。 The head mounted display according to claim 4,
Further, when the operation receiving unit receives a virtual object editing end operation, the control unit transmits information about the selected predetermined virtual object to the linked external display device via the communication unit. end the output,
head mounted display.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023046344A JP2023075353A (en) | 2018-07-04 | 2023-03-23 | Virtual object operation method and head-mounted display |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/025354 WO2020008559A1 (en) | 2018-07-04 | 2018-07-04 | Head-mounted display and setting method |
JP2020528598A JP7077405B2 (en) | 2018-07-04 | 2018-07-04 | Head-mounted display and setting method |
JP2022081421A JP7252398B2 (en) | 2018-07-04 | 2022-05-18 | Virtual object manipulation method and head-mounted display |
JP2023046344A JP2023075353A (en) | 2018-07-04 | 2023-03-23 | Virtual object operation method and head-mounted display |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022081421A Division JP7252398B2 (en) | 2018-07-04 | 2022-05-18 | Virtual object manipulation method and head-mounted display |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023075353A true JP2023075353A (en) | 2023-05-30 |
Family
ID=87888388
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022081421A Active JP7252398B2 (en) | 2018-07-04 | 2022-05-18 | Virtual object manipulation method and head-mounted display |
JP2023046344A Pending JP2023075353A (en) | 2018-07-04 | 2023-03-23 | Virtual object operation method and head-mounted display |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022081421A Active JP7252398B2 (en) | 2018-07-04 | 2022-05-18 | Virtual object manipulation method and head-mounted display |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7252398B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7252398B2 (en) * | 2018-07-04 | 2023-04-04 | マクセル株式会社 | Virtual object manipulation method and head-mounted display |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006267604A (en) * | 2005-03-24 | 2006-10-05 | Canon Inc | Composite information display device |
JP2012173476A (en) * | 2011-02-21 | 2012-09-10 | Nec Casio Mobile Communications Ltd | Display system, terminal device, method for controlling the device, and program |
WO2014002242A1 (en) * | 2012-06-29 | 2014-01-03 | 日立コンシューマエレクトロニクス株式会社 | Image display system, information terminal, and information-terminal control method and control program |
US20160037573A1 (en) * | 2014-07-29 | 2016-02-04 | Samsung Electronics Co., Ltd. | Mobile device and method of pairing the same with electronic device |
WO2016199699A1 (en) * | 2015-06-12 | 2016-12-15 | 株式会社ソニー・インタラクティブエンタテインメント | Control device, control method, and program |
JP2018101019A (en) * | 2016-12-19 | 2018-06-28 | セイコーエプソン株式会社 | Display unit and method for controlling display unit |
JP2022081421A (en) * | 2020-11-19 | 2022-05-31 | 昭和電工マテリアルズ株式会社 | Negative electrode body for zinc battery and zinc battery |
JP2022113692A (en) * | 2018-07-04 | 2022-08-04 | マクセル株式会社 | Virtual object operation method and head-mounted display |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10001645B2 (en) * | 2014-01-17 | 2018-06-19 | Sony Interactive Entertainment America Llc | Using a second screen as a private tracking heads-up display |
KR102400900B1 (en) * | 2015-10-26 | 2022-05-23 | 엘지전자 주식회사 | System |
JP2017187757A (en) * | 2016-03-30 | 2017-10-12 | TsZ株式会社 | Image display device |
CN109478101B (en) * | 2016-07-22 | 2022-05-03 | 谷歌有限责任公司 | Method and system for detecting a range of motion for a virtual reality user interface |
-
2022
- 2022-05-18 JP JP2022081421A patent/JP7252398B2/en active Active
-
2023
- 2023-03-23 JP JP2023046344A patent/JP2023075353A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006267604A (en) * | 2005-03-24 | 2006-10-05 | Canon Inc | Composite information display device |
JP2012173476A (en) * | 2011-02-21 | 2012-09-10 | Nec Casio Mobile Communications Ltd | Display system, terminal device, method for controlling the device, and program |
WO2014002242A1 (en) * | 2012-06-29 | 2014-01-03 | 日立コンシューマエレクトロニクス株式会社 | Image display system, information terminal, and information-terminal control method and control program |
US20160037573A1 (en) * | 2014-07-29 | 2016-02-04 | Samsung Electronics Co., Ltd. | Mobile device and method of pairing the same with electronic device |
WO2016199699A1 (en) * | 2015-06-12 | 2016-12-15 | 株式会社ソニー・インタラクティブエンタテインメント | Control device, control method, and program |
JP2018101019A (en) * | 2016-12-19 | 2018-06-28 | セイコーエプソン株式会社 | Display unit and method for controlling display unit |
JP2022113692A (en) * | 2018-07-04 | 2022-08-04 | マクセル株式会社 | Virtual object operation method and head-mounted display |
JP2022081421A (en) * | 2020-11-19 | 2022-05-31 | 昭和電工マテリアルズ株式会社 | Negative electrode body for zinc battery and zinc battery |
Also Published As
Publication number | Publication date |
---|---|
JP7252398B2 (en) | 2023-04-04 |
JP2022113692A (en) | 2022-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10095458B2 (en) | Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system | |
US9858643B2 (en) | Image generating device, image generating method, and program | |
EP2895911B1 (en) | Apparatus and method of providing user interface on head mounted display and head mounted display thereof | |
KR101198727B1 (en) | Image projection apparatus and control method for same | |
JP2013258614A (en) | Image generation device and image generation method | |
US11625858B2 (en) | Video synthesis device, video synthesis method and recording medium | |
JP2008040576A (en) | Image processing system and video display device equipped with the same | |
US20210233325A1 (en) | Video synthesis device, video synthesis method and recording medium | |
JP6399692B2 (en) | Head mounted display, image display method and program | |
KR20130115094A (en) | Information processing apparatus, information processing system and information processing method | |
JP2013196156A (en) | Information processing apparatus, information processing method and program | |
JP2023075353A (en) | Virtual object operation method and head-mounted display | |
JP2017191492A (en) | Information processing device, information processing method and video generation system | |
US20240054975A1 (en) | Head mounted display and setting method | |
JP6308842B2 (en) | Display system and program | |
WO2022176450A1 (en) | Information processing device, information processing method, and program | |
US20230118515A1 (en) | Method for changing viewpoint in virtual space | |
GB2582106A (en) | Display device and display device control method | |
JP6873186B2 (en) | Information processing equipment, switching systems, programs and methods | |
JP7427739B2 (en) | display device | |
WO2021131862A1 (en) | Information processing device, method, and program | |
JP2017184043A (en) | Control device, control method, imaging system, and program | |
JP4019643B2 (en) | Video selection control device using cursor | |
WO2017006426A1 (en) | Display system, wearable device, and video display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231128 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |