JP2010074228A - Control device, head-mount display device, program, and control method - Google Patents
Control device, head-mount display device, program, and control method Download PDFInfo
- Publication number
- JP2010074228A JP2010074228A JP2008236152A JP2008236152A JP2010074228A JP 2010074228 A JP2010074228 A JP 2010074228A JP 2008236152 A JP2008236152 A JP 2008236152A JP 2008236152 A JP2008236152 A JP 2008236152A JP 2010074228 A JP2010074228 A JP 2010074228A
- Authority
- JP
- Japan
- Prior art keywords
- user
- control device
- gyro
- unit
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法に関する。 The present invention relates to a control device, a head mounted display device, a program, and a control method.
従来、ジャイロセンサや磁気センサ等を有し、ユーザの頭部に装着させるヘッドマウントディスプレイ装置(HMD)やヘッドフォン等が開発され、それに伴ってユーザの頭の動きに合わせて、HMDのディスプレイに表示される画像や映像等の画面操作の操作性や、音場を動かすことでより臨場感を向上させるための様々な技術が開発されている。 Conventionally, a head-mounted display device (HMD), headphones, etc., which have a gyro sensor, a magnetic sensor, etc. and are mounted on the user's head have been developed, and displayed on the HMD display according to the movement of the user's head. Various techniques have been developed for improving the operability of screen operations such as images and videos and moving the sound field.
例えば、特許文献1では、ジャイロセンサによる互いに直交する3軸方向毎の回転角と磁気センサによる同じ3軸各々の方位角とのデータを用い、ジャイロセンサによって検出された回転角データに含まれるドリフト成分を、磁気センサによる方位角データで補正して検出誤差を少なくする技術が開示されている。
For example, in
また、特許文献2では、ユーザの視点の姿勢におけるジャイロセンサの出力値に基づいて仮想画面を生成するとともに、所定の姿勢情報に基づいた仮想画面の両方をユーザに示し、ユーザが両仮想画面ともに一致していると判断した場合には、ジャイロセンサの出力値に基づいて補正情報を算出する技術が開示されている。
しかしながら、特許文献1では、ジャイロセンサと磁気センサとの両方を用いて、姿勢を補正するために、回路規模が大きくなるとともに、コストがかかるという問題がある。
However, in
一方、特許文献2では、仮想画面を生成するための高い処理計算能力を有する演算装置が必要であるとともに、一連の補正作業に手間がかかってしまう。 On the other hand, in Patent Document 2, an arithmetic device having high processing calculation capability for generating a virtual screen is required, and a series of correction work is troublesome.
上記従来技術の有する問題に鑑み、本発明の目的は、回路規模を大きくすることなく姿勢情報の補正を高速に処理することができる技術を提供することにある。 SUMMARY OF THE INVENTION In view of the above-described problems of the prior art, an object of the present invention is to provide a technique capable of processing posture information correction at high speed without increasing the circuit scale.
上記課題を解決するために、本発明の制御装置は、ユーザに装着される装着部と、装着部に備えられ、ユーザの動きのうち相互に交差する3軸の少なくとも2つの軸における回転運動を検出する検出部と、検出部によって検出された回転運動に基づいて、装着部がユーザに装着されるべき所定の位置からのズレ量を補正するための補正値を算出し、補正値に基づいて検出部からの出力を補正する制御部とを備える。 In order to solve the above-described problems, a control device according to the present invention includes a mounting unit that is mounted on a user, and a rotational motion on at least two axes of three axes that are provided in the mounting unit and intersect each other among the user's movements. Based on the detection value and the rotational movement detected by the detection unit, a correction value for correcting the amount of deviation from a predetermined position where the mounting unit should be mounted on the user is calculated. A control unit that corrects an output from the detection unit.
また、本発明の制御装置は、ユーザに装着される装着部と、装着部に備えられ、ユーザの動きのうち相互に交差する3軸の少なくとも2つの軸における回転運動を検出する検出部と、検出部によって検出された回転運動に基づいて、装着部がユーザに装着されるべき所定の位置からのズレ量を補正するための補正値を算出し、補正値が所定値より大きい場合には、ユーザに対して所定の位置に装着されていないことを伝える制御部とを備える。 In addition, the control device of the present invention includes a mounting unit that is mounted on the user, a detection unit that is provided in the mounting unit, and that detects rotational motion in at least two axes of three axes that intersect each other among the user's movements, Based on the rotational motion detected by the detection unit, a correction value for correcting the amount of deviation from a predetermined position where the mounting unit should be mounted on the user is calculated, and when the correction value is larger than the predetermined value, A control unit that notifies the user that the device is not mounted at a predetermined position.
また、本発明において、制御部は、ユーザに対して、3軸の少なくとも2つの軸における回転運動を指示する。 In the present invention, the control unit instructs the user to perform a rotational motion on at least two of the three axes.
また、本発明において、制御部は、所定の動きをユーザに対して随時指示し、検出部が検出した所定の動きに基づいて、補正値を更新する。 In the present invention, the control unit instructs the user at any time to perform a predetermined movement, and updates the correction value based on the predetermined movement detected by the detection unit.
また、本発明のヘッドマウントディスプレイ装置は、本発明の制御装置と、画像を表示する表示部と、表示部を保持する支持部とを備える。 Moreover, the head mounted display apparatus of this invention is provided with the control apparatus of this invention, the display part which displays an image, and the support part holding a display part.
また、本発明のプログラムは、本発明の制御装置の検出部と制御部とをコンピュータに実行させる。 Moreover, the program of this invention makes a computer perform the detection part and control part of the control apparatus of this invention.
また、本発明のプログラムは、本発明の制御装置の検出部と制御部とをコンピュータに実行させる。 Moreover, the program of this invention makes a computer perform the detection part and control part of the control apparatus of this invention.
また、本発明の制御装置の制御方法は、制御装置の検出部によって、ユーザの動きのうち、相互に交差する3軸の少なくとも2つの軸における回転運動を検出する検出ステップと、制御装置の制御部によって、検出された回転運動に基づいて、制御装置がユーザに装着されるべき所定の位置からのズレ量を補正するための補正値を算出する演算ステップと、制御装置の制御部によって、補正値に基づいて検出部からの出力を補正する補正ステップとを備える。 According to the control method of the control device of the present invention, the detection unit of the control device detects a rotational motion in at least two axes of three axes intersecting each other among the user motions, and the control of the control device And a calculation step for calculating a correction value for correcting a deviation amount from a predetermined position where the control device should be worn by the user based on the detected rotational motion, and a correction by the control unit of the control device. And a correction step of correcting the output from the detection unit based on the value.
また、本発明の制御装置の制御方法は、制御装置の検出部によって、ユーザの動きのうち、相互に交差する3軸の少なくとも2つの軸における回転運動を検出する検出ステップと、制御装置の制御部によって、検出された回転運動に基づいて、制御装置がユーザに装着されるべき所定の位置からのズレ量を補正するための補正値を算出する演算ステップと、制御装置の制御部によって、補正値が所定値より大きい場合には、ユーザに対して所定の位置に装着されていないことを伝える警告ステップとを備える。 According to the control method of the control device of the present invention, the detection unit of the control device detects a rotational motion in at least two axes of three axes intersecting each other among the user motions, and the control of the control device And a calculation step for calculating a correction value for correcting a deviation amount from a predetermined position where the control device should be worn by the user based on the detected rotational motion, and a correction by the control unit of the control device. When the value is larger than the predetermined value, a warning step for notifying the user that the user is not wearing the predetermined position is provided.
本発明によれば、回路規模を大きくすることなく姿勢情報の補正を高速に処理することができる。 According to the present invention, correction of posture information can be processed at high speed without increasing the circuit scale.
≪一の実施形態の説明≫
図1は、本発明の一の実施形態に係るヘッドマウントディスプレイ装置(HMD)100の外観図である。また、図2は、HMD100の構成の概略図を示す。
<< Description of One Embodiment >>
FIG. 1 is an external view of a head mounted display device (HMD) 100 according to an embodiment of the present invention. FIG. 2 shows a schematic diagram of the configuration of the HMD 100.
図1に示すように、HMD100は、ヘッドバンド10、左右のヘッドホン11L及びヘッドホン11R、左のヘッドホン11Lに設置されている連結部(不図示)を介して連結されたサイドアーム12、サイドアーム12の先端に設置されたディスプレイユニット13、ヘッドホン11Rに設けられた十字釦14から構成される。そして、図1に示すように、HMD100のヘッドバンド10が、その弾性力によって左右のヘッドホン11L及びヘッドホン11Rを介して、ユーザの左右の耳を押圧することによって、HMD100の全体がユーザの頭部に固定される。なお、本実施形態では、ディスプレイユニット13は、ユーザの左目の視野の位置に来るように設置される。また、本来はユーザの頭の動きに応じて図2の表示部21の画面表示に対する画面操作を行うが、十字釦14を用いて、ヘッドホン11L及びヘッドホンRの音量調節を行ったり、表示部21の画面表示に対する画面操作を行うために用いられても良い。
As shown in FIG. 1, the HMD 100 includes a
HMD100は、図2に示すように、ディスプレイユニット13には表示部21を有し、左右のヘッドホン11L及びヘッドホン11RのそれぞれにはスピーカL22LとスピーカR22Rとを有する。さらに、HMD100は、十字釦14である操作部材23、画像出力インターフェス(画像出力I/F)24、音声出力インターフェス(音声出力I/F)25、CPU26、A/D変換部27〜29、記憶部30、ジャイロX31、ジャイロY32及びジャイロZ33から構成される。本実施形態においては、画像出力I/F24、音声出力I/F25、CPU26、A/D変換部27〜29、記憶部30、ジャイロX31、ジャイロY32及びジャイロZ33は、ヘッドバンド10、ヘッドホン11L又はヘッドホン11Rのいずれかに適宜設置される。また、A/D変換部27〜29、ジャイロX31、ジャイロY32及びジャイロZ33は、ユーザの動きのうちXYZの各軸方向の回転運動による角速度ωx、ωy及びωzをそれぞれ検出する検出部として動作する。なお、本実施形態では、ユーザの頭の前後方向の動きの回転軸をX軸(又はピッチ軸)、ユーザの頭の左右方向の動きの回転軸をZ軸(ヨー軸)、及びユーザの頭の傾きの動きの回転軸をY軸(ロール軸)とする。
As shown in FIG. 2, the HMD 100 includes a
表示部21は、ディスプレイユニット13に、ユーザの左目に対向する側で左目の視野に入る位置に設置され、CPU26から転送されてくる画像や映像、或いは設定画面等を、画像出力I/F24によって、表示部21に表示するために変換された信号を用いて表示する。表示部21には、液晶パネル(LCD)等を適宜選択して用いることができる。
The
スピーカL22L及びスピーカR22Rは、ヘッドホン11L及びヘッドホン11Rそれぞれに設置され、CPU26から転送されてくる映像等に付加された音声や音楽等の音声信号を、音声出力I/F25によってデジタルからアナログの信号に変換された信号で出力する。スピーカL22L及びスピーカR22Rには、一般的なスピーカ等を用いることができる。
The speaker L22L and the speaker R22R are installed in the
操作部材23は、ヘッドホン11L及びヘッドホン11RのスピーカL22L及びスピーカR22Rの音量調節とともに、表示部21の画面表示に対する画面操作を行うことにも用いることができる。操作部材23は、音楽等のメニューの選択や音量の調節等を行う操作信号をCPU26に発する。本実施形態では、操作部材23は、図1に示す十字釦14を用いて、ヘッドホン11Rの側面に設置される。なお、操作部材23には、十字釦14だけでなく、上下左右及び決定釦がそれぞれ独立した釦、上下左右の方向及び決定が指示できるスティック型のスイッチ又は静電容量型センサ等のようなタッチセンサ等を適宜選択して用いることができる。
The
CPU26は、ユーザによって電源釦(不図示)は押圧されると、HMD100の電源が入り、記憶部30に記憶されている制御プログラムを読み込み、HMD100を初期化する。CPU26は、ユーザの指示や動作を介して、操作部材23やジャイロX31、ジャイロY32及びジャイロZ33の出力に基づいてHMD100を制御する。例えば、CPU26は、表示部21の画面表示に対する画面操作によって画像や映像の再生等の操作や、ヘッドホン11L及びヘッドホン11RのスピーカL22L及びスピーカR22Rに映像に付加された音声や音楽の音声信号の出力等を行う。CPU26には、一般的なコンピュータのCPUを使用することができる。
When the user presses a power button (not shown), the
A/D変換部27〜29は、ジャイロX31、ジャイロY32及びジャイロZ33の各々が検出する、ユーザの各XYZ軸方向の回転運動による角速度ωx、ωy及びωzの信号を、アナログからデジタルに変換する。
The A /
記憶部30は、CPU26がHMD100を制御するための制御プログラム、画像や映画、又は音楽等のデータとともに、ジャイロX31、ジャイロY32及びジャイロZ33の検出する角速度ωx’、ωy’及びωz’を補正する補正値を保持する。記憶部30に保持されるプログラムやデータは、CPU26から適宜参照することができる。記憶部30には、一般的なハードディスク装置、光磁気ディスク装置又は脱着可能なメモリカード等の記憶装置を選択して用いることができる。
The
ジャイロX31、ジャイロY32及びジャイロZ33は、ユーザの各XYZ軸方向の回転運動による角速度ωx、ωy及びωzをそれぞれ検出するジャイロセンサである。本実施形態では、A/D変換部27〜29とともに、ジャイロX31、ジャイロY32及びジャイロZ33は、ヘッドホン11L又はヘッドホン11Rに設置される。
The gyro X31, the gyro Y32, and the gyro Z33 are gyro sensors that respectively detect angular velocities ωx, ωy, and ωz due to the rotational motion of the user in the XYZ axis directions. In the present embodiment, the gyro X31, the gyro Y32, and the gyro Z33 together with the A /
上述した構成を有する、本実施形態のHMD100がユーザの頭部に装着されると、基本的にユーザが頭を動かせば、表示部21の表示画面に対する画面操作を行うことができる。しかしながら、HMD100のユーザの頭部への装着の仕方又はユーザの癖による首の動かし方等によって誤差が生じ、必ずしもユーザが意図する操作を行えない場合がある。
When the HMD 100 of the present embodiment having the above-described configuration is mounted on the user's head, the screen operation on the display screen of the
そこで、本実施形態では、ユーザ自身の頭部の動きに従って表示部21の画面表示に対する画面操作を正確に行えるようにするために、HMD100のユーザの頭部への装着の仕方又はユーザの癖による首の動かし方等によって生じる誤差を補正する処理について、図3のフローチャートに従って説明する。なお、以下の説明において、ユーザの座標系をXYZとし、ジャイロセンサの座標系をX’Y’Z’とする。
Therefore, in the present embodiment, in order to accurately perform the screen operation for the screen display of the
ユーザが、HMD100の電源釦(不図示)を押圧すると、HMD100の電源が入り、CPU26は、記憶部30に記憶されている制御プログラムを読み込み、HMD100を初期化する。CPU26は、ユーザの頭部の動きに従って表示部21の画面表示に対する画面操作を正確に行うために、ステップS101からステップS104の補正処理を行う。なお、本実施形態では、記憶部30には画像や動画、又は音楽等のデータが予め記憶されているものとする。
When the user presses a power button (not shown) of the HMD 100, the power of the HMD 100 is turned on, and the
ステップS101:CPU26は、ユーザに対してX軸周りに首を前後に1回動かす回転運動の指示を、表示部21に表示する。CPU26は、各ジャイロX31、ジャイロY32及びジャイロZ33に、その指示に従ってユーザが行うX軸周りの首の回転運動による角速度ωx’、ωy’及びωz’を、所定のサンプリング周波数で検出させ、A/D変換部27〜29を介して記憶部30に記憶する。同様に、CPU26は、Y軸周りに首を傾ける回転動作及びZ軸周りに首を左右に振る回転動作を各1回ずつ行わせる指示を表示部21に表示し、ユーザに行わせる。CPU26は、各ジャイロX31、ジャイロY32及びジャイロZ33によって検出された、角速度ωx’、ωy’及びωz’のデータを記憶部30にそれぞれ記憶する。
Step S101: The
ここで、図4は、上記のユーザによる首の回転運動のうち、X軸周りの回転運動における各ジャイロX31、ジャイロY32及びジャイロZ33によって検出した角速度データの時間変化の一例を示す。もし、HMD100が、ユーザの座標系(X、Y、Z)とジャイロセンサの座標系(X’、Y’、Z’)とが互いに完全に一致するように、ユーザの頭部に装着され首をX軸周りに前後に動かすことができたならば、ジャイロX31による角速度ωx’のみの成分しか検出されないはずである(この状態を、本実施形態では、HMD100が正しく装着されたと判断する)。しかしながら、実際には、HMD100が正しくユーザに装着されていないか、又はユーザの癖による首の動かし方等のために、ジャイロY32及びジャイロZ33によって角速度ωy’及びωz’も検出されている。このことは、HMD100の装着位置が正しくない又はユーザ自身の癖による動かし方等によって、図5に示すように、ユーザの座標系(X、Y、Z)とジャイロセンサの座標系(X’、Y’、Z’)とが互いにズレて傾いてしまっていることを意味する。このズレ(誤差)が、ユーザが首を動かして、ディスプレイユニット13の表示部21の画面表示に対する画面操作を行っても、ユーザが意図する操作を行えなくする。
Here, FIG. 4 shows an example of temporal change of angular velocity data detected by each gyro X31, gyro Y32, and gyro Z33 in the rotational motion around the X axis among the rotational motion of the neck by the user. If the HMD 100 is mounted on the user's head so that the user's coordinate system (X, Y, Z) and the gyro sensor coordinate system (X ′, Y ′, Z ′) completely match each other, If it can be moved back and forth around the X axis, only the component of the angular velocity ωx ′ by the gyro X31 should be detected (this state is determined that the HMD 100 is correctly mounted in this embodiment). However, actually, the angular velocities ωy ′ and ωz ′ are also detected by the gyro Y32 and the gyro Z33 because the HMD 100 is not correctly worn by the user or the neck is moved by the user's heel. This is because, as shown in FIG. 5, depending on whether the mounting position of the HMD 100 is incorrect or the user's own heel moves, the user coordinate system (X, Y, Z) and the gyro sensor coordinate system (X ′, Y ′, Z ′) and are inclined with respect to each other. This deviation (error) prevents the user's intended operation from being performed even if the user moves his neck and performs a screen operation on the screen display of the
そこで、HMD100が正しく装着されていなくても、又はユーザの癖による首の動かし方を行っても、ユーザが頭を動かせば、表示部21の画面表示に対する画面操作において、ユーザが意図する操作を確実に行えるようにするためには、ジャイロセンサのジャイロX31、ジャイロY32及びジャイロZ33の各々によって検出された角速度ベクトルω’=(ωx’、ωy’、ωz’)を、ユーザの座標系の角速度ベクトルω=(ωx、ωy、ωz)に変換する補正を行う必要がある。
Therefore, even if the HMD 100 is not properly worn or the user moves his / her neck with the heel of the user, if the user moves his / her head, the operation intended by the user in the screen operation on the screen display of the
図5に示すように、ユーザの座標系とジャイロセンサの座標系とが、各XYZ軸において(θ、φ、ψ)の角度がズレているとした場合、次式(1)に示すような各XYZ軸における回転行列を用いて、角速度ベクトルωと角速度ベクトルω’とは次式(2)のように関係付けることができる。 As shown in FIG. 5, when the angle of (θ, φ, ψ) is shifted between the user's coordinate system and the coordinate system of the gyro sensor in each XYZ axis, the following equation (1) Using the rotation matrix in each XYZ axis, the angular velocity vector ω and the angular velocity vector ω ′ can be related as in the following equation (2).
そこで、以下のステップにおいて、ステップS101での各XYZ軸における首の回転運動によって、ジャイロX31、ジャイロY32及びジャイロZ33が検出した角速度データを、式(1)と式(2)に適用して、補正値である角度(θ、φ、ψ)を求める。 Therefore, in the following steps, the angular velocity data detected by the gyro X31, the gyro Y32, and the gyro Z33 by the rotational motion of the neck in each XYZ axis in step S101 is applied to the equations (1) and (2), Angles (θ, φ, ψ) that are correction values are obtained.
ステップS102:CPU26は、ステップS101での各XYZ軸における首の回転運動によって、ジャイロX31、ジャイロY32及びジャイロZ33が検出した各々の角速度データのうち、各軸における首の回転運動での角速度が最大になった時の角速度ωx’、ωy’及びωz’を抽出する。具体的には、CPU26は、図4のX軸周りの首の回転運動の場合、検出された角速度ωx’、ωy’及びωz’のうち、ωx’の絶対値が最大となる時の角速度ωx1、ωy1及びωz1を抽出して、X軸周りの首の回転運動時のジャイロセンサの座標系における角速度ベクトルω’とする。同様にして、Y軸及びZ軸周りの首の回転運動によるそれぞれの角速度データから、角速度ベクトルω’を抽出する。
Step S102: The
ステップS103:CPU26は、ステップS102で抽出した各X’Y’Z’軸における角速度ベクトルω’をそれぞれ正規化する。その理由は、例えば、X軸周りの首の回転運動の場合、ユーザの座標系XYZの角速度ベクトルωはX成分以外はないので、例えば、(1、0、0)にならなければならない。他のY軸及びZ軸周りの首の回転運動における角速度ベクトルωについても同様である。そこで、それに合わせるために抽出した3つの角速度ベクトルω’をそれぞれ正規化する。
Step S103: The
ステップS104:CPU26は、ステップS103で正規化した各X’Y’Z’軸における角速度ベクトルω’と、ユーザの座標系のXYZにおける角速度ベクトルωとを式(2)にそれぞれ代入して、例えば、最小自乗法を用いて角度(θ、φ、ψ)を求める。CPU26は、求めた角度(θ、φ、ψ)を補正値として記憶部30に記録し、処理を終了する。
Step S104: The
これにより、求めた角度(θ、φ、ψ)を、式(1)及び(2)とともに用いることで、ユーザの頭の動きに伴う、ジャイロX31、ジャイロY32及びジャイロZ33が検出する角速度ωx’、ωy’及びωz’を、ユーザの座標系の角速度ベクトルωに変換補正することによって、たとえHMD100が正しく装着されていなくても、又はユーザの癖による首の動かし方を行っても、ユーザが頭を動かせば、ディスプレイユニット13の表示部21の画面表示に対する画面操作を正確に行うことができる。これにより、ユーザは、HMD100の装着状態や自身の癖を気にすることなく、表示部21に表示される画像、映像或いは音楽等を視聴したり、HMD100の各種設定を行うことが可能となる。
Thereby, the angular velocities ωx ′ detected by the gyro X31, the gyro Y32, and the gyro Z33 according to the movement of the user's head by using the obtained angles (θ, φ, ψ) together with the expressions (1) and (2). , Ωy ′ and ωz ′ are converted and corrected to the angular velocity vector ω of the user's coordinate system, so that even if the HMD 100 is not properly worn or the neck is moved by the user's heel, the user can If the head is moved, the screen operation for the screen display of the
このように本実施形態は、予めCPU26が、ユーザに対して、XYZの各軸方向軸の首の回転運動を行わせることによって、補正値を求める処理を行うことにより、たとえ、HMD100のユーザの頭部への装着の仕方が不正確であったり、ユーザの癖による首の動かし方等を行っても、ユーザが頭を動かせば、表示部21の画面表示に対する画面操作を正確に行うことができる。
As described above, in the present embodiment, the
また、本実施形態の補正処理は、3軸方向の角速度を計測できるジャイロセンサのみを用い、式(1)及び式(2)という簡単な演算だけで行えるので、高速処理が可能となるとともに、回路規模を大きくすることなくコストの削減を図ることができる。
≪他の実施形態≫
本発明の他の実施形態に係るヘッドマウントディスプレイ装置は、基本的に図1の一の実施形態に係るHMD100と同じであり、各構成要素の動作に関する説明は省略する。本実施形態のHMD100が一の実施形態と異なる点は、求めた角度(θ、φ、ψ)を用いて、ジャイロX31、ジャイロY32及びジャイロZ33による検出される角速度を補正する代わりに、角度(θ、φ、ψ)のいずれかの値が閾値以上の場合には、CPU26が、スピーカL22L及びスピーカR22Rにビープ音等の警告音を発して、ユーザにHMD100の装着をやり直させる点にある。
In addition, the correction processing of the present embodiment can be performed only by a simple calculation of Expression (1) and Expression (2) using only a gyro sensor capable of measuring angular velocities in the three-axis directions, so that high-speed processing is possible. Cost reduction can be achieved without increasing the circuit scale.
<< Other Embodiments >>
A head-mounted display device according to another embodiment of the present invention is basically the same as the HMD 100 according to one embodiment of FIG. 1, and a description regarding the operation of each component is omitted. The HMD 100 of this embodiment differs from that of the first embodiment in that instead of correcting the angular velocities detected by the gyro X31, the gyro Y32, and the gyro Z33 using the obtained angles (θ, φ, ψ), the angle ( When any value of [theta], [phi], [psi] is equal to or greater than the threshold value, the
図6は、本実施形態に係るHMD100における処理のフローチャートである。 FIG. 6 is a flowchart of processing in the HMD 100 according to the present embodiment.
一の実施形態と同様に、ユーザが、HMD100の電源釦(不図示)を押圧すると、HMD100の電源が入り、CPU26は、記憶部30に記憶されている制御プログラムを読み込み、HMD100を初期化する。CPU26は、ユーザの頭部の動きに従って表示部21の画面表示に対する画面操作を正確に行うために、ステップS201からステップS206の補正処理を行う。なお、本実施形態では、記憶部30には画像や動画、又は音楽等のデータが予め記憶されているものとする。また、求めた角度(θ、φ、ψ)が閾値以上であるか否かを判定するための閾値(例えば、5度や10度等)と、求めた角度(θ、φ、ψ)が閾値以上であった場合のビープ音等の警告音のデータとが記憶部30に予め記憶されているものとする。
Similarly to one embodiment, when a user presses a power button (not shown) of the HMD 100, the HMD 100 is turned on, and the
ステップS201:CPU26は、ユーザに対してX軸周りに首を前後に1回動かす回転運動の指示を、表示部21に表示する。CPU26は、各ジャイロX31、ジャイロY32及びジャイロZ33に、その指示に従ってユーザが行うX軸周りの首の回転運動による角速度ωx’、ωy’及びωz’を所定のサンプリング周波数で検出させ、A/D変換部27〜29を介して記憶部30に記憶する。同様に、CPU26は、Y軸周りに首を傾ける回転動作及びZ軸周りに首を左右に振る回転動作を各1回ずつ行わせる指示を表示部21に表示し、ユーザに行わせる。CPU26は、各ジャイロX31、ジャイロY32及びジャイロZ33によって検出された、角速度ωx’、ωy’及びωz’のデータを記憶部30にそれぞれ記憶する。
Step S201: The
ステップS202:CPU26は、一の実施形態のステップS102と同様の手順で、ステップS201での各XYZ軸における首の回転運動によって、ジャイロX31、ジャイロY32及びジャイロZ33が検出した各々の角速度データのうち、各軸における首の回転運動での角速度が最大になった時の角速度ωx’、ωy’及びωz’を抽出する。
Step S202: The
ステップS203:CPU26は、ステップS202で抽出した各X’Y’Z’軸における角速度ベクトルω’をそれぞれ正規化する。
Step S203: The
ステップS204:CPU26は、ステップS203で正規化した各X’Y’Z’軸における角速度ベクトルω’と、ユーザの座標系の各XYZにおける角速度ベクトルωとを式(2)にそれぞれ代入して、例えば、最小自乗法を用いて角度(θ、φ、ψ)を求める。
Step S204: The
ステップS205:CPU26は、求めた角度(θ、φ、ψ)のうちのいずれかが、記憶部30に記憶している閾値以上であるか否かを判定する。CPU26は、求めた角度(θ、φ、ψ)のいずれかの値が閾値以上の場合には、HMD100が正しく装着されていないと判断してステップS206(YES側)へ移行する。一方、CPU26は、求めた角度(θ、φ、ψ)の値が閾値より小さいの場合には、HMD100が正しく装着されていると判断して作業を終了する(NO側)。
Step S205: The
ステップS206:CPU26は、ヘッドホン11L及びヘッドホン11RのスピーカL22L及びスピーカR22Rにビープ音等の警告音を発して、ユーザにHMD100が正しく装着されていないことを知らせる。同時に、CPU26は、表示部21に閾値以上になった軸方向と角度の値とを表示して、ユーザに正しい位置にHMD100を装着し直すように促す。CPU26は、一連の作業を終了する。
Step S206: The
これにより、求めた角度(θ、φ、ψ)を閾値と比較することで、ユーザに正しい位置にHMD100を装着させることができ、ユーザが頭を動かせば、ディスプレイユニット13の表示部21の画面表示に対する画面操作を正確に行うことができる。これにより、ユーザは、HMD100の装着状態や自身の癖を気にすることなく、表示部21に表示される画像、映像或いは音楽等を視聴したり、HMD100の各種設定を行うことが可能となる。
Thus, by comparing the obtained angles (θ, φ, ψ) with the threshold value, the user can wear the HMD 100 at the correct position. If the user moves his / her head, the screen of the
このように本実施形態は、予めCPU26が、ユーザに対して、XYZの各軸方向軸の首の回転運動を行わせることにより、角度(θ、φ、ψ)を求める作業を行うことにより、たとえ、HMD100のユーザの頭部への装着の仕方が不正確であっても、ユーザに装着し直させることにより、ユーザの癖による首の動かし方等を行っても、ユーザが頭を動かせば、表示部21の画面表示に対する画面操作を正確に行うことができる。
As described above, in the present embodiment, the
また、本実施形態の補正処理は、3軸方向の角速度を計測できるジャイロセンサのみを用い、式(1)及び式(2)という簡単な演算だけで行えるので、高速処理が可能となるとともに、回路規模を大きくすることなくコストの削減を図ることができる。
≪実施形態の補足事項≫
一の実施形態及び他の実施形態では、HMD100はユーザに装着された時点で、ジャイロセンサの座標系とユーザの座標系とのズレを補正するための角度(θ、φ、ψ)を求めるために、ユーザに対して各XYZ軸周りに首を回転させる運動を1回ずつさせたが、本発明はこれに限定されない。例えば、複数回行わせても良い。これにより、各X’Y’Z’軸におけるより多くの角速度ベクトルω’を求めることができ、最小自乗法によって求まる角度(θ、φ、ψ)がより正確になる。
In addition, the correction processing of the present embodiment can be performed only by a simple calculation of Expression (1) and Expression (2) using only a gyro sensor capable of measuring angular velocities in the three-axis directions, so that high-speed processing is possible. Cost reduction can be achieved without increasing the circuit scale.
≪Supplementary items for the embodiment≫
In one embodiment and other embodiments, when the HMD 100 is attached to a user, the HMD 100 obtains angles (θ, φ, ψ) for correcting a deviation between the gyro sensor coordinate system and the user coordinate system. In addition, although the user is caused to perform the motion of rotating the neck around each XYZ axis once, the present invention is not limited to this. For example, it may be performed a plurality of times. As a result, more angular velocity vectors ω ′ on each X′Y′Z ′ axis can be obtained, and the angles (θ, φ, ψ) obtained by the method of least squares are more accurate.
また、例えば、角度(θ、φ、ψ)を求めた後においても、ディスプレイユニット13の表示部21に表示される「はい」、「いいえ」等の画面応答時における、ユーザの首の動きを、ジャイロX31、ジャイロY32及びジャイロZ33の各々で角速度ωx’、ωy’及びωz’を検出し、装着時に求めた3つの角速度ベクトルω’と合わせることにより、角度(θ、φ、ψ)の値の精度高め更新しても良い。
Further, for example, even after obtaining the angles (θ, φ, ψ), the movement of the user's neck at the time of screen response such as “Yes”, “No”, etc. displayed on the
また、条件によっては、装着時におけるユーザによる各XYZ軸周りにおける回転運動に基づいた補正処理を省略して、HMD100の使用中における表示部21に表示される「はい」(X軸周りの回転運動)、「いいえ」(Z軸周りの回転運動)等の画面応答時における、ユーザの首の動きによるジャイロX31、ジャイロY32及びジャイロZ33の各々で検出した角速度だけを用いて、角度(θ、φ、ψ)を求めたり更新しても良い。
Further, depending on the conditions, the correction processing based on the rotational motion around each XYZ axis by the user at the time of wearing is omitted, and “Yes” (rotational motion around the X axis) displayed on the
なお、一の実施形態及び他の実施形態では、角度(θ、φ、ψ)を求めるために、ステップS102又はステップS202において、ジャイロX31、ジャイロY32及びジャイロZ33が検出した角速度のデータから、各XYZ軸における首の回転運動での角速度が最大になった時の角速度ωx’、ωy’及びωz’を抽出したが、本発明ではこれに限定されない。実際には、各ジャイロX31、ジャイロY32及びジャイロZ33で検出される角速度の値における相互の値の比は、時間tによらずほぼ一定である。このことから、任意の時間tにおける各X’Y’Z’軸の角速度ωx’、ωy’及びωz’を用いて、ジャイロセンサの座標系における角速度ベクトルω’としても良い。 In one embodiment and other embodiments, in order to obtain the angles (θ, φ, ψ), each of the angular velocity data detected by the gyro X31, the gyro Y32, and the gyro Z33 in step S102 or step S202 is used. The angular velocities ωx ′, ωy ′, and ωz ′ when the angular velocities in the rotational movement of the neck on the XYZ axes are maximized are extracted, but the present invention is not limited to this. Actually, the ratio between the values of the angular velocities detected by the respective gyros X31, gyros Y32 and gyros Z33 is substantially constant regardless of the time t. Therefore, the angular velocity vector ω ′ in the coordinate system of the gyro sensor may be obtained by using the angular velocities ωx ′, ωy ′, and ωz ′ of the X′Y′Z ′ axes at an arbitrary time t.
なお、一の実施形態及び他の実施形態では、ユーザに各XYZ軸周りに回転運動をさせたが、本発明はこれに限定されず、XYZ軸のうち少なくとも2軸の角速度データがあれば、角度(θ、φ、ψ)を求めることができる。 In one embodiment and other embodiments, the user is caused to rotate around each XYZ axis, but the present invention is not limited to this, and if there is at least two-axis angular velocity data among the XYZ axes, The angles (θ, φ, ψ) can be obtained.
また、HMD100において、例えば、ジャイロセンサの3つのジャイロのうち、1軸がない場合であっても、本発明は適用可能である。 Further, in the HMD 100, for example, the present invention is applicable even when there is no one axis among the three gyros of the gyro sensor.
なお、一の実施形態及び他の実施形態では、各XYZ軸における回転行列として式(2)のものを用いたが、角度(θ、φ、ψ)の値が小さい場合には、例えば、cosθは1に、sinθはθに近似して計算を行っても良い。なお、この場合の角度の単位はラジアンである。角度φ及びψについても、角度θの場合と同様の近似が可能である。 In one embodiment and the other embodiments, the rotation matrix in each XYZ axis is the one in equation (2). However, when the value of the angle (θ, φ, ψ) is small, for example, cos θ May be calculated by approximating 1 and sin θ approximating θ. In this case, the unit of the angle is radians. For the angles φ and ψ, the same approximation as in the case of the angle θ is possible.
なお、一の実施形態及び他の実施形態では、ディスプレイユニット13はユーザの左目の視野に入るように設置したが、本発明はこれに限定されない。ディスプレイユニット13をユーザの右目の視野に入るように設置されるHMDでも良いし、眼鏡タイプのように両目の視野に入るHMDでも良い。
In one embodiment and other embodiments, the
なお、一の実施形態では、求めた角度(θ、φ、ψ)を単に記憶部30に記憶させたが、本発明はこれに限定されず、ユーザ毎に補正値である角度(θ、φ、ψ)を記憶部30に記憶しても良い。これにより、ユーザがHMD100を装着した時に、表示部21の画面表示に対する画面操作において、使用するユーザの角度(θ、φ、ψ)を読み込むことによって、装着時の補正処理を省略することができる。
In one embodiment, the obtained angles (θ, φ, ψ) are simply stored in the
なお、本発明は、HMD100だけでなく、サラウンドヘッドホン等に対しても適用可能であり、ユーザの動きに応じて、左右のヘッドホン11L及びヘッドホン11Rからの音を、臨場感が出るように制御することに対しても適用できる。
Note that the present invention can be applied not only to the HMD 100 but also to surround headphones or the like, and controls the sound from the left and
なお、本発明に係る制御方法における各ステップを実現するためのプログラムを備え、制御装置としてコンピュータを機能させることに対しても適用可能である。 It should be noted that the present invention is also applicable to having a program for realizing each step in the control method according to the present invention and causing a computer to function as a control device.
なお、本発明に係る制御方法における各ステップを実現するためのコンピュータプログラムを記憶する記録媒体に対しても適用可能である。 Note that the present invention is also applicable to a recording medium that stores a computer program for realizing each step in the control method according to the present invention.
なお、本発明は、その精神又はその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。 It should be noted that the present invention can be implemented in various other forms without departing from the spirit or main features thereof. For this reason, the above-described embodiment is merely an example in all respects and should not be construed in a limited manner. Further, all modifications and changes belonging to the equivalent scope of the claims are within the scope of the present invention.
10 ヘッドバンド、11L、11R ヘッドホン、12 サイドアーム、13 ディスプレイユニット、14 十字釦、21 表示部、22L スピーカL、22R スピーカR、23 操作部材、24 画像出力I/F、25 音声出力I/F、26 CPU、27〜29 A/D変換部、30 記憶部、31 ジャイロX、32 ジャイロY、33 ジャイロZ、100 HMD
10 Headband, 11L, 11R Headphone, 12 Side arm, 13 Display unit, 14 Cross button, 21 Display unit, 22L Speaker L, 22R Speaker R, 23 Operation member, 24 Image output I / F, 25 Audio output I / F , 26 CPU, 27 to 29 A / D conversion unit, 30 storage unit, 31 gyro X, 32 gyro Y, 33 gyro Z, 100 HMD
Claims (9)
前記装着部に備えられ、前記ユーザの動きのうち相互に交差する3軸の少なくとも2つの軸における回転運動を検出する検出部と、
前記検出部によって検出された前記回転運動に基づいて、前記装着部が前記ユーザに装着されるべき所定の位置からのズレ量を補正するための補正値を算出し、前記補正値に基づいて前記検出部からの出力を補正する制御部と
を備えることを特徴とする制御装置。 A mounting part to be mounted on the user;
A detection unit that is provided in the mounting unit and detects rotational movements in at least two axes of three axes that intersect each other among the movements of the user;
Based on the rotational motion detected by the detection unit, a correction value for correcting a deviation amount from a predetermined position where the mounting unit should be mounted on the user is calculated, and based on the correction value, the correction value is calculated. And a control unit that corrects an output from the detection unit.
前記装着部に備えられ、前記ユーザの動きのうち相互に交差する3軸の少なくとも2つの軸における回転運動を検出する検出部と、
前記検出部によって検出された前記回転運動に基づいて、前記装着部が前記ユーザに装着されるべき所定の位置からのズレ量を補正するための補正値を算出し、前記補正値が所定値より大きい場合には、前記ユーザに対して前記所定の位置に装着されていないことを伝える制御部と
を備えることを特徴とする制御装置。 A mounting part to be mounted on the user;
A detection unit that is provided in the mounting unit and detects rotational movements in at least two axes of three axes that intersect each other among the movements of the user;
Based on the rotational motion detected by the detection unit, a correction value for correcting a deviation amount from a predetermined position where the mounting unit is to be mounted on the user is calculated, and the correction value is more than a predetermined value. And a control unit that, when larger, informs the user that the user is not mounted at the predetermined position.
前記制御部は、前記ユーザに対して、前記3軸の少なくとも2つの軸における前記回転運動を指示する
ことを特徴とする制御装置。 In the control device according to claim 1 or 2,
The control unit instructs the user to perform the rotational movement on at least two of the three axes.
前記制御部は、所定の動きを前記ユーザに対して随時指示し、前記検出部が検出した前記所定の動きに基づいて、前記補正値を更新する
ことを特徴とする制御装置。 The control device according to claim 3,
The control unit is configured to instruct a predetermined movement to the user as needed, and update the correction value based on the predetermined movement detected by the detection unit.
画像を表示する表示部と、
前記表示部を保持する支持部と
を備えることを特徴とするヘッドマウントディスプレイ装置。 A control device according to any one of claims 1 to 4,
A display for displaying an image;
A head-mounted display device comprising: a support portion that holds the display portion.
前記制御装置の前記検出部によって、前記ユーザの動きのうち、相互に交差する3軸の少なくとも2つの軸における回転運動を検出する検出ステップと、
前記制御装置の前記制御部によって、検出された前記回転運動に基づいて、前記制御装置が前記ユーザに装着されるべき所定の位置からのズレ量を補正するための補正値を算出する演算ステップと、
前記制御装置の前記制御部によって、前記補正値に基づいて前記検出部からの出力を補正する補正ステップと
を備えることを特徴とする制御方法。 A control method for a control device according to claim 1,
A detecting step of detecting a rotational motion in at least two axes of three axes intersecting each other among the movements of the user by the detection unit of the control device;
A calculation step for calculating a correction value for correcting a deviation amount from a predetermined position at which the control device should be worn by the user based on the rotational motion detected by the control unit of the control device; ,
A control method comprising: a correction step of correcting the output from the detection unit based on the correction value by the control unit of the control device.
前記制御装置の前記検出部によって、前記ユーザの動きのうち、相互に交差する3軸の少なくとも2つの軸における回転運動を検出する検出ステップと、
前記制御装置の前記制御部によって、検出された前記回転運動に基づいて、前記制御装置が前記ユーザに装着されるべき所定の位置からのズレ量を補正するための補正値を算出する演算ステップと、
前記制御装置の前記制御部によって、前記補正値が所定値より大きい場合には、前記ユーザに対して前記所定の位置に装着されていないことを伝える警告ステップと
を備えることを特徴とする制御方法。
A control method for a control device according to claim 2,
A detecting step of detecting a rotational movement in at least two axes of three axes intersecting each other among the movements of the user by the detection unit of the control device;
A calculation step for calculating a correction value for correcting a deviation amount from a predetermined position at which the control device should be worn by the user based on the rotational motion detected by the control unit of the control device; ,
A control method comprising: a warning step for notifying the user that the device is not mounted at the predetermined position when the correction value is larger than a predetermined value by the control unit of the control device. .
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008236152A JP5428261B2 (en) | 2008-09-16 | 2008-09-16 | Control device, head mounted display device, program, and control method |
US12/741,152 US20100259471A1 (en) | 2007-11-16 | 2008-11-14 | Control device, head-mount display device, program, and control method |
PCT/JP2008/070746 WO2009063968A1 (en) | 2007-11-16 | 2008-11-14 | Control device, head-mount display device, program, and control method |
US14/853,784 US20160004079A1 (en) | 2007-11-16 | 2015-09-14 | Control device, head-mount display device, program, and control method for detecting head motion of a user |
US15/647,963 US20170307884A1 (en) | 2007-11-16 | 2017-07-12 | Control device, head-mount display device, program, and control method for detecting head motion of a user |
US15/935,814 US20180210204A1 (en) | 2007-11-16 | 2018-03-26 | Control device, head-mount display device, program, and control method for detecting head motion of a user |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008236152A JP5428261B2 (en) | 2008-09-16 | 2008-09-16 | Control device, head mounted display device, program, and control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010074228A true JP2010074228A (en) | 2010-04-02 |
JP5428261B2 JP5428261B2 (en) | 2014-02-26 |
Family
ID=42205654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008236152A Expired - Fee Related JP5428261B2 (en) | 2007-11-16 | 2008-09-16 | Control device, head mounted display device, program, and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5428261B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014069090A1 (en) * | 2012-11-02 | 2014-05-08 | ソニー株式会社 | Image display device, image display method, and computer program |
KR20140138620A (en) * | 2012-03-22 | 2014-12-04 | 소니 주식회사 | Head-mounted display with tilt sensor for medical use |
WO2015098211A1 (en) * | 2013-12-25 | 2015-07-02 | ソニー株式会社 | Orientation measurement device, orientation measurement method, image processing device, image processing method, display device, display method, computer program, and image display system |
JP2016167844A (en) * | 2016-04-21 | 2016-09-15 | ソニー株式会社 | Head-mounted display, control method of head-mounted display, and display system and control method of the same |
US10778893B2 (en) | 2017-12-22 | 2020-09-15 | Seiko Epson Corporation | Detection device, display device and detection method |
WO2022030746A1 (en) * | 2020-08-07 | 2022-02-10 | 삼성전자 주식회사 | Electronic device for sensing wearing state of electronic device using inertial sensor, and method for controlling same |
WO2023026550A1 (en) * | 2021-08-26 | 2023-03-02 | ソニーグループ株式会社 | Wearable display device, detection method, and recording medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019054360A (en) | 2017-09-14 | 2019-04-04 | セイコーエプソン株式会社 | Electronic apparatus, motion sensor, position change detection program, and position change detection method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07294240A (en) * | 1994-04-21 | 1995-11-10 | Japan Aviation Electron Ind Ltd | Position sensor |
JPH08289226A (en) * | 1995-04-18 | 1996-11-01 | Minolta Co Ltd | Video display device |
JPH1093889A (en) * | 1996-09-13 | 1998-04-10 | Minolta Co Ltd | Head mount video display device |
JP2005300730A (en) * | 2004-04-08 | 2005-10-27 | Nikon Corp | Head mounted display |
-
2008
- 2008-09-16 JP JP2008236152A patent/JP5428261B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07294240A (en) * | 1994-04-21 | 1995-11-10 | Japan Aviation Electron Ind Ltd | Position sensor |
JPH08289226A (en) * | 1995-04-18 | 1996-11-01 | Minolta Co Ltd | Video display device |
JPH1093889A (en) * | 1996-09-13 | 1998-04-10 | Minolta Co Ltd | Head mount video display device |
JP2005300730A (en) * | 2004-04-08 | 2005-10-27 | Nikon Corp | Head mounted display |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140138620A (en) * | 2012-03-22 | 2014-12-04 | 소니 주식회사 | Head-mounted display with tilt sensor for medical use |
KR102084276B1 (en) * | 2012-03-22 | 2020-03-03 | 소니 주식회사 | Head-mounted display with tilt sensor for medical use |
WO2014069090A1 (en) * | 2012-11-02 | 2014-05-08 | ソニー株式会社 | Image display device, image display method, and computer program |
WO2015098211A1 (en) * | 2013-12-25 | 2015-07-02 | ソニー株式会社 | Orientation measurement device, orientation measurement method, image processing device, image processing method, display device, display method, computer program, and image display system |
JPWO2015098211A1 (en) * | 2013-12-25 | 2017-03-23 | ソニー株式会社 | Attitude measurement apparatus and attitude measurement method, image processing apparatus and image processing method, display apparatus and display method, computer program, and image display system |
US10185389B2 (en) | 2013-12-25 | 2019-01-22 | Sony Corporation | Posture measuring device, posture measuring method, image processing device, image processing method, and image display system |
JP2016167844A (en) * | 2016-04-21 | 2016-09-15 | ソニー株式会社 | Head-mounted display, control method of head-mounted display, and display system and control method of the same |
US10778893B2 (en) | 2017-12-22 | 2020-09-15 | Seiko Epson Corporation | Detection device, display device and detection method |
WO2022030746A1 (en) * | 2020-08-07 | 2022-02-10 | 삼성전자 주식회사 | Electronic device for sensing wearing state of electronic device using inertial sensor, and method for controlling same |
WO2023026550A1 (en) * | 2021-08-26 | 2023-03-02 | ソニーグループ株式会社 | Wearable display device, detection method, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP5428261B2 (en) | 2014-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5428261B2 (en) | Control device, head mounted display device, program, and control method | |
US20180210204A1 (en) | Control device, head-mount display device, program, and control method for detecting head motion of a user | |
JP5869177B1 (en) | Virtual reality space video display method and program | |
EP3343320B1 (en) | Information processing apparatus, information processing system, and information processing method | |
US10185389B2 (en) | Posture measuring device, posture measuring method, image processing device, image processing method, and image display system | |
EP3859495B1 (en) | Systems and methods for tracking motion and gesture of heads and eyes | |
WO2004020946A1 (en) | Method and device for head tracking | |
US20190251672A1 (en) | Display apparatus and image processing method thereof | |
US20100002015A1 (en) | Orientation-following display apparatus, orientation-following display method, and orientation-following display program | |
JP7504253B2 (en) | Virtual Object Display Device | |
KR20160147735A (en) | Head region position detection device and head region position detection method, image processing device and image processing method, display device, and computer program | |
JP2018055589A (en) | Program, object chasing method, and display apparatus | |
US20240143066A1 (en) | Head-mounted information processing apparatus and its controlling method | |
JP2012043194A (en) | Information processor, information processing method, and program | |
JP5937137B2 (en) | Geomagnetic detector | |
JP5952931B1 (en) | Computer program | |
JP2002312117A (en) | Cylindrical image spherical image control device | |
JP2000065576A (en) | Graphic display device | |
JP2005147894A (en) | Measuring method and measuring instrument | |
CN118318219A (en) | Augmented reality display with eye image stabilization | |
JP2004056272A (en) | All-round image display apparatus and magnetism correction method of head tracker used for the same | |
CN114764241A (en) | Motion state control method, device and equipment and readable storage medium | |
JP6788294B2 (en) | Display control device and program | |
JP6788295B2 (en) | Display control device and program | |
US20140218288A1 (en) | Display device, display control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131118 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5428261 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |