JP2004085476A - ヘッドトラッキング方法及び装置 - Google Patents
ヘッドトラッキング方法及び装置 Download PDFInfo
- Publication number
- JP2004085476A JP2004085476A JP2002249443A JP2002249443A JP2004085476A JP 2004085476 A JP2004085476 A JP 2004085476A JP 2002249443 A JP2002249443 A JP 2002249443A JP 2002249443 A JP2002249443 A JP 2002249443A JP 2004085476 A JP2004085476 A JP 2004085476A
- Authority
- JP
- Japan
- Prior art keywords
- angle
- head
- sensor
- head tracking
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B2027/0192—Supplementary details
- G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Gyroscopes (AREA)
Abstract
【課題】ヘッドマウントディスプレイなどで、頭部が向いている方向の検出が簡単なセンサ構成でできるようにする。
【解決手段】頭部の向いた3次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する2軸となす角度であるピッチ角及びロ─ル角の3軸で検出する場合に、ヨウ角を加速度の積分値から検出するジャイロセンサ11と、直立軸方向と直交する平面の傾斜を検出する傾斜センサ12と、傾斜センサの出力からピッチ角及びロ─ル角を算出する演算手段14とを備えた。
【選択図】 図7
【解決手段】頭部の向いた3次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する2軸となす角度であるピッチ角及びロ─ル角の3軸で検出する場合に、ヨウ角を加速度の積分値から検出するジャイロセンサ11と、直立軸方向と直交する平面の傾斜を検出する傾斜センサ12と、傾斜センサの出力からピッチ角及びロ─ル角を算出する演算手段14とを備えた。
【選択図】 図7
Description
【0001】
【発明の属する技術分野】
本発明は、ヘッドマウントディスプレイなどで、頭部が向いている方向を検出するヘッドトラッキング方法及び装置に関する。
【0002】
【従来の技術】
近年、人間の頭部が向いている3次元的な方向をセンサで検出して、その検出した方向の映像を、頭部に装着したヘッドマウントディスプレイ(HMD)に表示させるようにしたものが、バ─チャルリアリティと称されて各種実用化されている。
【0003】
図11は、従来のヘッドマウントディスプレイの構成例を示す図である。この例では、頭部の動きを検出するセンサ部70と、頭部に装着されるヘッドマウントディスプレイ部80と、この映像表示部80に映像信号を供給するホスト部90とで構成される。センサ部70は、人間の頭部の動きを3次元的に検出する3つのセンサ71,72,73と、各センサ71,72,73の出力に基づいて、人間の頭部の3次元的な動きを演算する中央制御ユニット74と、中央制御ユニット74で演算された頭部の正面が向いた方向のデータをホスト部90に伝えるコントロール用インターフェース部75とで構成される。
【0004】
3つのセンサ71,72,73は、例えばそれぞれが直交する3つの軸方向の加速度を個別に検出する角速度センサで構成され、中央制御ユニット74での3軸の加速度の判断で、頭部の3次元的な動きを判断する。
【0005】
ホスト部90は、例えばある地点の周囲の全周の映像データを蓄積するメモリ91と、そのメモリ91に蓄積された映像データの中から、センサ部70で検出された方向の映像データを読出して、3D処理部93に供給する中央制御ユニット92と、供給される映像データを画像表示用の映像データとする3D処理部93と、3D処理部93で作成された映像データを、ヘッドマウントディスプレイ部80に供給するビデオインターフェース部94とで構成される。
【0006】
ヘッドマウントディスプレイ部80は、映像の表示制御を行う中央制御ユニット81と、ホスト部90から供給される映像データを受信するビデオインターフェース部82と、ビデオインターフェース部82が受信した映像データを表示処理する映像表示部83とで構成される。映像表示部83は、例えば左右の目の近傍に配置される液晶表示パネルが表示手段として使用される。センサ部70とヘッドマウントディスプレイ部80は、一体に構成されるのが一般的である。ホスト部90は、例えば、パーソナルコンピュータ装置とハードディスクや光ディスクなどの大容量記憶手段で構成される。
【0007】
このように構成されるヘッドマウントディスプレイを用意することで、装着者の頭部の動きに連動した映像を表示させることが可能になり、いわゆるバ─チャルリアリティの映像を表示させることが可能になる。
【0008】
【発明が解決しようとする課題】
ところが、従来のヘッドマウントディスプレイは、頭部の動きを検出するセンサ部として、直交する3軸の加速度を個別に検出する3つの加速度センサが必要であり、構成が複雑である問題点があった。特に、ヘッドマウントディスプレイは、ユーザの頭部に装着される機器であるので、小型,軽量に構成させることが好ましく、3つのセンサを必要とすることは、好ましくなかった。
【0009】
本発明はかかる点に鑑みてなされたものであり、頭部が向いている方向の検出が簡単なセンサ構成でできるようにすることを目的とする。
【0010】
【課題を解決するための手段】
本発明は、頭部の直立軸の周囲の回転角であるヨウ角をジャイロセンサの出力の積分値から判断し、頭部の直立軸方向と直交する平面の傾斜を検出する傾斜センサの出力から、ピッチ角及びロ─ル角を算出して、ヘッドトラッキング角度を検出するようにしたものである。
【0011】
このようにしたことで、ジャイロセンサと傾斜センサの2つのセンサを設けるだけで、頭部が向いている3次元的な方向を検出できるようになる。
【0012】
【発明の実施の形態】
以下、図1〜図10を参照して、本発明の一実施の形態について説明する。
【0013】
図1は、本例のヘッドマウントディスプレイの装着例を示す図である。本例のヘッドマウントディスプレイ100は、ユーザの頭部hの左右の耳介の上に装着されるヘッドホンの如き形状としてあり、そのヘッドホンの如き形状とした上で映像表示部を取付けてある。図1は、映像表示部110を、ユーザの目の前に位置させて、映像と音声を視聴する状態を示してある。このヘッドマウントディスプレイ100は、図示しない映像信号源とケーブル148で接続させてあり、その映像信号源から供給される映像を映像表示部110で表示させると共に、左右の耳介に装着されたドライバユニットから、供給される音声を出力させる。本例の場合には、ヘッドマウントディスプレイ100内に、装着者が向いた方向を検出するセンサを内蔵させてあり、そのセンサの出力に基づいて検出された装着者が向いた方向に対応した映像を、映像信号源からヘッドマウントディスプレイ100に供給して表示させるようにしてある。音声についても、ステレオ音声信号として、そのとき向いた方向に対応した位相の音声を出力させるようにしても良い。
【0014】
図2は、ヘッドマウントディスプレイ100の形状の例を示した図である。本例のヘッドマウントディスプレイ100は、左ドライバユニット140と右ドライバユニット150を、バンド130で接続させた上で、左右のドライバユニット140,150で支持された状態で、横長形状の映像表示部110を取付けるようにしてある。バンド130は、弾力性を有する素材で構成させてあり、左ドライバユニット140と右ドライバユニット150とが、比較的弱い力で装着者の耳介側に押しつけられて、頭部に保持される構成としてある。また、頭部に装着されてない状態では、左右のドライバユニット140,150どうしの一部が接触するように近接する状態となっている。
【0015】
バンド130については、幅広部131が中央部に形成させてあり、装着者の頭部でヘッドマウントディスプレイ100を安定して保持できる構成としてある。また、バンド130の一端及び他端には、U字金具保持部132,133が構成させてあり、各ドライバユニット140,150の上端に取付けられたU字金具144,154の途中を、U字金具保持部132,133で保持させるようにしてある。このU字金具144,154を、保持部132,133で保持する位置を変化させることで、装着者の頭部の大きさに応じた調整ができる。
【0016】
各ドライバユニット140,150は、音声信号の供給で音声を出力する円形のドライバ(スピーカユニット)が内部に配置されたドライバ配置部141,151が中央に設けてあり、各ドライバ配置部141,151の周囲に、環状のイヤーパッド142,152が取付けてある。本例の各ドライバ配置部141,151と各イヤーパッド142,152との間には、空洞部147,157が設けてあり、装着者の耳介に対して若干浮いた状態で、ドライバ配置部141,151が位置するようにしてあり、いわゆるフルオープンエア型のヘッドホンとなるようにしてある。
【0017】
映像表示部110については、装着者の左目の前面に左目用の映像表示パネル100Lが配置してあり、装着者の右目の前面に右目用の映像表示パネル100Rが配置してある。図1,図2では、外側から見た図となっているため、映像表示パネル100L,100Rは見えない状態となっている。それぞれの映像表示パネル100L,100Rは、例えば液晶表示パネルが使用される。図3は、装着状態を真横から見た図であり、装着者の目の前に左右の映像表示パネル100L,100Rが位置している状態が判る。但し、液晶表示パネルなどの映像表示手段が、目に近接した位置にあるとは限らず、映像表示部110の内部に表示パネルが配置されて、光学部品を介して装着者の目前に映像が表示されるように見える構成としてある場合もある。また、バックライトなどの照明手段が必要な場合にも、映像表示部110に内蔵させてある。
【0018】
左右の液晶表示パネル100L,100Rの間の下部には、鼻用切り欠き部100nが設けてあり、図1に示したような装着時に、映像表示部110が装着者の鼻に接触しないようにしてある。
【0019】
映像表示部110を左右のドライバユニット140,150で支持する機構としては、映像表示部110の一端及び他端が、連結部111,112を介して、水平面上で回動できる状態で接続部材113,114に接続させてあり、さらに各接続部材113,114の端部が連結部115,116を介して、棒状の接続部材117,118に水平面上で回動できる状態で取付けてある。
【0020】
このように左右2箇所、合計4箇所の連結部111,112,115,116を有しているために、上述したように、ヘッドマウントディスプレイ100が非装着の状態で、左右のドライバユニット140,150が近接した状態から、装着時に左右のドライバユニット140,150が離れた状態まで、映像表示部110を良好に保持できる構造となっている。
【0021】
映像表示部110に接続された棒状の接続部材117,118は、接続部材123,124に固定された軸保持部121,122の透孔121a,122aを通過させてあり、その透孔121a,122aからの棒状の接続部材117,118の突出長を調整することで、映像表示部110と装着者の目との間の距離を調整できるようにしてある。
【0022】
また、接続部材123,124は、左右のドライバユニット140,150側と連結部145,155を介して上下に回動できる状態に接続させてあり、この回動により、映像表示部110を上部に上げることができる構成としてある。図4は、映像表示部110を上部に上げた状態の例を示した図である。このように映像表示部110を上部に上げたときには、バンド130の上に映像表示部110が位置することになる。なお、映像表示部110は、棒状の接続部材117,118の後端から外部に露出したコード146,156を介して左右のドライバユニット140,150内と電気的に接続させてあり、映像信号源と接続されたコード148を介して得られた映像信号が、映像表示部110に供給されると共に、映像信号源からの音声信号についても、コード146,156を介して右のドライバユニット150に供給される構成としてある。また、図示しない2つのセンサがドライバユニット150(或いは映像表示部110)に内蔵させてあり、そのセンサ出力に基づいたコントロール用のデータが、コード148を介して映像信号源側に供給されるようにしてある。
【0023】
また、図示はしないが、本例のヘッドマウントディスプレイ100の所定位置(例えば一方のドライバユニット140)には、リセットスイッチが取付けてあり、また、その他のキースイッチやボリューム等の操作手段についても、必要により配置してある。
【0024】
次に、本例のヘッドマウントディスプレイ100で、装着者の頭部が向いた方向を検出する処理構成の原理を、図5及び図6を参照して説明する。図5Aに示すように、直立した状態の頭部hを直立する軸をZ軸とし、そのZ軸と直交する2つの軸であるX軸,Y軸を考えて、そのX軸,Y軸,Z軸で装着者の頭部が向いた方向の3次元的な座標位置を考えるとする。図5Bに示すように、X軸は頭部の左右方向の軸であり、Y軸は頭部の前後方向の軸である。このとき、頭部hの水平的な回動は、Z軸の回りを回転する角であるヨウ角(Yaw角)θで示され、頭部hの前後方向の傾きは、Y軸との間でなす角度であるピッチ角(お辞儀方向の角度)として示され、頭部hの左右方向の傾きは、X軸との間でなす角度であるロール角(かしげ方向の角度)として示される。
【0025】
装着者の頭部が向いた3次元的な方向を正確に検出するためには、ヨウ角θとロール角及びピッチ角の検出が必要であり、従来はそれぞれの角度の検出を行うために、それぞれ別の方向を向いた3つのセンサで角速度を個別に検出するようにしていた。ここで本例においては、ヨウ角θについては、1つのジャイロセンサから検出するようにしてあり、ロール角とピッチ角については、図5Aに示すように、センサの中心を図の座標系の原点として、X軸とY軸で構成される平面(XY平面)に対するX軸方向、Y軸方向の傾きを検出する傾斜センサ(2軸傾斜センサ)の出力から判断するようにしてある。ここでは、Y軸方向の傾きS1 を、X軸回転方向の角度ピッチ角と同等とし、X軸方向の傾きS2 を、Y軸回転方向の角度ロール角と同等とする。
【0026】
なお、傾斜センサは、静的な加速度である重力を計測するセンサであるため、±90°の判断手しか検出できないが、直立状態における人間の頭部の回転角をカバーできる範囲内であるため、人間の頭部の回転位置を検出できる。さらに、ピッチ角やロール角は、静的な加速度である重力を絶対座標軸として出力となるので、センサによるドリフト現象は発生しない。Z軸方向の加速度S1 及びS2 は、同じ方向の加速度であるので、図6に示すように、Z軸方向の加速度を検出する1つの加速度センサ12で、加速度S1 及びS2 を検出して、ロール角とピッチ角を判断するようにしてある。また、ヨウ角θは、この方向の加速度を検出するジャイロセンサ11が出力する加速度から判断するようにしてある。この2つのセンサ11,12は、既に述べたように、ヘッドマウントディスプレイ100のいずれかの位置に配置すれば良い。
【0027】
次に、本例のヘッドマウントディスプレイ100の回路構成を、図7のブロック図を参照して説明する。図7では、ヘッドマウントディスプレイ100にコード148を介して接続される映像信号源20の構成についても示してある。
【0028】
ヘッドマウントディスプレイ100に取付けられたジャイロセンサ11は、そのセンサ11が出力す加速度信号をアナログ処理部13に供給して、ローパスフィルタによるフィルタリング、増幅などのアナログ処理を行い、その後デジタルデータ化し、中央制御ユニット14に供給する。傾斜センサ12は、ここではパルス幅変調信号であるPWM信号として、加速度信号を出力するセンサとしてあり、X軸方向の傾斜状態と、Y軸回転方向の傾斜状態とを、個別にPWM信号として中央制御ユニット14に供給する。この供給されたPWM信号に基づいて、ロール角及びピッチ角を算出するようにしてある。
【0029】
また、ヘッドマウントディスプレイ100に設けられたリセットスイッチ15と、キースイッチ16の操作を、中央制御ユニット14で検出する構成としてある。中央制御ユニット14では、リセットスイッチ15が操作されたときの位置を基準位置として、ジャイロセンサ11と加速度センサ12との出力に基づいて、その基準位置からの装着者の頭部の動きを検出する構成としてある。頭部の正面が向く方向であるヨウ角については、ジャイロセンサ11の出力に基づいて算出するようにしてある。但し、傾斜センサ12の出力に基づいて算出されたロール角及びピッチ角を使用して、ジャイロセンサ11の出力に基づいて算出されたヨウ角を補正するようにしても良い。具体的には、例えば頭部がいずれかの方向に比較的大きく傾斜した状態でヨウ角の動きがあった場合に、ジャイロセンサ11の出力から検出されるヨウ角に誤差が生じる可能性があり、そのような場合に、算出されたロール角及びピッチ角を使用して、ヨウ角を補正しても良い。
【0030】
中央制御ユニット14で算出された3軸(ヨウ角、ロール角、ピッチ角)の各軸毎の算出角度のデータは、ヘッドトラッキング角度データとして、コントロール用インターフェース部18から、映像信号源20側に送られる。
【0031】
映像信号源20は、例えばある地点の周囲の全周の映像データと、その映像データに付随する音声データを蓄積するメモリ21と、そのメモリ21に蓄積された映像データの中から、ヘッドマウントディスプレイ100で検出されたヘッドトラッキング角度データで示される方向の映像データを読出して、3D処理部23に供給する制御を行う中央制御ユニット22と、供給される映像データを画像表示用の映像データとする3D処理部23と、3D処理部23で作成された映像データを、ヘッドマウントディスプレイ部100に供給するビデオインターフェース部24と、ヘッドマウントディスプレイ100で検出されたヘッドトラッキング角度データを受信するコントロール用インターフェース部25とで構成される。
【0032】
そして、映像信号源20からヘッドマウントディスプレイ100に供給される映像データは、ヘッドマウントディスプレイ100のビデオインターフェース部17で受信されて、映像表示部110に供給し、映像表示部110内の左右の映像表示パネル100L,100Rに表示させる処理を行う。なお、映像データが立体映像表示用の映像データである場合には、左右の映像表示パネル100L,100Rに供給して表示させる映像データが個別のものになる。ビデオインターフェース部17での受信、及び映像表示部110での映像表示についても、中央制御ユニット14の制御で実行される。
【0033】
なお、図7のブロック図では、音声データを処理する構成については省略してある。音声データについては、ヘッドトラッキング処理を行わなくても良いが、ステレオ音声を出力させる場合に、その音像が定位する方向を、ヘッドトラッキング角度データで示される角度に変化させても良い。映像信号源20については、例えば、パーソナルコンピュータ装置,ビデオゲーム機器,PDA(PersonalDidital Assistants ),携帯電話端末などの演算処理を実行する手段と、これらの機器が内蔵(又は取付けられた)ハードディスク,光ディスク,半導体メモリなどの大容量記憶手段で構成される。
【0034】
次に、本例のヘッドマウントディスプレイ100でヘッドトラッキング角度データを得るヘッドトラッキング処理例を、図8〜図10のフローチャートを参照して説明する。まず、ヘッドトラッキングのメイン処理を、図8のフローチャートを参照して説明すると、ヘッドマウントディスプレイ100の電源投入があると(ステップS11)、各種初期化命令の出力による初期化処理が行われ(ステップS12)、その後リセット信号処理が実行される(ステップS13)。リセット信号処理では、リセットスイッチ15の操作又は映像信号源20からのリセット信号の要求により、そのときの装着者の姿勢時におけるヘッドトラッキングデータを保存し、信号されるヘッドトラッキングデータがその姿勢で0°となるようにする。また、その場合、例えばヨウ角は、±180°を検出できるので問題ないが、ピッチ角とロール角は検出できる範囲が±90°であるため、その2軸に関してのリセットを受け付ける姿勢角を、図5,図6に示したZ軸と直交する平面付近に限定する処理が行われる。
【0035】
次に、3軸角度検出処理が行われる(ステップS14)。この3軸角度検出処理では、2軸傾斜センサ処理と、ジャイロセンサ処理が行われる。図9は、2軸傾斜センサ処理を示したフローチャートである。2軸傾斜センサ処理では、傾斜センサ12から供給されるPWM信号のX軸のデューティ比及びY軸のデューティ比を検出する(ステップS21,S22)。そして、各デューティ比から、ピッチ角及びロール角を算出する(ステップS23)。そして、傾斜センサ12の加速度検出軸が、装着者のX軸,Y軸に対し、XY平面上で、ヨウ角方向にずれがあった場合、算出したピッチ角とロール角に、そのずれの補正を行い(ステップS24)、2軸傾斜センサ処理を終了する(ステップS25)。
【0036】
図10は、ジャイロセンサ処理を示したフローチャートである。ジャイロセンサ処理では、まずジャイロセンサからの出力をデジタル変換したデータを取得する(ステップS31)。次に、そのゲインの異なる複数の中央制御ユニットでデジタル変換して、ダイナミックレンジを大きくするためのゲインレンジング処理を行い(ステップS32)、さらにジャイロセンサ11のDCオフセットをカットする処理を行う(ステップS33)。そして、ノイズ成分をカットするためのコアリング処理を行い(ステップS34)、角速度データの積分処理により、ヨウ角を算出し(ステップS35)、ジャイロセンサ処理を終了する(ステップS36)。なお、既に説明したように、ステップS35でヨウ角を算出する際には、2軸傾斜センサ処理で検出されたピッチ角とロール角に基づいて、算出されたヨウ角を補正するようにしても良い。
【0037】
図8のメイン処理に戻ると、このようにして算出されたヨウ角とピッチ角とロール角を使用して、ヘッドトラッキング角度を求め、そのヘッドトラッキング角度データを、映像信号源側に転送する処理を行い(ステップS15)、ステップS13のリセット信号処理に戻る。但し、リセット信号処理でリセットスイッチの操作又はリセット信号の供給がない場合には、そのままステップS14の3軸角度検出処理に戻る。
【0038】
なお、ステップS14での3軸角度検出処理では、2軸傾斜センサ処理として、重力である静的な加速度を検出して、その検出時の傾斜角度を求めるのに対し、ジャイロセンサ処理では、動的な加速度成分を検出して、積分することでヨウ角を求めるのであるので、それぞれの処理を行う周期は異なった周期であっても良い。ヘッドトラッキング角度データを、映像の切り出し範囲選定に利用する場合、ヘッドトラッキング検出の遅延時間が重要になってくるので、最大でも映像の更新レート以内に、ヘッドトラッキング処理を完了させ、転送する必要があり、処理時間配分が最も効率的となる周期で、図9のフローチャートの2軸傾斜センサ処理と図10のジャイロセンサ処理を実行することが重要になる。一例としては、16ビットで演算を行う汎用のマイクロプロセッサを中央制御ユニットとし、2軸傾斜センサ処理を125Hz周期で行い、ジャイロセンサ処理を1.25KHz周期で行うことで、上述した更新レートを満たすことが可能である。
【0039】
このように構成されるヘッドマウントディスプレイ100によると、装着者の頭部の動きに連動した映像を表示させることが可能になり、いわゆるバ─チャルリアリティの映像を表示させることが可能になる。また、音声についても、ヘッドトラッキングさせた音声の出力が可能になる。
【0040】
そして、ヘッドトラッキング角度を検出するセンサとしては、ジャイロセンサと2軸傾斜センサを用意するだけで良く、2個のセンサだけを使用した簡単な構成で、良好に3次元的なヘッドトラッキング角度の検出が可能になる。ピッチ角とロール角については、±90°に検出範囲が制限されることになるが、通常の人間の頭部の動きの範囲内の姿勢角を検出する分には十分な範囲であり、実用上問題はない。また、本例の場合には、ピッチ角とロール角は傾斜センサを使用して検出するので、ドリフト現象が発生することがなく、水平方向に安定した映像などでの仮想3D空間が、簡易で低コストに実現できる。また、センサの数が少ないために、ヘッドトラッキング角度を算出する演算手段(中央制御ユニット)での演算処理負担がそれだけ少なくて済む効果を有する。さらに、センサが少なくて良いので、ヘッドマウントディスプレイそのものを小型に構成でき、ヘッドマウントディスプレイの装着感を向上させることができる。
【0041】
なお、図1〜図4に示した本例の形状のヘッドマウントディスプレイの場合には、いわゆるフルオープンエア型のヘッドホンに映像表示部を取付けて、ヘッドマウントディスプレイとして機能する形状としてあるので、従来からあるフルオープンエア型のヘッドホンとほぼ同様の装着感で、ヘッドマウントディスプレイを装着することができ、ヘッドマウントディスプレイとして良好なものになる。また、図4に示したように、映像表示部110をはね上げた場合には、ヘッドホンとしても使用可能であり、装置の汎用性が高い。
【0042】
なお、この図1〜図4に示したヘッドマウントディスプレイの外形形状については一例を示したものであり、その他の形状のヘッドマウントディスプレイに、本発明を適用することができることは勿論である。また、ステレオ音声の音像定位位置を、ヘッドトラッキングで行うヘッドホン装置(即ち映像表示機能のない装置)に、本発明のヘッドトラッキング処理を適用しても良い。
【0043】
さらに、上述した実施の形態では、ヘッドマウントディスプレイにリセットスイッチを設けて、そのリセットスイッチの操作された位置を、基準位置として、その位置からの動きを検出するようにしたが、何らかの方法(例えば地磁気センサなど)で絶対的な方位を検出するようにして、リセットスイッチを設けることなく、絶対的な角度によるヘッドトラッキング処理を行うようにしても良い。
【0044】
【発明の効果】
本発明によると、ジャイロセンサと傾斜センサの2つのセンサを設けるだけで、頭部が向いている3次元的な方向を検出でき、低コストで簡易にヘッドトラッキングを行うシステムを実現できるようになる。
【0045】
この場合、ジャイロセンサの出力からヨウ角を判断する周期は、傾斜センサの出力からピッチ角及びロ─ル角を算出する周期よりも短い周期としたことで、ジャイロセンサが出力する動的な角速度の短周期での判断に基づいて、ヨウ角の判断が正確に行えると共に、ピッチ角及びロ─ル角については、重力である静的な加速度から算出されるので、ある程度検出周期が長くなっても、常時正確に検出でき、良好な演算配分で、精度良く3軸の角度を検出できるようになる。
【0046】
また、判断されたロール角及びピッチ角から、ジャイロセンサの出力から判断したヨウ角の補正を行うことで、より正確なヨウ角が判断できるようになる。
【図面の簡単な説明】
【図1】本発明の一実施の形態によるヘッドマウントディスプレイの装着例を示す斜視図である。
【図2】本発明の一実施の形態によるヘッドマウントディスプレイの形状の一例を示す斜視図である。
【図3】図2例のヘッドマウントディスプレイの側面図である。
【図4】図2例のヘッドマウントディスプレイの映像表示部を上げた状態の例を示す斜視図である。
【図5】本発明の一実施の形態による基準軸を示す説明図である。
【図6】本発明の一実施の形態によるセンサによる検出状態の示す説明図である。
【図7】本発明の一実施の形態によるシステム構成例を示すブロック図である。
【図8】本発明の一実施の形態によるヘッドトラッキング処理例を示すフローチャートである。
【図9】本発明の一実施の形態による2軸センサ処理例を示すフローチャートである。
【図10】本発明の一実施の形態によるジャイロセンサ処理例を示すフローチャートである。
【図11】従来のヘッドマウントディスプレイのシステム構成例を示すブロック図である。
【符号の説明】
11…ジャイロセンサ、12…加速度センサ、13…アナログ処理部、14…中央制御ユニット(CPU)、15…リセットスイッチ、16…キースイッチ、17…ビデオインターフェース部、18…コントロール用インターフェース部、20…映像信号源、21…メモリ、22…中央制御ユニット(CPU)、23…3D処理部、24…ビデオインターフェース部、25…コントロール用インターフェース部、100…ヘッドマウントディスプレイ、100L,100R…映像表示パネル、100n…鼻用切り欠き部、110…映像表示部、111,112…連結部、113,114…接続部材、115,116…連結部、117,118…接続部材、121,122…軸保持部、123,124…接続部、130…バンド、131…幅広部、132,133…U字金具保持部、140…左ドライバユニット、141…ドライバ配置部、142…イヤーパッド、143…金具保持部、144…U字金具、145…連結部、146…コード、147…空洞部、148…コード、150…右ドライバユニット、151…ドライバ配置部、152…イヤーパッド、153…金具保持部、154…U字金具、155…連結部、156…コード、157…空洞部
【発明の属する技術分野】
本発明は、ヘッドマウントディスプレイなどで、頭部が向いている方向を検出するヘッドトラッキング方法及び装置に関する。
【0002】
【従来の技術】
近年、人間の頭部が向いている3次元的な方向をセンサで検出して、その検出した方向の映像を、頭部に装着したヘッドマウントディスプレイ(HMD)に表示させるようにしたものが、バ─チャルリアリティと称されて各種実用化されている。
【0003】
図11は、従来のヘッドマウントディスプレイの構成例を示す図である。この例では、頭部の動きを検出するセンサ部70と、頭部に装着されるヘッドマウントディスプレイ部80と、この映像表示部80に映像信号を供給するホスト部90とで構成される。センサ部70は、人間の頭部の動きを3次元的に検出する3つのセンサ71,72,73と、各センサ71,72,73の出力に基づいて、人間の頭部の3次元的な動きを演算する中央制御ユニット74と、中央制御ユニット74で演算された頭部の正面が向いた方向のデータをホスト部90に伝えるコントロール用インターフェース部75とで構成される。
【0004】
3つのセンサ71,72,73は、例えばそれぞれが直交する3つの軸方向の加速度を個別に検出する角速度センサで構成され、中央制御ユニット74での3軸の加速度の判断で、頭部の3次元的な動きを判断する。
【0005】
ホスト部90は、例えばある地点の周囲の全周の映像データを蓄積するメモリ91と、そのメモリ91に蓄積された映像データの中から、センサ部70で検出された方向の映像データを読出して、3D処理部93に供給する中央制御ユニット92と、供給される映像データを画像表示用の映像データとする3D処理部93と、3D処理部93で作成された映像データを、ヘッドマウントディスプレイ部80に供給するビデオインターフェース部94とで構成される。
【0006】
ヘッドマウントディスプレイ部80は、映像の表示制御を行う中央制御ユニット81と、ホスト部90から供給される映像データを受信するビデオインターフェース部82と、ビデオインターフェース部82が受信した映像データを表示処理する映像表示部83とで構成される。映像表示部83は、例えば左右の目の近傍に配置される液晶表示パネルが表示手段として使用される。センサ部70とヘッドマウントディスプレイ部80は、一体に構成されるのが一般的である。ホスト部90は、例えば、パーソナルコンピュータ装置とハードディスクや光ディスクなどの大容量記憶手段で構成される。
【0007】
このように構成されるヘッドマウントディスプレイを用意することで、装着者の頭部の動きに連動した映像を表示させることが可能になり、いわゆるバ─チャルリアリティの映像を表示させることが可能になる。
【0008】
【発明が解決しようとする課題】
ところが、従来のヘッドマウントディスプレイは、頭部の動きを検出するセンサ部として、直交する3軸の加速度を個別に検出する3つの加速度センサが必要であり、構成が複雑である問題点があった。特に、ヘッドマウントディスプレイは、ユーザの頭部に装着される機器であるので、小型,軽量に構成させることが好ましく、3つのセンサを必要とすることは、好ましくなかった。
【0009】
本発明はかかる点に鑑みてなされたものであり、頭部が向いている方向の検出が簡単なセンサ構成でできるようにすることを目的とする。
【0010】
【課題を解決するための手段】
本発明は、頭部の直立軸の周囲の回転角であるヨウ角をジャイロセンサの出力の積分値から判断し、頭部の直立軸方向と直交する平面の傾斜を検出する傾斜センサの出力から、ピッチ角及びロ─ル角を算出して、ヘッドトラッキング角度を検出するようにしたものである。
【0011】
このようにしたことで、ジャイロセンサと傾斜センサの2つのセンサを設けるだけで、頭部が向いている3次元的な方向を検出できるようになる。
【0012】
【発明の実施の形態】
以下、図1〜図10を参照して、本発明の一実施の形態について説明する。
【0013】
図1は、本例のヘッドマウントディスプレイの装着例を示す図である。本例のヘッドマウントディスプレイ100は、ユーザの頭部hの左右の耳介の上に装着されるヘッドホンの如き形状としてあり、そのヘッドホンの如き形状とした上で映像表示部を取付けてある。図1は、映像表示部110を、ユーザの目の前に位置させて、映像と音声を視聴する状態を示してある。このヘッドマウントディスプレイ100は、図示しない映像信号源とケーブル148で接続させてあり、その映像信号源から供給される映像を映像表示部110で表示させると共に、左右の耳介に装着されたドライバユニットから、供給される音声を出力させる。本例の場合には、ヘッドマウントディスプレイ100内に、装着者が向いた方向を検出するセンサを内蔵させてあり、そのセンサの出力に基づいて検出された装着者が向いた方向に対応した映像を、映像信号源からヘッドマウントディスプレイ100に供給して表示させるようにしてある。音声についても、ステレオ音声信号として、そのとき向いた方向に対応した位相の音声を出力させるようにしても良い。
【0014】
図2は、ヘッドマウントディスプレイ100の形状の例を示した図である。本例のヘッドマウントディスプレイ100は、左ドライバユニット140と右ドライバユニット150を、バンド130で接続させた上で、左右のドライバユニット140,150で支持された状態で、横長形状の映像表示部110を取付けるようにしてある。バンド130は、弾力性を有する素材で構成させてあり、左ドライバユニット140と右ドライバユニット150とが、比較的弱い力で装着者の耳介側に押しつけられて、頭部に保持される構成としてある。また、頭部に装着されてない状態では、左右のドライバユニット140,150どうしの一部が接触するように近接する状態となっている。
【0015】
バンド130については、幅広部131が中央部に形成させてあり、装着者の頭部でヘッドマウントディスプレイ100を安定して保持できる構成としてある。また、バンド130の一端及び他端には、U字金具保持部132,133が構成させてあり、各ドライバユニット140,150の上端に取付けられたU字金具144,154の途中を、U字金具保持部132,133で保持させるようにしてある。このU字金具144,154を、保持部132,133で保持する位置を変化させることで、装着者の頭部の大きさに応じた調整ができる。
【0016】
各ドライバユニット140,150は、音声信号の供給で音声を出力する円形のドライバ(スピーカユニット)が内部に配置されたドライバ配置部141,151が中央に設けてあり、各ドライバ配置部141,151の周囲に、環状のイヤーパッド142,152が取付けてある。本例の各ドライバ配置部141,151と各イヤーパッド142,152との間には、空洞部147,157が設けてあり、装着者の耳介に対して若干浮いた状態で、ドライバ配置部141,151が位置するようにしてあり、いわゆるフルオープンエア型のヘッドホンとなるようにしてある。
【0017】
映像表示部110については、装着者の左目の前面に左目用の映像表示パネル100Lが配置してあり、装着者の右目の前面に右目用の映像表示パネル100Rが配置してある。図1,図2では、外側から見た図となっているため、映像表示パネル100L,100Rは見えない状態となっている。それぞれの映像表示パネル100L,100Rは、例えば液晶表示パネルが使用される。図3は、装着状態を真横から見た図であり、装着者の目の前に左右の映像表示パネル100L,100Rが位置している状態が判る。但し、液晶表示パネルなどの映像表示手段が、目に近接した位置にあるとは限らず、映像表示部110の内部に表示パネルが配置されて、光学部品を介して装着者の目前に映像が表示されるように見える構成としてある場合もある。また、バックライトなどの照明手段が必要な場合にも、映像表示部110に内蔵させてある。
【0018】
左右の液晶表示パネル100L,100Rの間の下部には、鼻用切り欠き部100nが設けてあり、図1に示したような装着時に、映像表示部110が装着者の鼻に接触しないようにしてある。
【0019】
映像表示部110を左右のドライバユニット140,150で支持する機構としては、映像表示部110の一端及び他端が、連結部111,112を介して、水平面上で回動できる状態で接続部材113,114に接続させてあり、さらに各接続部材113,114の端部が連結部115,116を介して、棒状の接続部材117,118に水平面上で回動できる状態で取付けてある。
【0020】
このように左右2箇所、合計4箇所の連結部111,112,115,116を有しているために、上述したように、ヘッドマウントディスプレイ100が非装着の状態で、左右のドライバユニット140,150が近接した状態から、装着時に左右のドライバユニット140,150が離れた状態まで、映像表示部110を良好に保持できる構造となっている。
【0021】
映像表示部110に接続された棒状の接続部材117,118は、接続部材123,124に固定された軸保持部121,122の透孔121a,122aを通過させてあり、その透孔121a,122aからの棒状の接続部材117,118の突出長を調整することで、映像表示部110と装着者の目との間の距離を調整できるようにしてある。
【0022】
また、接続部材123,124は、左右のドライバユニット140,150側と連結部145,155を介して上下に回動できる状態に接続させてあり、この回動により、映像表示部110を上部に上げることができる構成としてある。図4は、映像表示部110を上部に上げた状態の例を示した図である。このように映像表示部110を上部に上げたときには、バンド130の上に映像表示部110が位置することになる。なお、映像表示部110は、棒状の接続部材117,118の後端から外部に露出したコード146,156を介して左右のドライバユニット140,150内と電気的に接続させてあり、映像信号源と接続されたコード148を介して得られた映像信号が、映像表示部110に供給されると共に、映像信号源からの音声信号についても、コード146,156を介して右のドライバユニット150に供給される構成としてある。また、図示しない2つのセンサがドライバユニット150(或いは映像表示部110)に内蔵させてあり、そのセンサ出力に基づいたコントロール用のデータが、コード148を介して映像信号源側に供給されるようにしてある。
【0023】
また、図示はしないが、本例のヘッドマウントディスプレイ100の所定位置(例えば一方のドライバユニット140)には、リセットスイッチが取付けてあり、また、その他のキースイッチやボリューム等の操作手段についても、必要により配置してある。
【0024】
次に、本例のヘッドマウントディスプレイ100で、装着者の頭部が向いた方向を検出する処理構成の原理を、図5及び図6を参照して説明する。図5Aに示すように、直立した状態の頭部hを直立する軸をZ軸とし、そのZ軸と直交する2つの軸であるX軸,Y軸を考えて、そのX軸,Y軸,Z軸で装着者の頭部が向いた方向の3次元的な座標位置を考えるとする。図5Bに示すように、X軸は頭部の左右方向の軸であり、Y軸は頭部の前後方向の軸である。このとき、頭部hの水平的な回動は、Z軸の回りを回転する角であるヨウ角(Yaw角)θで示され、頭部hの前後方向の傾きは、Y軸との間でなす角度であるピッチ角(お辞儀方向の角度)として示され、頭部hの左右方向の傾きは、X軸との間でなす角度であるロール角(かしげ方向の角度)として示される。
【0025】
装着者の頭部が向いた3次元的な方向を正確に検出するためには、ヨウ角θとロール角及びピッチ角の検出が必要であり、従来はそれぞれの角度の検出を行うために、それぞれ別の方向を向いた3つのセンサで角速度を個別に検出するようにしていた。ここで本例においては、ヨウ角θについては、1つのジャイロセンサから検出するようにしてあり、ロール角とピッチ角については、図5Aに示すように、センサの中心を図の座標系の原点として、X軸とY軸で構成される平面(XY平面)に対するX軸方向、Y軸方向の傾きを検出する傾斜センサ(2軸傾斜センサ)の出力から判断するようにしてある。ここでは、Y軸方向の傾きS1 を、X軸回転方向の角度ピッチ角と同等とし、X軸方向の傾きS2 を、Y軸回転方向の角度ロール角と同等とする。
【0026】
なお、傾斜センサは、静的な加速度である重力を計測するセンサであるため、±90°の判断手しか検出できないが、直立状態における人間の頭部の回転角をカバーできる範囲内であるため、人間の頭部の回転位置を検出できる。さらに、ピッチ角やロール角は、静的な加速度である重力を絶対座標軸として出力となるので、センサによるドリフト現象は発生しない。Z軸方向の加速度S1 及びS2 は、同じ方向の加速度であるので、図6に示すように、Z軸方向の加速度を検出する1つの加速度センサ12で、加速度S1 及びS2 を検出して、ロール角とピッチ角を判断するようにしてある。また、ヨウ角θは、この方向の加速度を検出するジャイロセンサ11が出力する加速度から判断するようにしてある。この2つのセンサ11,12は、既に述べたように、ヘッドマウントディスプレイ100のいずれかの位置に配置すれば良い。
【0027】
次に、本例のヘッドマウントディスプレイ100の回路構成を、図7のブロック図を参照して説明する。図7では、ヘッドマウントディスプレイ100にコード148を介して接続される映像信号源20の構成についても示してある。
【0028】
ヘッドマウントディスプレイ100に取付けられたジャイロセンサ11は、そのセンサ11が出力す加速度信号をアナログ処理部13に供給して、ローパスフィルタによるフィルタリング、増幅などのアナログ処理を行い、その後デジタルデータ化し、中央制御ユニット14に供給する。傾斜センサ12は、ここではパルス幅変調信号であるPWM信号として、加速度信号を出力するセンサとしてあり、X軸方向の傾斜状態と、Y軸回転方向の傾斜状態とを、個別にPWM信号として中央制御ユニット14に供給する。この供給されたPWM信号に基づいて、ロール角及びピッチ角を算出するようにしてある。
【0029】
また、ヘッドマウントディスプレイ100に設けられたリセットスイッチ15と、キースイッチ16の操作を、中央制御ユニット14で検出する構成としてある。中央制御ユニット14では、リセットスイッチ15が操作されたときの位置を基準位置として、ジャイロセンサ11と加速度センサ12との出力に基づいて、その基準位置からの装着者の頭部の動きを検出する構成としてある。頭部の正面が向く方向であるヨウ角については、ジャイロセンサ11の出力に基づいて算出するようにしてある。但し、傾斜センサ12の出力に基づいて算出されたロール角及びピッチ角を使用して、ジャイロセンサ11の出力に基づいて算出されたヨウ角を補正するようにしても良い。具体的には、例えば頭部がいずれかの方向に比較的大きく傾斜した状態でヨウ角の動きがあった場合に、ジャイロセンサ11の出力から検出されるヨウ角に誤差が生じる可能性があり、そのような場合に、算出されたロール角及びピッチ角を使用して、ヨウ角を補正しても良い。
【0030】
中央制御ユニット14で算出された3軸(ヨウ角、ロール角、ピッチ角)の各軸毎の算出角度のデータは、ヘッドトラッキング角度データとして、コントロール用インターフェース部18から、映像信号源20側に送られる。
【0031】
映像信号源20は、例えばある地点の周囲の全周の映像データと、その映像データに付随する音声データを蓄積するメモリ21と、そのメモリ21に蓄積された映像データの中から、ヘッドマウントディスプレイ100で検出されたヘッドトラッキング角度データで示される方向の映像データを読出して、3D処理部23に供給する制御を行う中央制御ユニット22と、供給される映像データを画像表示用の映像データとする3D処理部23と、3D処理部23で作成された映像データを、ヘッドマウントディスプレイ部100に供給するビデオインターフェース部24と、ヘッドマウントディスプレイ100で検出されたヘッドトラッキング角度データを受信するコントロール用インターフェース部25とで構成される。
【0032】
そして、映像信号源20からヘッドマウントディスプレイ100に供給される映像データは、ヘッドマウントディスプレイ100のビデオインターフェース部17で受信されて、映像表示部110に供給し、映像表示部110内の左右の映像表示パネル100L,100Rに表示させる処理を行う。なお、映像データが立体映像表示用の映像データである場合には、左右の映像表示パネル100L,100Rに供給して表示させる映像データが個別のものになる。ビデオインターフェース部17での受信、及び映像表示部110での映像表示についても、中央制御ユニット14の制御で実行される。
【0033】
なお、図7のブロック図では、音声データを処理する構成については省略してある。音声データについては、ヘッドトラッキング処理を行わなくても良いが、ステレオ音声を出力させる場合に、その音像が定位する方向を、ヘッドトラッキング角度データで示される角度に変化させても良い。映像信号源20については、例えば、パーソナルコンピュータ装置,ビデオゲーム機器,PDA(PersonalDidital Assistants ),携帯電話端末などの演算処理を実行する手段と、これらの機器が内蔵(又は取付けられた)ハードディスク,光ディスク,半導体メモリなどの大容量記憶手段で構成される。
【0034】
次に、本例のヘッドマウントディスプレイ100でヘッドトラッキング角度データを得るヘッドトラッキング処理例を、図8〜図10のフローチャートを参照して説明する。まず、ヘッドトラッキングのメイン処理を、図8のフローチャートを参照して説明すると、ヘッドマウントディスプレイ100の電源投入があると(ステップS11)、各種初期化命令の出力による初期化処理が行われ(ステップS12)、その後リセット信号処理が実行される(ステップS13)。リセット信号処理では、リセットスイッチ15の操作又は映像信号源20からのリセット信号の要求により、そのときの装着者の姿勢時におけるヘッドトラッキングデータを保存し、信号されるヘッドトラッキングデータがその姿勢で0°となるようにする。また、その場合、例えばヨウ角は、±180°を検出できるので問題ないが、ピッチ角とロール角は検出できる範囲が±90°であるため、その2軸に関してのリセットを受け付ける姿勢角を、図5,図6に示したZ軸と直交する平面付近に限定する処理が行われる。
【0035】
次に、3軸角度検出処理が行われる(ステップS14)。この3軸角度検出処理では、2軸傾斜センサ処理と、ジャイロセンサ処理が行われる。図9は、2軸傾斜センサ処理を示したフローチャートである。2軸傾斜センサ処理では、傾斜センサ12から供給されるPWM信号のX軸のデューティ比及びY軸のデューティ比を検出する(ステップS21,S22)。そして、各デューティ比から、ピッチ角及びロール角を算出する(ステップS23)。そして、傾斜センサ12の加速度検出軸が、装着者のX軸,Y軸に対し、XY平面上で、ヨウ角方向にずれがあった場合、算出したピッチ角とロール角に、そのずれの補正を行い(ステップS24)、2軸傾斜センサ処理を終了する(ステップS25)。
【0036】
図10は、ジャイロセンサ処理を示したフローチャートである。ジャイロセンサ処理では、まずジャイロセンサからの出力をデジタル変換したデータを取得する(ステップS31)。次に、そのゲインの異なる複数の中央制御ユニットでデジタル変換して、ダイナミックレンジを大きくするためのゲインレンジング処理を行い(ステップS32)、さらにジャイロセンサ11のDCオフセットをカットする処理を行う(ステップS33)。そして、ノイズ成分をカットするためのコアリング処理を行い(ステップS34)、角速度データの積分処理により、ヨウ角を算出し(ステップS35)、ジャイロセンサ処理を終了する(ステップS36)。なお、既に説明したように、ステップS35でヨウ角を算出する際には、2軸傾斜センサ処理で検出されたピッチ角とロール角に基づいて、算出されたヨウ角を補正するようにしても良い。
【0037】
図8のメイン処理に戻ると、このようにして算出されたヨウ角とピッチ角とロール角を使用して、ヘッドトラッキング角度を求め、そのヘッドトラッキング角度データを、映像信号源側に転送する処理を行い(ステップS15)、ステップS13のリセット信号処理に戻る。但し、リセット信号処理でリセットスイッチの操作又はリセット信号の供給がない場合には、そのままステップS14の3軸角度検出処理に戻る。
【0038】
なお、ステップS14での3軸角度検出処理では、2軸傾斜センサ処理として、重力である静的な加速度を検出して、その検出時の傾斜角度を求めるのに対し、ジャイロセンサ処理では、動的な加速度成分を検出して、積分することでヨウ角を求めるのであるので、それぞれの処理を行う周期は異なった周期であっても良い。ヘッドトラッキング角度データを、映像の切り出し範囲選定に利用する場合、ヘッドトラッキング検出の遅延時間が重要になってくるので、最大でも映像の更新レート以内に、ヘッドトラッキング処理を完了させ、転送する必要があり、処理時間配分が最も効率的となる周期で、図9のフローチャートの2軸傾斜センサ処理と図10のジャイロセンサ処理を実行することが重要になる。一例としては、16ビットで演算を行う汎用のマイクロプロセッサを中央制御ユニットとし、2軸傾斜センサ処理を125Hz周期で行い、ジャイロセンサ処理を1.25KHz周期で行うことで、上述した更新レートを満たすことが可能である。
【0039】
このように構成されるヘッドマウントディスプレイ100によると、装着者の頭部の動きに連動した映像を表示させることが可能になり、いわゆるバ─チャルリアリティの映像を表示させることが可能になる。また、音声についても、ヘッドトラッキングさせた音声の出力が可能になる。
【0040】
そして、ヘッドトラッキング角度を検出するセンサとしては、ジャイロセンサと2軸傾斜センサを用意するだけで良く、2個のセンサだけを使用した簡単な構成で、良好に3次元的なヘッドトラッキング角度の検出が可能になる。ピッチ角とロール角については、±90°に検出範囲が制限されることになるが、通常の人間の頭部の動きの範囲内の姿勢角を検出する分には十分な範囲であり、実用上問題はない。また、本例の場合には、ピッチ角とロール角は傾斜センサを使用して検出するので、ドリフト現象が発生することがなく、水平方向に安定した映像などでの仮想3D空間が、簡易で低コストに実現できる。また、センサの数が少ないために、ヘッドトラッキング角度を算出する演算手段(中央制御ユニット)での演算処理負担がそれだけ少なくて済む効果を有する。さらに、センサが少なくて良いので、ヘッドマウントディスプレイそのものを小型に構成でき、ヘッドマウントディスプレイの装着感を向上させることができる。
【0041】
なお、図1〜図4に示した本例の形状のヘッドマウントディスプレイの場合には、いわゆるフルオープンエア型のヘッドホンに映像表示部を取付けて、ヘッドマウントディスプレイとして機能する形状としてあるので、従来からあるフルオープンエア型のヘッドホンとほぼ同様の装着感で、ヘッドマウントディスプレイを装着することができ、ヘッドマウントディスプレイとして良好なものになる。また、図4に示したように、映像表示部110をはね上げた場合には、ヘッドホンとしても使用可能であり、装置の汎用性が高い。
【0042】
なお、この図1〜図4に示したヘッドマウントディスプレイの外形形状については一例を示したものであり、その他の形状のヘッドマウントディスプレイに、本発明を適用することができることは勿論である。また、ステレオ音声の音像定位位置を、ヘッドトラッキングで行うヘッドホン装置(即ち映像表示機能のない装置)に、本発明のヘッドトラッキング処理を適用しても良い。
【0043】
さらに、上述した実施の形態では、ヘッドマウントディスプレイにリセットスイッチを設けて、そのリセットスイッチの操作された位置を、基準位置として、その位置からの動きを検出するようにしたが、何らかの方法(例えば地磁気センサなど)で絶対的な方位を検出するようにして、リセットスイッチを設けることなく、絶対的な角度によるヘッドトラッキング処理を行うようにしても良い。
【0044】
【発明の効果】
本発明によると、ジャイロセンサと傾斜センサの2つのセンサを設けるだけで、頭部が向いている3次元的な方向を検出でき、低コストで簡易にヘッドトラッキングを行うシステムを実現できるようになる。
【0045】
この場合、ジャイロセンサの出力からヨウ角を判断する周期は、傾斜センサの出力からピッチ角及びロ─ル角を算出する周期よりも短い周期としたことで、ジャイロセンサが出力する動的な角速度の短周期での判断に基づいて、ヨウ角の判断が正確に行えると共に、ピッチ角及びロ─ル角については、重力である静的な加速度から算出されるので、ある程度検出周期が長くなっても、常時正確に検出でき、良好な演算配分で、精度良く3軸の角度を検出できるようになる。
【0046】
また、判断されたロール角及びピッチ角から、ジャイロセンサの出力から判断したヨウ角の補正を行うことで、より正確なヨウ角が判断できるようになる。
【図面の簡単な説明】
【図1】本発明の一実施の形態によるヘッドマウントディスプレイの装着例を示す斜視図である。
【図2】本発明の一実施の形態によるヘッドマウントディスプレイの形状の一例を示す斜視図である。
【図3】図2例のヘッドマウントディスプレイの側面図である。
【図4】図2例のヘッドマウントディスプレイの映像表示部を上げた状態の例を示す斜視図である。
【図5】本発明の一実施の形態による基準軸を示す説明図である。
【図6】本発明の一実施の形態によるセンサによる検出状態の示す説明図である。
【図7】本発明の一実施の形態によるシステム構成例を示すブロック図である。
【図8】本発明の一実施の形態によるヘッドトラッキング処理例を示すフローチャートである。
【図9】本発明の一実施の形態による2軸センサ処理例を示すフローチャートである。
【図10】本発明の一実施の形態によるジャイロセンサ処理例を示すフローチャートである。
【図11】従来のヘッドマウントディスプレイのシステム構成例を示すブロック図である。
【符号の説明】
11…ジャイロセンサ、12…加速度センサ、13…アナログ処理部、14…中央制御ユニット(CPU)、15…リセットスイッチ、16…キースイッチ、17…ビデオインターフェース部、18…コントロール用インターフェース部、20…映像信号源、21…メモリ、22…中央制御ユニット(CPU)、23…3D処理部、24…ビデオインターフェース部、25…コントロール用インターフェース部、100…ヘッドマウントディスプレイ、100L,100R…映像表示パネル、100n…鼻用切り欠き部、110…映像表示部、111,112…連結部、113,114…接続部材、115,116…連結部、117,118…接続部材、121,122…軸保持部、123,124…接続部、130…バンド、131…幅広部、132,133…U字金具保持部、140…左ドライバユニット、141…ドライバ配置部、142…イヤーパッド、143…金具保持部、144…U字金具、145…連結部、146…コード、147…空洞部、148…コード、150…右ドライバユニット、151…ドライバ配置部、152…イヤーパッド、153…金具保持部、154…U字金具、155…連結部、156…コード、157…空洞部
Claims (6)
- 頭部の向いた3次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する2軸となす角度であるピッチ角及びロール角の3軸で検出するヘッドトラッキング方法において、
前記ヨウ角をジャイロセンサの出力の積分値から判断し、
前記直立軸方向と直交する平面の傾斜を検出する傾斜センサの出力から、前記ピッチ角及び前記ロ─ル角を算出する
ヘッドトラッキング方法。 - 請求項1記載のヘッドトラッキング方法において、
ジャイロセンサの出力からヨウ角を判断する周期は、前記傾斜センサの出力からピッチ角及びロ─ル角を算出する周期よりも短い周期とした
ヘッドトラッキング方法。 - 請求項1記載のヘッドトラッキング方法において、
判断されたピッチ角及びロール角から、ジャイロセンサの出力から判断したヨウ角の補正を行う
ヘッドトラッキング方法。 - 頭部の向いた3次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する2軸となす角度であるピッチ角及びロール角の3軸で検出するヘッドトラッキング装置において、
前記ヨウ角を検出するためのジャイロセンサと、
前記直立軸方向と直交する平面の傾斜を検出する傾斜センサと、
前記ジャイロセンサの出力の積分値からヨウ角を判断すると共に、前記傾斜センサが出力する角速度から、前記ピッチ角及び前記ロ─ル角を算出する演算手段とを備えた
ヘッドトラッキング装置。 - 請求項4記載のヘッドトラッキング装置において、
前記演算手段は、前記ジャイロセンサの出力からヨウ角を判断する周期は、前記傾斜センサの出力からピッチ角及びロ─ル角を算出する周期よりも短い周期とした
ヘッドトラッキング装置。 - 請求項4記載のヘッドトラッキング装置において、
前記演算手段は、算出されたピッチ角及びロール角から、前記ジャイロセンサの出力から判断したヨウ角の補正を行う
ヘッドトラッキング装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002249443A JP2004085476A (ja) | 2002-08-28 | 2002-08-28 | ヘッドトラッキング方法及び装置 |
KR1020057003247A KR20050059110A (ko) | 2002-08-28 | 2003-08-26 | 헤드 트랙킹 방법 및 장치 |
PCT/JP2003/010776 WO2004020946A1 (ja) | 2002-08-28 | 2003-08-26 | ヘッドトラッキング方法及び装置 |
US10/525,925 US20050256675A1 (en) | 2002-08-28 | 2003-08-26 | Method and device for head tracking |
EP03791296A EP1541966A4 (en) | 2002-08-28 | 2003-08-26 | METHOD AND DEVICE FOR MONITORING THE POSITION OF THE HEAD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002249443A JP2004085476A (ja) | 2002-08-28 | 2002-08-28 | ヘッドトラッキング方法及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004085476A true JP2004085476A (ja) | 2004-03-18 |
Family
ID=31972580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002249443A Pending JP2004085476A (ja) | 2002-08-28 | 2002-08-28 | ヘッドトラッキング方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20050256675A1 (ja) |
EP (1) | EP1541966A4 (ja) |
JP (1) | JP2004085476A (ja) |
KR (1) | KR20050059110A (ja) |
WO (1) | WO2004020946A1 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008001635A1 (fr) * | 2006-06-27 | 2008-01-03 | Nikon Corporation | Dispositif d'affichage de vidéo |
WO2014069090A1 (ja) * | 2012-11-02 | 2014-05-08 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
JP2014215053A (ja) * | 2013-04-22 | 2014-11-17 | 富士通株式会社 | 方位検知装置、方法及びプログラム |
JP2016109910A (ja) * | 2014-12-08 | 2016-06-20 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
CN106461940A (zh) * | 2015-04-30 | 2017-02-22 | 深圳市柔宇科技有限公司 | 穿戴式电子装置 |
KR20180044550A (ko) * | 2016-10-24 | 2018-05-03 | 엘지전자 주식회사 | Hmd 디바이스 |
JP2018512816A (ja) * | 2015-04-03 | 2018-05-17 | シェンツェン ロイヤル テクノロージーズ シーオー.,エルティーディー.Shenzhen Royole Technologies Co.,Ltd. | ヘッドマウント式電子装置 |
JP2018160249A (ja) * | 2018-05-14 | 2018-10-11 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、表示制御プログラム、及び表示制御方法 |
US10379605B2 (en) | 2014-10-22 | 2019-08-13 | Sony Interactive Entertainment Inc. | Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system |
US10778893B2 (en) | 2017-12-22 | 2020-09-15 | Seiko Epson Corporation | Detection device, display device and detection method |
US10834323B2 (en) | 2017-09-14 | 2020-11-10 | Seiko Epson Corporation | Electronic apparatus, motion sensor, position change detection program, and position change detection method |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7749089B1 (en) | 1999-02-26 | 2010-07-06 | Creative Kingdoms, Llc | Multi-media interactive play system |
US6761637B2 (en) | 2000-02-22 | 2004-07-13 | Creative Kingdoms, Llc | Method of game play using RFID tracking device |
US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
US7066781B2 (en) | 2000-10-20 | 2006-06-27 | Denise Chapman Weston | Children's toy with wireless tag/transponder |
US6967566B2 (en) | 2002-04-05 | 2005-11-22 | Creative Kingdoms, Llc | Live-action interactive adventure game |
US20070066396A1 (en) | 2002-04-05 | 2007-03-22 | Denise Chapman Weston | Retail methods for providing an interactive product to a consumer |
US7674184B2 (en) | 2002-08-01 | 2010-03-09 | Creative Kingdoms, Llc | Interactive water attraction and quest game |
US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
US20060112754A1 (en) * | 2003-04-11 | 2006-06-01 | Hiroshi Yamamoto | Method and device for correcting acceleration sensor axis information |
US7672781B2 (en) * | 2005-06-04 | 2010-03-02 | Microstrain, Inc. | Miniaturized wireless inertial sensing system |
DE102005033957B4 (de) * | 2005-07-20 | 2008-08-28 | Siemens Ag | Vorrichtung und Verfahren zur kabellosen Bedienung eines insbesondere medizinischen Geräts |
JP4805633B2 (ja) | 2005-08-22 | 2011-11-02 | 任天堂株式会社 | ゲーム用操作装置 |
US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
US8313379B2 (en) | 2005-08-22 | 2012-11-20 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
US7942745B2 (en) | 2005-08-22 | 2011-05-17 | Nintendo Co., Ltd. | Game operating device |
US8870655B2 (en) | 2005-08-24 | 2014-10-28 | Nintendo Co., Ltd. | Wireless game controllers |
JP4262726B2 (ja) | 2005-08-24 | 2009-05-13 | 任天堂株式会社 | ゲームコントローラおよびゲームシステム |
US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
JP4530419B2 (ja) | 2006-03-09 | 2010-08-25 | 任天堂株式会社 | 座標算出装置および座標算出プログラム |
JP4151982B2 (ja) | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
JP4684147B2 (ja) | 2006-03-28 | 2011-05-18 | 任天堂株式会社 | 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム |
JP4810295B2 (ja) * | 2006-05-02 | 2011-11-09 | キヤノン株式会社 | 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体 |
JP5228305B2 (ja) | 2006-09-08 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
JP5127242B2 (ja) | 2007-01-19 | 2013-01-23 | 任天堂株式会社 | 加速度データ処理プログラムおよびゲームプログラム |
US7463953B1 (en) | 2007-06-22 | 2008-12-09 | Volkswagen Ag | Method for determining a tilt angle of a vehicle |
DE102007030972B3 (de) * | 2007-07-04 | 2009-01-29 | Siemens Ag | MR-kompatibles Videosystem |
EP2012170B1 (en) | 2007-07-06 | 2017-02-15 | Harman Becker Automotive Systems GmbH | Head-tracking system and operating method thereof |
US20090119821A1 (en) * | 2007-11-14 | 2009-05-14 | Jeffery Neil Stillwell | Belt with ball mark repair tool |
KR100947046B1 (ko) * | 2007-11-19 | 2010-03-10 | 황진상 | 운동체 자세 추적 장치, 운동체 자세 추적 방법, 이를이용한 칫솔 자세 추적 장치 및 칫솔 자세 추적 방법 |
WO2010032079A2 (en) | 2008-09-17 | 2010-03-25 | Nokia Corp. | User interface for augmented reality |
JP5676487B2 (ja) * | 2009-02-13 | 2015-02-25 | コーニンクレッカ フィリップス エヌ ヴェ | モバイル用途のための頭部追跡 |
JP2011019035A (ja) * | 2009-07-08 | 2011-01-27 | Ricoh Co Ltd | 情報装置、該装置を搭載した撮像装置および角度補正方法 |
US9491560B2 (en) | 2010-07-20 | 2016-11-08 | Analog Devices, Inc. | System and method for improving headphone spatial impression |
US20130007672A1 (en) * | 2011-06-28 | 2013-01-03 | Google Inc. | Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface |
US9529426B2 (en) | 2012-02-08 | 2016-12-27 | Microsoft Technology Licensing, Llc | Head pose tracking using a depth camera |
CN103018907A (zh) * | 2012-12-19 | 2013-04-03 | 虢登科 | 显示方法及头戴显示器 |
GB201310359D0 (en) | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-Mountable apparatus and systems |
USD741474S1 (en) * | 2013-08-22 | 2015-10-20 | Fresca Medical, Inc. | Sleep apnea device accessory |
US9785231B1 (en) * | 2013-09-26 | 2017-10-10 | Rockwell Collins, Inc. | Head worn display integrity monitor system and methods |
KR20150041453A (ko) * | 2013-10-08 | 2015-04-16 | 엘지전자 주식회사 | 안경형 영상표시장치 및 그것의 제어방법 |
KR101665027B1 (ko) * | 2014-03-05 | 2016-10-11 | (주)스코넥엔터테인먼트 | 헤드 마운트 디스플레이용 헤드 트래킹 바 시스템 |
EP3290989A4 (en) * | 2015-04-30 | 2019-01-02 | Shenzhen Royole Technologies Co. Ltd. | Wearable electronic apparatus |
CN106031194A (zh) * | 2015-04-30 | 2016-10-12 | 深圳市柔宇科技有限公司 | 穿戴式电子装置 |
KR102461289B1 (ko) | 2015-05-13 | 2022-10-31 | 콜리브리 | 치과 위생 모니터링을 위한 자기력계를 갖는 칫솔 시스템 |
CN107407809B (zh) * | 2016-01-26 | 2020-04-14 | 深圳市柔宇科技有限公司 | 头戴式设备、耳机装置及头戴式设备分离控制方法 |
US20180061103A1 (en) * | 2016-08-29 | 2018-03-01 | Analogix Semiconductor, Inc. | Systems and Methods for Generating Display Views Tracking User Head Movement for Head-Mounted Display Devices |
CN111736353B (zh) * | 2020-08-25 | 2020-12-04 | 歌尔光学科技有限公司 | 一种头戴式设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5645077A (en) * | 1994-06-16 | 1997-07-08 | Massachusetts Institute Of Technology | Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body |
JP3568597B2 (ja) * | 1994-09-28 | 2004-09-22 | 三菱農機株式会社 | 移動農機の傾斜検出装置 |
US5841409A (en) * | 1995-04-18 | 1998-11-24 | Minolta Co., Ltd. | Image display apparatus |
US5991085A (en) * | 1995-04-21 | 1999-11-23 | I-O Display Systems Llc | Head-mounted personal visual display apparatus with image generator and holder |
US6369952B1 (en) * | 1995-07-14 | 2002-04-09 | I-O Display Systems Llc | Head-mounted personal visual display apparatus with image generator and holder |
JPH09222921A (ja) * | 1996-02-14 | 1997-08-26 | Mitsubishi Heavy Ind Ltd | 無人車輛の走行制御装置 |
JP3720972B2 (ja) * | 1998-01-22 | 2005-11-30 | 株式会社小松製作所 | 地形形状計測装置 |
JP2000020017A (ja) * | 1998-07-02 | 2000-01-21 | Canon Inc | 分離型表示装置 |
JP2002141841A (ja) * | 2000-10-31 | 2002-05-17 | Toshiba Corp | 頭部装着型情報処理装置 |
-
2002
- 2002-08-28 JP JP2002249443A patent/JP2004085476A/ja active Pending
-
2003
- 2003-08-26 WO PCT/JP2003/010776 patent/WO2004020946A1/ja not_active Application Discontinuation
- 2003-08-26 EP EP03791296A patent/EP1541966A4/en not_active Withdrawn
- 2003-08-26 US US10/525,925 patent/US20050256675A1/en not_active Abandoned
- 2003-08-26 KR KR1020057003247A patent/KR20050059110A/ko not_active Application Discontinuation
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8378925B2 (en) | 2006-06-27 | 2013-02-19 | Nikon Corporation | Video display device |
JP5163492B2 (ja) * | 2006-06-27 | 2013-03-13 | 株式会社ニコン | 映像表示装置 |
WO2008001635A1 (fr) * | 2006-06-27 | 2008-01-03 | Nikon Corporation | Dispositif d'affichage de vidéo |
WO2014069090A1 (ja) * | 2012-11-02 | 2014-05-08 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
JP2014215053A (ja) * | 2013-04-22 | 2014-11-17 | 富士通株式会社 | 方位検知装置、方法及びプログラム |
US10620699B2 (en) | 2014-10-22 | 2020-04-14 | Sony Interactive Entertainment Inc. | Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system |
US10379605B2 (en) | 2014-10-22 | 2019-08-13 | Sony Interactive Entertainment Inc. | Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system |
JP2016109910A (ja) * | 2014-12-08 | 2016-06-20 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
JP2018512816A (ja) * | 2015-04-03 | 2018-05-17 | シェンツェン ロイヤル テクノロージーズ シーオー.,エルティーディー.Shenzhen Royole Technologies Co.,Ltd. | ヘッドマウント式電子装置 |
US10338394B2 (en) | 2015-04-30 | 2019-07-02 | Shenzhen Royole Technologies Co., Ltd. | Wearable electronic apparatus |
EP3242153A4 (en) * | 2015-04-30 | 2018-08-29 | Shenzhen Royole Technologies Co., Ltd | Wearable electronic apparatus |
KR101999198B1 (ko) * | 2015-04-30 | 2019-07-11 | 선전 로욜 테크놀로지스 컴퍼니 리미티드 | 웨어러블 전자 장치 |
KR20170108975A (ko) * | 2015-04-30 | 2017-09-27 | 선전 로욜 테크놀로지스 컴퍼니 리미티드 | 웨어러블 전자 장치 |
CN106461940A (zh) * | 2015-04-30 | 2017-02-22 | 深圳市柔宇科技有限公司 | 穿戴式电子装置 |
KR20180044550A (ko) * | 2016-10-24 | 2018-05-03 | 엘지전자 주식회사 | Hmd 디바이스 |
KR102614087B1 (ko) * | 2016-10-24 | 2023-12-15 | 엘지전자 주식회사 | Hmd 디바이스 |
US10834323B2 (en) | 2017-09-14 | 2020-11-10 | Seiko Epson Corporation | Electronic apparatus, motion sensor, position change detection program, and position change detection method |
US10778893B2 (en) | 2017-12-22 | 2020-09-15 | Seiko Epson Corporation | Detection device, display device and detection method |
JP2018160249A (ja) * | 2018-05-14 | 2018-10-11 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、表示制御プログラム、及び表示制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US20050256675A1 (en) | 2005-11-17 |
KR20050059110A (ko) | 2005-06-17 |
EP1541966A1 (en) | 2005-06-15 |
EP1541966A4 (en) | 2006-02-01 |
WO2004020946A1 (ja) | 2004-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004085476A (ja) | ヘッドトラッキング方法及び装置 | |
US20220113562A1 (en) | Modular wearable electronic devices, systems, and methods | |
JP3901061B2 (ja) | ヘッドマウント装置 | |
US8644531B2 (en) | Information processing system and information processing method | |
JP6514089B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
EP2451187A2 (en) | Headset with accelerometers to determine direction and movements of user head and method | |
EP2645750A1 (en) | A hearing device with an inertial measurement unit | |
WO2014147946A1 (ja) | 加速度感覚呈示装置、加速度感覚呈示方法および加速度感覚呈示システム | |
US9916004B2 (en) | Display device | |
US10948299B1 (en) | Relative inertial measurement system with visual correction | |
CN109166150A (zh) | 获取位姿的方法、装置存储介质 | |
JP6822963B2 (ja) | ファン駆動力デバイス | |
CN108844529A (zh) | 确定姿态的方法、装置及智能设备 | |
JP5937137B2 (ja) | 地磁気検出装置 | |
JP2010074228A (ja) | 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法 | |
US11140509B2 (en) | Head-tracking methodology for headphones and headsets | |
US11599189B2 (en) | Head orientation tracking | |
JP2004046006A (ja) | 3次元情報表示装置 | |
WO2021192455A1 (ja) | 音入出力制御装置、音入出力制御方法、及びプログラム | |
CN114764241A (zh) | 运动状态的控制方法、装置、设备及可读存储介质 | |
JP3940896B2 (ja) | 回転検出装置、コントローラ装置、ヘッドホン装置および信号処理システム | |
JP5034760B2 (ja) | ヘッドマウントディスプレイ | |
TWI752567B (zh) | 校正系統和校正方法 | |
GB2584894A (en) | Head tracking device | |
CN115480561A (zh) | 运动状态的控制方法、装置、轮腿式机器人及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060821 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060912 |