JP4877138B2 - ヘッドモーショントラッカ装置 - Google Patents
ヘッドモーショントラッカ装置 Download PDFInfo
- Publication number
- JP4877138B2 JP4877138B2 JP2007203997A JP2007203997A JP4877138B2 JP 4877138 B2 JP4877138 B2 JP 4877138B2 JP 2007203997 A JP2007203997 A JP 2007203997A JP 2007203997 A JP2007203997 A JP 2007203997A JP 4877138 B2 JP4877138 B2 JP 4877138B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- light
- head
- moving body
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、光線を出射する光学マーカーの位置を検出する機能を備えるヘッドモーショントラッカ（ＨＭＴ）装置に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの位置及び角度を検出するＨＭＴ装置等に利用される。
時々刻々と変動する物体の位置や角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの位置や角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの位置や角度を測定するために、ＨＭＴ装置が利用されている。
また、救難飛行艇による救難活動において、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体の緯度、経度、高度、姿勢に加えて、飛行体に設定された相対座標系に対するパイロットの頭部角度及び頭部位置を測定している。このときに、ＨＭＴ装置が利用されている。
頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの位置や角度を測定するものが開示されている（例えば、特許文献１参照）。具体的には、光学マーカーとして、複数の反射板を頭部装着型表示装置付ヘルメットの外周上に取り付けるとともに、光源と２台のカメラ装置とを設置場所に固定することにより、光源から光を照射したときの反射板からの反射光を２台のカメラ装置でモニタするものである。また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のＨＭＴ装置もある（例えば、特許文献２参照）。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカーとして、発光体であるＬＥＤ（発光ダイオード）を互いに離隔するようにして３箇所に取り付け、これら３つのＬＥＤの位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３つのＬＥＤを、立体視が可能でかつ設置場所が固定された２台のカメラ装置で同時に撮影することで、所謂、三角測量の原理により、現在の３つのＬＥＤの位置関係を測定している。これにより、２台のカメラ装置に対する頭部装着型表示装置付ヘルメットの位置や角度を特定している。
特表平９−５０６１９４号公報
特願２００５−１０６４５８号公報
しかしながら、上述したような光学方式のＨＭＴ装置では、３つのＬＥＤを常に点灯させたままの状態で光線を検出しているため、太陽光等の外乱光がない場所で光線を検出するときには問題なかったが、外乱光がある場所で光線を検出するときには、外乱光をＬＥＤと誤認識したり、ＬＥＤからの光量が低下したりすることが原因で、３つのＬＥＤの位置を精度よく測定することができないことがあった。
そこで、本出願人は、３つのＬＥＤに点灯と消灯とを繰り返させることで、３つのＬＥＤの点灯時に検出された光線の点灯データと、３つのＬＥＤの消灯時に検出された光線の消灯データとを差分することにより、３つのＬＥＤのみから出射されることになる光線の差分データを生成することができるＨＭＴ装置を出願した。これにより、差分データでは外乱光が除去されているので、外乱光をＬＥＤと誤認識したりすることなく、３つのＬＥＤの位置を精度よく測定することができた。
そこで、本出願人は、３つのＬＥＤに点灯と消灯とを繰り返させることで、３つのＬＥＤの点灯時に検出された光線の点灯データと、３つのＬＥＤの消灯時に検出された光線の消灯データとを差分することにより、３つのＬＥＤのみから出射されることになる光線の差分データを生成することができるＨＭＴ装置を出願した。これにより、差分データでは外乱光が除去されているので、外乱光をＬＥＤと誤認識したりすることなく、３つのＬＥＤの位置を精度よく測定することができた。
しかし、航空機（例えば、救難飛行艇等）や船舶や車両等の移動体で、差分データを生成することができる光学方式のＨＭＴ装置を使用する場合には、移動体が姿勢変化するような移動を行うことにより、移動体に取り付けられた２台のカメラ装置に対する外乱光（特に、太陽光）の位置が変動することがあった。このため、３つのＬＥＤの点灯時に検出された光線の点灯データと、３つのＬＥＤの消灯時に検出された光線の消灯データとを差分する差分データにおいて、完全に外乱光を除去しきれないことがあり、その結果、除去しきれなかった外乱光をＬＥＤと誤認識したりすることが原因で、３つのＬＥＤの位置を測定することができない場合があった。
そこで、本発明は、移動体に取り付けられた光学検出手段に対して外乱光の位置が変化するときにも、外乱光の影響を受けることなく光学マーカーの位置を正確に測定することにより、移動体に対する搭乗者の頭部の位置及び角度を精度よく算出することができるヘッドモーショントラッカ装置を提供することを目的とする。
そこで、本発明は、移動体に取り付けられた光学検出手段に対して外乱光の位置が変化するときにも、外乱光の影響を受けることなく光学マーカーの位置を正確に測定することにより、移動体に対する搭乗者の頭部の位置及び角度を精度よく算出することができるヘッドモーショントラッカ装置を提供することを目的とする。
上記課題を解決するためになされた本発明のＨＭＴ装置は、搭乗者の頭部に装着されるともに、光線を出射する光学マーカーと、前記搭乗者が搭乗する移動体に取り付けられるとともに、前記光学マーカーからの光線を検出する立体視可能な光学検出手段と、検出された光線に基づいて、前記移動体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出する相対頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、前記光学マーカーに点灯と消灯とを繰り返させる光学マーカー駆動部と、前記移動体に取り付けられるとともに、前記移動体に作用する角速度及び／又は加速度を検出する移動体センサと、前記移動体センサから検出された角速度及び／又は加速度に基づいて、外乱光に対する移動体の移動角度量を含む絶対移動体情報を算出する絶対移動体情報算出部と、前記絶対移動体情報に基づいて、前記光学検出手段に対する外乱光による光線の移動位置量を算出することにより、前記光学マーカーの点灯時に検出された光線の点灯データから外乱光による光線の位置を補正した補正点灯データを作成するとともに、前記光学マーカーの消灯時に検出された光線の消灯データから外乱光による光線の位置を補正した補正消灯データを作成して、当該補正点灯データ及び補正消灯データを用いて、前記光学マーカーのみからの光線の差分データを生成する差分生成部とを備え、前記相対頭部情報算出部は、前記差分データに基づいて相対頭部情報を算出するようにしている。
ここで、「移動体センサ」とは、移動体センサ自体に３軸が定義されて、この３軸を基準とする角速度や３軸方向の加速度を検出できるもののことをいい、具体的には、ジャイロセンサや、加速度センサ等が挙げられる。
また、「外乱光」としては、例えば、太陽光や、太陽光の反射光等が挙げられる。
本発明のＨＭＴ装置によれば、まず、立体視が可能でかつ移動体に固定された光学検出手段により、光学マーカーの消灯時に光線を検出する。このとき、光学マーカーが消灯されているので、検出された光線が外乱光によるものであると判定することで、現在の移動体と外乱光との位置関係を算出する。
その後、絶対移動体情報算出部が、移動体センサにより検出された角速度及び／又は加速度により、外乱光に対する移動体の移動角度量を含む絶対移動体情報を算出する。これにより、移動体に固定された光学検出手段で検出される外乱光による光線の移動位置量が算出される。
一方、光学マーカー駆動部は、光学マーカーに点灯と消灯とを繰り返させることで、光学マーカーの点灯時に検出された光線の点灯データと、光学マーカーの消灯時に検出された光線の消灯データとを交互に順に得ていく。このとき、点灯データと消灯データとには、外乱光等による光線も含まれており、移動体が姿勢変化するような移動を行うことにより、外乱光等による光線の位置は変化している。
よって、差分生成部は、光学検出手段で検出される外乱光による光線の移動位置量を用いて、光学マーカーの点灯時に検出された光線の点灯データから外乱光の位置を補正した光線の補正点灯データを作成するとともに、光学マーカーの消灯時に検出された光線の消灯データから外乱光の位置を補正した光線の補正消灯データを作成する。これにより、補正点灯データと消灯データとを差分したり、点灯データと補正消灯データとを差分したりすることで、光学マーカーのみから出射されることになる光線の差分データを生成する。
最後に、相対頭部情報算出部は、差分生成部により生成された差分データに基づいて、光学マーカーの位置を測定することにより、移動体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出する。
また、「外乱光」としては、例えば、太陽光や、太陽光の反射光等が挙げられる。
本発明のＨＭＴ装置によれば、まず、立体視が可能でかつ移動体に固定された光学検出手段により、光学マーカーの消灯時に光線を検出する。このとき、光学マーカーが消灯されているので、検出された光線が外乱光によるものであると判定することで、現在の移動体と外乱光との位置関係を算出する。
その後、絶対移動体情報算出部が、移動体センサにより検出された角速度及び／又は加速度により、外乱光に対する移動体の移動角度量を含む絶対移動体情報を算出する。これにより、移動体に固定された光学検出手段で検出される外乱光による光線の移動位置量が算出される。
一方、光学マーカー駆動部は、光学マーカーに点灯と消灯とを繰り返させることで、光学マーカーの点灯時に検出された光線の点灯データと、光学マーカーの消灯時に検出された光線の消灯データとを交互に順に得ていく。このとき、点灯データと消灯データとには、外乱光等による光線も含まれており、移動体が姿勢変化するような移動を行うことにより、外乱光等による光線の位置は変化している。
よって、差分生成部は、光学検出手段で検出される外乱光による光線の移動位置量を用いて、光学マーカーの点灯時に検出された光線の点灯データから外乱光の位置を補正した光線の補正点灯データを作成するとともに、光学マーカーの消灯時に検出された光線の消灯データから外乱光の位置を補正した光線の補正消灯データを作成する。これにより、補正点灯データと消灯データとを差分したり、点灯データと補正消灯データとを差分したりすることで、光学マーカーのみから出射されることになる光線の差分データを生成する。
最後に、相対頭部情報算出部は、差分生成部により生成された差分データに基づいて、光学マーカーの位置を測定することにより、移動体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出する。
以上のように、本発明のＨＭＴ装置によれば、移動体に取り付けられた光学検出手段に対して外乱光の位置が変動しても、外乱光の位置を補正することにより、差分データから外乱光が完全に除去されるので、外乱光を光学マーカーと誤認識したりせずに、光学マーカーの位置を精度よく測定することができる。
（他の課題を解決するための手段および効果）
また、上記の発明において、前記光学マーカーは、３個以上のＬＥＤであり、かつ、前記光学検出手段は、２台以上のカメラ装置であるようにしてもよい。
また、上記の発明において、前記外乱光は、太陽光であるようにしてもよい。
また、上記の発明において、前記光学マーカーは、３個以上のＬＥＤであり、かつ、前記光学検出手段は、２台以上のカメラ装置であるようにしてもよい。
また、上記の発明において、前記外乱光は、太陽光であるようにしてもよい。
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
図１は、本発明の一実施形態であるＨＭＴ装置の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメットの平面図である。本実施形態のＨＭＴ装置１は、飛行体（移動体）に対するパイロット（搭乗者）３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対頭部情報を算出するものである。つまり、飛行体に設定された相対座標系（ＸＹＺ座標系）に対する、パイロット３が着用する頭部装着型表示装置付ヘルメット１０に設定されたヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を算出する。なお、相対座標系（ＸＹＺ座標系）は、後述するカメラ装置（光学検出手段）２を基準として設定されたものであり、メモリ４１の相対座標記憶部４３に記憶され、一方、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、後述するＬＥＤ群７を基準として設定されたものであり、メモリ４１の点灯データ記憶部４４に記憶されている。
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、搭乗体３０の天井に取り付けられたカメラ装置２と、搭乗体３０に取り付けられた３軸ジャイロセンサ（移動体センサ）４と、コンピュータにより構成される制御部２０とから構成される。
搭乗体３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席する座席３０ａを備える。そして、パイロット３が搭乗する搭乗体３０には、太陽光（外乱光）が入ってくることもある。なお、本実施形態は、この太陽光（外乱光）の影響を除去するものである。
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、ＬＥＤ群（光学マーカー）７とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示映像とコンバイナ８の前方実在物とを視認することが可能となっている。
搭乗体３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席する座席３０ａを備える。そして、パイロット３が搭乗する搭乗体３０には、太陽光（外乱光）が入ってくることもある。なお、本実施形態は、この太陽光（外乱光）の影響を除去するものである。
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、ＬＥＤ群（光学マーカー）７とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示映像とコンバイナ８の前方実在物とを視認することが可能となっている。
ＬＥＤ群７は、図２に示すように、互いに異なる波長の赤外光を発光する３個（あるいは３個以上の数）のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして、頭部装着型表示装置付ヘルメット１０の外周上に取り付けられたものである。
ここで、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をＬＥＤ７ａの位置とし、前方方向をＸ’軸方向とし、前方方向に垂直方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義するように、後述する点灯データ記憶部４４に設定されている。また、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も、点灯データ記憶部４４に記憶されている。これにより、後述する三角測量の手法で、現時点における３個のＬＥＤ７ａ、７ｂ、７ｃの位置を算出し、初期データを参照することで、頭部装着型表示装置ヘルメット１０の現在位置及び現在角度が、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を用いて表現されるようになっている。
ここで、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をＬＥＤ７ａの位置とし、前方方向をＸ’軸方向とし、前方方向に垂直方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義するように、後述する点灯データ記憶部４４に設定されている。また、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も、点灯データ記憶部４４に記憶されている。これにより、後述する三角測量の手法で、現時点における３個のＬＥＤ７ａ、７ｂ、７ｃの位置を算出し、初期データを参照することで、頭部装着型表示装置ヘルメット１０の現在位置及び現在角度が、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を用いて表現されるようになっている。
カメラ装置２は、第一カメラ装置２ａと第二カメラ装置２ｂとからなる。第一カメラ装置２ａと第二カメラ装置２ｂとは、撮影方向が異なりかつ頭部装着型表示装置付ヘルメット１０に向けられているとともに、頭部装着型表示装置付ヘルメット１０の立体視が可能な一定の距離（ｄ１）を隔てるように、搭乗体３０の天井に固定軸を介して設置されている。
これにより、図３に示すように、ＬＥＤ７ａのカメラ装置２に対する位置は、第一カメラ装置２ａと第二カメラ装置２ｂとに撮影された点灯データ（画像データ）中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ装置２ａからの方向角度（α）と第二カメラ装置２ｂからの方向角度（β）とを抽出し、第一カメラ装置２ａと第二カメラ装置２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出することができるようになる。他の光学マーカーであるＬＥＤ７ｂ、７ｃのカメラ装置２に対する位置についても、同様に算出される。
このときの各ＬＥＤ７ａ、７ｂ、７ｃの位置を、空間座標で表現することができるようにするために、カメラ装置２に固定され、カメラ装置２とともに移動する座標系である相対座標系（ＸＹＺ座標系）を用いる。なお、相対座標系（ＸＹＺ座標系）の具体的な原点位置やＸＹＺ軸方向の説明については後述する。相対座標系（ＸＹＺ座標系）におけるＬＥＤ７ａ、７ｂ、７ｃの位置座標は、（Ｘａ、Ｙａ、Ｚａ）、（Ｘｂ、Ｙｂ、Ｚｂ）、（Ｘｃ、Ｙｃ、Ｚｃ）として表現できる。これにより、カメラ装置２に対する３つのＬＥＤ７ａ、７ｂ、７ｃの位置座標（Ｘａ、Ｙａ、Ｚａ）、（Ｘｂ、Ｙｂ、Ｚｂ）、（Ｘｃ、Ｙｃ、Ｚｃ）が特定されるので、ＬＥＤ７ａ、７ｂ、７ｃが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）は、相対座標系（ＸＹＺ座標系）に対する、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を用いて表現できるようになる。なお、角度（Θ）は、ロール方向（Ｘ軸に対する回転）の角度であり、角度（Φ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度（Ψ）は、アジマス方向（Ｚ軸に対する回転）の角度である。また、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点であるＬＥＤ７ａの現在の位置座標（Ｘａ、Ｙａ、Ｚａ）で表現することとする。
これにより、図３に示すように、ＬＥＤ７ａのカメラ装置２に対する位置は、第一カメラ装置２ａと第二カメラ装置２ｂとに撮影された点灯データ（画像データ）中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ装置２ａからの方向角度（α）と第二カメラ装置２ｂからの方向角度（β）とを抽出し、第一カメラ装置２ａと第二カメラ装置２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出することができるようになる。他の光学マーカーであるＬＥＤ７ｂ、７ｃのカメラ装置２に対する位置についても、同様に算出される。
このときの各ＬＥＤ７ａ、７ｂ、７ｃの位置を、空間座標で表現することができるようにするために、カメラ装置２に固定され、カメラ装置２とともに移動する座標系である相対座標系（ＸＹＺ座標系）を用いる。なお、相対座標系（ＸＹＺ座標系）の具体的な原点位置やＸＹＺ軸方向の説明については後述する。相対座標系（ＸＹＺ座標系）におけるＬＥＤ７ａ、７ｂ、７ｃの位置座標は、（Ｘａ、Ｙａ、Ｚａ）、（Ｘｂ、Ｙｂ、Ｚｂ）、（Ｘｃ、Ｙｃ、Ｚｃ）として表現できる。これにより、カメラ装置２に対する３つのＬＥＤ７ａ、７ｂ、７ｃの位置座標（Ｘａ、Ｙａ、Ｚａ）、（Ｘｂ、Ｙｂ、Ｚｂ）、（Ｘｃ、Ｙｃ、Ｚｃ）が特定されるので、ＬＥＤ７ａ、７ｂ、７ｃが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）は、相対座標系（ＸＹＺ座標系）に対する、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を用いて表現できるようになる。なお、角度（Θ）は、ロール方向（Ｘ軸に対する回転）の角度であり、角度（Φ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度（Ψ）は、アジマス方向（Ｚ軸に対する回転）の角度である。また、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点であるＬＥＤ７ａの現在の位置座標（Ｘａ、Ｙａ、Ｚａ）で表現することとする。
３軸ジャイロセンサ４は、搭乗体３０の角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）を検出するものである。なお、３軸ジャイロセンサ自体に座標系が定められるが、相対座標系（ＸＹＺ座標系）と正確に軸合わせされて取り付けられている。よって、ロール方向（Ｘ軸に対する回転）、エレベーション方向（Ｙ軸に対する回転）、アジマス方向（Ｚ軸に対する回転）における移動である角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）が検出される。また、軸合わせされずに取り付けられている場合は、座標変換行列を求めておくことで、相対座標系（ＸＹＺ座標系）と関連付けを行うことになる。
制御部２０は、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。ＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、光学マーカー駆動部２８と、相対頭部情報算出部２２と、絶対移動体情報算出部２４と、差分生成部２３と、映像表示部２５とを有する。
また、メモリ４１には、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、相対座標系（ＸＹＺ座標系）を記憶する相対座標記憶部４３と、時間記憶部４２と、補正点灯データ（画像データ）と点灯データ（画像データ）とを記憶する点灯データ記憶部４４と、補正消灯データ（画像データ）と消灯データ（画像データ）とを記憶する消灯データ記憶部４５とを有する。
なお、図４は、ＨＭＴ装置１が実行する流れを説明するためのタイムチャートであり、図５は、第一カメラ装置２ａが検出する画像データを処理する流れを説明するための図である。
また、メモリ４１には、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、相対座標系（ＸＹＺ座標系）を記憶する相対座標記憶部４３と、時間記憶部４２と、補正点灯データ（画像データ）と点灯データ（画像データ）とを記憶する点灯データ記憶部４４と、補正消灯データ（画像データ）と消灯データ（画像データ）とを記憶する消灯データ記憶部４５とを有する。
なお、図４は、ＨＭＴ装置１が実行する流れを説明するためのタイムチャートであり、図５は、第一カメラ装置２ａが検出する画像データを処理する流れを説明するための図である。
ここで、相対座標系（ＸＹＺ座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図３に示すように、第二カメラ装置２ｂから第一カメラ装置２ａへの方向をＸ軸方向とし、Ｘ軸方向に垂直かつ天井に垂直で下向き方向をＺ軸方向とし、Ｘ軸方向に垂直かつ天井に水平で右向き方向をＹ軸方向とするように定義し、原点を第一カメラ装置２ａと第二カメラ装置２ｂとの中点として定義するように相対座標記憶部４３に設定されている。
また、点灯データ記憶部４４は、上述したように、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶し、さらに、Ｘ’Ｙ’Ｚ’座標系上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も記憶している。
また、時間記憶部４４は、カメラ装置２で光線が検出されるとともに、３軸ジャイロセンサ４で角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）が検出される毎に更新される時間ｔを記憶する。
また、点灯データ記憶部４４は、上述したように、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶し、さらに、Ｘ’Ｙ’Ｚ’座標系上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も記憶している。
また、時間記憶部４４は、カメラ装置２で光線が検出されるとともに、３軸ジャイロセンサ４で角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）が検出される毎に更新される時間ｔを記憶する。
光学マーカー駆動部２８は、ＬＥＤ群７に点灯と消灯とを繰り返させる指令信号を出力するとともに、第一カメラ装置２ａ及び第二カメラ装置２ｂでＬＥＤ群７の点灯時に検出された光線の点灯データ（画像データ）と、ＬＥＤ群７の消灯時に検出された光線の消灯データ（画像データ）とを検出させる制御を行うものである。
具体的には、図４に示すように、点灯時間幅と消灯時間幅とが同じ時間幅となるように、ＬＥＤ群７に点灯と消灯とを所定の周期で繰り返させるとともに、第一カメラ装置２ａ及び第二カメラ装置２ｂで光線を所定の周期の半分の周期ｔで検出させる。これにより、例えば、図５に示すように、第一カメラ装置２ａで、画像データとして消灯データ＃１ａ、点灯データ＃２ａ、消灯データ＃３ａ、点灯データ＃４ａ・・・が順に検出される。また、第二カメラ装置２ｂでも同様に、画像データとして消灯データ＃１ｂ、点灯データ＃２ｂ、消灯データ＃３ｂ、点灯データ＃４ｂ・・・が順に検出される。このとき、消灯データ＃１ａと消灯データ＃１ｂ、点灯データ＃２ａと点灯データ＃２ｂ、消灯データ＃３ａと消灯データ＃３ｂ、点灯データ＃４ｂと点灯データ＃４ｂ・・・は、それぞれ同時に検出される。
なお、点灯データには、ＬＥＤ群７から出射された光線と外乱光とが含まれることになる。一方、消灯データには、外乱光のみが含まれることになる。
よって、消灯データには外乱光のみが含まれるので、本実施形態では、検出された光線が外乱光によるものであると判断する。その後、飛行体が姿勢変化するような移動を行ったときに、飛行体に対するこの外乱光の位置関係が変動することになるので、この外乱光の影響を除去するために、変動していく飛行体に対する外乱光の位置関係を算出していくことになる。
具体的には、図４に示すように、点灯時間幅と消灯時間幅とが同じ時間幅となるように、ＬＥＤ群７に点灯と消灯とを所定の周期で繰り返させるとともに、第一カメラ装置２ａ及び第二カメラ装置２ｂで光線を所定の周期の半分の周期ｔで検出させる。これにより、例えば、図５に示すように、第一カメラ装置２ａで、画像データとして消灯データ＃１ａ、点灯データ＃２ａ、消灯データ＃３ａ、点灯データ＃４ａ・・・が順に検出される。また、第二カメラ装置２ｂでも同様に、画像データとして消灯データ＃１ｂ、点灯データ＃２ｂ、消灯データ＃３ｂ、点灯データ＃４ｂ・・・が順に検出される。このとき、消灯データ＃１ａと消灯データ＃１ｂ、点灯データ＃２ａと点灯データ＃２ｂ、消灯データ＃３ａと消灯データ＃３ｂ、点灯データ＃４ｂと点灯データ＃４ｂ・・・は、それぞれ同時に検出される。
なお、点灯データには、ＬＥＤ群７から出射された光線と外乱光とが含まれることになる。一方、消灯データには、外乱光のみが含まれることになる。
よって、消灯データには外乱光のみが含まれるので、本実施形態では、検出された光線が外乱光によるものであると判断する。その後、飛行体が姿勢変化するような移動を行ったときに、飛行体に対するこの外乱光の位置関係が変動することになるので、この外乱光の影響を除去するために、変動していく飛行体に対する外乱光の位置関係を算出していくことになる。
絶対移動体情報算出部２４は、角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）に基づいて、外乱光に対する飛行体の移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を含む絶対移動体情報を算出する制御を行うものである。
具体的には、時間ｔから時間ｔ＋１までの角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）を積分演算することにより、時間ｔの飛行体の角度からの移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を算出していく。すなわち、カメラ装置２により消灯データが検出された時間から点灯データが検出された時間までの飛行体の移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）が算出されていく。
このように飛行体の移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）が算出されれば、飛行体が時間ｔの角度であったときに、飛行体に対してある角度にあった外乱光の光源は、飛行体に対してはある角度から移動角度量（−ΔΘｓ、−ΔΦｓ、−ΔΨｓ）で変動していることがわかることになる。つまり、カメラ装置２で検出される画像データ上での外乱光による光線の移動位置量（ΔＸ’’、ΔＹ’’）を算出することができるようになる。
具体的には、時間ｔから時間ｔ＋１までの角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）を積分演算することにより、時間ｔの飛行体の角度からの移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を算出していく。すなわち、カメラ装置２により消灯データが検出された時間から点灯データが検出された時間までの飛行体の移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）が算出されていく。
このように飛行体の移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）が算出されれば、飛行体が時間ｔの角度であったときに、飛行体に対してある角度にあった外乱光の光源は、飛行体に対してはある角度から移動角度量（−ΔΘｓ、−ΔΦｓ、−ΔΨｓ）で変動していることがわかることになる。つまり、カメラ装置２で検出される画像データ上での外乱光による光線の移動位置量（ΔＸ’’、ΔＹ’’）を算出することができるようになる。
差分生成部２３は、移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を含む絶対移動体情報に基づいてカメラ装置２で検出される画像データ上での外乱光の移動位置量（ΔＸ’’、ΔＹ’’）を算出することにより、ＬＥＤ群７の点灯時に検出された光線の点灯データ（画像データ）から外乱光の位置を補正した光線の補正点灯データを作成するとともに、ＬＥＤ群７の消灯時に検出された光線の消灯データ（画像データ）から外乱光の位置を補正した光線の補正消灯データを作成して、補正点灯データと補正消灯データとを用いて、ＬＥＤ群７のみからの光線の差分データを生成する制御を行うものである。
例えば、図５に示すように光学マーカー駆動部２８により第一カメラ装置２ａで、画像データとして消灯データ＃１ａ、点灯データ＃２ａ、消灯データ＃３ａ、点灯データ＃４ａ・・・が順に検出されていく。一方、絶対移動体情報算出部２４により画像データ間で飛行体が移動した移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）が順次算出されていく。
そこで、差分生成部２３は、まず、消灯データ＃１ａが検出された時間ｔ１から点灯データ＃２ａが検出された時間ｔ２までの移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を用いて、飛行体に対する外乱光の光源の移動角度量（−ΔΘｓ、−ΔΦｓ、−ΔΨｓ）を算出する。さらに、第一カメラ装置２ａで検出される点灯データ＃２ａ上での外乱光による光線の移動位置量（ΔＸ’’、ΔＹ’’）を算出する。これにより、点灯データ＃２ａにおいて、外乱光の位置（Ｘ’’、Ｙ’’）を（Ｘ’’−ΔＸ’’、Ｙ’’−ΔＹ’’）と補正した光線の補正点灯データ＃２ａ’を作成する。そして、補正点灯データ＃２ａ’から消灯データ＃１ａを引くことにより、ＬＥＤ群７のみから出射される光線の第一差分データ（＃２ａ’−＃１ａ）を生成する。
例えば、図５に示すように光学マーカー駆動部２８により第一カメラ装置２ａで、画像データとして消灯データ＃１ａ、点灯データ＃２ａ、消灯データ＃３ａ、点灯データ＃４ａ・・・が順に検出されていく。一方、絶対移動体情報算出部２４により画像データ間で飛行体が移動した移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）が順次算出されていく。
そこで、差分生成部２３は、まず、消灯データ＃１ａが検出された時間ｔ１から点灯データ＃２ａが検出された時間ｔ２までの移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を用いて、飛行体に対する外乱光の光源の移動角度量（−ΔΘｓ、−ΔΦｓ、−ΔΨｓ）を算出する。さらに、第一カメラ装置２ａで検出される点灯データ＃２ａ上での外乱光による光線の移動位置量（ΔＸ’’、ΔＹ’’）を算出する。これにより、点灯データ＃２ａにおいて、外乱光の位置（Ｘ’’、Ｙ’’）を（Ｘ’’−ΔＸ’’、Ｙ’’−ΔＹ’’）と補正した光線の補正点灯データ＃２ａ’を作成する。そして、補正点灯データ＃２ａ’から消灯データ＃１ａを引くことにより、ＬＥＤ群７のみから出射される光線の第一差分データ（＃２ａ’−＃１ａ）を生成する。
次に、差分生成部２３は、点灯データ＃２ａが検出された時間ｔ２から消灯データ＃３ａが検出された時間ｔ３までの移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を用いて、飛行体に対する外乱光の光源の移動角度量（−ΔΘｓ、−ΔΦｓ、−ΔΨｓ）を算出する。さらに、第一カメラ装置２ａで検出される消灯データ＃３ａ上での外乱光による光線の移動位置量（ΔＸ’’、ΔＹ’’）を算出する。これにより、消灯データ＃３ａにおいて、外乱光の位置（Ｘ’’、Ｙ’’）を（Ｘ’’−ΔＸ’’、Ｙ’’−ΔＹ’’）と補正した光線の補正消灯データ＃３ａ’を作成する。そして、補正消灯データ＃３ａ’から点灯データ＃２ａを引くことにより、ＬＥＤ群７のみから出射される光線の第一差分データ（＃２ａ−＃３ａ’）を生成する。
このような作業を繰り返すことにより、第一差分データを順次生成していく。また、第二カメラ装置２ｂでも同様に、ＬＥＤ群７のみから出射される光線の第二差分データを生成する。このとき、第一差分データ及び第二差分データでは、外乱光が完全に除去されているので、ＬＥＤ群７の位置を精度よく測定することができるようになる。
なお、補正点灯データと点灯データとは、点灯データ記憶部４４に記憶されるとともに、補正消灯データと消灯データとは、消灯データ記憶部４５に記憶される。
このような作業を繰り返すことにより、第一差分データを順次生成していく。また、第二カメラ装置２ｂでも同様に、ＬＥＤ群７のみから出射される光線の第二差分データを生成する。このとき、第一差分データ及び第二差分データでは、外乱光が完全に除去されているので、ＬＥＤ群７の位置を精度よく測定することができるようになる。
なお、補正点灯データと点灯データとは、点灯データ記憶部４４に記憶されるとともに、補正消灯データと消灯データとは、消灯データ記憶部４５に記憶される。
相対頭部情報算出部２２は、差分データ（第一差分データ及び第二差分データ）に基づいて、カメラ装置２（相対座標系）に対するパイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対頭部情報を算出する制御を行うものである。
具体的には、ＬＥＤ７ａのカメラ装置２に対する位置は、第一カメラ装置２ａと第二カメラ装置２ｂとに撮影された第一差分データと第二差分データ中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ装置２ａからの方向角度（α）と第二カメラ装置２ｂからの方向角度（β）とを抽出し、第一カメラ装置２ａと第二カメラ装置２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出する。ＬＥＤ７ｂ、７ｃのカメラ装置２に対する位置についても、同様に算出する。このとき、差分データ（第一差分データ及び第二差分データ）から外乱光が完全に除去されるので、外乱光をＬＥＤと誤認識したりせずに、ＬＥＤ群７の位置を精度よく測定することができる。
そして、算出されたＬＥＤ群７と、点灯データ記憶部４４に記憶されている初期データとを比較することにより、カメラ装置２（相対座標系）に対する、ＬＥＤ群７が固定された頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を算出する。
映像表示部２５は、パイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対頭部情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することになる。
具体的には、ＬＥＤ７ａのカメラ装置２に対する位置は、第一カメラ装置２ａと第二カメラ装置２ｂとに撮影された第一差分データと第二差分データ中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ装置２ａからの方向角度（α）と第二カメラ装置２ｂからの方向角度（β）とを抽出し、第一カメラ装置２ａと第二カメラ装置２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出する。ＬＥＤ７ｂ、７ｃのカメラ装置２に対する位置についても、同様に算出する。このとき、差分データ（第一差分データ及び第二差分データ）から外乱光が完全に除去されるので、外乱光をＬＥＤと誤認識したりせずに、ＬＥＤ群７の位置を精度よく測定することができる。
そして、算出されたＬＥＤ群７と、点灯データ記憶部４４に記憶されている初期データとを比較することにより、カメラ装置２（相対座標系）に対する、ＬＥＤ群７が固定された頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を算出する。
映像表示部２５は、パイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対頭部情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することになる。
次に、ＨＭＴ装置１により、相対座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を測定する測定動作について説明する。図６及び図７は、ＨＭＴ装置１による測定動作について説明するためのフローチャートである。
まず、ステップＳ１０１の処理において、時間ｔに＋１と更新するように、ｔ＝ｔ＋１と時間記憶部４２に記憶させる。
次に、ステップＳ１０２の処理において、光学マーカー駆動部２８が、ＬＥＤ群７に消灯させる指令信号を出力することにより、ＬＥＤ群７が消灯する。
まず、ステップＳ１０１の処理において、時間ｔに＋１と更新するように、ｔ＝ｔ＋１と時間記憶部４２に記憶させる。
次に、ステップＳ１０２の処理において、光学マーカー駆動部２８が、ＬＥＤ群７に消灯させる指令信号を出力することにより、ＬＥＤ群７が消灯する。
次に、ステップＳ１０３の処理において、光学マーカー駆動部２８は、第一カメラ装置２ａ及び第二カメラ装置２ｂで消灯データ（画像データ）を検出させ、ｔ＝ｔ＋１の消灯データを消灯データ記憶部４５に記憶させる（図５中、＃１ａ及び＃３ａ参照）。このとき、消灯データには、外乱光のみが含まれる。なお、ｔ＝０の消灯データを検出したときに、検出された光線が外乱光によるものであると判定する。
また、ステップＳ１０３の処理を実行すると同時に、ステップＳ１０４の処理において、３軸ジャイロセンサ４は、時間ｔから時間ｔ＋１までの搭乗体３０の角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）を検出する。
次に、ステップＳ１０５の処理において、絶対移動体情報算出部２４は、時間ｔから時間ｔ＋１までの角速度（Ｖθｐ、Ｖφｐ、Ｖψｐ）に基づいて、外乱光に対する飛行体の時間ｔから時間ｔ＋１までの移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を含む絶対移動体情報を算出する。
また、ステップＳ１０３の処理を実行すると同時に、ステップＳ１０４の処理において、３軸ジャイロセンサ４は、時間ｔから時間ｔ＋１までの搭乗体３０の角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）を検出する。
次に、ステップＳ１０５の処理において、絶対移動体情報算出部２４は、時間ｔから時間ｔ＋１までの角速度（Ｖθｐ、Ｖφｐ、Ｖψｐ）に基づいて、外乱光に対する飛行体の時間ｔから時間ｔ＋１までの移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を含む絶対移動体情報を算出する。
次に、ステップＳ１０６の処理において、差分生成部２３は、移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を用いて、ｔ＝ｔ＋１の消灯データから外乱光の位置を補正したｔ＝ｔ＋１の補正消灯データを作成して、ｔ＝ｔ＋１の補正消灯データを消灯データ記憶部４５に記憶させる（図５中、＃３ａ’参照）。
次に、ステップＳ１０７の処理において、ｔ＝ｔの点灯データが記憶されているか否かを判定する。ｔ＝ｔの点灯データが記憶されていないと判定されたときには、ステップＳ１１０の処理に進む。
一方、ｔ＝ｔの点灯データが記憶されていると判定されたときには、ステップＳ１０８の処理において、差分生成部２３は、ｔ＝ｔ＋１の補正消灯データとｔ＝ｔの点灯データとを差分することにより、差分データ（第一差分データ及び第二差分データ）を生成する。このとき、ｔ＝ｔの点灯データからｔ＝ｔ＋１の補正消灯データを引くことにより、ＬＥＤ群７のみから出射される光線の差分データを生成することになる（図５中、＃２ａ−＃３ａ’参照）。
次に、ステップＳ１０７の処理において、ｔ＝ｔの点灯データが記憶されているか否かを判定する。ｔ＝ｔの点灯データが記憶されていないと判定されたときには、ステップＳ１１０の処理に進む。
一方、ｔ＝ｔの点灯データが記憶されていると判定されたときには、ステップＳ１０８の処理において、差分生成部２３は、ｔ＝ｔ＋１の補正消灯データとｔ＝ｔの点灯データとを差分することにより、差分データ（第一差分データ及び第二差分データ）を生成する。このとき、ｔ＝ｔの点灯データからｔ＝ｔ＋１の補正消灯データを引くことにより、ＬＥＤ群７のみから出射される光線の差分データを生成することになる（図５中、＃２ａ−＃３ａ’参照）。
次に、ステップＳ１０９の処理において、相対頭部情報算出部２２は、差分データ（第一差分データ及び第二差分データ）に基づいて、第一カメラ装置２ａ及び第二カメラ装置２ｂ（相対座標系）に対するパイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を算出する。
次に、ステップＳ１１０の処理において、時間ｔに＋１と更新するように、ｔ＝ｔ＋１と時間記憶部４２に記憶させる。
次に、ステップＳ１１１の処理において、光学マーカー駆動部２８が、ＬＥＤ群７に点灯させる指令信号を出力することにより、ＬＥＤ群７が点灯する。
次に、ステップＳ１１０の処理において、時間ｔに＋１と更新するように、ｔ＝ｔ＋１と時間記憶部４２に記憶させる。
次に、ステップＳ１１１の処理において、光学マーカー駆動部２８が、ＬＥＤ群７に点灯させる指令信号を出力することにより、ＬＥＤ群７が点灯する。
次に、ステップＳ１１２の処理において、光学マーカー駆動部２８は、第一カメラ装置２ａ及び第二カメラ装置２ｂで点灯データ（画像データ）を同時に検出させ、ｔ＝ｔ＋１の点灯データを点灯データ記憶部４４に記憶させる。このとき、点灯データには、ＬＥＤ群７から出射された光線と外乱光とが含まれる（図５中、＃２ａ及び＃４ａ参照）。
また、ステップＳ１１２の処理を実行すると同時に、ステップＳ１１３の処理において、３軸ジャイロセンサ４は、時間ｔから時間ｔ＋１までの搭乗体３０の角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）を検出する。
次に、ステップＳ１１４の処理において、絶対移動体情報算出部２４は、角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）に基づいて、外乱光に対する飛行体の時間ｔから時間ｔ＋１までの移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を含む絶対移動体情報を算出する。
また、ステップＳ１１２の処理を実行すると同時に、ステップＳ１１３の処理において、３軸ジャイロセンサ４は、時間ｔから時間ｔ＋１までの搭乗体３０の角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）を検出する。
次に、ステップＳ１１４の処理において、絶対移動体情報算出部２４は、角速度（Ｖθｓ、Ｖφｓ、Ｖψｓ）に基づいて、外乱光に対する飛行体の時間ｔから時間ｔ＋１までの移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を含む絶対移動体情報を算出する。
次に、ステップＳ１１５の処理において、差分生成部２３は、移動角度量（ΔΘｓ、ΔΦｓ、ΔΨｓ）を用いて、ｔ＝ｔ＋１の点灯データから外乱光の位置を補正したｔ＝ｔ＋１の補正点灯データを作成して、ｔ＝ｔ＋１の補正点灯データを点灯データ記憶部４４に記憶させる（図５中、＃２ａ’及び＃４ａ’参照）。
次に、ステップＳ１１６の処理において、ｔ＝ｔの消灯データが記憶されているか否かを判定する。ｔ＝ｔの消灯データが記憶されていないと判定されたときには、ステップＳ１１９の処理に進む。
一方、ｔ＝ｔの消灯データが記憶されていると判定されたときには、ステップＳ１１７の処理において、差分生成部２３は、ｔ＝ｔ＋１の補正点灯データとｔ＝ｔの消灯データとを差分することにより、差分データ（第一差分データ及び第二差分データ）を生成する。このとき、ｔ＝ｔ＋１の補正点灯データからｔ＝ｔの消灯データを引くことにより、ＬＥＤ群７のみから出射される光線の差分データを生成することになる（図５中、＃２ａ’−＃１ａ及び＃４ａ’−＃３ａ参照）。
次に、ステップＳ１１６の処理において、ｔ＝ｔの消灯データが記憶されているか否かを判定する。ｔ＝ｔの消灯データが記憶されていないと判定されたときには、ステップＳ１１９の処理に進む。
一方、ｔ＝ｔの消灯データが記憶されていると判定されたときには、ステップＳ１１７の処理において、差分生成部２３は、ｔ＝ｔ＋１の補正点灯データとｔ＝ｔの消灯データとを差分することにより、差分データ（第一差分データ及び第二差分データ）を生成する。このとき、ｔ＝ｔ＋１の補正点灯データからｔ＝ｔの消灯データを引くことにより、ＬＥＤ群７のみから出射される光線の差分データを生成することになる（図５中、＃２ａ’−＃１ａ及び＃４ａ’−＃３ａ参照）。
次に、ステップＳ１１８の処理において、相対頭部情報算出部２２は、差分データ（第一差分データ及び第二差分データ）に基づいて、第一カメラ装置２ａ及び第二カメラ装置２ｂ（相対座標系）に対するパイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を算出する。
次に、ステップＳ１１９の処理において、搭乗体３０が飛行しているか否かを判定する。搭乗体３０が飛行していると判定されたときには、ステップＳ１０１の処理に戻る。つまり、搭乗体３０が飛行していていないと判定されるときまで、ステップＳ１０１〜ステップＳ１１８の処理は繰り返される。
一方、搭乗体３０が飛行していると判定されたときには、本フローチャートを終了させる。
次に、ステップＳ１１９の処理において、搭乗体３０が飛行しているか否かを判定する。搭乗体３０が飛行していると判定されたときには、ステップＳ１０１の処理に戻る。つまり、搭乗体３０が飛行していていないと判定されるときまで、ステップＳ１０１〜ステップＳ１１８の処理は繰り返される。
一方、搭乗体３０が飛行していると判定されたときには、本フローチャートを終了させる。
以上のように、ＨＭＴ装置１によれば、搭乗体３０に取り付けられたカメラ装置２に対して外乱光の位置が変動しても、外乱光の位置を補正することにより、差分データから外乱光が完全に除去されるので、外乱光をＬＥＤと誤認識したりせずに、ＬＥＤ群７の位置を精度よく測定することができる。
（他の実施形態）
（１）上述したＨＭＴ装置１では、３軸ジャイロセンサ４を備える構成としたが、３軸ジャイロセンサ４に変えて加速度センサを備えるような構成としてもよい。なお、加速度センサでは、３軸ジャイロセンサのように角速度ではなく加速度が検出されるが、一般的な計算方法を用いて飛行体の加速度から飛行体の移動角度量を算出することになる。
（１）上述したＨＭＴ装置１では、３軸ジャイロセンサ４を備える構成としたが、３軸ジャイロセンサ４に変えて加速度センサを備えるような構成としてもよい。なお、加速度センサでは、３軸ジャイロセンサのように角速度ではなく加速度が検出されるが、一般的な計算方法を用いて飛行体の加速度から飛行体の移動角度量を算出することになる。
本発明のＨＭＴ装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの位置及び角度を測定するものとして利用される。
１ ヘッドモーショントラッカ装置
２ カメラ装置（光学検出手段）
３ パイロット（搭乗者）
４ ３軸ジャイロセンサ（移動体センサ）
７ ＬＥＤ群（光学マーカー）
２２ 相対頭部情報算出部
２３ 差分生成部
２４ 絶対移動体情報算出部
２８ 光学マーカー駆動部
３０ 搭乗体
２ カメラ装置（光学検出手段）
３ パイロット（搭乗者）
４ ３軸ジャイロセンサ（移動体センサ）
７ ＬＥＤ群（光学マーカー）
２２ 相対頭部情報算出部
２３ 差分生成部
２４ 絶対移動体情報算出部
２８ 光学マーカー駆動部
３０ 搭乗体
Claims (3)
- 搭乗者の頭部に装着されるともに、光線を出射する光学マーカーと、
前記搭乗者が搭乗する移動体に取り付けられるとともに、前記光学マーカーからの光線を検出する立体視可能な光学検出手段と、
検出された光線に基づいて、前記移動体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出する相対頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、
前記光学マーカーに点灯と消灯とを繰り返させる光学マーカー駆動部と、
前記移動体に取り付けられるとともに、前記移動体に作用する角速度及び／又は加速度を検出する移動体センサと、
前記移動体センサから検出された角速度及び／又は加速度に基づいて、外乱光に対する移動体の移動角度量を含む絶対移動体情報を算出する絶対移動体情報算出部と、
前記絶対移動体情報に基づいて、前記光学検出手段に対する外乱光による光線の移動位置量を算出することにより、前記光学マーカーの点灯時に検出された光線の点灯データから外乱光による光線の位置を補正した補正点灯データを作成するとともに、前記光学マーカーの消灯時に検出された光線の消灯データから外乱光による光線の位置を補正した補正消灯データを作成して、当該補正点灯データ及び補正消灯データを用いて、前記光学マーカーのみからの光線の差分データを生成する差分生成部とを備え、
前記相対頭部情報算出部は、前記差分データに基づいて相対頭部情報を算出することを特徴とするヘッドモーショントラッカ装置。 - 前記光学マーカーは、３個以上のＬＥＤであり、かつ、
前記光学検出手段は、２台以上のカメラ装置であることを特徴とする請求項１に記載のヘッドモーショントラッカ装置。 - 前記外乱光は、太陽光であることを特徴とする請求項１又は２に記載のヘッドモーショントラッカ装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007203997A JP4877138B2 (ja) | 2007-08-06 | 2007-08-06 | ヘッドモーショントラッカ装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007203997A JP4877138B2 (ja) | 2007-08-06 | 2007-08-06 | ヘッドモーショントラッカ装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009041919A JP2009041919A (ja) | 2009-02-26 |
| JP4877138B2 true JP4877138B2 (ja) | 2012-02-15 |
Family
ID=40442829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007203997A Active JP4877138B2 (ja) | 2007-08-06 | 2007-08-06 | ヘッドモーショントラッカ装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4877138B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5614066B2 (ja) * | 2010-03-18 | 2014-10-29 | 株式会社リコー | 自己位置計測装置 |
| KR101920473B1 (ko) | 2011-07-27 | 2018-11-22 | 삼성전자주식회사 | 센서 융합 기반으로 3차원 위치와 방향을 추정하는 장치 및 방법 |
| CN103657089A (zh) * | 2013-11-15 | 2014-03-26 | 青岛歌尔声学科技有限公司 | 一种判定设备姿态的***和方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4396564B2 (ja) * | 2005-04-01 | 2010-01-13 | 株式会社島津製作所 | 物体のモニタリング方法およびこれを用いたモーショントラッカ |
| JP2007071782A (ja) * | 2005-09-08 | 2007-03-22 | Canon Inc | 位置姿勢計測システム及びその計測方法、並びに制御プログラム |
| JP4692250B2 (ja) * | 2005-12-01 | 2011-06-01 | 株式会社島津製作所 | ヘッドモーショントラッカ |
| JP2007334762A (ja) * | 2006-06-16 | 2007-12-27 | Shimadzu Corp | ヘッドモーショントラッカ装置 |
-
2007
- 2007-08-06 JP JP2007203997A patent/JP4877138B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009041919A (ja) | 2009-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5594944B2 (ja) | モーショントラッカ装置 | |
| JP4961904B2 (ja) | ヘッドモーショントラッカ装置 | |
| JP5145832B2 (ja) | 頭部装着型表示装置及び頭部装着型表示装置システム | |
| GB2528446A (en) | Method and apparatus for detecting and following an eye and/or the gaze direction thereof | |
| US20100079830A1 (en) | Device for optically detecting position and/or orientation of objects and associated detection methods | |
| JP4924342B2 (ja) | モーショントラッカ装置 | |
| JP4665872B2 (ja) | ヘッドモーショントラッカ装置 | |
| JP5292725B2 (ja) | モーショントラッカ装置 | |
| CA2953268A1 (en) | Device for detection of obstacles with a horizontal plane and detection method implementing such a device | |
| KR102457608B1 (ko) | 차량에서 가상 현실용 헤드셋을 동작하는 방법 및 제어 장치 | |
| JP5092300B2 (ja) | ヘッドモーショントラッカ装置 | |
| JP4877138B2 (ja) | ヘッドモーショントラッカ装置 | |
| JP4967546B2 (ja) | ヘッドモーショントラッカ装置 | |
| JP2012226666A (ja) | モーショントラッカ装置 | |
| JP4656017B2 (ja) | ヘッドモーショントラッカ装置 | |
| JP4905321B2 (ja) | ヘッドモーショントラッカ装置 | |
| JP2009036517A (ja) | ヘッドモーショントラッカ装置 | |
| JP4905311B2 (ja) | ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置 | |
| JP5029531B2 (ja) | モーショントラッカシステム及びその座標系設定方法 | |
| JP4656016B2 (ja) | モーショントラッカ装置 | |
| JP2007334762A (ja) | ヘッドモーショントラッカ装置 | |
| JP4872768B2 (ja) | ヘッドモーショントラッカ装置 | |
| WO2020195430A1 (ja) | 画像表示システム、移動体、画像表示方法及びプログラム | |
| JP2021107607A (ja) | スマートヘルメット用ディスプレイの移動較正 | |
| JP2011015831A (ja) | ヘッドモーショントラッカ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091028 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110819 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111017 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111101 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111114 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4877138 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141209 Year of fee payment: 3 |