JP2009085805A

JP2009085805A - Motion tracker apparatus

Info

Publication number: JP2009085805A
Application number: JP2007257145A
Authority: JP
Inventors: Kazuo Tawada; 一穂多和田
Original assignee: Shimadzu Corp
Current assignee: Shimadzu Corp
Priority date: 2007-10-01
Filing date: 2007-10-01
Publication date: 2009-04-23
Anticipated expiration: 2027-10-01
Also published as: JP4924342B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a motion tracker apparatus capable of accurately measuring a current position and a current angle of an object such as a helmet etc. with a head-mounted display device to a relative coordinate system set in a camera device. <P>SOLUTION: The motion tracker apparatus 1 is provided with the camera device 2 and an optical-marker-position information computation part 24 for computing optical-marker position information, being current positions of optical markers 7. The motion tracker apparatus 1 is provided with an object angular velocity sensor 14; an object acceleration sensor 15; an object velocity computation part 25; and a change-over part 29 for computing relative information at a first relative information computation part 22 when the optical-marker position information includes current positions of three optical markers 7 or more, computing relative information at a second relative information computation part 23 when the optical-marker position information includes an current position of one optical marker 7 or current positions of two optical markers 7, and computing relative information at a third relative information computation part 26 when the optical marker position information includes no current positions of any optical markers 7. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、カメラ装置に設定された相対座標系に対する対象物の現在位置及び現在角度を測定するためのモーショントラッカ装置（以下、ＭＴ装置ともいう）に関する。本発明は、例えば、ゲーム機や乗物等の移動体で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度（すなわち、現在の頭部位置及び頭部角度）を測定するＨＭＴ装置（以下、ＨＭＴ装置ともいう）等に利用される。 The present invention relates to a motion tracker device (hereinafter also referred to as an MT device) for measuring a current position and a current angle of an object with respect to a relative coordinate system set in a camera device. The present invention relates to an HMT device that measures a current position and a current angle (that is, a current head position and a head angle) of a helmet with a head-mounted display device used in a moving body such as a game machine or a vehicle (for example, Hereinafter, it is also used as an HMT apparatus).

時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要があり、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ＨＭＴ装置が利用されている。 A technique for accurately measuring the current position and current angle of an object that changes from moment to moment is used in various fields. For example, in a game machine, an image is displayed by using a helmet with a head-mounted display device in order to realize virtual reality (VR). At this time, it is necessary to change the image in accordance with the current position and current angle of the head-mounted display-equipped helmet. In order to measure the current position and current angle of the head-mounted display-equipped helmet, the HMT The device is being used.

また、救難飛行艇による救難活動では、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体（救難飛行艇）の緯度、経度、高度、姿勢に加えて、飛行体に設定された相対座標系に対するパイロットの頭部の現在位置や現在角度を測定する必要があり、ＨＭＴ装置が利用されている。 Also, in the rescue operation by the rescue flying boat, in order not to lose sight of the found rescue target, by locking when the aiming image displayed by the helmet with head mounted display device corresponds to the rescue target, Calculating the position of the locked rescue target has been done. At this time, in order to calculate the position of the rescue target, in addition to the latitude, longitude, altitude, and attitude of the flying object (rescue flying boat), the current position of the pilot's head relative to the relative coordinate system set for the flying object It is necessary to measure the current angle, and an HMT apparatus is used.

頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（例えば、特許文献１参照）。例えば、光学マーカー群として、複数の反射板を頭部装着型表示装置付ヘルメットの外周面上に取り付けるとともに、光源から光を照射したときの反射光をカメラ装置でモニタする光学方式のＨＭＴ装置が開示されている。また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のＨＭＴ装置もある（例えば、特許文献２参照）。図５は、従来の光学方式のＨＭＴ装置を示す図である。図５に示すように、頭部装着型表示装置付ヘルメット５０の外周面上に、光学マーカー群として、発光体であるＬＥＤ（発光ダイオード）７を互いに離隔するようにして３箇所に取り付け、これら３個のＬＥＤ７の相対的な位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３個のＬＥＤ７を、設置場所が固定された２台のカメラ２ａ、２ｂで同時に立体視で撮影することで、所謂、三角測量の原理により、現在の３個のＬＥＤ７の相対的な位置関係を測定している。このようにして、頭部装着型表示装置付ヘルメット５０に固定された３点の位置（３個のＬＥＤの位置）が特定できれば、頭部装着型表示装置付ヘルメット５０の位置や角度が特定できるので、これにより、２台のカメラ２ａ、２ｂに対する頭部装着型表示装置付ヘルメット５０の移動位置や移動角度を算出している。
特表平９−５０６１９４号公報特願２００６−２８４４４２号公報 As an HMT device used for a helmet with a head-mounted display device, an apparatus that optically measures the current position and current angle of the helmet with a head-mounted display device is disclosed (for example, see Patent Document 1). ). For example, as an optical marker group, there is an optical HMT device that attaches a plurality of reflecting plates on the outer peripheral surface of a helmet with a head-mounted display device and monitors reflected light when a light is emitted from a light source with a camera device. It is disclosed. There is also an optical HMT device in which light emitters are attached to a plurality of locations so as to be separated from each other (see, for example, Patent Document 2). FIG. 5 is a diagram showing a conventional optical HMT apparatus. As shown in FIG. 5, on the outer peripheral surface of the helmet 50 with a head-mounted display device, as an optical marker group, LEDs (light emitting diodes) 7 as light emitters are attached to three locations so as to be separated from each other. The relative positional relationship of the three LEDs 7 is stored in advance in the HMT device. Then, these three LEDs 7 are photographed in stereoscopic view simultaneously by two cameras 2a and 2b whose installation locations are fixed, so that the relative relationship between the current three LEDs 7 can be determined based on the so-called triangulation principle. The positional relationship is measured. In this way, if three positions (positions of three LEDs) fixed to the helmet 50 with a head-mounted display device can be specified, the position and angle of the helmet 50 with a head-mounted display device can be specified. Therefore, the movement position and movement angle of the helmet 50 with a head-mounted display device with respect to the two cameras 2a and 2b are calculated.
JP-T 9-506194 Japanese Patent Application No. 2006-284442

しかしながら、光学方式のＨＭＴ装置においては、２台のカメラ２ａ、２ｂにより３個のＬＥＤ７を観測し続ける必要があるが、図６に示すように、頭部装着型表示装置付ヘルメット５０の位置や角度が大きく変化する場合には、３個のＬＥＤ７の位置とカメラ２ａ、２ｂの設置場所との関係で、３個のＬＥＤ７の内のいくつかがカメラ２ａ、２ｂの視野から外れることがあり、その結果、頭部装着型表示装置付ヘルメット５０の測定ができなくなることがあった。
そこで、本発明は、カメラ装置でＬＥＤ等の光学マーカーの検出ができなくなったときに、カメラ装置に設定された相対座標系に対する、頭部装着型表示装置付ヘルメット等の対象物の現在位置及び現在角度を、精度よく測定することができるモーショントラッカ装置を提供することを目的とする。 However, in the optical HMT device, it is necessary to continue to observe the three LEDs 7 with the two cameras 2a and 2b. However, as shown in FIG. When the angle changes greatly, some of the three LEDs 7 may be out of the field of view of the cameras 2a and 2b due to the relationship between the positions of the three LEDs 7 and the installation locations of the cameras 2a and 2b. As a result, measurement of the helmet 50 with a head-mounted display device may not be possible.
Therefore, the present invention provides a current position of an object such as a helmet with a head-mounted display device with respect to a relative coordinate system set in the camera device when an optical marker such as an LED cannot be detected by the camera device. It is an object of the present invention to provide a motion tracker device that can accurately measure the current angle.

上記課題を解決するためになされた本発明のモーショントラッカ装置は、対象物に位置決めされて取り付けられた３個以上の光学マーカーと、相対座標系が設定され、前記光学マーカーからの光線を立体視で検出するカメラ装置と、検出された光線に基づいて、前記相対座標系に対する光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出して、相対情報記憶部に記憶させる第一相対情報算出部とを備えるモーショントラッカ装置であって、前記対象物に取り付けられるとともに、前記対象物に作用する対象物角速度を検出する対象物角速度センサと、前記対象物に取り付けられるとともに、前記対象物に作用する対象物加速度を検出する対象物加速度センサと、前記相対情報記憶部に記憶された少なくとも２つの相対情報に基づいて、前記対象物の対象物速度を算出する対象物速度算出部と、前記対象物角速度、光学マーカー位置情報、及び、記憶された相対情報に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出して、前記相対情報記憶部に記憶させる第二相対情報算出部と、前記対象物角速度、対象物加速度、対象物速度、及び、記憶された相対情報に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出して、前記相対情報記憶部に記憶させる第三相対情報算出部と、前記光学マーカー位置情報算出部で算出された光学マーカー位置情報が、３個以上の光学マーカーの現在位置を含むときには、前記第一相対情報算出部で相対情報を算出し、前記光学マーカー位置情報が、１個以上３個未満の光学マーカーの現在位置を含むときには、前記第二相対情報算出部で相対情報を算出し、前記光学マーカー位置情報が、全く光学マーカーの現在位置を含まないときには、前記第三相対情報算出部で相対情報を算出する切替部とを備えるようにしている。 In order to solve the above problems, the motion tracker device of the present invention has three or more optical markers positioned and attached to an object, a relative coordinate system, and a three-dimensional view of light rays from the optical markers. Based on the detected light beam, an optical marker position information calculating unit that calculates optical marker position information that is a current position of the optical marker with respect to the relative coordinate system, and based on the optical marker position information A motion tracker device comprising: a first relative information calculation unit that calculates relative information including a current position and a current angle of an object relative to the relative coordinate system, and stores the relative information in a relative information storage unit; An object angular velocity sensor for detecting an object angular velocity acting on the object and attached to the object. And an object acceleration sensor for detecting an object acceleration acting on the object, and an object for calculating an object speed of the object based on at least two pieces of relative information stored in the relative information storage unit. Based on the velocity calculation unit, the object angular velocity, the optical marker position information, and the stored relative information, the relative information including the current position and the current angle of the object with respect to the relative coordinate system is calculated, and the relative Based on the second relative information calculation unit to be stored in the information storage unit, the object angular velocity, the object acceleration, the object speed, and the stored relative information, the current position and the current position of the object with respect to the relative coordinate system Calculating relative information including an angle and storing the relative information in the relative information storage unit; and the optical marker position information calculated by the optical marker position information calculation unit. However, when the current position of three or more optical markers is included, the first relative information calculation unit calculates relative information, and the optical marker position information includes the current positions of one or more than three optical markers. Sometimes, the second relative information calculation unit calculates relative information, and when the optical marker position information does not include any current position of the optical marker, the third relative information calculation unit calculates relative information; It is intended to have.

ここで、「対象物角速度センサ」とは、センサ自体に３軸が定義されて、この３軸を基準とする角速度を検出できるもののことをいい、例えば、ジャイロセンサ等が用いられる。
また、「対象物加速度センサ」とは、センサ自体に３軸が定義されて、この３軸を基準とする３軸方向の加速度を検出できるもののことをいい、例えば、加速度センサ等が用いられる。 Here, the “object angular velocity sensor” means a sensor whose three axes are defined in the sensor itself and can detect an angular velocity with reference to these three axes. For example, a gyro sensor or the like is used.
The “object acceleration sensor” refers to a sensor in which three axes are defined in the sensor itself, and acceleration in a triaxial direction with reference to the three axes can be detected. For example, an acceleration sensor or the like is used.

本発明のＨＭＴ装置によれば、３個以上の光学マーカーが、対象物に位置決めされて取り付けられている。また、カメラ装置が、光学マーカーからの光線を立体視で検出する。そして、光学マーカー位置情報算出部は、検出された光線に基づいて、相対座標系に対する光学マーカーの現在位置である光学マーカー位置情報を算出する。このとき、光学マーカー位置情報が、３個以上の光学マーカーの現在位置を含んでいれば、対象物の現在位置及び現在角度が特定できるので、第一相対情報算出部が光学マーカー位置情報のみを用いて相対情報を算出する。
しかし、対象物の位置や角度が大きく変化した場合には、光学マーカーの位置とカメラ装置の設置場所との関係で、カメラ装置により１個若しくは２個の光学マーカーからの光線のみしか立体視で検出することができないことがある。そこで、本発明のＨＭＴ装置では、対象物角速度センサが、対象物に作用する対象物角速度を検出する。これにより、光学マーカー位置情報が、１個以上３個未満の光学マーカーの現在位置を含むときには、第二相対情報算出部が、光学マーカー位置情報を用いて対象物の位置を特定するとともに、対象物角速度を用いて対象物の移動角度量を算出することにより、相対情報を算出する。
さらに、対象物の位置や角度が大きく変化した場合には、光学マーカーの位置とカメラ装置の設置場所との関係で、カメラ装置により全く光学マーカーからの光線を立体視で検出することができないことがある。そこで、本発明のＨＭＴ装置では、対象物加速度センサが、対象物に作用する対象物加速度を検出する。これにより、光学マーカー位置情報が、全く光学マーカーの現在位置を含まないときには、第三相対情報算出部が、対象物角速度を用いて対象物の移動角度量を算出するとともに、対象物加速度を用いて対象物の移動距離量を算出することにより、相対情報を算出する。 According to the HMT device of the present invention, three or more optical markers are positioned and attached to an object. Further, the camera device detects the light beam from the optical marker by stereoscopic vision. The optical marker position information calculation unit calculates optical marker position information, which is the current position of the optical marker with respect to the relative coordinate system, based on the detected light beam. At this time, if the optical marker position information includes the current positions of three or more optical markers, the current position and the current angle of the object can be specified, so the first relative information calculation unit calculates only the optical marker position information. To calculate relative information.
However, when the position or angle of the object changes greatly, only the light rays from one or two optical markers can be stereoscopically viewed by the camera device due to the relationship between the position of the optical marker and the installation location of the camera device. It may not be detected. Therefore, in the HMT apparatus of the present invention, the object angular velocity sensor detects the object angular velocity acting on the object. Thereby, when the optical marker position information includes the current position of one or more and less than three optical markers, the second relative information calculation unit specifies the position of the object using the optical marker position information, and the target The relative information is calculated by calculating the amount of movement angle of the object using the object angular velocity.
Furthermore, when the position or angle of the object changes significantly, the camera device cannot detect the light beam from the optical marker in stereoscopic view due to the relationship between the position of the optical marker and the installation location of the camera device. There is. Therefore, in the HMT apparatus of the present invention, the object acceleration sensor detects the object acceleration acting on the object. Thereby, when the optical marker position information does not include the current position of the optical marker at all, the third relative information calculation unit calculates the moving angle amount of the object using the object angular velocity and uses the object acceleration. The relative information is calculated by calculating the moving distance of the object.

以上のように、本発明のＨＭＴ装置によれば、カメラ装置により光学マーカーの検出ができなくなるような、第一相対情報算出部が相対情報を算出できない状態になったときにも、第二相対情報算出部や第三相対情報算出部が相対情報を算出することができる。
なお、第三相対情報算出部は、対象物角速度と対象物加速度とに基づいて、相対情報を算出するが、対象物加速度を用いて対象物の移動距離量を算出する際に２回積分を実施するため、高い精度を長時間確保することはできない。そこで、第一相対情報算出部が相対情報を算出できない状態になったときに、光学マーカー位置情報が、１個以上３個未満の光学マーカーの現在位置を含む場合には、対象物加速度を用いず、第二相対情報算出部が、光学マーカー位置情報を用いて対象物の位置を特定するとともに、対象物角速度を用いて対象物の移動角度量を算出することにより、相対情報を算出する。つまり、光学マーカー位置情報が、全く光学マーカーの現在位置を含まない場合のみに、第三相対情報算出部が、対象物角速度を用いて対象物の移動角度量を算出するとともに、対象物加速度を用いて対象物の移動距離量を算出することにより、相対情報を算出する。したがって、対象物加速度を用いて対象物の移動距離量を算出する時間を減少させることで、高い精度を保持することができる。すなわち、精度よく、移動体に設定された相対座標系に対する対象物の現在位置及び現在角度を算出することができる。 As described above, according to the HMT device of the present invention, even when the first relative information calculation unit becomes unable to calculate relative information such that the optical marker cannot be detected by the camera device, the second relative The information calculation unit and the third relative information calculation unit can calculate the relative information.
The third relative information calculation unit calculates the relative information based on the object angular velocity and the object acceleration, but performs the integration twice when calculating the moving distance of the object using the object acceleration. As a result, high accuracy cannot be ensured for a long time. Therefore, when the first relative information calculation unit cannot calculate relative information, if the optical marker position information includes the current position of one or more and less than three optical markers, the object acceleration is used. First, the second relative information calculation unit calculates the relative information by specifying the position of the object using the optical marker position information and calculating the moving angle amount of the object using the object angular velocity. That is, only when the optical marker position information does not include the current position of the optical marker at all, the third relative information calculation unit calculates the movement angle amount of the object using the object angular velocity and calculates the object acceleration. The relative information is calculated by calculating the moving distance amount of the object. Therefore, high accuracy can be maintained by reducing the time for calculating the moving distance of the object using the object acceleration. That is, the current position and current angle of the object with respect to the relative coordinate system set on the moving body can be calculated with high accuracy.

（他の課題を解決するための手段および効果）
また、上記発明において、前記対象物は、搭乗者の頭部に装着されるヘルメットであり、かつ、前記カメラ装置は、前記搭乗者が搭乗する移動体に取り付けられ、さらに、前記移動体に取り付けられるとともに、前記移動体に作用する移動体角速度を、前記対象物角速度センサと同時間に検出する移動体角速度センサと、前記移動体に取り付けられるとともに、前記移動体に作用する移動体加速度を、前記対象物加速度センサと同時間に検出する移動体加速度センサとを備え、前記第二相対情報算出部は、前記対象物角速度、光学マーカー位置情報、記憶された相対情報、及び、移動体角速度に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出し、前記第三相対情報算出部は、前記対象物角速度、対象物加速度、対象物速度、記憶された相対情報、移動体角速度、及び、移動体加速度に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出するようにしてもよい。 (Means and effects for solving other problems)
In the above invention, the object is a helmet to be mounted on a passenger's head, and the camera device is attached to a moving body on which the passenger is boarded, and is further attached to the moving body. And a moving body angular velocity sensor that detects a moving body angular velocity acting on the moving body at the same time as the object angular velocity sensor, and a moving body acceleration that is attached to the moving body and acts on the moving body, A moving body acceleration sensor that detects the object acceleration sensor at the same time, and the second relative information calculation unit calculates the object angular velocity, the optical marker position information, the stored relative information, and the moving body angular velocity. Based on the relative coordinate system to calculate relative information including the current position and current angle of the object, the third relative information calculation unit, the object angular velocity, the object Relative information including the current position and current angle of the object relative to the relative coordinate system may be calculated based on the acceleration, the object speed, the stored relative information, the mobile object angular velocity, and the mobile object acceleration. .

ここで、「移動体角速度センサ」とは、センサ自体に３軸が定義されて、この３軸を基準とする角速度を検出できるもののことをいい、例えば、ジャイロセンサ等が用いられる。なお、上述した対象物角速度センサは、対象物が移動体中で移動したときには、対象物の動きと移動体の動きとが合成された動きの情報を検出することになる。一方、移動体角速度センサは、対象物が移動体中で移動しても、移動体の動きのみの情報を検出することになる。
また、「移動体加速度センサ」とは、センサ自体に３軸が定義されて、この３軸を基準とする３軸方向の加速度を検出できるもののことをいい、例えば、加速度センサ等が用いられる。なお、上述した対象物加速度センサは、対象物が移動体中で移動したときには、対象物の動きと移動体の動きとが合成された動きの情報を検出することになる。一方、移動体加速度センサは、対象物が移動体中で移動しても、移動体の動きのみの情報を検出することになる。 Here, the “moving body angular velocity sensor” refers to a sensor whose three axes are defined in the sensor itself and capable of detecting an angular velocity based on these three axes. For example, a gyro sensor or the like is used. Note that the above-described object angular velocity sensor detects movement information obtained by combining the movement of the object and the movement of the moving object when the object moves in the moving object. On the other hand, the moving body angular velocity sensor detects only the movement of the moving body even if the object moves in the moving body.
The “moving body acceleration sensor” refers to a sensor in which three axes are defined in the sensor itself, and acceleration in a triaxial direction with reference to the three axes can be detected. For example, an acceleration sensor or the like is used. Note that the object acceleration sensor described above detects movement information obtained by combining the movement of the object and the movement of the moving object when the object moves in the moving object. On the other hand, the moving body acceleration sensor detects only the movement of the moving body even if the object moves in the moving body.

本発明のＨＭＴ装置によれば、搭乗者が移動体中に搭乗しているときには、対象物角速度センサは、搭乗者の動きと移動体の動きとが合成された動きの情報を検出するが、移動体角速度センサが移動体の動きのみの情報を検出するため、対象物角速度と移動体角速度とを用いて、移動体の動きを除外した搭乗者の動きのみの情報を算出することができる。また、対象物加速度センサも、搭乗者の動きと移動体の動きとが合成された動きの情報を検出するが、移動体加速度センサが移動体の動きのみの情報を検出するため、対象物加速度と移動体加速度とを用いて、移動体の動きを除外した搭乗者の動きのみの情報を算出することができる。これにより、搭乗者が移動体に搭乗していても、相対情報を算出することができる。 According to the HMT device of the present invention, when the occupant is in the moving body, the object angular velocity sensor detects the information on the movement in which the movement of the occupant and the movement of the moving body are combined. Since the moving body angular velocity sensor detects only information on the movement of the moving body, it is possible to calculate only the information on the movement of the passenger excluding the movement of the moving body using the object angular velocity and the moving body angular velocity. The object acceleration sensor also detects movement information obtained by combining the movement of the passenger and the movement of the moving body. However, since the moving body acceleration sensor detects only the movement of the moving body, the object acceleration is detected. And the moving body acceleration can be used to calculate information on only the movement of the passenger excluding the movement of the moving body. Thereby, even if the passenger is on the moving body, the relative information can be calculated.

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. Note that the present invention is not limited to the embodiments described below, and it goes without saying that various aspects are included without departing from the spirit of the present invention.

図１は、本発明の一実施形態であるＨＭＴ装置の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメットの平面図である。また、図３は、相対座標系（ＸＹＺ座標系）の設定を説明するための図である。
本実施形態は、飛行体３０に搭乗するパイロット３が着用する頭部装着型表示装置付ヘルメットの現在位置及び現在角度を算出するものである。つまり、ＨＭＴ装置１は、飛行体３０に設定された相対座標系（ＸＹＺ座標系）に対する、パイロット３が着用する頭部装着型表示装置付ヘルメット１０に設定されたヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を算出する。なお、相対座標系（ＸＹＺ座標系）は、後述するカメラ装置２を基準とするものであり、相対座標系記憶部４３に記憶され、一方、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、後述するＬＥＤ群７を基準として設定されたものであり、ヘルメット座標系記憶部４４に記憶されている。また、角度（ＲＬｈ）は、ロール方向（Ｘ軸に対する回転）の角度であり、角度（ＥＬｈ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度（ＡＺｈ）は、アジマス方向（Ｚ軸に対する回転）の角度である。 FIG. 1 is a diagram showing a schematic configuration of an HMT device according to an embodiment of the present invention, and FIG. 2 is a plan view of the helmet with a head-mounted display device shown in FIG. FIG. 3 is a diagram for explaining the setting of the relative coordinate system (XYZ coordinate system).
In the present embodiment, the current position and the current angle of the helmet with a head mounted display device worn by the pilot 3 boarding the flying object 30 are calculated. That is, the HMT device 1 has a helmet coordinate system (X′Y ′) set in the helmet 10 with a head mounted display device worn by the pilot 3 with respect to the relative coordinate system (XYZ coordinate system) set in the flying object 30. The position (Xh, Yh, Zh) and angle (RLh, ELh, AZh) of the Z ′ coordinate system) are calculated. The relative coordinate system (XYZ coordinate system) is based on the camera device 2 described later, and is stored in the relative coordinate system storage unit 43, while the helmet coordinate system (X'Y'Z 'coordinate system). Is set based on the LED group 7 described later, and is stored in the helmet coordinate system storage unit 44. The angle (RLh) is an angle in the roll direction (rotation with respect to the X axis), the angle (ELh) is an angle in the elevation direction (rotation with respect to the Y axis), and the angle (AZh) is in the azimuth direction ( Angle of rotation with respect to the Z-axis).

ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、飛行体３０に取り付けられたカメラ装置２と、飛行体３０に取り付けられた移動体３軸ジャイロセンサ（移動体角速度センサ）４及び移動体加速度センサ５と、コンピュータにより構成される制御部２０とから構成される。 The HMT apparatus 1 includes a helmet 10 with a head-mounted display device attached to the head of a pilot 3, a camera device 2 attached to the flying object 30, and a mobile three-axis gyro sensor attached to the flying object 30. (Moving body angular velocity sensor) 4 and moving body acceleration sensor 5, and a control unit 20 constituted by a computer.

頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、ＬＥＤ（光学マーカー）群７と、対象物３軸ジャイロセンサ（対象物角速度センサ）１４と、対象物加速度センサ１５とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示画像とコンバイナ８の前方実在物とを視認することが可能となっている。
ＬＥＤ群７は、図２に示すように、互いに異なる波長の赤外光を発光する３個（あるいは３個以上の数）のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして取り付けられたものである。 The helmet 10 with a head-mounted display device includes a display (not shown), a combiner 8 that guides the eyes of the pilot 3 by reflecting image display light emitted from the display, and an LED (optical marker). A group 7, an object three-axis gyro sensor (object angular velocity sensor) 14, and an object acceleration sensor 15 are included. In addition, the pilot 3 wearing the helmet 10 with a head-mounted display device can visually recognize the display image by the display and the front actual thing of the combiner 8.
As shown in FIG. 2, the LED group 7 is mounted such that three (or three or more) LEDs 7a, 7b, 7c emitting infrared light having different wavelengths are separated from each other. is there.

ここで、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をＬＥＤ７ａの位置とし、前方方向をＸ’軸方向とし、前方方向に垂直方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義するように、後述するヘルメット座標系記憶部４４に設定されている。また、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も、ヘルメット座標系記憶部４４に記憶されている。これにより、後述する三角測量の手法で、現時点における３個のＬＥＤ７ａ、７ｂ、７ｃの位置を算出し、初期データを参照することで、頭部装着型表示装置ヘルメット１０の現在位置及び現在角度が、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を用いて表現されるようになっている。 Here, the helmet coordinate system (X′Y′Z ′ coordinate system) can arbitrarily determine the origin and the direction of each coordinate axis. In this embodiment, as shown in FIG. 2, the origin is the position of the LED 7a. As will be described later, the forward direction is defined as the X ′ axis direction, the forward direction is defined as the Y ′ axis direction, and the X ′ axis direction and the Y ′ axis direction are defined as the Z ′ axis direction. It is set in the helmet coordinate system storage unit 44. Further, the positional relationship (initial data) of the three LEDs 7 a, 7 b, 7 c on the helmet coordinate system (X′Y′Z ′ coordinate system) is also stored in the helmet coordinate system storage unit 44. Thereby, the position of the three LEDs 7a, 7b, and 7c at the present time is calculated by a triangulation method to be described later, and the current position and the current angle of the head mounted display device helmet 10 are determined by referring to the initial data. It is expressed using a helmet coordinate system (X′Y′Z ′ coordinate system).

対象物３軸ジャイロセンサ１４は、頭部装着型表示装置付ヘルメット１０に作用する対象物角速度（Ｖ’_ＲＬ、Ｖ’_ＥＬ、Ｖ’_ＡＺ）を検出するものである。また、対象物３軸ジャイロセンサ１４は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）に軸を合わせられて、頭部装着型表示装置付ヘルメット１０に取り付けられている。よって、ロール方向（Ｘ’軸に対する回転）、エレベーション方向（Ｙ’軸に対する回転）、アジマス方向（Ｚ’軸に対する回転）における対象物角速度（Ｖ’_ＲＬ、Ｖ’_ＥＬ、Ｖ’_ＡＺ）が検出される。このとき、パイロット３は飛行体３０に乗っており、飛行体３０自体も動いているので、対象物角速度（Ｖ’_ＲＬ、Ｖ’_ＥＬ、Ｖ’_ＡＺ）は、パイロット３の頭部の角速度だけでなく、飛行体３０の角速度も含んだものとなる。
なお、対象物３軸ジャイロセンサ１４は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点に取り付けられていてもよく、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点以外の位置に取り付けられた場合には、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点の位置での角速度を求めるためにオフセット行列Ｍ０を乗算したりする一般的な計算方法等で、対象物角速度（Ｖ’_ＲＬ、Ｖ’_ＥＬ、Ｖ’_ＡＺ）に変換することになる。 The object 3-axis gyro sensor 14 detects an object angular velocity (V ′ _RL , V ′ _EL , V ′ _AZ ) that acts on the helmet 10 with a head-mounted display device. Further, the object 3-axis gyro sensor 14 is attached to the helmet 10 with a head-mounted display device with its axis aligned with the helmet coordinate system (X′Y′Z ′ coordinate system). Accordingly, the object angular velocities (V ′ _RL , V ′ _EL , V ′ _AZ ) in the roll direction (rotation with respect to the X ′ axis), the elevation direction (rotation with respect to the Y ′ axis), and the azimuth direction (rotation with respect to the Z ′ axis) are determined. Detected. At this time, since the pilot 3 is on the flying body 30 and the flying body 30 itself is moving, the object angular velocities (V ′ _RL , V ′ _EL , V ′ _AZ ) are only the angular velocities of the head of the pilot 3. In addition, the angular velocity of the flying object 30 is included.
Note that the object 3-axis gyro sensor 14 may be attached to the origin of the helmet coordinate system (X′Y′Z ′ coordinate system), other than the origin of the helmet coordinate system (X′Y′Z ′ coordinate system). In the general calculation method such as multiplying the offset matrix M0 to obtain the angular velocity at the position of the origin of the helmet coordinate system (X'Y'Z 'coordinate system) The object angular velocity (V ′ _RL , V ′ _EL , V ′ _AZ ) is converted.

対象物加速度センサ１５は、頭部装着型表示装置付ヘルメット１０に作用する対象物加速度（α’_ｘ、α’_ｙ、α’_ｚ）を検出するものである。また、対象物加速度センサ１５は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）に軸を合わせられて、頭部装着型表示装置付ヘルメット１０に取り付けられている。よって、Ｘ’軸、Ｙ’軸、Ｚ’軸における対象物加速度（α’_ｘ、α’_ｙ、α’_ｚ）が検出される。このとき、パイロット３は飛行体３０に乗っており、飛行体３０自体も動いているので、対象物加速度（α’_ｘ、α’_ｙ、α’_ｚ）は、パイロット３の頭部の加速度だけでなく、飛行体３０の加速度も含んだものとなる。
なお、軸合わせされずに、頭部装着型表示装置付ヘルメット１０に取り付けられている場合は、座標変換行列を求めておくことで、ヘルメット座標系と関連付けを行うことになる。 The object acceleration sensor 15 detects an object acceleration (α ′ _x , α ′ _y , α ′ _z ) that acts on the helmet 10 with a head-mounted display device. The object acceleration sensor 15 is attached to the head mounted display-equipped helmet 10 with the axis aligned with the helmet coordinate system (X′Y′Z ′ coordinate system). Therefore, object accelerations (α ′ _x , α ′ _y , α ′ _z ) in the X ′ axis, the Y ′ axis, and the Z ′ axis are detected. At this time, since the pilot 3 is on the flying body 30 and the flying body 30 itself is moving, the object acceleration (α ′ _x , α ′ _y , α ′ _z ) is only the acceleration of the head of the pilot 3. In addition, the acceleration of the flying object 30 is included.
In addition, when it is attached to the helmet 10 with a head-mounted display device without being aligned, association with the helmet coordinate system is performed by obtaining a coordinate transformation matrix.

なお、本実施形態では、初期の状態において、パイロット３によって相対座標系（ＸＹＺ座標系）とヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）とが正確に軸合わせされたり、相対座標系とヘルメット座標系との軸ズレ量が算出されたりする必要がある。ここで、相対座標系とヘルメット座標系との軸合わせの方法としては、例えば、頭部装着型表示装置付ヘルメット１０を装着したパイロット３に特定方向を向くように指示することにより、相対座標系とヘルメット座標系とを軸合わせする方法等が挙げられる。これにより、対象物３軸ジャイロセンサ１４と移動体３軸ジャイロセンサ４との軸合わせが行われるとともに、対象物加速度センサ１５と移動体加速度センサ５との軸合わせが行われることになる。 In the present embodiment, in the initial state, the relative coordinate system (XYZ coordinate system) and the helmet coordinate system (X′Y′Z ′ coordinate system) are accurately aligned by the pilot 3, or the relative coordinate system It is necessary to calculate the amount of axis misalignment with the helmet coordinate system. Here, as a method of aligning the relative coordinate system and the helmet coordinate system, for example, by instructing the pilot 3 wearing the head mounted display-equipped helmet 10 to point in a specific direction, the relative coordinate system And a method of aligning the helmet coordinate system with each other. Thus, the alignment of the object triaxial gyro sensor 14 and the movable body triaxial gyro sensor 4 is performed, and the alignment of the object acceleration sensor 15 and the movable body acceleration sensor 5 is performed.

飛行体３０は、パイロット３が搭乗するコックピットであり、パイロット３が着席する座席３０ａと、カメラ装置２と、移動体３軸ジャイロセンサ４と、移動体加速度センサ５とを備える。
カメラ装置２は、第一カメラ２ａと第二カメラ２ｂとからなり、撮影方向が頭部装着型表示装置付ヘルメット１０に向けられているとともに、頭部装着型表示装置付ヘルメット１０の立体視が可能な一定の距離（ｄ）を隔てるように、飛行体３０の天井に固定軸２ｃを介して設置されている。これにより、第一カメラ２ａで撮影された第一画像が作成されるとともに、第二カメラ２ｂで撮影された第二画像が作成されることになる。
このとき、第一画像及び第二画像中にＬＥＤ７ａ、７ｂ、７ｃが映し出されていれば、第一画像及び第二画像中に映し出されているＬＥＤ７ａ、７ｂ、７ｃの位置により、第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを算出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ）を用いることにより、所謂、三角測量の手法で、第一画像及び第二画像中に映し出されているＬＥＤ７ａ、７ｂ、７ｃのカメラ装置２に対する位置を算出できる（図３参照）。 The flying body 30 is a cockpit on which the pilot 3 is boarded, and includes a seat 30 a on which the pilot 3 is seated, a camera device 2, a moving body 3-axis gyro sensor 4, and a moving body acceleration sensor 5.
The camera device 2 is composed of a first camera 2a and a second camera 2b. The photographing direction is directed to the helmet 10 with a head-mounted display device, and stereoscopic viewing of the helmet 10 with a head-mounted display device is possible. It is installed on the ceiling of the flying body 30 via the fixed shaft 2c so as to be separated by a possible constant distance (d). As a result, a first image photographed by the first camera 2a is created, and a second image photographed by the second camera 2b is created.
At this time, if the LEDs 7a, 7b, and 7c are projected in the first image and the second image, the first camera 2a depends on the positions of the LEDs 7a, 7b, and 7c projected in the first image and the second image. By calculating the direction angle (α) from the second camera 2b and the direction angle (β) from the second camera 2b, and using the distance (d) between the first camera 2a and the second camera 2b, so-called triangulation With this method, the positions of the LEDs 7a, 7b, and 7c displayed in the first image and the second image with respect to the camera device 2 can be calculated (see FIG. 3).

また、ＬＥＤ７ａ、７ｂ、７ｃの位置を、空間座標で表現することができるようにするために、カメラ装置２に固定され、カメラ装置２とともに移動する座標系である相対座標系（ＸＹＺ座標系）を用いる。なお、相対座標系（ＸＹＺ座標系）の具体的な原点位置やＸＹＺ軸方向の説明については後述する。
これにより、相対座標系（ＸＹＺ座標系）において、３個のＬＥＤ７ａ、７ｂ、７ｃの位置座標が表現できれば、３個のＬＥＤ７ａ、７ｂ、７ｃが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）は、相対座標系（ＸＹＺ座標系）に対する、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を用いて表現できるようになる。なお、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点であるＬＥＤ７ａの現在の位置座標で表現することとする。
しかしながら、相対座標系（ＸＹＺ座標系）において、３個のＬＥＤ７ａ、７ｂ、７ｃの内の２個以下のＬＥＤの位置座標しか表現できない場合がある。このような場合には、本実施形態では後述する方法で対象物３軸ジャイロセンサ１４と移動体３軸ジャイロセンサ４と対象物加速度センサ１５と移動体加速度センサ５とを用いて、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を表現することになる。 In addition, the relative coordinate system (XYZ coordinate system) which is a coordinate system which is fixed to the camera device 2 and moves together with the camera device 2 so that the positions of the LEDs 7a, 7b and 7c can be expressed in spatial coordinates. Is used. A specific origin position of the relative coordinate system (XYZ coordinate system) and description of the XYZ axis directions will be described later.
Accordingly, if the position coordinates of the three LEDs 7a, 7b, and 7c can be expressed in the relative coordinate system (XYZ coordinate system), the head-mounted display device in which the three LEDs 7a, 7b, and 7c are positioned and attached. The position (Xh, Yh, Zh) and angle (RLh, ELh, AZh) of the attached helmet 10 are the position and angle of the helmet coordinate system (X'Y'Z 'coordinate system) relative to the relative coordinate system (XYZ coordinate system). Can be expressed using. The position (Xh, Yh, Zh) of the helmet 10 with a head-mounted display device is expressed by the current position coordinates of the LED 7a which is the origin of the helmet coordinate system (X′Y′Z ′ coordinate system). To do.
However, in the relative coordinate system (XYZ coordinate system), only the position coordinates of two or less of the three LEDs 7a, 7b, and 7c may be expressed. In such a case, in the present embodiment, the head mounting is performed using the object triaxial gyro sensor 14, the moving body triaxial gyro sensor 4, the object acceleration sensor 15, and the moving body acceleration sensor 5 by a method described later. The position (Xh, Yh, Zh) and angle (RLh, ELh, AZh) of the helmet 10 with type display device will be expressed.

移動体３軸ジャイロセンサ４は、飛行体３０に作用する移動体角速度（Ｖ_ＲＬ、Ｖ_ＥＬ、Ｖ_ＡＺ）を検出するものである。また、移動体３軸ジャイロセンサ４は、相対座標系（ＸＹＺ座標系）に軸を合わせされて、飛行体３０に取り付けられている。よって、ロール方向（Ｘ軸に対する回転）、エレベーション方向（Ｙ軸に対する回転）、アジマス方向（Ｚ軸に対する回転）における移動体角速度（Ｖ_ＲＬ、Ｖ_ＥＬ、Ｖ_ＡＺ）が検出される。
なお、移動体３軸ジャイロセンサ４は、相対座標系（ＸＹＺ座標系）の原点に取り付けられていてもよく、相対座標系（ＸＹＺ座標系）の原点以外の位置に取り付けられた場合には、相対座標系（ＸＹＺ座標系）の原点の位置での角速度を求めるためにオフセット行列Ｍ０を乗算したりする一般的な計算方法等で、移動体角速度（Ｖ_ＲＬ、Ｖ_ＥＬ、Ｖ_ＡＺ）に変換することになる。 The moving body three-axis gyro sensor 4 detects moving body angular velocities (V _RL , V _EL , V _AZ ) acting on the flying object 30. The mobile three-axis gyro sensor 4 is attached to the flying body 30 with its axis aligned with the relative coordinate system (XYZ coordinate system). Accordingly, the moving body angular velocities (V _RL , V _EL , V _AZ ) in the roll direction (rotation with respect to the X axis), the elevation direction (rotation with respect to the Y axis), and the azimuth direction (rotation with respect to the Z axis) are detected.
The movable body three-axis gyro sensor 4 may be attached to the origin of the relative coordinate system (XYZ coordinate system), and when attached to a position other than the origin of the relative coordinate system (XYZ coordinate system), Convert to mobile body angular velocities (V _RL , V _EL , V _AZ ) by a general calculation method such as multiplication with an offset matrix M0 to obtain an angular velocity at the position of the origin of the relative coordinate system (XYZ coordinate system). Will do.

移動体加速度センサ５は、飛行体３０に作用する対象物加速度（α_ｘ、α_ｙ、α_ｚ）を検出するものである。また、移動体加速度センサ５は、相対座標系（ＸＹＺ座標系）に軸を合わせられて、飛行体３０に取り付けられている。よって、Ｘ軸、Ｙ軸、Ｚ軸における対象物加速度（α_ｘ、α_ｙ、α_ｚ）が検出される。
なお、軸合わせされずに、飛行体３０に取り付けられている場合は、座標変換行列を求めておくことで、相対座標系と関連付けを行うことになる。 The moving body acceleration sensor 5 detects an object acceleration (α _x , α _y , α _z ) acting on the flying object 30. The moving body acceleration sensor 5 is attached to the flying body 30 with its axis aligned with the relative coordinate system (XYZ coordinate system). Therefore, object accelerations (α _x , α _y , α _z ) on the X axis, the Y axis, and the Z axis are detected.
In addition, when it is attached to the flying body 30 without being aligned, the association with the relative coordinate system is performed by obtaining the coordinate transformation matrix.

制御部２０は、図１に示すように、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行う。ＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部２８と、第一相対情報算出部２２と、第二相対情報算出部２３と、光学マーカー位置情報算出部２４と、対象物速度算出部２５と、第三相対情報算出部２６と、切替部２９と、映像表示部２７とを有する。
また、メモリ４１は、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、相対情報を蓄積する相対情報記憶部４２と、相対座標系（ＸＹＺ座標系）を記憶する相対座標系記憶部４３と、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶するヘルメット座標系記憶部４４とを有する。 As shown in FIG. 1, the control unit 20 is configured by a computer including a CPU 21, a memory 41, and the like, and performs various controls and arithmetic processes. The processing executed by the CPU 21 will be described separately for each functional block. The motion tracker driving unit 28, the first relative information calculating unit 22, the second relative information calculating unit 23, the optical marker position information calculating unit 24, The object speed calculation unit 25, the third relative information calculation unit 26, the switching unit 29, and the video display unit 27 are included.
The memory 41 has an area for storing various data necessary for the control unit 20 to execute processing. The memory 41 includes a relative information storage unit 42 for storing relative information, and a relative coordinate system (XYZ coordinate system). ) And a helmet coordinate system storage unit 44 for storing a helmet coordinate system (X′Y′Z ′ coordinate system).

なお、相対座標系（ＸＹＺ座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図３に示すように、第二カメラ２ｂから第一カメラ２ａへの方向をＸ軸方向とし、Ｘ軸方向に垂直かつ左向き方向をＹ軸方向とし、Ｘ軸方向に垂直かつ天井に垂直で下向き方向をＺ軸方向とするように定義し、原点を第一カメラ２ａと第二カメラ２ｂとの中点として定義するように相対座標系記憶部４３に設定されている。
また、ヘルメット座標系記憶部４４には、予め、初期データとして、３個のＬＥＤ７ａ、７ｂ、７ｃのヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上におけるそれぞれの位置（Ｘ’_ＤＩＳ、Ｙ’ _ＤＩＳ、Ｚ’ _ＤＩＳ）が記憶されている。
さらに、相対情報記憶部４２には、相対座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を含む相対情報が順次記憶されていくことになる。このとき、３個のＬＥＤ７ａ、７ｂ、７ｃの相対座標系（ＸＹＺ座標系）における時間ｔ_ｎのそれぞれの位置（Ｘ_ＬＥＤ、Ｙ_ＬＥＤ、Ｚ_ＬＥＤ）も順次記憶されていく。 The relative coordinate system (XYZ coordinate system) can arbitrarily determine the origin and the direction of each coordinate axis, but in this embodiment, as shown in FIG. 3, the direction from the second camera 2b to the first camera 2a. Is defined as an X-axis direction, a vertical direction to the X-axis direction and a leftward direction as a Y-axis direction, a vertical direction to the X-axis direction, a vertical direction to the ceiling, and a downward direction as a Z-axis direction. It is set in the relative coordinate system storage unit 43 so as to be defined as a midpoint with the second camera 2b.
Further, in the helmet coordinate system storage unit 44, as initial data, the positions (X ′ _DIS , Y) of the three LEDs 7a, 7b, 7c on the helmet coordinate system (X′Y′Z ′ coordinate system) are previously stored. ' _DIS , _Z'DIS ) is stored.
Further, the relative information storage unit 42 sequentially stores relative information including the head position (Xh, Yh, Zh) and head angle (RLh, ELh, AZh) of the pilot 3 with respect to the relative coordinate system (XYZ coordinate system). It will be done. At this time, the respective positions (X _LED , Y _LED , Z _LED ) at the time t _n in the relative coordinate system (XYZ coordinate system) of the three LEDs 7a, 7b, 7c are also sequentially stored.

モーショントラッカ駆動部２８は、ＬＥＤ群７を点灯する指令信号を出力するとともに、カメラ装置２でＬＥＤ群７を撮影することにより、第一画像及び第二画像を取得する制御を行うものである。
光学マーカー位置情報算出部２４は、第一画像及び第二画像に基づいて、相対座標系（ＸＹＺ座標系）に対する、ＬＥＤ群７のそれぞれの現在位置である時間ｔ_ｎ＋１の光学マーカー位置情報を算出する制御を行うものである。
具体的には、カメラ装置２にＬＥＤが撮影されれば、ＬＥＤのカメラ装置２に対する位置は、第一画像と第二画像中に映し出されているＬＥＤの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ）を用いることにより、三角測量の手法で算出する。 The motion tracker driving unit 28 outputs a command signal for lighting the LED group 7 and controls the acquisition of the first image and the second image by photographing the LED group 7 with the camera device 2.
Based on the first image and the second image, the optical marker position information calculation unit 24 calculates the optical marker position information at time t _{n + 1} that is the current position of each LED group 7 with respect to the relative coordinate system (XYZ coordinate system). The control which performs is performed.
Specifically, if an LED is photographed by the camera device 2, the position of the LED with respect to the camera device 2 is extracted from the position of the LED displayed in the first image and the second image, and further the first camera 2a. Triangulation method by extracting the direction angle (α) from the second camera 2b and the direction angle (β) from the second camera 2b and using the distance (d) between the first camera 2a and the second camera 2b Calculate with

切替部２９は、光学マーカー位置情報算出部２４で算出された時間ｔ_ｎ＋１の光学マーカー位置情報が、３個以上のＬＥＤの現在位置を含むときには、第一相対情報算出部２２で相対情報を算出し、時間ｔ_ｎ＋１の光学マーカー位置情報が、１個以上３個未満のＬＥＤの現在位置を含むときには、第二相対情報算出部２３で相対情報を算出し、時間ｔ_ｎ＋１の光学マーカー位置情報が、全くＬＥＤの現在位置を含まないときには、第三相対情報算出部２６で相対情報を算出するように切り替えを行う制御を行うものである。 When the optical marker position information at time t _{n + 1} calculated by the optical marker position information calculation unit 24 includes the current positions of three or more LEDs, the switching unit 29 calculates relative information by the first relative information calculation unit 22. When the optical marker position information at time t _{n + 1} includes the current position of one or more and less than three LEDs, the second relative information calculation unit 23 calculates relative information, and the optical marker position information at time t _{n + 1} is When the current position of the LED is not included at all, the third relative information calculation unit 26 performs control to perform switching so as to calculate relative information.

第一相対情報算出部２２は、時間ｔ_ｎ＋１の光学マーカー位置情報が、３個以上のＬＥＤの現在位置を含むときに、時間ｔ_ｎ＋１の光学マーカー位置情報に基づいて、相対座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を含む時間ｔ_ｎ＋１の相対情報を算出して、相対情報記憶部２４に記憶させる制御を行うものである。
具体的には、相対座標系（ＸＹＺ座標系）に対する時間ｔ_ｎ＋１の３個のＬＥＤ７ａ、７ｂ、７ｃの位置座標である光学マーカー位置情報と、ヘルメット座標系記憶部４４に記憶されている初期データとを比較することにより、３個のＬＥＤ７ａ、７ｂ、７ｃが位置決めされて取り付けられているヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を算出する。 The first relative information calculation section 22 includes an optical marker position information of the time t _{n + 1} is, when including the current position of the three or more LED, based on the optical marker position information of the time t _{n + 1,} the relative coordinate system (XYZ coordinate Control for calculating relative information of time t _{n + 1} including the head position (Xh, Yh, Zh) and head angle (RLh, ELh, AZh) of pilot 3 with respect to the system) and storing the relative information in storage unit 24 Is what you do.
Specifically, the optical marker position information that is the position coordinates of the three LEDs 7a, 7b, and 7c at time t _{n + 1 with} respect to the relative coordinate system (XYZ coordinate system), and initial data stored in the helmet coordinate system storage unit 44 And the position (Xh, Yh, Zh) and angle (RLh,) of the helmet coordinate system (X′Y′Z ′ coordinate system) where the three LEDs 7a, 7b, 7c are positioned and attached. ELh, AZh).

第二相対情報算出部２３は、時間ｔ_ｎ＋１の光学マーカー位置情報が、１個以上３個未満のＬＥＤの現在位置を含むときに、時間ｔ_ｎから時間ｔ_ｎ＋１までの対象物角速度（Ｖ’_ＲＬ、Ｖ’_ＥＬ、Ｖ’_ＡＺ）と、時間ｔ_ｎ＋１の光学マーカー位置情報と、記憶された時間ｔ_ｎの相対情報と、時間ｔ_ｎから時間ｔ_ｎ＋１までの移動体角速度（Ｖ_ＲＬ、Ｖ_ＥＬ、Ｖ_ＡＺ）とに基づいて、相対座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を含む相対情報を算出して、相対情報記憶部２４に記憶させる制御を行うものである。
すなわち、光学マーカー位置情報算出部２４で算出された光学マーカー位置情報が３個以上のＬＥＤの現在位置を含まず、第一相対情報算出部２２が相対情報を算出できない状態になったときに、第二相対情報算出部２３は、１個以上３個未満のＬＥＤの現在位置を用いて相対情報を算出することになる。 Second relative information calculation section 23 includes an optical marker position information of the time t _{n + 1} is, when including the current position of the one or more less than three LED, object velocity from the time t _n to time t _{n + 1} (V ' _RL, V _'EL, V' and _AZ), the time _{t n + 1} of the optical marker position information, relative information stored time _{t n,} the moving object angular velocity _(V RL from the time _{t n} to time _{t n + 1,} V _EL , V _AZ ) and relative information including the pilot 3 head position (Xh, Yh, Zh) and head angle (RLh, ELh, AZh) with respect to the relative coordinate system (XYZ coordinate system). Thus, the control to be stored in the relative information storage unit 24 is performed.
That is, when the optical marker position information calculated by the optical marker position information calculation unit 24 does not include the current positions of three or more LEDs, and the first relative information calculation unit 22 cannot calculate relative information, The second relative information calculation unit 23 calculates the relative information using the current positions of one or more and less than three LEDs.

具体的には、まず、対象物３軸ジャイロセンサ１４で検出された時間ｔ_ｎから時間ｔ_ｎ＋１までの対象物角速度（Ｖ’_ＲＬ、Ｖ’_ＥＬ、Ｖ’_ＡＺ）と、移動体３軸ジャイロセンサ４で検出された時間ｔ_ｎから時間ｔ_ｎ＋１までの移動体角速度（Ｖ_ＲＬ、Ｖ_ＥＬ、Ｖ_ＡＺ）との差分から、角速度差（ΔＶ_ＲＬ、ΔＶ_ＥＬ、ΔＶ_ＡＺ）を算出する。つまり、差分を算出することによって、飛行体３０の角速度が消去され、頭部のみの角速度が得られる。
次に、角速度差（ΔＶ_ＲＬ、ΔＶ_ＥＬ、ΔＶ_ＡＺ）を積分演算することにより、相対座標系（ＸＹＺ座標系）に対する時間ｔ_ｎから時間ｔ_ｎ＋１までのヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の角度移動量（ＲＬ_ＤＥＰ、ＥＬ_ＤＥＰ、ＡＺ_ＤＥＰ）を算出する。
次に、角度移動量（ＲＬ_ＤＥＰ、ＥＬ_ＤＥＰ、ＡＺ_ＤＥＰ）を用いて下記式（１）により、頭部装着型表示装置付ヘルメット１０に位置決めして取り付けられたＬＥＤの時間ｔ_ｎから時間ｔ_ｎ＋１までの移動距離量（ΔＸｒ、ΔＹｒ、ΔＺｒ）を算出する。なお、ＬＥＤ７ａ、７ｂ、７ｃのヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上におけるそれぞれの位置（Ｘ’_ＤＩＳ、Ｙ’ _ＤＩＳ、Ｚ’ _ＤＩＳ）は、ヘルメット座標系記憶部４４に、初期データとして予め記憶されている。 Specifically, first, the object 3 object angular velocity from the detected time-axis gyroscope 14 _{t n} to time _{_{t n + 1 (V 'RL}} , V' EL, V 'AZ) and mobile triaxial gyro An angular velocity difference (ΔV _RL , ΔV _EL , ΔV _AZ ) is calculated from a difference from the moving body angular velocity (V _RL , V _EL , V _AZ ) from time t _n to time t _{n + 1} detected by the sensor 4. That is, by calculating the difference, the angular velocity of the flying object 30 is eliminated, and the angular velocity of only the head is obtained.
Then, the angular velocity difference _{_{(ΔV RL, ΔV EL, ΔV}} AZ) by integral operation using, relative coordinate system (XYZ coordinate system) with respect to time helmet coordinate system from _{t n} to time _{t n + 1} (X'Y'Z ' The amount of angular movement (RL _DEP , EL _DEP , AZ _DEP ) of the coordinate system is calculated.
Next, the time t t from the time t _{n of} the LED positioned and attached to the head mounted display-equipped helmet 10 according to the following formula (1) using the angular displacement (RL _DEP , EL _DEP , AZ _DEP ) The movement distance amount (ΔXr, ΔYr, ΔZr) up to _{n + 1} is calculated. The respective positions (X ′ _DIS , Y ′ _DIS , Z ′ _DIS ) on the helmet coordinate system (X′Y′Z ′ coordinate system) of the LEDs 7 a, 7 b, 7 c are stored in the helmet coordinate system storage unit 44 in the initial state. It is stored in advance as data.

次に、相対情報記憶部２４に記憶された相対座標系（ＸＹＺ座標系）における時間ｔ_ｎのＬＥＤの位置（Ｘ_ＬＥＤ、Ｙ_ＬＥＤ、Ｚ_ＬＥＤ）を用いて下記式（２）により、時間ｔ_ｎのＬＥＤの位置（Ｘ_ＬＥＤ、Ｙ_ＬＥＤ、Ｚ_ＬＥＤ）に移動距離量（ΔＸｒ、ΔＹｒ、ΔＺｒ）を加算することで、時間ｔ_ｎ＋１のＬＥＤの計算位置（Ｘ_ＤＥＰ、Ｙ_ＤＥＰ、Ｚ_ＤＥＰ）を算出する。 Next, using the position of the LED (X _LED , Y _LED , Z _LED ) at time t _n in the relative coordinate system (XYZ coordinate system) stored in the relative information storage unit 24, the time t The calculated position (X _DEP , Y _DEP , Z _DEP ) of the LED at time t _{n + 1} by adding the movement distance amount (ΔXr, ΔYr, ΔZr) to the position of the LED of _n (X _LED , Y _LED , Z _LED ) Is calculated.

ここで、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を算出するためには、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の時間ｔ_ｎから時間ｔ_ｎ＋１までの移動角度量（ＲＬ_ＤＥＰ、ＥＬ_ＤＥＰ、ＡＺ_ＤＥＰ）だけでなく、移動距離量（ΔＸｈ、ΔＹｈ、ΔＺｈ）も算出する必要がある。
そこで、相対座標系（ＸＹＺ座標系）に対する時間ｔ_ｎ＋１の１個若しくは２個のＬＥＤの位置座標である光学マーカー位置情報と、検出されたＬＥＤと同一のＬＥＤの算出位置（Ｘ_ＤＥＰ、Ｙ_ＤＥＰ、Ｚ_ＤＥＰ）とを比較することにより、ヘルメット座標系の時間ｔ_ｎから時間ｔ_ｎ＋１までの移動距離量（ΔＸｈ、ΔＹｈ、ΔＺｈ）を算出する。
そして、最後に、時間ｔ_ｎ＋１の全てのＬＥＤの算出位置（Ｘ_ＤＥＰ、Ｙ_ＤＥＰ、Ｚ_ＤＥＰ）に移動距離量（ΔＸｈ、ΔＹｈ、ΔＺｈ）を加算した位置座標（Ｘ_ＬＥＤ、Ｙ_ＬＥＤ、Ｚ_ＬＥＤ）を算出して、ヘルメット座標系記憶部４４に記憶されている初期データと比較することにより、３個のＬＥＤ７ａ、７ｂ、７ｃが位置決めされて取り付けられているヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を算出する。 Here, in order to calculate the position (Xh, Yh, Zh) and angle (RLh, ELh, AZh) of the helmet coordinate system (X′Y′Z ′ coordinate system), the helmet coordinate system (X′Y′Z It is necessary to calculate not only the movement angle amount (RL _DEP , EL _DEP , AZ _DEP ) from time t _n to time t _{n + 1} of the 'coordinate system' but also the movement distance amount (ΔXh, ΔYh, ΔZh).
Therefore, the optical marker position information, which is the position coordinate of one or two LEDs at time t _{n + 1 with} respect to the relative coordinate system (XYZ coordinate system), and the calculated position (X _DEP , Y _{DEP of the} same LED as the detected LED) , by comparing the _{Z DEP),} the movement distance of from the time _{t n} of the helmet coordinate system to the time _{t n + 1 (ΔXh, ΔYh} , ΔZh) is calculated.
Finally, position coordinates (X _LED , Y _LED , Z _LED ) obtained by adding movement distance amounts (ΔXh, ΔYh, ΔZh) to the calculated positions (X _DEP , Y _DEP , Z _DEP ) of all LEDs at time t _{n + 1.} ) And compared with the initial data stored in the helmet coordinate system storage unit 44, the helmet coordinate system (X′Y′Z) in which the three LEDs 7a, 7b, 7c are positioned and attached The position (Xh, Yh, Zh) and angle (RLh, ELh, AZh) of the 'coordinate system' are calculated.

対象物速度算出部２５は、相対情報記憶部４２に記憶された時間ｔ_ｎ−１の相対情報と時間ｔ_ｎの相対情報とに基づいて、頭部装着型表示装置付ヘルメット１０の時間ｔ_ｎの対象物速度（Ｖ_ｘ、Ｖ_ｙ、Ｖ_ｚ）を算出する制御を行うものである。
後述する第三相対情報算出部２６で、移動体加速度（α_ｘ、α_ｙ、α_ｚ）と対象物加速度（α’_ｘ、α’_ｙ、α’_ｚ）とを用いて相対情報を算出するためには、頭部装着型表示装置付ヘルメット１０の時間ｔ_ｎ＋１の速度を算出することになるが、このときに、頭部装着型表示装置付ヘルメット１０の時間ｔ_ｎの対象物速度（初速度）が必要になる。そこで、対象物速度算出部２５は、時間ｔ_ｎ−１の相対情報と時間ｔ_ｎの相対情報とから、時間ｔ_ｎ−１から時間ｔ_ｎまでの平均速度を算出する。これにより、第三相対情報算出部２６で平均速度を時間ｔ_ｎの対象物速度（Ｖ_ｘ、Ｖ_ｙ、Ｖ_ｚ）として用いることになる。 Object velocity calculating unit 25, based on the relative information relative information of the stored time in the storage unit 42 t _n-1 and the relative information of the time t _n, the time t _n of the head-mounted display device with the helmet 10 The object speed (V _x , V _y , V _z ) is calculated.
A third relative information calculation unit 26 described later calculates relative information using the moving body acceleration (α _x , α _y , α _z ) and the target object acceleration (α ′ _x , α ′ _y , α ′ _z ). Therefore, the speed of the time t _{n + 1} of the helmet 10 with a head-mounted display device is calculated. At this time, the object speed (initially) of the helmet 10 with a head-mounted display device at the time t _n is calculated. Speed). Therefore, the object speed calculation unit 25 calculates the average speed from time t _n ₋₁ to time t _n from the relative information at time t _{n−1 and} the relative information at time t _n . Accordingly, the average speed is used as the object speed (V _x , V _y , V _z ) at time t _n by the third relative information calculation unit 26.

第三相対情報算出部２６は、時間ｔ_ｎ＋１の光学マーカー位置情報が、全くＬＥＤの現在位置を含まないときに、時間ｔ_ｎから時間ｔ_ｎ＋１までの対象物角速度（Ｖ’_ＲＬ、Ｖ’_ＥＬ、Ｖ’_ＡＺ）と、時間ｔ_ｎから時間ｔ_ｎ＋１までの対象物加速度（α’_ｘ、α’_ｙ、α’_ｚ）と、時間ｔ_ｎの対象物速度（Ｖ_ｘ、Ｖ_ｙ、Ｖ_ｚ）と、記憶された時間ｔ_ｎの相対情報と、時間ｔ_ｎから時間ｔ_ｎ＋１までの移動体角速度（Ｖ_ＲＬ、Ｖ_ＥＬ、Ｖ_ＡＺ）と、時間ｔ_ｎから時間ｔ_ｎ＋１までの移動体加速度（α_ｘ、α_ｙ、α_ｚ）とに基づいて、相対座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を含む相対情報を算出して、相対情報記憶部２４に記憶させる制御を行うものである。
すなわち、光学マーカー位置情報算出部２４で算出された光学マーカー位置情報が全くＬＥＤの現在位置を含まず、第一相対情報算出部２２及び第二相対情報算出部２３が相対情報を算出できない状態になったときに、第三相対情報算出部２３は、相対情報を算出することになる。
ここでも、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を算出するために、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の時間ｔ_ｎから時間ｔ_ｎ＋１までの移動角度量（ＲＬ_ＤＥＰ、ＥＬ_ＤＥＰ、ＡＺ_ＤＥＰ）と、移動距離量（ΔＸｈ、ΔＹｈ、ΔＺｈ）とを算出することになる。なお、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の時間ｔ_ｎから時間ｔ_ｎ＋１までの移動角度量（ＲＬ_ＤＥＰ、ＥＬ_ＤＥＰ、ＡＺ_ＤＥＰ）を算出する方法については、第二相対情報算出部２３で説明したものと同様であるので説明を省略することとする。 Third relative information calculation section 26 includes an optical marker position information of the time _{t n + 1} is, when at all does not include the current position of the LED, the object velocity (V _'RL, V' from the time _{t n} to time _{t n + 1} _EL , V ′ _AZ ), object acceleration (α ′ _x , α ′ _y , α ′ _z ) from time t _n to time t _{n + 1} , and object velocity (V _x , V _y , V _z ) at time t _n. a), and the relative information stored time _{t n,} the moving object angular velocity _(V _RL from the time _{t n} to time _{t n + 1,} V _EL, and _{V AZ),} mobile acceleration from time _{t n} to time _{t n + 1} Based on (α _x , α _y , α _z ), the pilot 3 head position (Xh, Yh, Zh) and head angle (RLh, ELh, AZh) with respect to the relative coordinate system (XYZ coordinate system) are included. Control for calculating relative information and storing it in the relative information storage unit 24 Is performed.
That is, the optical marker position information calculated by the optical marker position information calculation unit 24 does not include the current position of the LED at all, and the first relative information calculation unit 22 and the second relative information calculation unit 23 cannot calculate relative information. When this happens, the third relative information calculation unit 23 calculates relative information.
Again, in order to calculate the position (Xh, Yh, Zh) and angle (RLh, ELh, AZh) of the helmet coordinate system (X'Y'Z 'coordinate system), the helmet coordinate system (X'Y'Z' A movement angle amount (RL _DEP , EL _DEP , AZ _DEP ) and a movement distance amount (ΔXh, ΔYh, ΔZh) from time t _n to time t _{n + 1 in the} coordinate system) are calculated. In addition, about the method of calculating the movement angle amount (RL _DEP , EL _DEP , AZ _DEP ) from time t _n to time t _{n + 1} in the helmet coordinate system (X′Y′Z ′ coordinate system), the second relative information calculation is performed. Since it is the same as that described in the section 23, description thereof will be omitted.

具体的には、まず、対象物加速度センサ１５で検出された時間ｔ_ｎから時間ｔ_ｎ＋１までの対象物加速度（α’_ｘ、α’_ｙ、α’_ｚ）と、移動体加速度センサ１５で検出された時間ｔ_ｎから時間ｔ_ｎ＋１までの移動体加速度（α_ｘ、α_ｙ、α_ｚ）との差分から、加速度差（Δα_ｘ、Δα_ｙ、Δα_ｚ）を算出する。つまり、差分を算出することによって、飛行体３０の加速度が消去され、頭部のみの加速度が得られる。
次に、対象物速度算出部２５で算出された時間ｔ_ｎの対象物速度（Ｖ_ｘ、Ｖ_ｙ、Ｖ_ｚ）を用いて、加速度差（Δα_ｘ、Δα_ｙ、Δα_ｚ）を２回積分演算することにより、相対座標系（ＸＹＺ座標系）に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の時間ｔ_ｎから時間ｔ_ｎ＋１までの移動距離量（ΔＸｈ、ΔＹｈ、ΔＺｈ）を算出する。
そして、最後に、時間ｔ_ｎの全てのＬＥＤの位置に算出位置（Ｘ_ＤＥＰ、Ｙ_ＤＥＰ、Ｚ_ＤＥＰ）と移動距離量（ΔＸｈ、ΔＹｈ、ΔＺｈ）とを加算した位置座標（Ｘ_ＬＥＤ、Ｙ_ＬＥＤ、Ｚ_ＬＥＤ）を算出して、ヘルメット座標系記憶部４４に記憶されている初期データと比較することにより、３個のＬＥＤ７ａ、７ｂ、７ｃが位置決めされて取り付けられているヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を算出する。 Specifically, first, the object acceleration (α ′ _x , α ′ _y , α ′ _z ) from time t _n to time t _{n + 1} detected by the object acceleration sensor 15 and the moving body acceleration sensor 15 are detected. An acceleration difference (Δα _x , Δα _y , Δα _z ) is calculated from the difference with the moving body acceleration (α _x , α _y , α _z ) from time t _n to time t _{n + 1} . That is, by calculating the difference, the acceleration of the flying object 30 is eliminated, and the acceleration of only the head is obtained.
Next, the acceleration differences (Δα _x , Δα _y , Δα _z ) are integrated twice using the object speeds (V _x , V _y , V _z ) at the time t _n calculated by the object speed calculation unit 25. by calculating, for calculating the relative coordinate system (XYZ coordinate system) helmet coordinate system to the moving distance of from the time _{t n} to time _{t n + 1} in (X'Y'Z 'coordinate system) (ΔXh, ΔYh, ΔZh) .
Finally, position coordinates (X _LED , Y _LED ) obtained by adding the calculated positions (X _DEP , Y _DEP , Z _DEP ) and the movement distance amounts (ΔXh, ΔYh, ΔZh) to the positions of all LEDs at time t _n. , Z _LED ) and comparing the initial data stored in the helmet coordinate system storage unit 44 with the helmet coordinate system (X ′) in which the three LEDs 7a, 7b, and 7c are positioned and attached. The position (Xh, Yh, Zh) and angle (RLh, ELh, AZh) of the Y′Z ′ coordinate system) are calculated.

映像表示部２７は、時間ｔ_ｎ＋１の相対情報に基づいて、映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することができる。 The video display unit 27 performs control for emitting video display light based on the relative information at time t _{n + 1} . Thereby, the pilot 3 can visually recognize the display image by the display.

（ヘッドモーショントラッカ装置の動作）
次に、ヘッドモーショントラッカ装置１により相対情報を測定する測定動作について説明する。図４は、ヘッドモーショントラッカ装置１による測定動作について説明するためのフローチャートである。
まず、ステップＳ１０１の処理において、時間ｔ_ｎを時間ｔ_ｎ+１と更新する。 (Operation of the head motion tracker)
Next, a measurement operation for measuring relative information by the head motion tracker device 1 will be described. FIG. 4 is a flowchart for explaining the measurement operation by the head motion tracker device 1.
First, in the process in step S101, and updates the time _{t n} time t _{n + 1} and.

次に、ステップＳ１０２の処理において、モーショントラッカ駆動部２８は、第一画像及び第二画像を取得する。
また、ステップＳ１０３の処理において、移動体３軸ジャイロセンサ４と移動体加速度センサ５とは、移動体角速度（Ｖ_ＲＬ、Ｖ_ＥＬ、Ｖ_ＡＺ）と移動体加速度（α_ｘ、α_ｙ、α_ｚ）とを検出する。
さらに、ステップＳ１０４の処理において、対象物３軸ジャイロセンサ１４と対象物加速度センサ１５とは対象物角速度（Ｖ’_ＲＬ、Ｖ’_ＥＬ、Ｖ’_ＡＺ）と対象物加速度（α’_ｘ、α’_ｙ、α’_ｚ）とを検出する。
なお、ステップＳ１０２〜Ｓ１０４の処理は、同時に実行される。 Next, in the process of step S102, the motion tracker driving unit 28 acquires a first image and a second image.
In the process of step S103, the moving body triaxial gyro sensor 4 and the moving body acceleration sensor 5 have the moving body angular velocity (V _RL , V _EL , V _AZ ) and the moving body acceleration (α _x , α _y , α _z). ) Is detected.
Furthermore, in the process of step S104, the object triaxial gyro sensor 14 and the object acceleration sensor 15 are the object angular velocity (V ′ _RL , V ′ _EL , V ′ _AZ ) and the object acceleration (α ′ _x , α ′). _y , α ′ _z ).
Note that the processes in steps S102 to S104 are performed simultaneously.

次に、ステップＳ１０５の処理において、光学マーカー位置情報算出部２４は、第一画像及び第二画像に基づいて、相対座標系（ＸＹＺ座標系）に対する、ＬＥＤ群７の現在位置である時間ｔ_ｎ＋１の光学マーカー位置情報を算出する。
次に、ステップＳ１０６の処理において、切替部２９は、光学マーカー位置情報算出部２４で算出された時間ｔ_ｎ＋１の光学マーカー位置情報が、いくつのＬＥＤの現在位置を含んでいるかを判定する。 Next, in the process of step S105, the optical marker position information calculation unit 24, based on the first image and the second image, time t _{n + 1} that is the current position of the LED group 7 with respect to the relative coordinate system (XYZ coordinate system). The optical marker position information is calculated.
Next, in the process of step S _< b _> 106, the switching unit 29 determines how many LEDs the current position of the optical marker position information of the time t _{n + 1} calculated by the optical marker position information calculation unit 24 includes.

光学マーカー位置情報が、３個のＬＥＤの現在位置を含むときには、ステップＳ１０７の処理において、第一相対情報算出部２２は、時間ｔ_ｎ＋１の光学マーカー位置情報に基づいて、相対座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を含む相対情報を算出して、相対情報記憶部２４に記憶させる。 When the optical marker position information includes the current positions of the three LEDs, in the process of step S107, the first relative information calculation unit 22 uses the relative coordinate system (XYZ coordinates) based on the optical marker position information at time tn _{+ 1.} The relative information including the head position (Xh, Yh, Zh) and the head angle (RLh, ELh, AZh) of the pilot 3 with respect to the system is calculated and stored in the relative information storage unit 24.

また、光学マーカー位置情報が、１個以上３個未満のＬＥＤの現在位置を含むときには、ステップＳ１０８の処理において、第二相対情報算出部２３は、対象物角速度（Ｖ’_ＲＬ、Ｖ’_ＥＬ、Ｖ’_ＡＺ）と、時間ｔ_ｎ＋１の光学マーカー位置情報と、時間ｔ_ｎの相対情報と、移動体角速度（Ｖ_ＲＬ、Ｖ_ＥＬ、Ｖ_ＡＺ）とに基づいて、相対座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を含む相対情報を算出して、相対情報記憶部２４に記憶させる。 Further, when the optical marker position information includes the current positions of one or more and less than three LEDs, in the process of step S108, the second relative information calculation unit 23 calculates the object angular velocity (V ′ _RL , V ′ _EL , V ′ _AZ ), optical marker position information at time t _{n + 1} , relative information at time t _n , and relative angular velocity (V _RL , V _EL , V _AZ ), relative coordinate system (XYZ coordinate system) Relative information including the head position (Xh, Yh, Zh) and head angle (RLh, ELh, AZh) of the pilot 3 with respect to is calculated and stored in the relative information storage unit 24.

さらに、光学マーカー位置情報が、全くＬＥＤの現在位置を含まないときには、ステップＳ１０９の処理において、対象物速度算出部２５は、時間ｔ_ｎ−１の相対情報と時間ｔ_ｎの相対情報とに基づいて、頭部装着型表示装置付ヘルメット１０の時間ｔ_ｎの対象物速度（Ｖ_ｘ、Ｖ_ｙ、Ｖ_ｚ）を算出する。
次に、ステップＳ１１０の処理において、第三相対情報算出部２６は、対象物角速度（Ｖ’_ＲＬ、Ｖ’_ＥＬ、Ｖ’_ＡＺ）と、対象物加速度（α’_ｘ、α’_ｙ、α’_ｚ）と、時間ｔ_ｎの対象物速度（Ｖ_ｘ、Ｖ_ｙ、Ｖ_ｚ）と、時間ｔ_ｎの相対情報と、移動体角速度（Ｖ_ＲＬ、Ｖ_ＥＬ、Ｖ_ＡＺ）と、移動体加速度（α_ｘ、α_ｙ、α_ｚ）とに基づいて、相対座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を含む相対情報を算出して、相対情報記憶部２４に記憶させる。 Further, the optical marker position information, when at all does not include the current position of the LED is in the process of step S109, the object speed calculation unit 25, based on the relative information of the time t _n-1 of the relative information and time t _n Then, the object speed (V _x , V _y , V _z ) at the time t _n of the head mounted helmet 10 with a display device is calculated.
Next, in the process of step S110, the third relative information calculation unit 26 determines the object angular velocity (V ′ _RL , V ′ _EL , V ′ _AZ ) and the object acceleration (α ′ _x , α ′ _y , α ′). and _z), object velocity time _{_{_{t n (V x, V y}}} , and _{V z),} and relative information of the time _{t n,} the moving object angular velocity _(V _{_RL,} V EL, and _{V AZ),} mobile acceleration ( relative to the relative coordinate system (XYZ coordinate system) and including the pilot 3 head position (Xh, Yh, Zh) and head angle (RLh, ELh, AZh) based on α _x , α _y , α _z ) Information is calculated and stored in the relative information storage unit 24.

次に、ステップＳ１１１の処理において、映像表示部２７は、時間ｔ_ｎ＋１の相対情報に基づいて、映像表示光を出射する。
次に、ステップＳ１１２の処理において、飛行体３０が移動しているか否かを判定する。飛行体３０が移動していないと判定したときには、本フローチャートを終了させる。
一方、飛行体が移動していると判定したときには、ステップＳ１０１の処理に戻る。つまり、飛行体３０が移動していないと判定するときまで、ステップＳ１０１〜Ｓ１１１の処理は繰り返される。 Next, in the process of step S111, the video display unit 27 emits video display light based on the relative information at time tn _{+ 1} .
Next, in the process of step S112, it is determined whether or not the flying object 30 is moving. When it is determined that the flying object 30 is not moving, this flowchart is ended.
On the other hand, when it determines with the flying body moving, it returns to the process of step S101. That is, the processes in steps S101 to S111 are repeated until it is determined that the flying object 30 is not moving.

以上のように、本発明のＨＭＴ装置１によれば、カメラ装置２によりＬＥＤ７ａ、７ｂ、７ｃの検出ができなくなるような、第一相対情報算出部２２が相対情報を算出できない状態になったときにも、第二相対情報算出部２３や第三相対情報算出部２６が相対情報を算出することができる。
また、対象物加速度を用いて頭部装着型表示装置付ヘルメット１０の移動距離量（ΔＸｈ、ΔＹｈ、ΔＺｈ）を算出する時間を減少させることで、高い精度を保持することができる。すなわち、精度よく、移動体に設定された相対座標系（ＸＹＺ座標系）に対する頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を算出することができる。 As described above, according to the HMT device 1 of the present invention, when the first relative information calculation unit 22 becomes unable to calculate relative information such that the camera device 2 cannot detect the LEDs 7a, 7b, and 7c. In addition, the second relative information calculation unit 23 and the third relative information calculation unit 26 can calculate the relative information.
Moreover, high accuracy can be maintained by reducing the time for calculating the movement distance amount (ΔXh, ΔYh, ΔZh) of the helmet 10 with a head mounted display device using the object acceleration. That is, the current position (Xh, Yh, Zh) and current angle (RLh, ELh, AZh) of the helmet 10 with a head-mounted display device with respect to the relative coordinate system (XYZ coordinate system) set on the moving body are accurately obtained. Can be calculated.

なお、上述したＨＭＴ装置１では、ＬＥＤ群７は、互いに異なる波長の赤外光を発光する構成を示したが、全てのＬＥＤは、同一の波長の光を発光するようにして、例えば、各ＬＥＤをそれぞれ個別に追跡して区別する方法（例えば、特願２００６−２８４４４２号公報等に記載されたＬＥＤの識別方法）を用いたり、各ＬＥＤの形状をそれぞれ変えたりして、互いを識別されるような構成としてもよい。また、ＬＥＤ群は、赤外光以外の光を発光するような構成としてもよい。 In the HMT device 1 described above, the LED group 7 is configured to emit infrared light having different wavelengths, but all LEDs emit light having the same wavelength, for example, Each LED can be identified by using a method of individually tracking and distinguishing LEDs (for example, an LED identification method described in Japanese Patent Application No. 2006-284442) or by changing the shape of each LED. It is good also as such a structure. The LED group may be configured to emit light other than infrared light.

本発明は、飛行体に設定された相対座標系に対する搭乗員等の頭部位置や頭部角度を測定するためのモーショントラッカ装置に利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used for a motion tracker device for measuring a head position or head angle of a crew member or the like with respect to a relative coordinate system set for a flying object.

本発明の一実施形態であるヘッドモーショントラッカ装置の概略構成を示す図である。It is a figure which shows schematic structure of the head motion tracker apparatus which is one Embodiment of this invention. 図１に示す頭部装着型表示装置付ヘルメットの平面図である。It is a top view of the helmet with a head-mounted display device shown in FIG. 相対座標系（ＸＹＺ座標系）の設定を説明するための図である。It is a figure for demonstrating the setting of a relative coordinate system (XYZ coordinate system). 本発明の一実施形態であるヘッドモーショントラッカ装置による測定動作について説明するためのフローチャートである。It is a flowchart for demonstrating the measurement operation | movement by the head motion tracker apparatus which is one Embodiment of this invention. 従来のヘッドモーショントラッカ装置を示す図である。It is a figure which shows the conventional head motion tracker apparatus. 従来のヘッドモーショントラッカ装置を示す図である。It is a figure which shows the conventional head motion tracker apparatus.

符号の説明Explanation of symbols

１ヘッドモーショントラッカ装置
２カメラ装置
３パイロット
４移動体３軸ジャイロセンサ（移動体角速度センサ）
５移動体加速度センサ
７ＬＥＤ（光学マーカー）
１０頭部装着型表示装置付ヘルメット（対象物）
１４対象物３軸ジャイロセンサ（対象物角速度センサ）
１５対象物加速度センサ
２２第一相対情報算出部
２３第二相対情報算出部
２４光学マーカー位置情報算出部
２５対象物速度算出部
２６第三相対情報算出部
２８モーショントラッカ駆動部
２９切替部
３０飛行体
４２相対情報記憶部 DESCRIPTION OF SYMBOLS 1 Head motion tracker apparatus 2 Camera apparatus 3 Pilot 4 Mobile body 3 axis gyro sensor (moving body angular velocity sensor)
5 Moving body acceleration sensor 7 LED (optical marker)
10 Helmet with head mounted display (object)
14 Object 3-axis gyro sensor (object angular velocity sensor)
15 object acceleration sensor 22 first relative information calculation unit 23 second relative information calculation unit 24 optical marker position information calculation unit 25 object speed calculation unit 26 third relative information calculation unit 28 motion tracker driving unit 29 switching unit 30 flying object 42 Relative information storage

Claims

対象物に位置決めされて取り付けられた３個以上の光学マーカーと、
相対座標系が設定され、前記光学マーカーからの光線を立体視で検出するカメラ装置と、
検出された光線に基づいて、前記相対座標系に対する光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出して、相対情報記憶部に記憶させる第一相対情報算出部とを備えるモーショントラッカ装置であって、
前記対象物に取り付けられるとともに、前記対象物に作用する対象物角速度を検出する対象物角速度センサと、
前記対象物に取り付けられるとともに、前記対象物に作用する対象物加速度を検出する対象物加速度センサと、
前記相対情報記憶部に記憶された少なくとも２つの相対情報に基づいて、前記対象物の対象物速度を算出する対象物速度算出部と、
前記対象物角速度、光学マーカー位置情報、及び、記憶された相対情報に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出して、前記相対情報記憶部に記憶させる第二相対情報算出部と、
前記対象物角速度、対象物加速度、対象物速度、及び、記憶された相対情報に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出して、前記相対情報記憶部に記憶させる第三相対情報算出部と、
前記光学マーカー位置情報算出部で算出された光学マーカー位置情報が、３個以上の光学マーカーの現在位置を含むときには、前記第一相対情報算出部で相対情報を算出し、
前記光学マーカー位置情報が、１個以上３個未満の光学マーカーの現在位置を含むときには、前記第二相対情報算出部で相対情報を算出し、
前記光学マーカー位置情報が、全く光学マーカーの現在位置を含まないときには、前記第三相対情報算出部で相対情報を算出する切替部とを備えることを特徴とするモーショントラッカ装置。 Three or more optical markers positioned and attached to the object;
A camera device in which a relative coordinate system is set and detects a light beam from the optical marker in a stereoscopic view;
An optical marker position information calculation unit that calculates optical marker position information that is a current position of the optical marker with respect to the relative coordinate system based on the detected light beam;
A motion tracker device comprising: a first relative information calculation unit that calculates relative information including a current position and a current angle of an object relative to the relative coordinate system based on the optical marker position information and stores the relative information in a relative information storage unit Because
An object angular velocity sensor that is attached to the object and detects an object angular velocity acting on the object;
An object acceleration sensor that is attached to the object and detects an object acceleration acting on the object;
An object speed calculation unit that calculates an object speed of the object based on at least two pieces of relative information stored in the relative information storage unit;
Relative information including the current position and current angle of the object with respect to the relative coordinate system is calculated based on the object angular velocity, the optical marker position information, and the stored relative information, and stored in the relative information storage unit. A second relative information calculation unit for causing
Relative information including the current position and current angle of the object relative to the relative coordinate system is calculated based on the object angular velocity, the object acceleration, the object speed, and the stored relative information, and the relative information storage A third relative information calculation unit to be stored in the unit;
When the optical marker position information calculated by the optical marker position information calculation unit includes the current positions of three or more optical markers, the first relative information calculation unit calculates relative information,
When the optical marker position information includes the current position of one or more and less than three optical markers, the second relative information calculation unit calculates relative information,
A motion tracker device comprising: a switching unit that calculates relative information by the third relative information calculation unit when the optical marker position information does not include the current position of the optical marker at all.

前記対象物は、搭乗者の頭部に装着されるヘルメットであり、かつ、
前記カメラ装置は、前記搭乗者が搭乗する移動体に取り付けられ、
さらに、前記移動体に取り付けられるとともに、前記移動体に作用する移動体角速度を、前記対象物角速度センサと同時間に検出する移動体角速度センサと、
前記移動体に取り付けられるとともに、前記移動体に作用する移動体加速度を、前記対象物加速度センサと同時間に検出する移動体加速度センサとを備え、
前記第二相対情報算出部は、前記対象物角速度、光学マーカー位置情報、記憶された相対情報、及び、移動体角速度に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出し、
前記第三相対情報算出部は、前記対象物角速度、対象物加速度、対象物速度、記憶された相対情報、移動体角速度、及び、移動体加速度に基づいて、前記相対座標系に対する対象物の現在位置及び現在角度を含む相対情報を算出することを特徴とする請求項１に記載のモーショントラッカ装置。 The object is a helmet to be worn on a passenger's head; and
The camera device is attached to a moving body on which the passenger is boarded,
A movable body angular velocity sensor that is attached to the movable body and detects a movable body angular velocity acting on the movable body at the same time as the object angular velocity sensor;
A moving body acceleration sensor that is attached to the moving body and detects a moving body acceleration acting on the moving body at the same time as the object acceleration sensor;
The second relative information calculating unit includes a current position and a current angle of the object relative to the relative coordinate system based on the object angular velocity, the optical marker position information, the stored relative information, and the moving body angular velocity. Calculate information,
The third relative information calculation unit is configured to calculate a current object current relative to the relative coordinate system based on the object angular velocity, the object acceleration, the object velocity, the stored relative information, the moving object angular velocity, and the moving object acceleration. The motion tracker device according to claim 1, wherein relative information including a position and a current angle is calculated.