JP2009085806A - Head motion tracker system and calibration apparatus used for the same - Google Patents

Head motion tracker system and calibration apparatus used for the same Download PDF

Info

Publication number
JP2009085806A
JP2009085806A JP2007257146A JP2007257146A JP2009085806A JP 2009085806 A JP2009085806 A JP 2009085806A JP 2007257146 A JP2007257146 A JP 2007257146A JP 2007257146 A JP2007257146 A JP 2007257146A JP 2009085806 A JP2009085806 A JP 2009085806A
Authority
JP
Japan
Prior art keywords
camera
optical marker
coordinate system
image
camera device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007257146A
Other languages
Japanese (ja)
Other versions
JP4905311B2 (en
Inventor
Kazuo Tawada
一穂 多和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2007257146A priority Critical patent/JP4905311B2/en
Publication of JP2009085806A publication Critical patent/JP2009085806A/en
Application granted granted Critical
Publication of JP4905311B2 publication Critical patent/JP4905311B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a head motion tracker system capable of accurately setting a camera coordinate system in a photographing region of a camera device and provide a calibration apparatus used for the same. <P>SOLUTION: The head motion tracker system provided with both an optical-marker position information computation part 22 for computing and storing optical-marker position information, a current position of an optical marker 51 to the camera device 2, and a coordinate system setting part 27 for setting a camera coordinate system in the photographing region of the camera device 2 on the basis of the optical-marker position information is provided with a stage mechanism 52 for moving the optical marker 51 in XYZ-directions. A camera device control part 28 acquires a first image and a second image after the optical marker 51 is moved in the X-direction by a set distance, after the optical marker 51 is moved in the Y-direction by a set distance, after the optical marker 51 is moved in the Z-direction by a set distance, and prior to the movements of the optical marker 51. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、カメラ装置の撮影領域にカメラ座標系を設定することにより、カメラ座標系に対する測定対象物の現在位置や現在角度を測定するためのヘッドモーショントラッカシステム（以下、ＨＭＴシステムともいう）及びそれに用いられるキャリブレーション装置に関する。本発明は、特に、ゲーム機や乗物等の移動体に配置されたカメラ装置の撮影領域にカメラ座標系を設定することにより、カメラ座標系に対する搭乗者に装着される頭部装着型表示装置付ヘルメットの現在位置や現在角度（すなわち、頭部の現在位置や現在角度）を常に測定するために、角速度センサや加速度センサを組み合わせたＨＭＴシステム等に利用される。 The present invention relates to a head motion tracker system (hereinafter also referred to as an HMT system) for measuring a current position and a current angle of an object to be measured with respect to a camera coordinate system by setting a camera coordinate system in an imaging region of the camera device. It is related with the calibration apparatus used for it. In particular, the present invention provides a head-mounted display device to be worn by a passenger with respect to a camera coordinate system by setting a camera coordinate system in a shooting area of a camera device arranged on a moving body such as a game machine or a vehicle. In order to always measure the current position and current angle of the helmet (that is, the current position and current angle of the head), it is used in an HMT system that combines an angular velocity sensor and an acceleration sensor.

時々刻々と変動する物体（測定対象物）の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）が利用されている。 Techniques for accurately measuring the current position and current angle of an object (measurement target) that changes every moment are used in various fields. For example, in a game machine, an image is displayed by using a helmet with a head-mounted display device in order to realize virtual reality (VR). At this time, it is necessary to change the image in accordance with the current position and the current angle of the head mounted display-equipped helmet. Therefore, a head motion tracker device (hereinafter also referred to as an HMT device) is used to measure the current position and current angle of the helmet with a head-mounted display device.

また、救難飛行艇による救難活動において、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体（救難飛行艇）の緯度、経度、高度、姿勢に加えて、飛行体に対するパイロットの頭部の現在角度及び現在位置を測定している。このため、ＨＭＴ装置が利用されている。 Also, in order to avoid losing sight of the found rescue target in rescue operations by rescue flying boats, by locking when the aiming image displayed by the helmet with head mounted display device corresponds to the rescue target, Calculating the position of the locked rescue target has been done. At this time, in order to calculate the position of the rescue target, in addition to the latitude, longitude, altitude and attitude of the flying object (rescue flying boat), the current angle and current position of the pilot's head relative to the flying object are measured. Yes. For this reason, an HMT apparatus is used.

頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（例えば、特許文献１参照）。具体的には、複数の反射板を頭部装着型表示装置付ヘルメットの外周面上に取り付けるとともに、光源とカメラ装置（第一カメラ及び第二カメラ）とを飛行体に固定することにより、光源から光を照射したときの反射板からの反射光をカメラ装置でモニタする。また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のＨＭＴ装置もある（例えば、特許文献２参照）。例えば、頭部装着型表示装置付ヘルメットの外周面上に、発光体であるＬＥＤ（発光ダイオード）を互いに離隔するようにして３箇所に取り付け、これら３個のＬＥＤの位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３個のＬＥＤを、立体視が可能でかつ飛行体に固定された第一カメラ及び第二カメラで同時に撮影することで、所謂、三角測量の原理により、現在の３個のＬＥＤの位置関係を測定している。これにより、カメラ装置に対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を特定している。
特表平９−５０６１９４号公報 特願２００５−１０６４１８号公報 As an HMT device used for a helmet with a head-mounted display device, an apparatus that optically measures the current position and current angle of the helmet with a head-mounted display device is disclosed (for example, see Patent Document 1). ). Specifically, by attaching a plurality of reflectors on the outer peripheral surface of the helmet with a head-mounted display device, and fixing the light source and the camera device (first camera and second camera) to the flying object, the light source The reflected light from the reflector when the light is irradiated from the camera is monitored by the camera device. There is also an optical HMT device in which light emitters are attached to a plurality of locations so as to be separated from each other (see, for example, Patent Document 2). For example, on the outer peripheral surface of the helmet with a head-mounted display device, LEDs (light emitting diodes), which are light emitters, are mounted at three locations so as to be separated from each other, and the positional relationship of these three LEDs is preliminarily stored in the HMT device. Remember. And by photographing these three LEDs simultaneously with the first camera and the second camera that are stereoscopically viewable and fixed to the flying object, the so-called triangulation principle allows the current three LEDs to be The positional relationship is measured. Thereby, the current position and the current angle of the helmet with a head-mounted display device with respect to the camera device are specified.
JP-T 9-506194 Japanese Patent Application No. 2005-106418

さらに、本出願人は、ジャイロセンサ（角速度センサ）や加速度センサを組み合わせたＨＭＴ装置を開発した。これにより、第一カメラ及び第二カメラによる撮影と撮影との間隔時間にも、ジャイロセンサ（角速度センサ）や加速度センサの測定結果を用いて、飛行体に対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を算出することができるようにした。
ところで、上述したようなＨＭＴ装置では、カメラ装置で測定された現在の３個のＬＥＤの位置関係を空間座標で表現するために、予めカメラ装置の撮影領域にカメラ座標系が設定されて用いられている。ここで、カメラ装置２（第一カメラ２ａ及び第二カメラ２ｂ）の撮影領域にカメラ座標系を設定する従来の方法について図７及び図８を用いて説明する。
カメラ座標系は、原点及び各ＸＹＺ座標軸の方向を、飛行体に予め設定された基準座標系と一致するように設定される。これにより、頭部装着型表示装置付ヘルメットの外周面上に取り付けられた反射板やＬＥＤの位置をカメラ座標系で表現するとともに、そのままの値を用いて基準座標系で表現することができるようになっている。また、ジャイロセンサや加速度センサを組み合わせたＨＭＴ装置においても、ジャイロセンサや加速度センサも基準座標系と位置合わせされて固定されているので、ジャイロセンサや加速度センサの測定結果と、カメラ装置での測定結果とを容易に組み合わせることが可能となっている。 Furthermore, the present applicant has developed an HMT device that combines a gyro sensor (angular velocity sensor) and an acceleration sensor. As a result, the present time of the helmet with a head-mounted display device for the flying object is also obtained using the measurement result of the gyro sensor (angular velocity sensor) and the acceleration sensor in the interval time between the photographing by the first camera and the second camera. The position and current angle can be calculated.
By the way, in the HMT apparatus as described above, a camera coordinate system is set in advance in the imaging region of the camera apparatus and used in order to express the current positional relationship of the three LEDs measured by the camera apparatus in spatial coordinates. ing. Here, a conventional method for setting the camera coordinate system in the imaging region of the camera device 2 (the first camera 2a and the second camera 2b) will be described with reference to FIGS.
The camera coordinate system is set so that the origin and the directions of the XYZ coordinate axes coincide with a reference coordinate system preset for the flying object. As a result, the positions of the reflectors and LEDs mounted on the outer peripheral surface of the head-mounted display-equipped helmet can be expressed in the camera coordinate system, and can be expressed in the reference coordinate system using the values as they are. It has become. In addition, even in an HMT device that combines a gyro sensor and an acceleration sensor, the gyro sensor and the acceleration sensor are also fixed in alignment with the reference coordinate system, so the measurement result of the gyro sensor and the acceleration sensor and the measurement by the camera device The result can be easily combined.

そこで、カメラ装置２の撮影領域に、基準座標系と一致したカメラ座標系を設定するために、図７に示すような各頂点にＬＥＤ６１ａ〜６１ｈが配置されかつ各辺６２ａ〜６２ｌが設定距離となる立方格子６０を作製して用いている。このような立方格子６０を飛行体に予め定められた設定位置に取り付けることにより、ＬＥＤ６１ａの位置からＬＥＤ６１ｂの位置への方向をＸ軸方向とし、ＬＥＤ６１ａの位置からＬＥＤ６１ｄの位置への方向をＹ軸方向とし、ＬＥＤ６１ａの位置からＬＥＤ６１ｈの位置への方向をＺ軸方向とするように設定している。また、ＬＥＤ６１ａの位置からＬＥＤ６１ｂの位置までの距離と、ＬＥＤ６１ａの位置からＬＥＤ６１ｄの位置までの距離と、ＬＥＤ６１ａの位置からＬＥＤ６１ｈの位置までの距離とが各座標軸における基準距離となるように設定している。 Therefore, in order to set a camera coordinate system that coincides with the reference coordinate system in the imaging region of the camera device 2, LEDs 61a to 61h are arranged at the vertices as shown in FIG. 7 and the sides 62a to 62l are set as the set distance. A cubic lattice 60 is produced and used. By attaching such a cubic lattice 60 to the flying object at a predetermined setting position, the direction from the position of the LED 61a to the position of the LED 61b is the X-axis direction, and the direction from the position of the LED 61a to the position of the LED 61d is the Y-axis. The direction from the position of the LED 61a to the position of the LED 61h is set as the Z-axis direction. Further, the distance from the position of the LED 61a to the position of the LED 61b, the distance from the position of the LED 61a to the position of the LED 61d, and the distance from the position of the LED 61a to the position of the LED 61h are set to be reference distances in each coordinate axis. Yes.

しかしながら、立方格子６０を作製する際に使用した設計情報（設定距離等の立方格子の大きさ情報）を用いて各ＬＥＤ６１ａ〜６１ｈの位置関係を記憶させることになるが、カメラ座標系と基準座標系とが完全に一致しないという問題があった。
ここで、図９は、一般的なＬＥＤの概略構成を示す断面図である。ＬＥＤ６１は、半導体部７１と、反射板７２と、レンズ７３とを有する。図９に示すように、ＬＥＤ６１の外形形状から求めた中心と、実際にＬＥＤ６１が発光している中心とに、ＬＥＤ６１の製造の際に生じた差異が存在する。そして、ＬＥＤ６１の位置を記憶させるときには、カメラ装置２でＬＥＤ６１から出射された光線を検出するため、ＬＥＤ６１が発光している中心がＬＥＤ６１の位置として記憶されることになる。一方、立方格子６０は、ＬＥＤ６１の製造の際に生じた差異を容易に確認することができず、ＬＥＤ６１の外形形状の中心を容易に確認することができるため、ＬＥＤ６１の外形形状の中心が立方格子６０の頂点となるように作製されている。よって、設計情報を用いてＬＥＤ６１の位置関係を記憶させても、カメラ座標系と基準座標系との位置がずれることになっていた。
そこで、本発明は、カメラ装置の撮影領域にカメラ座標系を正確に設定することができるヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置を提供することを目的とする。 However, although the positional relationship between the LEDs 61a to 61h is stored using the design information (the size information of the cubic lattice such as the set distance) used when producing the cubic lattice 60, the camera coordinate system and the reference coordinates are stored. There was a problem that the system was not completely consistent.
Here, FIG. 9 is a cross-sectional view showing a schematic configuration of a general LED. The LED 61 includes a semiconductor unit 71, a reflecting plate 72, and a lens 73. As shown in FIG. 9, there is a difference that occurs during the manufacture of the LED 61 between the center obtained from the outer shape of the LED 61 and the center where the LED 61 actually emits light. And when memorize | storing the position of LED61, since the light ray radiate | emitted from LED61 with the camera apparatus 2 is detected, the center which LED61 is light-emitting is memorize | stored as a position of LED61. On the other hand, since the cubic lattice 60 cannot easily confirm the difference produced during the manufacture of the LED 61 and can easily confirm the center of the outer shape of the LED 61, the center of the outer shape of the LED 61 is cubic. It is made to be the apex of the lattice 60. Therefore, even if the positional relationship of the LED 61 is stored using the design information, the positions of the camera coordinate system and the reference coordinate system are shifted.
SUMMARY An advantage of some aspects of the invention is that it provides a head motion tracker system capable of accurately setting a camera coordinate system in an imaging region of a camera device and a calibration device used therefor.

上記課題を解決するためになされた本発明のヘッドモーショントラッカシステムは、光学マーカーと、前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカシステムであって、前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをＸＹＺ方向に移動させるステージ機構を備え、前記カメラ装置制御部は、前記光学マーカーをＸ方向に設定距離で移動させた後と、前記光学マーカーをＹ方向に設定距離で移動させた後と、前記光学マーカーをＺ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像を取得するようにしている。 The head motion tracker system of the present invention made to solve the above problems includes an optical marker, a first camera that images the optical marker, and a second camera that images the optical marker from a different direction from the first camera. A camera device control unit for acquiring a first image taken by the first camera, and a second image taken by the second camera simultaneously with the first camera, and the first An optical marker position information calculation unit that calculates optical marker position information that is a current position of the optical marker with respect to the camera device based on the image and the second image, and stores the optical marker position information in the optical marker position information storage unit And a coordinate system setting unit that sets a camera coordinate system in the imaging region of the camera device based on the optical marker position information A head motion tracker system comprising: a relative information calculation unit that calculates relative information including a current position and a current angle of the measurement object with respect to the camera coordinate system, wherein the head motion tracker system is attached to and removed from a set position in the imaging region of the camera device And a stage mechanism that moves the optical marker in the XYZ directions, and the camera device control unit moves the optical marker in the X direction by a set distance, and moves the optical marker in the Y direction. A first image and a second image are acquired after moving the optical marker by a set distance, after moving the optical marker by a set distance in the Z direction, and before moving the optical marker, respectively.

ここで、「光学マーカー」としては、例えば、発光体（ランプ、ＬＥＤ等）、反射体、蛍光体等が挙げられる。
本発明のＨＭＴシステムによれば、まず、光学マーカーをＸＹＺ方向に移動させることが可能なステージ機構を、カメラ装置の撮影領域中の設定位置に取り付ける。そして、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＸ方向に設定距離で移動させた後、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＹ方向に設定距離で移動させた後、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＺ方向に設定距離で移動させた後、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。そして、座標系設定部は、記憶された光学マーカー位置情報に基づいて、カメラ装置の撮影領域にカメラ座標系を設定する。最後に、ステージ機構を設定位置から取り外す。 Here, examples of the “optical marker” include a light emitter (lamp, LED, etc.), a reflector, and a phosphor.
According to the HMT system of the present invention, first, a stage mechanism capable of moving the optical marker in the XYZ directions is attached to a set position in the imaging region of the camera device. Then, the camera device control unit acquires the first image and the second image. Thereby, the optical marker position information which is the current position of the optical marker with respect to the camera device is calculated and stored. Next, after moving the optical marker by a set distance in the X direction, the camera device control unit acquires the first image and the second image. Thereby, the optical marker position information which is the current position of the optical marker with respect to the camera device is calculated and stored. Next, after moving the optical marker by a set distance in the Y direction, the camera device control unit acquires a first image and a second image. Thereby, the optical marker position information which is the current position of the optical marker with respect to the camera device is calculated and stored. Next, after moving the optical marker by a set distance in the Z direction, the camera device control unit acquires the first image and the second image. Thereby, the optical marker position information which is the current position of the optical marker with respect to the camera device is calculated and stored. Then, the coordinate system setting unit sets the camera coordinate system in the shooting area of the camera device based on the stored optical marker position information. Finally, the stage mechanism is removed from the set position.

以上のように、本発明のＨＭＴシステムによれば、カメラ装置制御部は、光学マーカーをＸ方向に設定距離で移動させた後と、光学マーカーをＹ方向に設定距離で移動させた後と、光学マーカーをＺ方向に設定距離で移動させた後と、光学マーカーを移動させる前に、それぞれ第一画像及び第二画像を取得する。つまり、１個の光学マーカーをＸＹＺ方向に移動させることにより、光学マーカーの外形形状から求めた中心と、実際に光学マーカーが発光している中心とに、光学マーカーの製造の際に生じた差異が存在することがあっても、移動方向や移動量には差異は生じないので、カメラ装置の撮影領域にカメラ座標系を正確に設定することができる。 As described above, according to the HMT system of the present invention, the camera device control unit moves the optical marker in the X direction by a set distance, after moving the optical marker in the Y direction by a set distance, A first image and a second image are acquired after the optical marker is moved by a set distance in the Z direction and before the optical marker is moved. In other words, by moving one optical marker in the XYZ directions, the difference caused during the production of the optical marker between the center obtained from the outer shape of the optical marker and the center where the optical marker actually emits light. Since there is no difference in the moving direction and the moving amount even if there is an image, the camera coordinate system can be accurately set in the shooting area of the camera device.

（他の課題を解決するための手段および効果）
また、上記課題を解決するためになされた本発明のキャリブレーション装置は、光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカ装置に用いられるキャリブレーション装置であって、前記光学マーカーと、前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをＸＹＺ方向に移動させるステージ機構を備え、前記カメラ装置制御部によって、前記光学マーカーをＸ方向に設定距離で移動させた後と、前記光学マーカーをＹ方向に設定距離で移動させた後と、前記光学マーカーをＺ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像が取得されるようにしている。 (Means and effects for solving other problems)
Moreover, the calibration apparatus of this invention made | formed in order to solve the said subject is a camera apparatus which has the 1st camera which image | photographs an optical marker, and the 2nd camera which image | photographs an optical marker from a different direction from said 1st camera. A camera device control unit that acquires a first image captured by the first camera and a second image captured by the second camera at the same time as the first camera, and the first image and the second image An optical marker position information calculation unit that calculates optical marker position information that is a current position of the optical marker with respect to the camera device based on an image, and stores the optical marker position information in an optical marker position information storage unit; Based on the marker position information, a coordinate system setting unit that sets a camera coordinate system in the imaging region of the camera device, and a camera coordinate system. A calibration device used in a head motion tracker device including a relative information calculation unit that calculates relative information including a current position and a current angle of a measurement object, wherein the optical marker and an imaging region of the camera device And a stage mechanism that moves the optical marker in the XYZ directions, and the camera device control unit moves the optical marker by a set distance in the X direction, and A first image and a second image are acquired after moving the optical marker in the Y direction by a set distance, after moving the optical marker by a set distance in the Z direction, and before moving the optical marker, respectively. To be.

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. Note that the present invention is not limited to the embodiments described below, and it goes without saying that various aspects are included without departing from the spirit of the present invention.

本発明の一実施形態であるＨＭＴシステムは、ＨＭＴ装置１とキャリブレーション装置５０とからなる。図１は、本発明に係るＨＭＴ装置１の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメット（測定対象物）１０の平面図である。また、図３は、本発明の一実施形態であるキャリブレーション装置５０の概略構成を示す図であり、図４は、ＨＭＴ装置１の設定位置３０ｂにキャリブレーション装置５０を取り付けた図である。なお、ＨＭＴ装置１は、カメラ装置２に設定されるカメラ座標系（ＸＹＺ座標系）に対するパイロット（搭乗者）３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出するものである。つまり、搭乗体３０に設定されたカメラ座標系（ＸＹＺ座標系）に対する、パイロット３が着用する頭部装着型表示装置付ヘルメット１０に設定されたヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を算出する。また、キャリブレーション装置５０は、パイロット（搭乗者）３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出するために、搭乗体３０に配置されたカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を予め設定するためのものである。 The HMT system according to an embodiment of the present invention includes an HMT device 1 and a calibration device 50. FIG. 1 is a diagram showing a schematic configuration of an HMT device 1 according to the present invention, and FIG. 2 is a plan view of the helmet (measurement object) 10 with a head-mounted display device shown in FIG. 3 is a diagram showing a schematic configuration of the calibration device 50 according to an embodiment of the present invention, and FIG. 4 is a diagram in which the calibration device 50 is attached to the setting position 30b of the HMT device 1. Note that the HMT device 1 includes the head position (Xh, Yh, Zh) and head angle (Θh, Φh, Ψh) of the pilot (passenger) 3 with respect to the camera coordinate system (XYZ coordinate system) set in the camera device 2. ) Including relative information. That is, the helmet coordinate system (X′Y′Z ′ coordinate system) set for the helmet 10 with a head mounted display device worn by the pilot 3 with respect to the camera coordinate system (XYZ coordinate system) set for the vehicle 30. The position and angle of are calculated. In addition, the calibration device 50 uses the vehicle 30 to calculate relative information including the head position (Xh, Yh, Zh) and the head angle (Θh, Φh, Ψh) of the pilot (passenger) 3. This is for setting a camera coordinate system (XYZ coordinate system) in advance in the imaging region of the arranged camera device 2.

ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、搭乗体３０に固定されたカメラ装置２と、コンピュータにより構成される制御部２０とから構成される。
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、ＬＥＤ群７とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示画像とコンバイナ８の前方実在物とを視認することが可能となっている。 The HMT device 1 includes a helmet 10 with a head-mounted display device attached to the head of a pilot 3, a camera device 2 fixed to the vehicle body 30, and a control unit 20 configured by a computer. .
The helmet 10 with a head-mounted display device includes a display (not shown), a combiner 8 that leads the eyes of the pilot 3 by reflecting image display light emitted from the display, and an LED group 7. Have. In addition, the pilot 3 wearing the helmet 10 with a head-mounted display device can visually recognize the display image by the display and the front actual thing of the combiner 8.

ＬＥＤ群７は、図２に示すように、互いに異なる波長の赤外光を発光する３個のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして、頭部装着型表示装置付ヘルメット１０の外周面上に取り付けられものである。
ここで、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をＬＥＤ７ａの位置とし、前方方向をＸ’軸方向とし、前方方向に垂直方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義するように、後述するデータ記憶部４５に設定されている。また、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も、データ記憶部４５に記憶されている。これにより、後述する三角測量の手法で、現時点における３個のＬＥＤ７ａ、７ｂ、７ｃの位置を算出し、初期データを参照することで、頭部装着型表示装置ヘルメット１０の現在位置及び現在角度が、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を用いて表現されるようになっている。 As shown in FIG. 2, the LED group 7 includes an outer peripheral surface of the helmet 10 with a head mounted display device such that three LEDs 7a, 7b, and 7c that emit infrared light having different wavelengths are separated from each other. It is something that is mounted on top.
Here, the helmet coordinate system (X′Y′Z ′ coordinate system) can arbitrarily determine the origin and the direction of each coordinate axis. In this embodiment, as shown in FIG. 2, the origin is the position of the LED 7a. As will be described later, the forward direction is defined as the X ′ axis direction, the forward direction is defined as the Y ′ axis direction, and the X ′ axis direction and the Y ′ axis direction are defined as the Z ′ axis direction. It is set in the data storage unit 45. The positional relationship (initial data) of the three LEDs 7a, 7b, 7c on the helmet coordinate system (X′Y′Z ′ coordinate system) is also stored in the data storage unit 45. Thereby, the position of the three LEDs 7a, 7b, and 7c at the present time is calculated by a triangulation method, which will be described later, and the initial position is referred to, so that the current position and the current angle of the head mounted display device helmet 10 are determined. It is expressed using a helmet coordinate system (X′Y′Z ′ coordinate system).

搭乗体３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席する座席３０ａと、キャリブレーション装置５０を取り付けるための設定位置３０ｂ（後述する）を備える。
カメラ装置２は、第一カメラ２ａと第二カメラ２ｂとからなる。第一カメラ２ａと第二カメラ２ｂとは、撮影方向が異なりかつ立体視が可能な一定の距離（ｄ１）を隔てるように、座席３０ａに固定されている。
ここで、図５に示すように、カメラ装置２に対するＬＥＤ７ａの位置は、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出することができる。他のＬＥＤ７ｂ、７ｃのカメラ装置２に対する位置についても、同様に算出される。 The boarding body 30 is a cockpit of a flying body on which the pilot 3 is boarded, and includes a seat 30a on which the pilot 3 is seated and a setting position 30b (to be described later) for mounting the calibration device 50.
The camera device 2 includes a first camera 2a and a second camera 2b. The first camera 2a and the second camera 2b are fixed to the seat 30a so as to be separated from each other by a certain distance (d1) in which the photographing direction is different and stereoscopic viewing is possible.
Here, as shown in FIG. 5, the position of the LED 7a with respect to the camera device 2 is the position of the LED 7a displayed in the first image and the second image taken by the first camera 2a and the second camera 2b. Further, the direction angle (α) from the first camera 2a and the direction angle (β) from the second camera 2b are extracted, and the distance (d1) between the first camera 2a and the second camera 2b is extracted. By using it, it can be calculated by a triangulation method. The positions of the other LEDs 7b and 7c with respect to the camera device 2 are similarly calculated.

このときの各ＬＥＤ７ａ、７ｂ、７ｃの位置を、空間座標で表現することができるようにするために、キャリブレーション装置５０を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定している。なお、キャリブレーション装置５０を用いてカメラ座標系を設定する設定方法や、カメラ座標系の具体的な原点位置やＸＹＺ軸方向の説明については後述する。
カメラ装置２の撮影領域にカメラ座標系が設定されていれば、上述したように三角測量の手法で算出することで、ＬＥＤ７ａ、７ｂ、７ｃの位置座標は、カメラ座標系を用いて表現できる。そして、３個のＬＥＤ７ａ、７ｂ、７ｃの位置座標が特定されれば、ＬＥＤ７ａ、７ｂ、７ｃが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット１０の位置及び角度は、カメラ座標系に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を用いて表現できるようになる。なお、角度（Θｈ）は、ロール方向（Ｘ軸に対する回転）の角度であり、角度（Φｈ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度（Ψｈ）は、アジマス方向（Ｚ軸に対する回転）の角度である。また、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点であるＬＥＤ７ａの現在の位置座標で表現することとする。
なお、本実施形態では、後述する設定方法でカメラ座標系を設定するため、搭乗体３０に予め設定されている基準座標系とカメラ座標系とが完全に一致している。このため、カメラ座標系に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）は、そのままの値を用いて、基準座標系に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）として表現することができるようになる。 In order to be able to express the position of each LED 7a, 7b, 7c at this time by a spatial coordinate, a camera coordinate system (XYZ coordinate system) is set in the imaging region of the camera device 2 using the calibration device 50. It is set. A setting method for setting the camera coordinate system using the calibration device 50 and a description of a specific origin position and XYZ-axis directions of the camera coordinate system will be described later.
If the camera coordinate system is set in the imaging region of the camera device 2, the position coordinates of the LEDs 7a, 7b, and 7c can be expressed using the camera coordinate system by calculating with the triangulation method as described above. When the position coordinates of the three LEDs 7a, 7b, and 7c are specified, the position and angle of the helmet 10 with a head-mounted display device to which the LEDs 7a, 7b, and 7c are positioned and attached are determined by the camera coordinate system. Can be expressed using the position (Xh, Yh, Zh) and angle (Θh, Φh, Ψh) of the helmet coordinate system (X′Y′Z ′ coordinate system) with respect to. The angle (Θh) is the angle in the roll direction (rotation with respect to the X axis), the angle (Φh) is the angle in the elevation direction (rotation with respect to the Y axis), and the angle (Ψh) is in the azimuth direction ( Angle of rotation with respect to the Z-axis). Moreover, the position (Xh, Yh, Zh) of the helmet 10 with a head-mounted display device is expressed by the current position coordinates of the LED 7a that is the origin of the helmet coordinate system (X′Y′Z ′ coordinate system). To do.
In this embodiment, since the camera coordinate system is set by a setting method to be described later, the reference coordinate system set in advance for the vehicle 30 and the camera coordinate system completely match. Therefore, the position (Xh, Yh, Zh) and angle (Θh, Φh, Ψh) of the helmet coordinate system (X′Y′Z ′ coordinate system) with respect to the camera coordinate system are used as they are, and the reference coordinate system is used. Can be expressed as the position (Xh, Yh, Zh) and angle (Θh, Φh, Ψh) of the helmet coordinate system (X′Y′Z ′ coordinate system) with respect to.

制御部２０は、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行う。制御部２０のＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、カメラ装置制御部２８と、光学マーカー位置情報算出部２２と、相対情報算出部２３と、座標系設定部２７と、駆動信号発生部２６と、映像表示部２５とからなる。
また、メモリ４１は、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、基準座標系を記憶する基準座標系記憶部４３と、カメラ座標系を記憶するカメラ座標系記憶部４４と、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶するデータ記憶部４５と、光学マーカー位置情報を順次記憶する光学マーカー位置情報記憶部４６とを有する。 The control unit 20 is configured by a computer including a CPU 21, a memory 41, and the like, and performs various controls and arithmetic processes. The processing executed by the CPU 21 of the control unit 20 will be described separately for each functional block. The camera device control unit 28, the optical marker position information calculation unit 22, the relative information calculation unit 23, the coordinate system setting unit 27, It comprises a drive signal generator 26 and a video display unit 25.
The memory 41 has an area for storing various data necessary for the control unit 20 to execute processing, and stores a reference coordinate system storage unit 43 that stores a reference coordinate system and a camera coordinate system. A camera coordinate system storage unit 44, a data storage unit 45 that stores a helmet coordinate system (X′Y′Z ′ coordinate system), and an optical marker position information storage unit 46 that sequentially stores optical marker position information.

なお、データ記憶部４５は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶し、さらに、Ｘ’Ｙ’Ｚ’座標系上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も記憶している。
基準座標系は、搭乗体３０とともに移動する座標系であり、原点及び各座標軸の方向を任意に予め定められているが、本実施形態では、キャリブレーション装置５０を取り付けるための設定位置３０ｂのある点を原点とし、前方方向をＸ軸方向とし、前方方向に垂直方向をＹ軸方向とし、Ｘ軸方向及びＹ軸方向に垂直方向をＺ軸方向とするように、後述する基準座標系記憶部４３に予め設定されているものとする。
次に、カメラ座標系（ＸＹＺ座標系）について説明する。カメラ座標系は、原点及び各ＸＹＺ座標軸の方向を、搭乗体３０に設定された基準座標系と一致するように設定される。これにより、搭乗体３０に設定された基準座標系と位置合わせされた加速度センサや加速度センサ（図示せず）の測定結果と組み合わせることが可能となる。
なお、キャリブレーション装置５０を用いてカメラ座標系を設定する設定方法や、カメラ座標系の具体的な原点位置やＸＹＺ軸方向の説明については後述する。 The data storage unit 45 stores a helmet coordinate system (X′Y′Z ′ coordinate system), and further, a positional relationship between the three LEDs 7a, 7b, and 7c on the X′Y′Z ′ coordinate system ( (Initial data) is also stored.
The reference coordinate system is a coordinate system that moves together with the vehicle body 30, and the origin and the direction of each coordinate axis are arbitrarily determined in advance. In the present embodiment, there is a set position 30b for attaching the calibration device 50. A reference coordinate system storage unit to be described later so that the point is the origin, the forward direction is the X-axis direction, the forward direction is the Y-axis direction, and the X-axis direction and the Y-axis direction are the Z-axis direction. 43 is set in advance.
Next, the camera coordinate system (XYZ coordinate system) will be described. The camera coordinate system is set so that the origin and the directions of the XYZ coordinate axes coincide with the reference coordinate system set for the vehicle 30. Thereby, it becomes possible to combine with the measurement result of the acceleration sensor or acceleration sensor (not shown) aligned with the reference coordinate system set in the vehicle 30.
A setting method for setting the camera coordinate system using the calibration device 50 and a description of a specific origin position and XYZ-axis directions of the camera coordinate system will be described later.

カメラ装置制御部２８は、第一カメラ２ａにより撮影された第一画像と、第一カメラ２ａが撮影すると同時に第二カメラ２ｂにより撮影された第二画像とを取得する制御を行うものである。
光学マーカー位置情報算出部２２は、第一画像と第二画像とに基づいて、カメラ装置２に対するＬＥＤ７ａ、７ｂ、７ｃ又はＬＥＤ５１（後述する）の現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部４６に順次記憶させる制御を行うものである。
例えば、ＬＥＤ７ａのカメラ装置２に対する位置は、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出する。 The camera device control unit 28 performs control to acquire the first image captured by the first camera 2a and the second image captured by the second camera 2b at the same time as the first camera 2a captures the image.
Based on the first image and the second image, the optical marker position information calculation unit 22 calculates the optical marker position information that is the current position of the LED 7a, 7b, 7c or LED 51 (described later) with respect to the camera device 2, Control to sequentially store the optical marker position information in the optical marker position information storage unit 46 is performed.
For example, the position of the LED 7a with respect to the camera device 2 is obtained by extracting the first image captured by the first camera 2a and the second camera 2b and the position of the LED 7a displayed in the second image, and further by the first camera 2a. Triangulation method by extracting the direction angle (α) from the second camera 2b and the direction angle (β) from the second camera 2b and using the distance (d1) between the first camera 2a and the second camera 2b Calculate with

相対情報算出部２３は、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）が設定された後には、カメラ装置２（カメラ座標系）に対するＬＥＤ７ａ、７ｂ、７ｃの現在位置である光学マーカー位置情報を用いて、カメラ座標系に対する頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出する制御を行うものである。
具体的には、カメラ装置２（カメラ座標系）に対するＬＥＤ７ａ、７ｂ、７ｃの現在位置である光学マーカー位置情報と、データ記憶部４５に記憶されている初期データとを比較することにより、ＬＥＤ群７が固定された頭部装着型表示装置付ヘルメット１０のカメラ座標系（ＸＹＺ座標系）に対する位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を算出する。
映像表示部２５は、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を含む相対情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することになる。 After the camera coordinate system (XYZ coordinate system) is set in the imaging area of the camera device 2, the relative information calculation unit 23 is an optical marker that is the current position of the LEDs 7a, 7b, and 7c with respect to the camera device 2 (camera coordinate system). Control that calculates relative information including the current position (Xh, Yh, Zh) and current angle (Θh, Φh, Ψh) of the helmet 10 with a head-mounted display device with respect to the camera coordinate system using the position information It is.
Specifically, by comparing the optical marker position information, which is the current position of the LEDs 7a, 7b, and 7c with respect to the camera device 2 (camera coordinate system), with the initial data stored in the data storage unit 45, the LED group The position (Xh, Yh, Zh) and angle (Θh, Φh, Ψh) of the helmet 10 with head mounted display device to which 7 is fixed with respect to the camera coordinate system (XYZ coordinate system) are calculated.
The video display unit 25 emits video display light from the display based on relative information including the position (Xh, Yh, Zh) and the angle (Θh, Φh, Ψh) of the helmet 10 with a head-mounted display device. Control is performed. Thereby, the pilot 3 visually recognizes the display image by the display.

ここで、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する設定方法について図３、図４及び図６を用いて説明する。
本実施形態では、赤外光を発光する１個のＬＥＤ５１と、１個のＬＥＤ５１をＸＹＺ方向に移動させることが可能なステージ機構５２を備えるキャリブレーション装置５０を用いる（図３参照）。
ステージ機構５２は、上部板状体５２ａと中軸体５２ｂと下部板状体５２ｃと設置部材５２ｄとからなる。ＬＥＤ５１は、上部板状体５２ａ上に固定されている。上部板状体５２ａは、中軸体５２ｂに対してＺ方向に移動可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＺ方向に移動させることができる。また、中軸体６２ｂは、上部板状体５２ａとともに下部板状体５２ｃに対してＸ方向への並進移動が可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＸ方向に移動させることができる。さらに、下部板状体５２ｃは、上部板状体５２ａと中軸体６２ｂとともに設置部材５２ｄに対してＹ方向への並進移動が可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＹ方向に移動させることができる。そして、設置部材５２ｄは、設定位置３０ｂに位置決めされて取り付け取り外し可能に形成されている。
なお、ステージ機構５２の制御は、キャリブレーション５０とコンピュータ２０とを配線コード５３で連結することで、コンピュータ２０の駆動信号発生部２６から出力された駆動信号が与えられることによって実行される。
そして、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する際には、図４に示すように、カメラ装置２の撮影領域中にキャリブレーション装置５０を取り付けることになる。このとき、基準座標系の原点にＬＥＤ５１が配置され、基準座標系のＸ軸方向とステージ機構５２のＸ方向とが位置合わせされ、基準座標系のＹ軸方向とステージ機構５２のＹ方向とが位置合わせされ、基準座標系のＺ軸方向とステージ機構５２のＺ方向とが位置合わせされて取り付けられる。そして、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定した後には、カメラ装置２の撮影領域中からキャリブレーション装置５０を取り外すことになる。 Here, a setting method for setting the camera coordinate system (XYZ coordinate system) in the imaging region of the camera device 2 by the calibration device 50 will be described with reference to FIGS. 3, 4, and 6.
In the present embodiment, a calibration device 50 including one LED 51 that emits infrared light and a stage mechanism 52 that can move the one LED 51 in the XYZ directions is used (see FIG. 3).
The stage mechanism 52 includes an upper plate body 52a, a middle shaft body 52b, a lower plate body 52c, and an installation member 52d. The LED 51 is fixed on the upper plate-like body 52a. The upper plate-like body 52a is configured to be movable in the Z direction with respect to the middle shaft body 52b, and the LED 51 fixed to the upper plate-like body 52a can be moved in the Z direction. Further, the middle shaft body 62b is capable of translational movement in the X direction with respect to the lower plate body 52c together with the upper plate body 52a, and the LED 51 fixed to the upper plate body 52a is moved in the X direction. Can be moved. Further, the lower plate-like body 52c is capable of translational movement in the Y direction with respect to the installation member 52d together with the upper plate-like body 52a and the middle shaft body 62b, and the LED 51 fixed to the upper plate-like body 52a. Can be moved in the Y direction. The installation member 52d is positioned at the set position 30b and is detachable.
The control of the stage mechanism 52 is executed by connecting the calibration 50 and the computer 20 with the wiring cord 53 and receiving a drive signal output from the drive signal generator 26 of the computer 20.
When the camera coordinate system (XYZ coordinate system) is set in the imaging region of the camera device 2 by the calibration device 50, the calibration device 50 is placed in the imaging region of the camera device 2 as shown in FIG. Will be attached. At this time, the LED 51 is arranged at the origin of the reference coordinate system, the X axis direction of the reference coordinate system and the X direction of the stage mechanism 52 are aligned, and the Y axis direction of the reference coordinate system and the Y direction of the stage mechanism 52 are aligned. Alignment is performed, and the Z-axis direction of the reference coordinate system and the Z direction of the stage mechanism 52 are aligned and attached. Then, after setting the camera coordinate system (XYZ coordinate system) in the imaging region of the camera device 2 by the calibration device 50, the calibration device 50 is removed from the imaging region of the camera device 2.

駆動信号発生部２６は、入力装置（図示せず）等によるキャリブレーション信号を受信することによって、キャリブレーション装置５０のステージ機構５２に駆動信号を出力する制御を行うものである。
例えば、図６に示すように、キャリブレーション信号を受信することによって、まず、ＬＥＤ５１の初期位置５１ａとして、カメラ装置制御部２８に第二画像と第二画像とを取得させる。次に、ステージ機構６２にＬＥＤ５１をＸ方向に設定距離で移動させる駆動信号を出力した後、ＬＥＤ５１の第二位置５１ｂとして、カメラ装置制御部２８に第二画像と第二画像とを取得させる。このように、ＬＥＤ５１を予め定められた位置に移動させる駆動信号を出力した後、ＬＥＤ５１の各位置として、カメラ装置制御部２８に第二画像と第二画像とを順に取得させていき、立方格子の各頂点に対応する合計８箇所の位置５１ａ〜５１ｈのＬＥＤ５１を撮影することにより、第二画像と第二画像とを取得する。 The drive signal generator 26 controls to output a drive signal to the stage mechanism 52 of the calibration device 50 by receiving a calibration signal from an input device (not shown) or the like.
For example, as shown in FIG. 6, by receiving a calibration signal, first, the camera device control unit 28 is caused to acquire the second image and the second image as the initial position 51 a of the LED 51. Next, after outputting a drive signal for moving the LED 51 by a set distance in the X direction to the stage mechanism 62, the camera device control unit 28 acquires the second image and the second image as the second position 51b of the LED 51. In this way, after outputting a drive signal for moving the LED 51 to a predetermined position, the camera device control unit 28 sequentially acquires the second image and the second image as each position of the LED 51, and the cubic lattice is obtained. The second image and the second image are acquired by photographing the LED 51 at the positions 51 a to 51 h in total corresponding to the vertices.

座標系設定部２７は、カメラ装置２（カメラ座標系）に対するＬＥＤ５１の各位置である光学マーカー位置情報に基づいて、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する制御を行うものである。
具体的には、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第二位置５１ｂへの方向をＸ軸方向とし、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第四位置５１ｄへの方向をＹ軸方向とし、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第八位置５１ｈへの方向をＺ軸方向とするように設定している。また、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第二位置５１ｂまでの距離と、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第四位置５１ｄまでの距離と、ＬＥＤ５１の初期位置からＬＥＤ５１の第八位置５１ｈまでの距離とが各座標軸における基準距離となるように設定する。 The coordinate system setting unit 27 performs control to set the camera coordinate system (XYZ coordinate system) in the imaging region of the camera device 2 based on the optical marker position information that is each position of the LED 51 with respect to the camera device 2 (camera coordinate system). Is what you do.
Specifically, the direction from the initial position 51a of the LED 51 to the second position 51b of the LED 51 is the X-axis direction, the direction from the initial position 51a of the LED 51 to the fourth position 51d of the LED 51 is the Y-axis direction, The direction from the position 51a to the eighth position 51h of the LED 51 is set to be the Z-axis direction. Further, the distance from the initial position 51a of the LED 51 to the second position 51b of the LED 51, the distance from the initial position 51a of the LED 51 to the fourth position 51d of the LED 51, and the distance from the initial position of the LED 51 to the eighth position 51h of the LED 51. Are set to be a reference distance in each coordinate axis.

以上のように、本発明のＨＭＴシステムによれば、カメラ装置制御部２８は、ＬＥＤ５１をＸ方向に設定距離で移動させた後と、ＬＥＤ５１をＹ方向に設定距離で移動させた後と、ＬＥＤ５１をＺ方向に設定距離で移動させた後と、ＬＥＤ５１を移動させる前に、それぞれ第一画像及び第二画像を取得する。つまり、１個のＬＥＤ５１をＸＹＺ方向に移動させることにより、ＬＥＤ５１の外形形状から求めた中心と、実際にＬＥＤ５１が発光している中心とに、ＬＥＤ５１の製造の際に生じた差異が存在することがあっても、移動方向や移動量には差異は生じないので、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を正確に設定することができる。 As described above, according to the HMT system of the present invention, the camera device control unit 28 moves the LED 51 by a set distance in the X direction, after moving the LED 51 by a set distance in the Y direction, and the LED 51. Are moved by a set distance in the Z direction and before the LED 51 is moved, a first image and a second image are acquired, respectively. That is, by moving one LED 51 in the X, Y, and Z directions, there is a difference that occurs during the manufacture of the LED 51 between the center obtained from the outer shape of the LED 51 and the center where the LED 51 actually emits light. Even if there is a difference, there is no difference in the moving direction and the moving amount, so that the camera coordinate system (XYZ coordinate system) can be accurately set in the shooting area of the camera device 2.

本発明は、飛行体に設定された基準座標系に対する頭部角度や頭部位置を測定するためのヘッドモーショントラッカ装置に利用することができる。   The present invention can be used for a head motion tracker device for measuring a head angle and a head position with respect to a reference coordinate system set for a flying object.

本発明に係るＨＭＴ装置の概略構成を示す図である。It is a figure which shows schematic structure of the HMT apparatus which concerns on this invention. 図１に示す頭部装着型表示装置付ヘルメットの平面図である。It is a top view of the helmet with a head-mounted display device shown in FIG. 本発明の一実施形態であるキャリブレーション装置の概略構成を示す図である。It is a figure which shows schematic structure of the calibration apparatus which is one Embodiment of this invention. ＨＭＴ装置の設定位置にキャリブレーション装置を取り付けた図である。It is the figure which attached the calibration apparatus to the setting position of the HMT apparatus. カメラ装置に対するＬＥＤの位置を算出する算出方法を説明するための図である。It is a figure for demonstrating the calculation method which calculates the position of LED with respect to a camera apparatus. カメラ装置の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する設定方法について説明するための図である。It is a figure for demonstrating the setting method which sets a camera coordinate system (XYZ coordinate system) to the imaging | photography area | region of a camera apparatus. カメラ装置の撮影領域にカメラ座標系を設定する従来の方法について説明するための図である。It is a figure for demonstrating the conventional method of setting a camera coordinate system to the imaging | photography area | region of a camera apparatus. カメラ装置の撮影領域にカメラ座標系を設定する従来の方法について説明するための図である。It is a figure for demonstrating the conventional method of setting a camera coordinate system to the imaging | photography area | region of a camera apparatus. ＬＥＤの概略構成を示す断面図である。It is sectional drawing which shows schematic structure of LED.

符号の説明Explanation of symbols

１ ヘッドモーショントラッカ装置（ＨＭＴ装置）
２ カメラ装置
２ａ 第一カメラ
２ｂ 第二カメラ
３ パイロット
７ ＬＥＤ群
１０ 頭部装着型表示装置付ヘルメット
２２ 光学マーカー位置情報算出部
２３ 相対情報算出部
２７ 座標系設定部
２８ カメラ装置制御部
３０ 搭乗体
４６ 光学マーカー位置情報記憶部
５１ ＬＥＤ（光学マーカー）
５２ ステージ機構 1 Head motion tracker device (HMT device)
2 camera device 2a first camera 2b second camera 3 pilot 7 LED group 10 helmet with head-mounted display device 22 optical marker position information calculation unit 23 relative information calculation unit 27 coordinate system setting unit 28 camera device control unit 30 vehicle 46 Optical marker position information storage unit 51 LED (optical marker)
52 Stage mechanism

Claims (2)

光学マーカーと、
前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、
前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、
前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、
前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカシステムであって、
前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをＸＹＺ方向に移動させるステージ機構を備え、
前記カメラ装置制御部は、前記光学マーカーをＸ方向に設定距離で移動させた後と、前記光学マーカーをＹ方向に設定距離で移動させた後と、前記光学マーカーをＺ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像を取得することを特徴とするヘッドモーショントラッカシステム。 An optical marker,
A camera device having a first camera for photographing the optical marker and a second camera for photographing the optical marker from a different direction from the first camera;
A camera device controller that acquires a first image captured by the first camera and a second image captured by the second camera at the same time as the first camera captures;
An optical marker position that calculates optical marker position information that is the current position of the optical marker with respect to the camera device based on the first image and the second image, and stores the optical marker position information in the optical marker position information storage unit An information calculation unit;
Based on the optical marker position information, a coordinate system setting unit that sets a camera coordinate system in the imaging region of the camera device;
A head motion tracker system comprising a relative information calculation unit that calculates relative information including a current position and a current angle of a measurement object with respect to the camera coordinate system,
Attaching and detaching at a set position in the imaging region of the camera device, and a stage mechanism for moving the optical marker in the XYZ directions,
The camera device control unit moves the optical marker by a set distance in the Z direction after moving the optical marker by a set distance in the X direction, after moving the optical marker by a set distance in the Y direction, and A head motion tracker system that acquires a first image and a second image, respectively, after moving the optical marker and before moving the optical marker. 光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、
前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、
前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、
前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカ装置に用いられるキャリブレーション装置であって、
前記光学マーカーと、
前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをＸＹＺ方向に移動させるステージ機構を備え、
前記カメラ装置制御部によって、前記光学マーカーをＸ方向に設定距離で移動させた後と、前記光学マーカーをＹ方向に設定距離で移動させた後と、前記光学マーカーをＺ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像が取得されることを特徴とするキャリブレーション装置。 A camera device having a first camera for photographing an optical marker and a second camera for photographing an optical marker from a different direction from the first camera;
A camera device controller that acquires a first image captured by the first camera and a second image captured by the second camera at the same time as the first camera captures;
An optical marker position that calculates optical marker position information that is a current position of the optical marker with respect to the camera device based on the first image and the second image, and stores the optical marker position information in the optical marker position information storage unit An information calculation unit;
Based on the optical marker position information, a coordinate system setting unit that sets a camera coordinate system in the imaging region of the camera device;
A calibration device used in a head motion tracker device including a relative information calculation unit that calculates relative information including a current position and a current angle of a measurement object with respect to the camera coordinate system,
The optical marker;
Attaching and detaching at a set position in the imaging region of the camera device, and a stage mechanism for moving the optical marker in the XYZ directions,
After the optical marker is moved by a set distance in the X direction by the camera device control unit, after the optical marker is moved by a set distance in the Y direction, and the optical marker is moved by a set distance in the Z direction. A calibration device is characterized in that a first image and a second image are acquired after the optical marker is moved and before the optical marker is moved.
JP2007257146A 2007-10-01 2007-10-01 Head motion tracker system and calibration device used therefor Active JP4905311B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007257146A JP4905311B2 (en) 2007-10-01 2007-10-01 Head motion tracker system and calibration device used therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007257146A JP4905311B2 (en) 2007-10-01 2007-10-01 Head motion tracker system and calibration device used therefor

Publications (2)

Publication Number Publication Date
JP2009085806A true JP2009085806A (en) 2009-04-23
JP4905311B2 JP4905311B2 (en) 2012-03-28

Family

ID=40659412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007257146A Active JP4905311B2 (en) 2007-10-01 2007-10-01 Head motion tracker system and calibration device used therefor

Country Status (1)

Country Link
JP (1) JP4905311B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010038847A (en) * 2008-08-08 2010-02-18 Shimadzu Corp Motion tracker system and coordinate system setting method therefor
JP2011069796A (en) * 2009-09-28 2011-04-07 Saxa Inc Method of calibrating camera and image processing apparatus
WO2013108075A1 (en) 2012-01-17 2013-07-25 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi System and method for measuring tracker system accuracy

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA201505409B (en) * 2015-07-27 2016-12-21 Csir A method of calibrating a helmet anda system therefor

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07208924A (en) * 1994-01-11 1995-08-11 Toshiba Corp Method for calibrating optical system for recognition of visual recognition device
JPH09280826A (en) * 1996-04-11 1997-10-31 Sony Corp Calibration jig and method for image recognition device
JPH10149445A (en) * 1996-11-19 1998-06-02 Image Joho Kagaku Kenkyusho Device for visualizing physical operation analysis
JPH11160021A (en) * 1997-11-27 1999-06-18 Nippon Telegr & Teleph Corp <Ntt> Wide area three-dimensional position measuring method and equipment
JP2002022444A (en) * 2000-07-04 2002-01-23 Takenaka Komuten Co Ltd System and method for collecting coordinate information and mark member
JP2003042726A (en) * 2001-08-03 2003-02-13 Topcon Corp Object for calibration
JP2004045321A (en) * 2002-07-15 2004-02-12 Mitsubishi Electric Corp Position measuring system
JP2004333368A (en) * 2003-05-09 2004-11-25 Photron Ltd Calibration tool for acquiring three dimensional constants for moving body photographing system
JP2006284442A (en) * 2005-04-01 2006-10-19 Shimadzu Corp Method of monitoring object and motion tracker using this

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07208924A (en) * 1994-01-11 1995-08-11 Toshiba Corp Method for calibrating optical system for recognition of visual recognition device
JPH09280826A (en) * 1996-04-11 1997-10-31 Sony Corp Calibration jig and method for image recognition device
JPH10149445A (en) * 1996-11-19 1998-06-02 Image Joho Kagaku Kenkyusho Device for visualizing physical operation analysis
JPH11160021A (en) * 1997-11-27 1999-06-18 Nippon Telegr & Teleph Corp <Ntt> Wide area three-dimensional position measuring method and equipment
JP2002022444A (en) * 2000-07-04 2002-01-23 Takenaka Komuten Co Ltd System and method for collecting coordinate information and mark member
JP2003042726A (en) * 2001-08-03 2003-02-13 Topcon Corp Object for calibration
JP2004045321A (en) * 2002-07-15 2004-02-12 Mitsubishi Electric Corp Position measuring system
JP2004333368A (en) * 2003-05-09 2004-11-25 Photron Ltd Calibration tool for acquiring three dimensional constants for moving body photographing system
JP2006284442A (en) * 2005-04-01 2006-10-19 Shimadzu Corp Method of monitoring object and motion tracker using this

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010038847A (en) * 2008-08-08 2010-02-18 Shimadzu Corp Motion tracker system and coordinate system setting method therefor
JP2011069796A (en) * 2009-09-28 2011-04-07 Saxa Inc Method of calibrating camera and image processing apparatus
WO2013108075A1 (en) 2012-01-17 2013-07-25 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi System and method for measuring tracker system accuracy
KR20140127254A (en) * 2012-01-17 2014-11-03 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 System and method for measuring tracker system accuracy
KR101901483B1 (en) 2012-01-17 2018-09-21 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 System and method for measuring tracker system accuracy

Also Published As

Publication number Publication date
JP4905311B2 (en) 2012-03-28

Similar Documents

Publication Publication Date Title
JP5594944B2 (en) Motion tracker device
US8885177B2 (en) Medical wide field of view optical tracking system
JP5145832B2 (en) Head-mounted display device and head-mounted display device system
JP4961904B2 (en) Head motion tracker device
JP4924342B2 (en) Motion tracker device
JP4905311B2 (en) Head motion tracker system and calibration device used therefor
JP5029531B2 (en) Motion tracker system and coordinate system setting method thereof
JP5505363B2 (en) Motion tracker device
JP5092279B2 (en) Head motion tracker device and method of using the same
JP2016151566A (en) Motion tracker device
JP4967546B2 (en) Head motion tracker device
JP5292725B2 (en) Motion tracker device
JP4665872B2 (en) Head motion tracker device
JP2009036517A (en) Head motion tracker device
JP5092300B2 (en) Head motion tracker device
JP2014095557A (en) Motion tracker device
JP4905321B2 (en) Head motion tracker device
JP4656017B2 (en) Head motion tracker device
JP4877138B2 (en) Head motion tracker device
JP4872768B2 (en) Head motion tracker device
JP4656016B2 (en) Motion tracker device
JP2011015831A (en) Head motion tracker
JP4784591B2 (en) Motion tracker device
JP2007334762A (en) Head motion tracker
JP4867837B2 (en) Motion tracker device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111226

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4905311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3