JP2009041919A - Head motion tracker apparatus - Google Patents
Head motion tracker apparatus Download PDFInfo
- Publication number
- JP2009041919A JP2009041919A JP2007203997A JP2007203997A JP2009041919A JP 2009041919 A JP2009041919 A JP 2009041919A JP 2007203997 A JP2007203997 A JP 2007203997A JP 2007203997 A JP2007203997 A JP 2007203997A JP 2009041919 A JP2009041919 A JP 2009041919A
- Authority
- JP
- Japan
- Prior art keywords
- light
- data
- moving body
- head
- optical marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、光線を出射する光学マーカーの位置を検出する機能を備えるヘッドモーショントラッカ(HMT)装置に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの位置及び角度を検出するHMT装置等に利用される。 The present invention relates to a head motion tracker (HMT) device having a function of detecting the position of an optical marker that emits a light beam. The present invention is used in, for example, an HMT device that detects the position and angle of a helmet with a head-mounted display device used in game machines, vehicles, and the like.
時々刻々と変動する物体の位置や角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ(VR)を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの位置や角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの位置や角度を測定するために、HMT装置が利用されている。 Techniques for accurately measuring the position and angle of an object that changes from moment to moment are used in various fields. For example, in a game machine, an image is displayed by using a helmet with a head-mounted display device in order to realize virtual reality (VR). At this time, it is necessary to change the image in accordance with the position and angle of the helmet with a head-mounted display device. Therefore, in order to measure the position and angle of the helmet with a head-mounted display device, an HMT device is used.
また、救難飛行艇による救難活動において、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体の緯度、経度、高度、姿勢に加えて、飛行体に設定された相対座標系に対するパイロットの頭部角度及び頭部位置を測定している。このときに、HMT装置が利用されている。 Also, in order to avoid losing sight of the found rescue target in rescue operations by rescue flying boats, by locking when the aiming image displayed by the helmet with head mounted display device corresponds to the rescue target, Calculating the position of the locked rescue target has been done. At this time, in order to calculate the position of the rescue target, in addition to the latitude, longitude, altitude, and attitude of the flying object, the head angle and head position of the pilot with respect to the relative coordinate system set for the flying object are measured. ing. At this time, the HMT device is used.
頭部装着型表示装置付ヘルメットに利用されるHMT装置としては、光学的に頭部装着型表示装置付ヘルメットの位置や角度を測定するものが開示されている(例えば、特許文献1参照)。具体的には、光学マーカーとして、複数の反射板を頭部装着型表示装置付ヘルメットの外周上に取り付けるとともに、光源と2台のカメラ装置とを設置場所に固定することにより、光源から光を照射したときの反射板からの反射光を2台のカメラ装置でモニタするものである。また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のHMT装置もある(例えば、特許文献2参照)。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカーとして、発光体であるLED(発光ダイオード)を互いに離隔するようにして3箇所に取り付け、これら3つのLEDの位置関係をHMT装置に予め記憶させておく。そして、これら3つのLEDを、立体視が可能でかつ設置場所が固定された2台のカメラ装置で同時に撮影することで、所謂、三角測量の原理により、現在の3つのLEDの位置関係を測定している。これにより、2台のカメラ装置に対する頭部装着型表示装置付ヘルメットの位置や角度を特定している。
しかしながら、上述したような光学方式のHMT装置では、3つのLEDを常に点灯させたままの状態で光線を検出しているため、太陽光等の外乱光がない場所で光線を検出するときには問題なかったが、外乱光がある場所で光線を検出するときには、外乱光をLEDと誤認識したり、LEDからの光量が低下したりすることが原因で、3つのLEDの位置を精度よく測定することができないことがあった。
そこで、本出願人は、3つのLEDに点灯と消灯とを繰り返させることで、3つのLEDの点灯時に検出された光線の点灯データと、3つのLEDの消灯時に検出された光線の消灯データとを差分することにより、3つのLEDのみから出射されることになる光線の差分データを生成することができるHMT装置を出願した。これにより、差分データでは外乱光が除去されているので、外乱光をLEDと誤認識したりすることなく、3つのLEDの位置を精度よく測定することができた。
However, since the optical HMT device as described above detects the light beam in a state where the three LEDs are always lit, there is no problem when detecting the light beam in a place where there is no disturbance light such as sunlight. However, when detecting light in a place where ambient light is present, the position of the three LEDs must be accurately measured because the ambient light is misrecognized as an LED or the amount of light from the LED decreases. There were times when I could not.
Therefore, the present applicant causes the three LEDs to be turned on and off repeatedly, thereby turning on the light-on data detected when the three LEDs are turned on and the light-off data detected when the three LEDs are turned off. By applying the difference, an application has been filed for an HMT device that can generate difference data of light rays that will be emitted from only three LEDs. As a result, since the disturbance light is removed from the difference data, the positions of the three LEDs can be accurately measured without erroneously recognizing the disturbance light as an LED.
しかし、航空機(例えば、救難飛行艇等)や船舶や車両等の移動体で、差分データを生成することができる光学方式のHMT装置を使用する場合には、移動体が姿勢変化するような移動を行うことにより、移動体に取り付けられた2台のカメラ装置に対する外乱光(特に、太陽光)の位置が変動することがあった。このため、3つのLEDの点灯時に検出された光線の点灯データと、3つのLEDの消灯時に検出された光線の消灯データとを差分する差分データにおいて、完全に外乱光を除去しきれないことがあり、その結果、除去しきれなかった外乱光をLEDと誤認識したりすることが原因で、3つのLEDの位置を測定することができない場合があった。
そこで、本発明は、移動体に取り付けられた光学検出手段に対して外乱光の位置が変化するときにも、外乱光の影響を受けることなく光学マーカーの位置を正確に測定することにより、移動体に対する搭乗者の頭部の位置及び角度を精度よく算出することができるヘッドモーショントラッカ装置を提供することを目的とする。
However, when an optical HMT device capable of generating difference data is used in a moving body such as an aircraft (for example, a rescue flight boat) or a ship or a vehicle, the movement of the moving body changes its posture. As a result, the position of disturbance light (especially sunlight) with respect to the two camera devices attached to the moving body sometimes fluctuated. For this reason, disturbance light cannot be completely removed in the difference data obtained by subtracting the light-on data detected when the three LEDs are turned on and the light-off data detected when the three LEDs are turned off. As a result, the position of the three LEDs may not be able to be measured due to erroneous recognition of disturbance light that could not be removed as an LED.
In view of this, the present invention moves the optical marker by accurately measuring the position of the optical marker without being affected by the disturbance light even when the position of the disturbance light is changed with respect to the optical detection means attached to the moving body. It is an object of the present invention to provide a head motion tracker device that can accurately calculate the position and angle of a passenger's head relative to the body.
上記課題を解決するためになされた本発明のHMT装置は、搭乗者の頭部に装着されるともに、光線を出射する光学マーカーと、前記搭乗者が搭乗する移動体に取り付けられるとともに、前記光学マーカーからの光線を検出する立体視可能な光学検出手段と、検出された光線に基づいて、前記移動体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出する相対頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、前記光学マーカーに点灯と消灯とを繰り返させる光学マーカー駆動部と、前記移動体に取り付けられるとともに、前記移動体に作用する角速度及び/又は加速度を検出する移動体センサと、前記移動体センサから検出された角速度及び/又は加速度に基づいて、外乱光に対する移動体の移動角度量を含む絶対移動体情報を算出する絶対移動体情報算出部と、前記絶対移動体情報に基づいて、前記光学検出手段に対する外乱光の移動位置量を算出することにより、前記光学マーカーの点灯時に検出された光線の点灯データから外乱光の位置を補正した光線の補正点灯データを作成するとともに、前記光学マーカーの消灯時に検出された光線の消灯データから外乱光の位置を補正した光線の補正消灯データを作成して、当該補正点灯データ及び補正消灯データを用いて、前記光学マーカーのみからの光線の差分データを生成する差分生成部とを備え、前記相対頭部情報算出部は、前記差分データに基づいて相対頭部情報を算出するようにしている。 The HMT device of the present invention made to solve the above problems is mounted on a head of a passenger, is attached to an optical marker that emits a light beam, and a moving body on which the passenger rides, and the optical Stereoscopic optical detection means for detecting light from the marker, and relative head for calculating relative head information including the head position and head angle of the occupant relative to the moving body based on the detected light A head motion tracker device comprising an information calculation unit, an optical marker driving unit that causes the optical marker to repeatedly turn on and off, and an angular velocity and / or acceleration that is attached to the moving body and acts on the moving body And the amount of movement angle of the moving body with respect to disturbance light based on the angular velocity and / or acceleration detected from the moving body sensor. An absolute moving body information calculating unit that calculates absolute moving body information, and a moving position amount of disturbance light with respect to the optical detection unit based on the absolute moving body information, and is detected when the optical marker is turned on. Correction light extinction data of light that corrects the position of disturbance light from the extinction data of the light detected from the light extinction data detected when the optical marker is extinguished. And a difference generation unit that generates difference data of light rays from only the optical marker using the corrected lighting data and the correction light-off data, and the relative head information calculation unit is based on the difference data. Thus, relative head information is calculated.
ここで、「移動体センサ」とは、移動体センサ自体に3軸が定義されて、この3軸を基準とする角速度や3軸方向の加速度を検出できるもののことをいい、具体的には、ジャイロセンサや、加速度センサ等が挙げられる。
また、「外乱光」としては、例えば、太陽光や、太陽光の反射光等が挙げられる。
本発明のHMT装置によれば、まず、立体視が可能でかつ移動体に固定された光学検出手段により、光学マーカーの消灯時に光線を検出する。このとき、光学マーカーが消灯されているので、検出された光線が外乱光によるものであると判定することで、現在の移動体と外乱光との位置関係を算出する。
その後、絶対移動体情報算出部が、移動体センサにより検出された角速度及び/又は加速度により、外乱光に対する移動体の移動角度量を含む絶対移動体情報を算出する。これにより、移動体に固定された光学検出手段で検出される外乱光による光線の移動位置量が算出される。
一方、光学マーカー駆動部は、光学マーカーに点灯と消灯とを繰り返させることで、光学マーカーの点灯時に検出された光線の点灯データと、光学マーカーの消灯時に検出された光線の消灯データとを交互に順に得ていく。このとき、点灯データと消灯データとには、外乱光等による光線も含まれており、移動体が姿勢変化するような移動を行うことにより、外乱光等による光線の位置は変化している。
よって、差分生成部は、光学検出手段で検出される外乱光による光線の移動位置量を用いて、光学マーカーの点灯時に検出された光線の点灯データから外乱光の位置を補正した光線の補正点灯データを作成するとともに、光学マーカーの消灯時に検出された光線の消灯データから外乱光の位置を補正した光線の補正消灯データを作成する。これにより、補正点灯データと消灯データとを差分したり、点灯データと補正消灯データとを差分したりすることで、光学マーカーのみから出射されることになる光線の差分データを生成する。
最後に、相対頭部情報算出部は、差分生成部により生成された差分データに基づいて、光学マーカーの位置を測定することにより、移動体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出する。
Here, the “moving body sensor” refers to a sensor that has three axes defined in the moving body sensor itself and can detect an angular velocity and acceleration in three axes directions based on these three axes. Examples include a gyro sensor and an acceleration sensor.
Examples of “disturbance light” include sunlight and reflected light of sunlight.
According to the HMT apparatus of the present invention, first, a light beam is detected when the optical marker is extinguished by an optical detection means capable of stereoscopic viewing and fixed to a moving body. At this time, since the optical marker is turned off, the current positional relationship between the moving body and the disturbance light is calculated by determining that the detected light beam is due to the disturbance light.
Thereafter, the absolute moving body information calculation unit calculates absolute moving body information including the moving angle amount of the moving body with respect to the disturbance light based on the angular velocity and / or acceleration detected by the moving body sensor. Thereby, the moving position amount of the light beam by the disturbance light detected by the optical detection means fixed to the moving body is calculated.
On the other hand, the optical marker driving unit alternately turns on and off the optical marker, thereby alternately switching on the light-on data detected when the optical marker is on and the light-off data detected when the optical marker is off. Get in order. At this time, the light-on data and the light-off data also include a light beam due to disturbance light or the like, and the position of the light beam due to disturbance light or the like is changed by moving the moving body so that its posture changes.
Therefore, the difference generation unit uses the moving position amount of the light beam due to the disturbance light detected by the optical detection means, and corrects the lighting of the light beam by correcting the position of the disturbance light from the lighting data of the light beam detected when the optical marker is turned on. In addition to creating data, corrected light extinction data of light is created by correcting the position of disturbance light from the light extinction data detected when the optical marker is extinguished. Thereby, the difference data of the light beam which will be emitted only from the optical marker is generated by subtracting the corrected lighting data and the extinction data or by subtracting the lighting data and the correction extinction data.
Finally, the relative head information calculation unit measures the position of the optical marker based on the difference data generated by the difference generation unit, thereby including the relative position including the passenger's head position and head angle relative to the moving body. Head information is calculated.
以上のように、本発明のHMT装置によれば、移動体に取り付けられた光学検出手段に対して外乱光の位置が変動しても、外乱光の位置を補正することにより、差分データから外乱光が完全に除去されるので、外乱光を光学マーカーと誤認識したりせずに、光学マーカーの位置を精度よく測定することができる。 As described above, according to the HMT apparatus of the present invention, even if the position of the disturbance light varies with respect to the optical detection means attached to the moving body, the disturbance data is corrected from the difference data by correcting the position of the disturbance light. Since the light is completely removed, the position of the optical marker can be accurately measured without erroneously recognizing the disturbance light as the optical marker.
(他の課題を解決するための手段および効果)
また、上記の発明において、前記光学マーカーは、3個以上のLEDであり、かつ、前記光学検出手段は、2台以上のカメラ装置であるようにしてもよい。
また、上記の発明において、前記外乱光は、太陽光であるようにしてもよい。
(Means and effects for solving other problems)
In the above invention, the optical marker may be three or more LEDs, and the optical detection means may be two or more camera devices.
In the above invention, the disturbance light may be sunlight.
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. Note that the present invention is not limited to the embodiments described below, and it goes without saying that various aspects are included without departing from the spirit of the present invention.
図1は、本発明の一実施形態であるHMT装置の概略構成を示す図であり、図2は、図1に示す頭部装着型表示装置付ヘルメットの平面図である。本実施形態のHMT装置1は、飛行体(移動体)に対するパイロット(搭乗者)3の頭部位置(Xh、Yh、Zh)及び頭部角度(Θh、Φh、Ψh)を含む相対頭部情報を算出するものである。つまり、飛行体に設定された相対座標系(XYZ座標系)に対する、パイロット3が着用する頭部装着型表示装置付ヘルメット10に設定されたヘルメット座標系(X’Y’Z’座標系)の位置及び角度を算出する。なお、相対座標系(XYZ座標系)は、後述するカメラ装置(光学検出手段)2を基準として設定されたものであり、メモリ41の相対座標記憶部43に記憶され、一方、ヘルメット座標系(X’Y’Z’座標系)は、後述するLED群7を基準として設定されたものであり、メモリ41の点灯データ記憶部44に記憶されている。
FIG. 1 is a diagram showing a schematic configuration of an HMT device according to an embodiment of the present invention, and FIG. 2 is a plan view of the helmet with a head-mounted display device shown in FIG. The
HMT装置1は、パイロット3の頭部に装着される頭部装着型表示装置付ヘルメット10と、搭乗体30の天井に取り付けられたカメラ装置2と、搭乗体30に取り付けられた3軸ジャイロセンサ(移動体センサ)4と、コンピュータにより構成される制御部20とから構成される。
搭乗体30は、パイロット3が搭乗する飛行体のコックピットであり、パイロット3が着席する座席30aを備える。そして、パイロット3が搭乗する搭乗体30には、太陽光(外乱光)が入ってくることもある。なお、本実施形態は、この太陽光(外乱光)の影響を除去するものである。
頭部装着型表示装置付ヘルメット10は、表示器(図示せず)と、表示器から出射される画像表示光を反射することにより、パイロット3の目に導くコンバイナ8と、LED群(光学マーカー)7とを有する。なお、頭部装着型表示装置付ヘルメット10を装着したパイロット3は、表示器による表示映像とコンバイナ8の前方実在物とを視認することが可能となっている。
The
The mounted
The
LED群7は、図2に示すように、互いに異なる波長の赤外光を発光する3個(あるいは3個以上の数)のLED7a、7b、7cが互いに離隔するようにして、頭部装着型表示装置付ヘルメット10の外周上に取り付けられたものである。
ここで、ヘルメット座標系(X’Y’Z’座標系)は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図2に示すように、原点をLED7aの位置とし、前方方向をX’軸方向とし、前方方向に垂直方向をY’軸方向とし、X’軸方向及びY’軸方向に垂直方向をZ’軸方向とするように定義するように、後述する点灯データ記憶部44に設定されている。また、ヘルメット座標系(X’Y’Z’座標系)上での3個のLED7a、7b、7cの位置関係(初期データ)も、点灯データ記憶部44に記憶されている。これにより、後述する三角測量の手法で、現時点における3個のLED7a、7b、7cの位置を算出し、初期データを参照することで、頭部装着型表示装置ヘルメット10の現在位置及び現在角度が、ヘルメット座標系(X’Y’Z’座標系)を用いて表現されるようになっている。
As shown in FIG. 2, the
Here, the helmet coordinate system (X′Y′Z ′ coordinate system) can arbitrarily determine the origin and the direction of each coordinate axis. In this embodiment, as shown in FIG. 2, the origin is the position of the
カメラ装置2は、第一カメラ装置2aと第二カメラ装置2bとからなる。第一カメラ装置2aと第二カメラ装置2bとは、撮影方向が異なりかつ頭部装着型表示装置付ヘルメット10に向けられているとともに、頭部装着型表示装置付ヘルメット10の立体視が可能な一定の距離(d1)を隔てるように、搭乗体30の天井に固定軸を介して設置されている。
これにより、図3に示すように、LED7aのカメラ装置2に対する位置は、第一カメラ装置2aと第二カメラ装置2bとに撮影された点灯データ(画像データ)中に映し出されているLED7aの位置を抽出し、さらに第一カメラ装置2aからの方向角度(α)と第二カメラ装置2bからの方向角度(β)とを抽出し、第一カメラ装置2aと第二カメラ装置2bとの間の距離(d1)を用いることにより、三角測量の手法で算出することができるようになる。他の光学マーカーであるLED7b、7cのカメラ装置2に対する位置についても、同様に算出される。
このときの各LED7a、7b、7cの位置を、空間座標で表現することができるようにするために、カメラ装置2に固定され、カメラ装置2とともに移動する座標系である相対座標系(XYZ座標系)を用いる。なお、相対座標系(XYZ座標系)の具体的な原点位置やXYZ軸方向の説明については後述する。相対座標系(XYZ座標系)におけるLED7a、7b、7cの位置座標は、(Xa、Ya、Za)、(Xb、Yb、Zb)、(Xc、Yc、Zc)として表現できる。これにより、カメラ装置2に対する3つのLED7a、7b、7cの位置座標(Xa、Ya、Za)、(Xb、Yb、Zb)、(Xc、Yc、Zc)が特定されるので、LED7a、7b、7cが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)及び角度(Θh、Φh、Ψh)は、相対座標系(XYZ座標系)に対する、ヘルメット座標系(X’Y’Z’座標系)の位置及び角度を用いて表現できるようになる。なお、角度(Θ)は、ロール方向(X軸に対する回転)の角度であり、角度(Φ)は、エレベーション方向(Y軸に対する回転)の角度であり、角度(Ψ)は、アジマス方向(Z軸に対する回転)の角度である。また、頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)は、ヘルメット座標系(X’Y’Z’座標系)の原点であるLED7aの現在の位置座標(Xa、Ya、Za)で表現することとする。
The
Thereby, as shown in FIG. 3, the position of the
In order to be able to express the positions of the
3軸ジャイロセンサ4は、搭乗体30の角速度(Vθs、Vφs、Vψs)を検出するものである。なお、3軸ジャイロセンサ自体に座標系が定められるが、相対座標系(XYZ座標系)と正確に軸合わせされて取り付けられている。よって、ロール方向(X軸に対する回転)、エレベーション方向(Y軸に対する回転)、アジマス方向(Z軸に対する回転)における移動である角速度(Vθs、Vφs、Vψs)が検出される。また、軸合わせされずに取り付けられている場合は、座標変換行列を求めておくことで、相対座標系(XYZ座標系)と関連付けを行うことになる。
The
制御部20は、CPU21、メモリ41等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。CPU21が実行する処理を、機能ブロックごとに分けて説明すると、光学マーカー駆動部28と、相対頭部情報算出部22と、絶対移動体情報算出部24と、差分生成部23と、映像表示部25とを有する。
また、メモリ41には、制御部20が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、相対座標系(XYZ座標系)を記憶する相対座標記憶部43と、時間記憶部42と、補正点灯データ(画像データ)と点灯データ(画像データ)とを記憶する点灯データ記憶部44と、補正消灯データ(画像データ)と消灯データ(画像データ)とを記憶する消灯データ記憶部45とを有する。
なお、図4は、HMT装置1が実行する流れを説明するためのタイムチャートであり、図5は、第一カメラ装置2aが検出する画像データを処理する流れを説明するための図である。
The
The
4 is a time chart for explaining the flow executed by the
ここで、相対座標系(XYZ座標系)は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図3に示すように、第二カメラ装置2bから第一カメラ装置2aへの方向をX軸方向とし、X軸方向に垂直かつ天井に垂直で下向き方向をZ軸方向とし、X軸方向に垂直かつ天井に水平で右向き方向をY軸方向とするように定義し、原点を第一カメラ装置2aと第二カメラ装置2bとの中点として定義するように相対座標記憶部43に設定されている。
また、点灯データ記憶部44は、上述したように、ヘルメット座標系(X’Y’Z’座標系)を記憶し、さらに、X’Y’Z’座標系上での3個のLED7a、7b、7cの位置関係(初期データ)も記憶している。
また、時間記憶部44は、カメラ装置2で光線が検出されるとともに、3軸ジャイロセンサ4で角速度(Vθs、Vφs、Vψs)が検出される毎に更新される時間tを記憶する。
Here, the relative coordinate system (XYZ coordinate system) can arbitrarily determine the origin and the direction of each coordinate axis, but in the present embodiment, as shown in FIG. 3, the
Further, as described above, the lighting
The
光学マーカー駆動部28は、LED群7に点灯と消灯とを繰り返させる指令信号を出力するとともに、第一カメラ装置2a及び第二カメラ装置2bでLED群7の点灯時に検出された光線の点灯データ(画像データ)と、LED群7の消灯時に検出された光線の消灯データ(画像データ)とを検出させる制御を行うものである。
具体的には、図4に示すように、点灯時間幅と消灯時間幅とが同じ時間幅となるように、LED群7に点灯と消灯とを所定の周期で繰り返させるとともに、第一カメラ装置2a及び第二カメラ装置2bで光線を所定の周期の半分の周期tで検出させる。これにより、例えば、図5に示すように、第一カメラ装置2aで、画像データとして消灯データ#1a、点灯データ#2a、消灯データ#3a、点灯データ#4a・・・が順に検出される。また、第二カメラ装置2bでも同様に、画像データとして消灯データ#1b、点灯データ#2b、消灯データ#3b、点灯データ#4b・・・が順に検出される。このとき、消灯データ#1aと消灯データ#1b、点灯データ#2aと点灯データ#2b、消灯データ#3aと消灯データ#3b、点灯データ#4bと点灯データ#4b・・・は、それぞれ同時に検出される。
なお、点灯データには、LED群7から出射された光線と外乱光とが含まれることになる。一方、消灯データには、外乱光のみが含まれることになる。
よって、消灯データには外乱光のみが含まれるので、本実施形態では、検出された光線が外乱光によるものであると判断する。その後、飛行体が姿勢変化するような移動を行ったときに、飛行体に対するこの外乱光の位置関係が変動することになるので、この外乱光の影響を除去するために、変動していく飛行体に対する外乱光の位置関係を算出していくことになる。
The optical
Specifically, as shown in FIG. 4, the
The lighting data includes light rays emitted from the
Accordingly, since the extinguishing data includes only disturbance light, in the present embodiment, it is determined that the detected light beam is due to disturbance light. After that, when the flying object moves so that its attitude changes, the positional relationship of this disturbing light with respect to the flying object will fluctuate, so the flying will fluctuate to eliminate the influence of this disturbing light. The positional relationship of disturbance light with respect to the body is calculated.
絶対移動体情報算出部24は、角速度(Vθs、Vφs、Vψs)に基づいて、外乱光に対する飛行体の移動角度量(ΔΘs、ΔΦs、ΔΨs)を含む絶対移動体情報を算出する制御を行うものである。
具体的には、時間tから時間t+1までの角速度(Vθs、Vφs、Vψs)を積分演算することにより、時間tの飛行体の角度からの移動角度量(ΔΘs、ΔΦs、ΔΨs)を算出していく。すなわち、カメラ装置2により消灯データが検出された時間から点灯データが検出された時間までの飛行体の移動角度量(ΔΘs、ΔΦs、ΔΨs)が算出されていく。
このように飛行体の移動角度量(ΔΘs、ΔΦs、ΔΨs)が算出されれば、飛行体が時間tの角度であったときに、飛行体に対してある角度にあった外乱光の光源は、飛行体に対してはある角度から移動角度量(−ΔΘs、−ΔΦs、−ΔΨs)で変動していることがわかることになる。つまり、カメラ装置2で検出される画像データ上での外乱光による光線の移動位置量(ΔX’’、ΔY’’)を算出することができるようになる。
The absolute moving body
Specifically, by calculating the angular velocity (Vθs, Vφs, Vψs) from time t to
Thus, if the moving angle amount (ΔΘs, ΔΦs, ΔΨs) of the flying object is calculated, when the flying object is at an angle of time t, the light source of disturbance light that is at an angle with respect to the flying object is , It can be seen that the flying object fluctuates from a certain angle by a moving angle amount (−ΔΘs, −ΔΦs, −ΔΨs). That is, the moving position amount (ΔX ″, ΔY ″) of the light beam due to the disturbance light on the image data detected by the
差分生成部23は、移動角度量(ΔΘs、ΔΦs、ΔΨs)を含む絶対移動体情報に基づいてカメラ装置2で検出される画像データ上での外乱光の移動位置量(ΔX’’、ΔY’’)を算出することにより、LED群7の点灯時に検出された光線の点灯データ(画像データ)から外乱光の位置を補正した光線の補正点灯データを作成するとともに、LED群7の消灯時に検出された光線の消灯データ(画像データ)から外乱光の位置を補正した光線の補正消灯データを作成して、補正点灯データと補正消灯データとを用いて、LED群7のみからの光線の差分データを生成する制御を行うものである。
例えば、図5に示すように光学マーカー駆動部28により第一カメラ装置2aで、画像データとして消灯データ#1a、点灯データ#2a、消灯データ#3a、点灯データ#4a・・・が順に検出されていく。一方、絶対移動体情報算出部24により画像データ間で飛行体が移動した移動角度量(ΔΘs、ΔΦs、ΔΨs)が順次算出されていく。
そこで、差分生成部23は、まず、消灯データ#1aが検出された時間t1から点灯データ#2aが検出された時間t2までの移動角度量(ΔΘs、ΔΦs、ΔΨs)を用いて、飛行体に対する外乱光の光源の移動角度量(−ΔΘs、−ΔΦs、−ΔΨs)を算出する。さらに、第一カメラ装置2aで検出される点灯データ#2a上での外乱光による光線の移動位置量(ΔX’’、ΔY’’)を算出する。これにより、点灯データ#2aにおいて、外乱光の位置(X’’、Y’’)を(X’’−ΔX’’、Y’’−ΔY’’)と補正した光線の補正点灯データ#2a’を作成する。そして、補正点灯データ#2a’から消灯データ#1aを引くことにより、LED群7のみから出射される光線の第一差分データ(#2a’−#1a)を生成する。
The
For example, as shown in FIG. 5, the optical
Therefore, the
次に、差分生成部23は、点灯データ#2aが検出された時間t2から消灯データ#3aが検出された時間t3までの移動角度量(ΔΘs、ΔΦs、ΔΨs)を用いて、飛行体に対する外乱光の光源の移動角度量(−ΔΘs、−ΔΦs、−ΔΨs)を算出する。さらに、第一カメラ装置2aで検出される消灯データ#3a上での外乱光による光線の移動位置量(ΔX’’、ΔY’’)を算出する。これにより、消灯データ#3aにおいて、外乱光の位置(X’’、Y’’)を(X’’−ΔX’’、Y’’−ΔY’’)と補正した光線の補正消灯データ#3a’を作成する。そして、補正消灯データ#3a’から点灯データ#2aを引くことにより、LED群7のみから出射される光線の第一差分データ(#2a−#3a’)を生成する。
このような作業を繰り返すことにより、第一差分データを順次生成していく。また、第二カメラ装置2bでも同様に、LED群7のみから出射される光線の第二差分データを生成する。このとき、第一差分データ及び第二差分データでは、外乱光が完全に除去されているので、LED群7の位置を精度よく測定することができるようになる。
なお、補正点灯データと点灯データとは、点灯データ記憶部44に記憶されるとともに、補正消灯データと消灯データとは、消灯データ記憶部45に記憶される。
Next, the
By repeating such operations, the first difference data is sequentially generated. Similarly, the
The corrected lighting data and the lighting data are stored in the lighting
相対頭部情報算出部22は、差分データ(第一差分データ及び第二差分データ)に基づいて、カメラ装置2(相対座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(Θh、Φh、Ψh)を含む相対頭部情報を算出する制御を行うものである。
具体的には、LED7aのカメラ装置2に対する位置は、第一カメラ装置2aと第二カメラ装置2bとに撮影された第一差分データと第二差分データ中に映し出されているLED7aの位置を抽出し、さらに第一カメラ装置2aからの方向角度(α)と第二カメラ装置2bからの方向角度(β)とを抽出し、第一カメラ装置2aと第二カメラ装置2bとの間の距離(d1)を用いることにより、三角測量の手法で算出する。LED7b、7cのカメラ装置2に対する位置についても、同様に算出する。このとき、差分データ(第一差分データ及び第二差分データ)から外乱光が完全に除去されるので、外乱光をLEDと誤認識したりせずに、LED群7の位置を精度よく測定することができる。
そして、算出されたLED群7と、点灯データ記憶部44に記憶されている初期データとを比較することにより、カメラ装置2(相対座標系)に対する、LED群7が固定された頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)及び角度(Θh、Φh、Ψh)を算出する。
映像表示部25は、パイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(Θh、Φh、Ψh)を含む相対頭部情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット3は、表示器による表示映像を視認することになる。
Based on the difference data (first difference data and second difference data), the relative head
Specifically, the position of the
Then, by comparing the calculated
The
次に、HMT装置1により、相対座標系(XYZ座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(Θh、Φh、Ψh)を測定する測定動作について説明する。図6及び図7は、HMT装置1による測定動作について説明するためのフローチャートである。
まず、ステップS101の処理において、時間tに+1と更新するように、t=t+1と時間記憶部42に記憶させる。
次に、ステップS102の処理において、光学マーカー駆動部28が、LED群7に消灯させる指令信号を出力することにより、LED群7が消灯する。
Next, a measurement operation for measuring the head position (Xh, Yh, Zh) and head angle (Θh, Φh, Ψh) of the
First, in the process of step S101, t = t + 1 is stored in the
Next, in the process of step S <b> 102, the optical
次に、ステップS103の処理において、光学マーカー駆動部28は、第一カメラ装置2a及び第二カメラ装置2bで消灯データ(画像データ)を検出させ、t=t+1の消灯データを消灯データ記憶部45に記憶させる(図5中、#1a及び#3a参照)。このとき、消灯データには、外乱光のみが含まれる。なお、t=0の消灯データを検出したときに、検出された光線が外乱光によるものであると判定する。
また、ステップS103の処理を実行すると同時に、ステップS104の処理において、3軸ジャイロセンサ4は、時間tから時間t+1までの搭乗体30の角速度(Vθs、Vφs、Vψs)を検出する。
次に、ステップS105の処理において、絶対移動体情報算出部24は、時間tから時間t+1までの角速度(Vθp、Vφp、Vψp)に基づいて、外乱光に対する飛行体の時間tから時間t+1までの移動角度量(ΔΘs、ΔΦs、ΔΨs)を含む絶対移動体情報を算出する。
Next, in the process of step S103, the optical
At the same time as executing the process of step S103, in the process of step S104, the three-
Next, in the process of step S105, the absolute moving body
次に、ステップS106の処理において、差分生成部23は、移動角度量(ΔΘs、ΔΦs、ΔΨs)を用いて、t=t+1の消灯データから外乱光の位置を補正したt=t+1の補正消灯データを作成して、t=t+1の補正消灯データを消灯データ記憶部45に記憶させる(図5中、#3a’参照)。
次に、ステップS107の処理において、t=tの点灯データが記憶されているか否かを判定する。t=tの点灯データが記憶されていないと判定されたときには、ステップS110の処理に進む。
一方、t=tの点灯データが記憶されていると判定されたときには、ステップS108の処理において、差分生成部23は、t=t+1の補正消灯データとt=tの点灯データとを差分することにより、差分データ(第一差分データ及び第二差分データ)を生成する。このとき、t=tの点灯データからt=t+1の補正消灯データを引くことにより、LED群7のみから出射される光線の差分データを生成することになる(図5中、#2a−#3a’参照)。
Next, in the process of step S106, the
Next, in step S107, it is determined whether or not lighting data of t = t is stored. When it is determined that the lighting data of t = t is not stored, the process proceeds to step S110.
On the other hand, when it is determined that the lighting data of t = t is stored, in the process of step S108, the
次に、ステップS109の処理において、相対頭部情報算出部22は、差分データ(第一差分データ及び第二差分データ)に基づいて、第一カメラ装置2a及び第二カメラ装置2b(相対座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(Θh、Φh、Ψh)を算出する。
次に、ステップS110の処理において、時間tに+1と更新するように、t=t+1と時間記憶部42に記憶させる。
次に、ステップS111の処理において、光学マーカー駆動部28が、LED群7に点灯させる指令信号を出力することにより、LED群7が点灯する。
Next, in the process of step S109, the relative head
Next, in the process of step S110, t = t + 1 is stored in the
Next, in the process of step S <b> 111, the optical
次に、ステップS112の処理において、光学マーカー駆動部28は、第一カメラ装置2a及び第二カメラ装置2bで点灯データ(画像データ)を同時に検出させ、t=t+1の点灯データを点灯データ記憶部44に記憶させる。このとき、点灯データには、LED群7から出射された光線と外乱光とが含まれる(図5中、#2a及び#4a参照)。
また、ステップS112の処理を実行すると同時に、ステップS113の処理において、3軸ジャイロセンサ4は、時間tから時間t+1までの搭乗体30の角速度(Vθs、Vφs、Vψs)を検出する。
次に、ステップS114の処理において、絶対移動体情報算出部24は、角速度(Vθs、Vφs、Vψs)に基づいて、外乱光に対する飛行体の時間tから時間t+1までの移動角度量(ΔΘs、ΔΦs、ΔΨs)を含む絶対移動体情報を算出する。
Next, in the process of step S112, the optical
At the same time as executing the process of step S112, in the process of step S113, the three-
Next, in the process of step S114, the absolute moving body
次に、ステップS115の処理において、差分生成部23は、移動角度量(ΔΘs、ΔΦs、ΔΨs)を用いて、t=t+1の点灯データから外乱光の位置を補正したt=t+1の補正点灯データを作成して、t=t+1の補正点灯データを点灯データ記憶部44に記憶させる(図5中、#2a’及び#4a’参照)。
次に、ステップS116の処理において、t=tの消灯データが記憶されているか否かを判定する。t=tの消灯データが記憶されていないと判定されたときには、ステップS119の処理に進む。
一方、t=tの消灯データが記憶されていると判定されたときには、ステップS117の処理において、差分生成部23は、t=t+1の補正点灯データとt=tの消灯データとを差分することにより、差分データ(第一差分データ及び第二差分データ)を生成する。このとき、t=t+1の補正点灯データからt=tの消灯データを引くことにより、LED群7のみから出射される光線の差分データを生成することになる(図5中、#2a’−#1a及び#4a’−#3a参照)。
Next, in the process of step S115, the
Next, in the process of step S116, it is determined whether or not extinguishing data at t = t is stored. When it is determined that the extinguishing data at t = t is not stored, the process proceeds to step S119.
On the other hand, when it is determined that t = t extinguishing data is stored, in the process of step S117, the
次に、ステップS118の処理において、相対頭部情報算出部22は、差分データ(第一差分データ及び第二差分データ)に基づいて、第一カメラ装置2a及び第二カメラ装置2b(相対座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(Θh、Φh、Ψh)を算出する。
次に、ステップS119の処理において、搭乗体30が飛行しているか否かを判定する。搭乗体30が飛行していると判定されたときには、ステップS101の処理に戻る。つまり、搭乗体30が飛行していていないと判定されるときまで、ステップS101〜ステップS118の処理は繰り返される。
一方、搭乗体30が飛行していると判定されたときには、本フローチャートを終了させる。
Next, in the process of step S118, the relative head
Next, in the process of step S119, it is determined whether or not the
On the other hand, when it is determined that the
以上のように、HMT装置1によれば、搭乗体30に取り付けられたカメラ装置2に対して外乱光の位置が変動しても、外乱光の位置を補正することにより、差分データから外乱光が完全に除去されるので、外乱光をLEDと誤認識したりせずに、LED群7の位置を精度よく測定することができる。
As described above, according to the
(他の実施形態)
(1)上述したHMT装置1では、3軸ジャイロセンサ4を備える構成としたが、3軸ジャイロセンサ4に変えて加速度センサを備えるような構成としてもよい。なお、加速度センサでは、3軸ジャイロセンサのように角速度ではなく加速度が検出されるが、一般的な計算方法を用いて飛行体の加速度から飛行体の移動角度量を算出することになる。
(Other embodiments)
(1) The above-described
本発明のHMT装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの位置及び角度を測定するものとして利用される。 The HMT device of the present invention is used as a device for measuring the position and angle of a helmet with a head-mounted display device used in, for example, game machines and vehicles.
1 ヘッドモーショントラッカ装置
2 カメラ装置(光学検出手段)
3 パイロット(搭乗者)
4 3軸ジャイロセンサ(移動体センサ)
7 LED群(光学マーカー)
22 相対頭部情報算出部
23 差分生成部
24 絶対移動体情報算出部
28 光学マーカー駆動部
30 搭乗体
1 Head
3 Pilot (passenger)
4 3-axis gyro sensor (moving body sensor)
7 LED group (optical marker)
DESCRIPTION OF
Claims (3)
前記搭乗者が搭乗する移動体に取り付けられるとともに、前記光学マーカーからの光線を検出する立体視可能な光学検出手段と、
検出された光線に基づいて、前記移動体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出する相対頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、
前記光学マーカーに点灯と消灯とを繰り返させる光学マーカー駆動部と、
前記移動体に取り付けられるとともに、前記移動体に作用する角速度及び/又は加速度を検出する移動体センサと、
前記移動体センサから検出された角速度及び/又は加速度に基づいて、外乱光に対する移動体の移動角度量を含む絶対移動体情報を算出する絶対移動体情報算出部と、
前記絶対移動体情報に基づいて、前記光学検出手段に対する外乱光の移動位置量を算出することにより、前記光学マーカーの点灯時に検出された光線の点灯データから外乱光の位置を補正した光線の補正点灯データを作成するとともに、前記光学マーカーの消灯時に検出された光線の消灯データから外乱光の位置を補正した光線の補正消灯データを作成して、当該補正点灯データ及び補正消灯データを用いて、前記光学マーカーのみからの光線の差分データを生成する差分生成部とを備え、
前記相対頭部情報算出部は、前記差分データに基づいて相対頭部情報を算出することを特徴とするヘッドモーショントラッカ装置。 An optical marker that is mounted on the passenger's head and emits light rays;
An optical detection means that is attached to a moving body on which the passenger is boarded and that can detect a light beam from the optical marker and that can be viewed stereoscopically.
A head motion tracker device comprising: a relative head information calculation unit that calculates relative head information including a head position and a head angle of a passenger with respect to the moving body based on the detected light beam;
An optical marker driving unit that causes the optical marker to repeatedly turn on and off;
A moving body sensor that is attached to the moving body and detects an angular velocity and / or acceleration acting on the moving body;
An absolute moving body information calculating unit that calculates absolute moving body information including a moving angle amount of the moving body with respect to disturbance light based on the angular velocity and / or acceleration detected from the moving body sensor;
Based on the absolute moving body information, by calculating the movement position amount of the disturbance light with respect to the optical detection means, the correction of the light beam by correcting the position of the disturbance light from the lighting data of the light beam detected when the optical marker is turned on While creating the lighting data, creating a correction light extinction data of the light beam corrected the position of the disturbance light from the light extinction data detected when the optical marker is extinguished, using the corrected lighting data and the correction extinction data, A difference generation unit that generates difference data of light rays from only the optical marker,
The head motion tracker device, wherein the relative head information calculation unit calculates relative head information based on the difference data.
前記光学検出手段は、2台以上のカメラ装置であることを特徴とする請求項1に記載のヘッドモーショントラッカ装置。 The optical marker is three or more LEDs, and
The head motion tracker device according to claim 1, wherein the optical detection unit is two or more camera devices.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007203997A JP4877138B2 (en) | 2007-08-06 | 2007-08-06 | Head motion tracker device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007203997A JP4877138B2 (en) | 2007-08-06 | 2007-08-06 | Head motion tracker device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009041919A true JP2009041919A (en) | 2009-02-26 |
JP4877138B2 JP4877138B2 (en) | 2012-02-15 |
Family
ID=40442829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007203997A Active JP4877138B2 (en) | 2007-08-06 | 2007-08-06 | Head motion tracker device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4877138B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011196781A (en) * | 2010-03-18 | 2011-10-06 | Ricoh Co Ltd | Apparatus for measurement of self-position, and service method using the same |
CN103657089A (en) * | 2013-11-15 | 2014-03-26 | 青岛歌尔声学科技有限公司 | System and method for judging posture of device |
US9208565B2 (en) | 2011-07-27 | 2015-12-08 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating three-dimensional position and orientation through sensor fusion |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006284442A (en) * | 2005-04-01 | 2006-10-19 | Shimadzu Corp | Method of monitoring object and motion tracker using this |
JP2007071782A (en) * | 2005-09-08 | 2007-03-22 | Canon Inc | System for measuring position attitude and method of measuring, same and control program |
JP2007155370A (en) * | 2005-12-01 | 2007-06-21 | Shimadzu Corp | Head motion tracker |
JP2007334762A (en) * | 2006-06-16 | 2007-12-27 | Shimadzu Corp | Head motion tracker |
-
2007
- 2007-08-06 JP JP2007203997A patent/JP4877138B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006284442A (en) * | 2005-04-01 | 2006-10-19 | Shimadzu Corp | Method of monitoring object and motion tracker using this |
JP2007071782A (en) * | 2005-09-08 | 2007-03-22 | Canon Inc | System for measuring position attitude and method of measuring, same and control program |
JP2007155370A (en) * | 2005-12-01 | 2007-06-21 | Shimadzu Corp | Head motion tracker |
JP2007334762A (en) * | 2006-06-16 | 2007-12-27 | Shimadzu Corp | Head motion tracker |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011196781A (en) * | 2010-03-18 | 2011-10-06 | Ricoh Co Ltd | Apparatus for measurement of self-position, and service method using the same |
US9208565B2 (en) | 2011-07-27 | 2015-12-08 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating three-dimensional position and orientation through sensor fusion |
CN103657089A (en) * | 2013-11-15 | 2014-03-26 | 青岛歌尔声学科技有限公司 | System and method for judging posture of device |
Also Published As
Publication number | Publication date |
---|---|
JP4877138B2 (en) | 2012-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5594944B2 (en) | Motion tracker device | |
JP5145832B2 (en) | Head-mounted display device and head-mounted display device system | |
JP6381711B2 (en) | Virtual reality system calibration | |
US8259307B2 (en) | Device for optically detecting position and/or orientation of objects and associated detection methods | |
JP6114851B2 (en) | System and method for providing situational awareness information of a relative navigation system | |
JP4924342B2 (en) | Motion tracker device | |
KR102457608B1 (en) | Method and control device for operating a headset for virtual reality in a vehicle | |
CA2953268A1 (en) | Device for detection of obstacles with a horizontal plane and detection method implementing such a device | |
JP4665872B2 (en) | Head motion tracker device | |
JP5292725B2 (en) | Motion tracker device | |
JP5092300B2 (en) | Head motion tracker device | |
JP4877138B2 (en) | Head motion tracker device | |
JP4967546B2 (en) | Head motion tracker device | |
JP2012226666A (en) | Motion tracker device | |
JP4905311B2 (en) | Head motion tracker system and calibration device used therefor | |
JP4656017B2 (en) | Head motion tracker device | |
JP5029531B2 (en) | Motion tracker system and coordinate system setting method thereof | |
JP2009036517A (en) | Head motion tracker device | |
JP4905321B2 (en) | Head motion tracker device | |
JP2007334762A (en) | Head motion tracker | |
JP4656016B2 (en) | Motion tracker device | |
JP4872768B2 (en) | Head motion tracker device | |
JP2021107607A (en) | Mobile calibration of smart helmet display | |
JP2011015831A (en) | Head motion tracker | |
JP4784591B2 (en) | Motion tracker device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091028 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111101 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111114 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4877138 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141209 Year of fee payment: 3 |