JP2013160513A - Motion tracker device - Google Patents
Motion tracker device Download PDFInfo
- Publication number
- JP2013160513A JP2013160513A JP2012019850A JP2012019850A JP2013160513A JP 2013160513 A JP2013160513 A JP 2013160513A JP 2012019850 A JP2012019850 A JP 2012019850A JP 2012019850 A JP2012019850 A JP 2012019850A JP 2013160513 A JP2013160513 A JP 2013160513A
- Authority
- JP
- Japan
- Prior art keywords
- optical
- coordinate system
- optical marker
- head
- helmet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、光学方式のモーショントラッカ装置（以下、ＭＴ装置ともいう）に関し、さらに詳細には、光学マーカーの現在位置及び現在角度を検出する機能を備える光学方式のＭＴ装置に関する。本発明は、例えば、乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度（すなわち、現在の頭部位置及び頭部角度）を検出するヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）等に利用される。
ここで、光学方式のＨＭＴ装置とは、光学マーカーを取り付けたヘルメット等を頭部に装着して、光学マーカーの位置を立体視が可能なカメラ装置で測定することにより、頭部の動きを追跡する装置等のことをいう。
The present invention relates to an optical motion tracker device (hereinafter also referred to as an MT device), and more particularly to an optical MT device having a function of detecting a current position and a current angle of an optical marker. The present invention relates to a head motion tracker device (hereinafter referred to as an HMT device) that detects a current position and a current angle (that is, a current head position and a head angle) of a helmet with a head-mounted display device used in, for example, a vehicle. Also used).
Here, the optical HMT device is a head mounted with a helmet or the like with an optical marker attached, and the movement of the head is tracked by measuring the position of the optical marker with a camera device capable of stereoscopic viewing. This refers to devices that perform such operations.
時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機ではバーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメット（対象物）の現在位置や現在角度を測定するために、ＨＭＴ装置が利用されている。 A technique for accurately measuring the current position and current angle of an object that changes from moment to moment is used in various fields. For example, in a game machine, in order to realize virtual reality (VR), an image is displayed by using a helmet with a head-mounted display device. At this time, it is necessary to change the image in accordance with the current position and the current angle of the head mounted display-equipped helmet. Therefore, the HMT device is used to measure the current position and the current angle of the head-mounted helmet with a display device (target object).
また、救難飛行艇（移動体）による救難活動では、発見した救難目標を見失わないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応したときにロックすることによって、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、救難飛行艇の緯度、経度、高度、姿勢に加えて、救難飛行艇に設定された相対座標系に対するパイロット（搭乗者）の頭部角度及び頭部位置を測定している。このときにＨＭＴ装置が利用されている。 Also, in the rescue operation by the rescue flying boat (moving body), it is locked when the aiming image displayed by the helmet with head mounted display device corresponds to the rescue target so as not to lose sight of the discovered rescue target. By doing so, the position of the locked rescue target is calculated. At this time, in order to calculate the position of the rescue target, in addition to the latitude, longitude, altitude and attitude of the rescue flight boat, the pilot (passenger) head angle with respect to the relative coordinate system set for the rescue flight boat and The head position is measured. At this time, the HMT apparatus is used.
頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（例えば、特許文献１参照）。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカー群として発光体であるＬＥＤ（発光ダイオード）を互いに離隔するようにして３箇所に取り付け、頭部装着型表示装置付ヘルメットにおける３個のＬＥＤの相対的な位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３個のＬＥＤを、立体視が可能でかつ設置場所が固定された第一カメラと第二カメラ（カメラ装置）で同時に撮影することで、所謂、三角測量の原理により、カメラ装置に対する３個のＬＥＤの相対的な現在の位置関係を測定している。これにより、カメラ装置に対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を特定している。 As an HMT device used for a helmet with a head-mounted display device, an apparatus that optically measures the current position and current angle of the helmet with a head-mounted display device is disclosed (for example, see Patent Document 1). ). Specifically, on the outer peripheral surface of the helmet with a head-mounted display device, LEDs (light-emitting diodes) that are light emitters as optical marker groups are attached to three locations so as to be separated from each other, and the head-mounted display device The relative positional relationship of the three LEDs in the attached helmet is stored in advance in the HMT device. And by photographing these three LEDs simultaneously with the first camera and the second camera (camera device) that can be stereoscopically viewed and fixed in place, the so-called triangulation principle is applied to the camera device. The relative current position of the three LEDs is measured. Thereby, the current position and the current angle of the helmet with a head-mounted display device with respect to the camera device are specified.
また、救難飛行艇等では、パイロットが夜間等の環境下でも外界（救難目標）を視認できるように暗視装置を装着することがある。このような暗視装置は、境界波長（例えば、６１０ｎｍや６３５ｎｍ等）よりも長波長の光を増幅するものである。よって、境界波長より長波長の光の総量が規定値を超えないようにしなければならない。 Further, in a rescue flying boat, a night vision device may be mounted so that a pilot can visually recognize the outside world (rescue target) even in an environment such as nighttime. Such a night vision apparatus amplifies light having a wavelength longer than the boundary wavelength (for example, 610 nm, 635 nm, or the like). Therefore, the total amount of light having a wavelength longer than the boundary wavelength must not exceed the specified value.
ところで、上述したような光学方式のＨＭＴ装置では、頭部装着型表示装置付ヘルメットの外周面上にＬＥＤが取り付けられている。ここで、図６は、ＬＥＤの発光スペクトル強度特性を示す図である。ＬＥＤの発光分布は、その材料や製造方法に依存するが、ピークを有するものの、その波長分布は広い波長領域に渡っている。すなわち、ＬＥＤは、発光中心波長が境界波長より短波長であっても、暗視装置に影響を与えてしまう。 By the way, in the optical HMT device as described above, LEDs are attached on the outer peripheral surface of the helmet with a head-mounted display device. Here, FIG. 6 is a diagram showing an emission spectrum intensity characteristic of the LED. The light emission distribution of the LED depends on its material and manufacturing method, but has a peak, but its wavelength distribution covers a wide wavelength region. That is, the LED affects the night vision device even if the emission center wavelength is shorter than the boundary wavelength.
本件発明者らは、上記課題を解決するために、暗視装置に影響を与えない光学方式のＨＭＴ装置について鋭意検討を行った。まず、頭部装着型表示装置付ヘルメットの外周面上に、広い波長領域に渡るＬＥＤに代えて、狭い波長領域となる半導体レーザ（ＬＤ）を取り付けた。図７は、ＬＤの発光スペクトル強度特性を示す図である。ＬＤの発光分布は、単一波長と表現してよい程、極めて狭い波長領域となる。 In order to solve the above-mentioned problems, the present inventors diligently studied an optical HMT device that does not affect the night vision device. First, instead of the LED over a wide wavelength region, a semiconductor laser (LD) having a narrow wavelength region was attached to the outer peripheral surface of the helmet with a head-mounted display device. FIG. 7 is a diagram showing an emission spectrum intensity characteristic of the LD. The light emission distribution of the LD becomes an extremely narrow wavelength region as it can be expressed as a single wavelength.
しかし、ＬＤの指向性能はＬＥＤの指向性能と比較して直進性が強く、第一カメラと第二カメラとで同時に撮影できる領域が狭くなる。その結果、救難飛行艇に搭乗するパイロットの頭部の動きを充分に追跡することができなくなるという問題点が発生した。そこで、レーザ光を発散させるボールレンズ等の光学素子をＬＤの前方に配置することにした。これにより、ＬＤでも幅広い指向性能を達成することができた。すなわち、光学マーカーとして、レーザ光を発振（出射）する半導体レーザとレーザ光を発散させる光学素子とを組み合わせて用いることを見出した。 However, the directivity of the LD is more straight ahead than the directivity of the LED, and the area that can be photographed simultaneously by the first camera and the second camera is narrowed. As a result, there was a problem that it was impossible to sufficiently track the movement of the pilot's head on the rescue flight boat. Therefore, an optical element such as a ball lens that diverges the laser light is arranged in front of the LD. As a result, a wide directivity performance can be achieved even in the LD. That is, it has been found that a semiconductor laser that oscillates (emits) laser light and an optical element that emits laser light are used in combination as an optical marker.
すなわち、本発明のモーショントラッカ装置は、第一座標系が設定された対象物と、前記第一座標系に位置決めされて対象物に取り付けられた３個以上の光学マーカーと、第二座標系が設定され、前記光学マーカーからの光線を立体視で検出するカメラ装置と、検出された光線に基づいて、前記第二座標系における３個以上の光学マーカーのそれぞれの現在位置を含む光学マーカー位置情報を算出する光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記第二座標系における対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカ装置であって、前記光学マーカーは、レーザ光を発振する半導体レーザと、当該半導体レーザの前方に配置され、レーザ光を発散させる光学素子とを有するようにしている。 That is, the motion tracker of the present invention includes an object having a first coordinate system, three or more optical markers positioned on the object and positioned on the first coordinate system, and a second coordinate system. An optical marker position information including a current position of each of the three or more optical markers in the second coordinate system on the basis of the camera device that is set and detects the light beam from the optical marker in a stereoscopic view. A motion tracker comprising: an optical marker position information calculation unit that calculates a relative information calculation unit that calculates relative information including a current position and a current angle of an object in the second coordinate system based on the optical marker position information The optical marker is a semiconductor laser that oscillates laser light, and light that is disposed in front of the semiconductor laser and diverges the laser light. It is to have an element.
以上のように、本発明のモーショントラッカ装置によれば、狭い波長領域となるレーザ光を発振する半導体レーザを用いているので、レーザ光の発光中心波長が暗視装置の感度帯域を外れていれば、暗視装置に影響を与えない。また、レーザ光を光学素子を用いて点光源化することができ、その結果、カメラ装置での光学マーカーの位置の検出精度を向上させることができる。 As described above, according to the motion tracker device of the present invention, since the semiconductor laser that oscillates a laser beam having a narrow wavelength region is used, the emission center wavelength of the laser beam can be out of the sensitivity band of the night vision device. Thus, the night vision device is not affected. Further, the laser light can be converted into a point light source using an optical element, and as a result, the detection accuracy of the position of the optical marker in the camera device can be improved.
（他の課題を解決するための手段及び効果）
また、上記の発明において、前記光学素子は、ボールレンズであるようにしてもよい。
また、上記の発明において、前記対象物は、搭乗者の頭部に装着されるヘルメットであり、前記カメラ装置は、前記搭乗者が搭乗する移動体に取り付けられているようにしてもよい。
(Means and effects for solving other problems)
In the above invention, the optical element may be a ball lens.
In the invention described above, the object may be a helmet that is attached to a passenger's head, and the camera device may be attached to a moving body on which the passenger rides.
そして、上記の発明において、前記搭乗者は、境界波長よりも長波長の光を増幅する暗視装置を装着しており、前記半導体レーザは、前記境界波長以下のレーザ光を発振するようにしてもよい。
ここで、「境界波長」とは、暗視装置で増幅したい光の波長を決定するためのものであり、暗視装置の設計者等によって任意に決められることになる。
In the above invention, the occupant wears a night vision device that amplifies light having a wavelength longer than the boundary wavelength, and the semiconductor laser oscillates laser light having a wavelength equal to or less than the boundary wavelength. Also good.
Here, the “boundary wavelength” is for determining the wavelength of light to be amplified by the night vision apparatus, and can be arbitrarily determined by the designer of the night vision apparatus or the like.
さらに、上記の発明において、前記移動体には、複数の搭乗者が搭乗することが可能となっているようにしてもよい。 Furthermore, in the above invention, a plurality of passengers may be able to board the moving body.
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The present invention is not limited to the embodiments described below, and includes various modes without departing from the spirit of the present invention.
図１は、本発明の一実施形態である救難飛行艇の概略構成を示す図である。
救難飛行艇１は、第一パイロットＰ１が搭乗するための第一運転席１１と、第一運転席１１の上方に取り付けられた第一カメラ装置１２と、第二パイロットＰ２が搭乗するための第二運転席２１と、第二運転席２１の上方に取り付けられた第二カメラ装置２２と、第一パイロットＰ１や第二パイロットＰ２の頭部に装着される頭部装着型表示装置付ヘルメット３０と、コンピュータにより構成される制御部４０とを備える。
FIG. 1 is a diagram showing a schematic configuration of a rescue flying boat according to an embodiment of the present invention.
In the
第一ＨＭＴ装置は、第一カメラ装置１２と１個の頭部装着型表示装置付ヘルメット３０と制御部４０とで構成されており、第一カメラ装置１２に設定される第二座標系（ＸＹＺ座標系）に対する第一パイロットＰ１の頭部位置（Ｘｈ１、Ｙｈ１、Ｚｈ１）及び頭部角度（ＲＬｈ１、ＥＬｈ１、ＡＺｈ１）を含む相対情報を算出するものである。つまり、ＸＹＺ座標系における第一パイロットＰ１が着用する頭部装着型表示装置付ヘルメット３０に設定された第一座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を算出する。
The first HMT device includes the
また、第二ＨＭＴ装置は、第二カメラ装置２２と１個の頭部装着型表示装置付ヘルメット３０と制御部４０とで構成されており、第二カメラ装置２２に設定される第二座標系（ＸＹＺ座標系）に対する第二パイロットＰ２の頭部位置（Ｘｈ２、Ｙｈ２、Ｚｈ２）及び頭部角度（ＲＬｈ２、ＥＬｈ２、ＡＺｈ２）を含む相対情報を算出するものである。つまり、ＸＹＺ座標系における第二パイロットＰ２が着用する頭部装着型表示装置付ヘルメット３０に設定された第一座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を算出する。
なお、角度ＲＬｈは、ロール方向（Ｘ軸に対する回転）の角度であり、角度ＥＬｈは、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度ＡＺｈは、アジマス方向（Ｚ軸に対する回転）の角度である。また、第二ＨＭＴ装置は、第一ＨＭＴ装置と同様の構造であるので、説明を省略するものとする。
The second HMT device includes the
The angle RL h is an angle in the roll direction (rotation with respect to the X axis), the angle EL h is an angle in the elevation direction (rotation with respect to the Y axis), and the angle AZ h is an azimuth direction (with respect to the Z axis). Angle of rotation). Further, since the second HMT device has the same structure as the first HMT device, description thereof will be omitted.
図２は、頭部装着型表示装置付ヘルメット３０の平面図であり、図３は、光学マーカーの断面図である。また、図４は、第一カメラ装置と頭部装着型表示装置付ヘルメットとの位置関係を示す図である。
頭部装着型表示装置付ヘルメット３０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、第一パイロットＰ１の目に導くコンバイナ３１と、光学マーカーとして機能する光学マーカー群３２とを有する。なお、頭部装着型表示装置付ヘルメット３０を装着した第一パイロットＰ１は、表示器による表示映像とコンバイナ３１の前方実在物とを視認することが可能となっている。
また、頭部装着型表示装置付ヘルメット３０は、夜間等の環境下では第一パイロットＰ１が外界（前方実在物）も視認できるように、コンバイナ３１の前方に暗視装置３３を取り付けたり、昼間等の環境下では暗視装置３３が邪魔にならないようにコンバイナ３１の前方から暗視装置３３を取り外したりすることが可能になっている。
FIG. 2 is a plan view of the
The
In addition, the
暗視装置３３は、取り込んだ赤外光（例えば、６１０ｎｍ（境界波長）以上の波長）の光量を増幅することにより、暗視機能を備えるものである。そして、頭部装着型表示装置付ヘルメット３０のコンバイナ３１の前方に取り付けることが可能な双眼鏡のような形状となっている。これにより、夜間等の環境下でも第一パイロットＰ１は頭部装着型表示装置付ヘルメット３０を装着しながら、外界の赤外光を発したり反射したりする被写体を視認できるようになる。
上記暗視装置としては、例えば、被写体から光を取り込む撮像レンズと、取り込む光量を調整する光量調整部と、撮像レンズから取り込まれた光を受けるとともに当該光を光学像に変換するマイクロチャンネルプレート型イメージインテンシファイア（以下、ＭＣＰ型Ｉ．Ｉ．ともいう）と、カップリング機構と、ＭＣＰ型Ｉ．Ｉ．から出力された光学像が結像されるとともに、当該光学像を画像信号に変換する撮像素子とから構成されるもの等が挙げられる。
The
As the night vision device, for example, an imaging lens that captures light from a subject, a light amount adjustment unit that adjusts the amount of light to be captured, and a microchannel plate type that receives light captured from the imaging lens and converts the light into an optical image Image intensifier (hereinafter also referred to as MCP type II), coupling mechanism, and MCP type I.I. I. And an optical image output from the image sensor, and an image sensor that converts the optical image into an image signal.
光学マーカー群３２は、ヘルメットの外周面に取り付けられた３個（あるいは３個以上の数）の光学マーカー３２ａ〜３２ｃである。各光学マーカー３２ａ〜３２ｃは、図７に示すような波長（例えば、４８０ｎｍ）のレーザ光を発振して出射するＬＤ（半導体レーザ）３４と、ＬＤ３４の前方に配置されレーザ光を発散させるボールレンズ（光学素子）３５とを有する。よって、各光学マーカー３２ａ〜３２ｃは、境界波長（例えば、６１０ｎｍ）より短波長の光を発振することになる。
The
ところで、頭部装着型表示装置付ヘルメット３０自体には、第一座標系（Ｘ’Ｙ’Ｚ’座標系）が予め定められている。光学マーカー群３２は、３個の光学マーカー３２ａ〜３２ｃがお互い一定の距離ｄ２を隔てるようにして、第一座標系（Ｘ’Ｙ’Ｚ’座標系）に位置決めされて取り付けられている。つまり、Ｘ’Ｙ’Ｚ’座標系における各光学マーカー３２ａ、３２ｂ、３２ｃの座標位置は、（Ｘ’ＤＩＳａ、Ｙ’ＤＩＳａ、Ｚ’ＤＩＳａ）、（Ｘ’ＤＩＳｂ、Ｙ’ＤＩＳｂ、Ｚ’ＤＩＳｂ）、（Ｘ’ＤＩＳｃ、Ｙ’ＤＩＳｃ、Ｚ’ＤＩＳｃ）と表現できる。
なお、各光学マーカー３２ａ〜３２ｃは、同じ波長（４８０ｎｍ）のレーザ光を発振するものなので、後述する第一カメラ装置１２のみでは、撮影した各光学マーカーが、頭部装着型表示装置付ヘルメット３０に取り付けられた光学マーカーのいずれにそれぞれ対応するかは認識することができない。
By the way, the first coordinate system (X′Y′Z ′ coordinate system) is predetermined for the head mounted
Since each of the
第一カメラ装置１２は、第一カメラ１２ａと第二カメラ１２ｂとからなる。第一カメラ１２ａと第二カメラ１２ｂとは、撮影方向が異なりかつ立体視が可能な一定の距離ｄ１を隔てるように、第一運転席１１の上方の天井に固定されている。
よって、第一カメラ装置１２に対する光学マーカー３２ａの位置は、第一カメラ１２ａと第二カメラ１２ｂとでそれぞれ撮影された画像中に映し出されている光学マーカー３２ａ像の位置を抽出し、さらに第一カメラ１２ａからの方向角度αと第二カメラ１２ｂからの方向角度βとを抽出し、第一カメラ１２ａと第二カメラ１２ｂとの間の距離ｄ１を用いることにより、三角測量の手法で算出することができる。他の光学マーカー３２ｂ、３２ｃの第一カメラ装置１２に対する位置についても同様に算出される。
The
Therefore, the position of the
このとき、各光学マーカー３２ａ〜３２ｃの位置を、空間座標で表現できるようにするために、第一カメラ装置１２に固定され、第一カメラ装置１２とともに移動する座標系である第二座標系（ＸＹＺ座標系）を用いる。
ＸＹＺ座標系により光学マーカー３２ａ〜３２ｃの座標位置は、（ＸＬＤ１、ＹＬＤ１、ＺＬＤ１）、（ＸＬＤ２、ＹＬＤ２、ＺＬＤ２）、（ＸＬＤ３、ＹＬＤ３、ＺＬＤ３）と表現できる。これにより、第一カメラ装置１２に対する３個の光学マーカー３２ａ〜３２ｃの座標位置（ＸＬＤ１、ＹＬＤ１、ＺＬＤ１）、（ＸＬＤ２、ＹＬＤ２、ＺＬＤ２）、（ＸＬＤ３、ＹＬＤ３、ＺＬＤ３）がそれぞれどの光学マーカーか識別されて特定されれば、光学マーカー３２ａ〜３２ｃが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット３０の位置（Ｘｈ１、Ｙｈ１、Ｚｈ１）及び角度（ＲＬｈ１、ＥＬｈ１、ＡＺｈ１）は、ＸＹＺ座標系における第一座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を用いて表現することができる。
At this time, in order to be able to express the position of each of the
The coordinate positions of the
制御部４０は、ＣＰＵ４１やメモリ４２等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。ＣＰＵ４１が実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部４１ａと、光学マーカー位置情報算出部４１ｂと、相対情報算出部４１ｃと、映像表示部４１ｄとを有する。
また、メモリ４２には、制御部４０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、第二座標系（ＸＹＺ座標系）を初期データとして記憶する第二座標系記憶領域４２ａと、第一座標系（Ｘ’Ｙ’Ｚ’座標系）を初期データとして記憶するとともにＸ’Ｙ’Ｚ’座標系における３個の光学マーカー３２ａ〜３２ｃのそれぞれの位置（Ｘ’ＤＩＳ、Ｙ’ＤＩＳ、Ｚ’ＤＩＳ）を初期データとして記憶する第一座標系記憶領域４２ｂと、ＸＹＺ座標系における３個の光学マーカー３２ａ〜３２ｃの時間ｔｎでのそれぞれの位置（ＸＬＥＤ、ＹＬＥＤ、ＺＬＥＤ）を含む光学マーカー位置情報を順次記憶するための光学マーカー記憶領域４２ｃとを有する。
The
The
モーショントラッカ駆動部４１ａは、光学マーカー３２ａ〜３２ｃを点灯させる指令信号を出力するとともに、第一カメラ装置１２で光学マーカー３２ａ〜３２ｃから出射される光線の画像データを時間ｔｎごとに検出させる制御を行う。しかし、光学マーカー３２ａ〜３２ｃは、同じ波長のレーザ光を発振するものなので、エピポーラ幾何学に基づく予測により、第一カメラ１２ａで撮影された第一画像と、第二カメラ１２ｂで撮影された第二画像との間での共通の光学マーカー像の組を認識することができるが、頭部装着型表示装置付ヘルメット３０に取り付けられた光学マーカーのいずれにそれぞれ対応するかを決定することはできない。そこで、後述する光学マーカー位置情報算出部４１ｂ等によって、各光学マーカーが識別されるようになっている。
光学マーカー位置情報算出部４１ｂは、時間ｔｎの光学マーカー位置情報に基づいて光学マーカー３２ａ〜３２ｃのそれぞれの予想移動範囲Ｄａ、Ｄｂ、Ｄｃを設定することにより、時間ｔｎ＋１の画像データを用いて光学マーカー３２ａ〜３２ｃのそれぞれの現在位置を含む時間ｔｎ＋１の光学マーカー位置情報を算出する制御を行う。
まず、図５に示すように、時間ｔｎの光学マーカー位置情報における光学マーカー３２ａ（ｔｎ）〜３２ｃ（ｔｎ）のそれぞれの位置を中心とした直径ｄ２の球状である予想移動範囲Ｄａ、Ｄｂ、Ｄｃを第二座標系（ＸＹＺ座標系）に設定する。これにより、時間ｔｎ＋１に予想移動範囲Ｄａ、Ｄｂ、Ｄｃに存在する光学マーカーを、予想移動範囲Ｄａ、Ｄｂ、Ｄｃに対応する光学マーカーと同一のものであると識別する。具体的には、時間ｔｎ＋１に予想移動範囲Ｄａに存在する光学マーカー３２ａを、予想移動範囲Ｄａの中心に対応する光学マーカー３２ａ（ｔｎ）と同一のものであると識別する。同様に、予想移動範囲Ｄｂに存在する光学マーカー３２ｂを、予想移動範囲Ｄｂの中心に対応する光学マーカー３２ｂ（ｔｎ）と同一のものであるとし、予想移動範囲Ｄｃに存在する光学マーカー３２ｃを、予想移動範囲Ｄｃの中心に対応する光学マーカー３２ｃ（ｔｎ）と同一のものであると識別する。このようにして、各光学マーカー３２ａ〜３２ｃのそれぞれの現在位置を含む時間ｔｎ＋１の光学マーカー位置情報を算出する。
Optical marker
First, as illustrated in FIG. 5, an expected movement range Da having a spherical shape with a diameter d 2 centering on each position of the
相対情報算出部４１ｃは、時間ｔｎ＋１の光学マーカー位置情報に基づいて、第二座標系（ＸＹＺ座標系）における第一パイロットＰ１の頭部位置（Ｘｈ１、Ｙｈ１、Ｚｈ１）及び頭部角度（ＲＬｈ１、ＥＬｈ１、ＡＺｈ１）を含む相対情報を算出する制御を行う。
具体的には、ＸＹＺ座標系における３個の光学マーカー３２ａ〜３２ｃのそれぞれの現在の座標位置である時間ｔｎ＋１の光学マーカー位置情報を得ることで、光学マーカー３２ａ〜３２ｃが固定されている頭部装着型表示装置付ヘルメット３０の現在位置（Ｘｈ１、Ｙｈ１、Ｚｈ１）や現在角度（ＲＬｈ１、ＥＬｈ１、ＡＺｈ１）を算出する。
映像表示部４１ｄは、相対情報に基づいて、表示器から映像表示光を出射する制御を行う。これにより、第一パイロットＰ１は表示器による表示映像を視認することができる。
Based on the optical marker position information at time t n + 1 , the relative
Specifically, the head to which the
The
以上のように、光学マーカー３２ａ〜３２ｃとしてＬＤ３４とボールレンズ３５とを用いても、救難飛行艇１に搭乗する第一パイロットＰ１の頭部の動きを充分に追跡することができる。さらに、レーザ光をボールレンズ３５を用いて点光源化することができ、その結果、第一カメラ装置１２での光学マーカー３２ａ〜３２ｃの位置の検出精度を向上させることができる。
As described above, it is possible to sufficiently track also the first pilot P 1 of the head movement to board the
そして、このような救難飛行艇１では、暗視装置３３を取り付けた頭部装着型表示装置付ヘルメット３０を装着した第一パイロットＰ１が第一運転席１１に搭乗するとともに、暗視装置３３を取り付けた頭部装着型表示装置付ヘルメット３０を装着した第二パイロットＰ２が第二運転席２１に搭乗したときでも、図７に示すような波長（例えば、４８０ｎｍ）のレーザ光を発振するＬＤ３４を用いているので、第二パイロットＰ２の視界に第一パイロットＰ１が装着した頭部装着型表示装置付ヘルメット３０の光学マーカー３２ａ〜３２ｃが入っても、第二パイロットＰ２の暗視装置３３はハレーションを起こすことがない。
In such a
＜他の実施形態＞
（１）上述した救難飛行艇１において、同じ波長のレーザ光を発振する３個のＬＤ３４を用いる構成としたが、異なる波長のレーザ光を発振する３個のＬＤを用いるような構成としてもよい。
（２）上述した救難飛行艇１において、光学マーカー３２ａ〜３２ｃは、ＬＤ（半導体レーザ）３４と、ＬＤ３４の前方に配置されレーザ光を発散させるボールレンズ（光学素子）３５とを有する構成としたが、ＬＤ（半導体レーザ）から発振された光を光ファイバ等を介してボールレンズ（光学素子）に導き、その誘導された光をボールレンズで発散させるような構成としてもよい。
図８は、光学マーカー１３２の断面図であり、図９は、頭部装着型表示装置付ヘルメット１３０の一例の平面図である。各光学マーカー１３２は、ヘルメットの後部に取り付けられ図７に示すような波長（例えば、４８０ｎｍ）のレーザ光を発振して出射するＬＤ（半導体レーザ）３４と、ヘルメットの外周面に取り付けられレーザ光を発散させるボールレンズ（光学素子）３５と、ヘルメット内に埋め込まれＬＤ（半導体レーザ）３４とボールレンズ（光学素子）３５との間に配置される光ファイバ１３６とを有する。
図１０は、頭部装着型表示装置付ヘルメット２３０の他の一例の平面図である。各光学マーカー１３２は、救難飛行艇１に配置され図７に示すような波長（例えば、４８０ｎｍ）のレーザ光を発振して出射するＬＤ（半導体レーザ）３４を有する光源装置と、ヘルメットの外周面に取り付けられレーザ光を発散させるボールレンズ（光学素子）３５と、ＬＤ（半導体レーザ）３４とボールレンズ（光学素子）３５との間に配置される光ファイバ１３６とを有する。
なお、図９と図１０とでは、１個ボールレンズと１個のＬＤとを１本の光ファイバで接続するような構成としたが、複数個ボールレンズと１個のＬＤとを光ファイバで接続するような構成としてもよく、この場合、途中までは１本の光ファイバとなるが、途中で光ファイバが分岐するようにすればよい。
<Other embodiments>
(1) In the
(2) In the
FIG. 8 is a cross-sectional view of the
FIG. 10 is a plan view of another example of the
In FIGS. 9 and 10, one ball lens and one LD are connected by one optical fiber. However, a plurality of ball lenses and one LD are connected by an optical fiber. In this case, a single optical fiber is provided until halfway, but the optical fiber may be branched in the middle.
本発明のＭＴ装置は、例えば、乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度を検出するもの等として利用される。 The MT device of the present invention is used, for example, as a device that detects a current position and a current angle of a helmet with a head-mounted display device used in a vehicle or the like.
１ 救難飛行艇（モーショントラッカ装置）
１２ 第一カメラ装置
３０ 頭部装着型表示装置付ヘルメット（対象物）
３２ 光学マーカー
３４ ＬＤ（半導体レーザ）
３５ ボールレンズ（光学素子）
４１ｂ 光学マーカー位置情報算出部
４１ｃ 相対情報算出部
1 rescue flight boat (motion tracker device)
12
32
35 Ball lens (optical element)
41b Optical marker position
Claims (5)
前記第一座標系に位置決めされて対象物に取り付けられた３個以上の光学マーカーと、
第二座標系が設定され、前記光学マーカーからの光線を立体視で検出するカメラ装置と、
検出された光線に基づいて、前記第二座標系における３個以上の光学マーカーのそれぞれの現在位置を含む光学マーカー位置情報を算出する光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記第二座標系における対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカ装置であって、
前記光学マーカーは、レーザ光を発振する半導体レーザと、当該半導体レーザの前方に配置され、レーザ光を発散させる光学素子とを有することを特徴とするモーショントラッカ装置。 An object with a first coordinate system, and
Three or more optical markers positioned in the first coordinate system and attached to an object;
A second coordinate system is set, and a camera device that detects a light beam from the optical marker in a stereoscopic view;
An optical marker position information calculating unit that calculates optical marker position information including current positions of three or more optical markers in the second coordinate system based on the detected light beam;
A motion tracker device comprising: a relative information calculation unit that calculates relative information including a current position and a current angle of an object in the second coordinate system based on the optical marker position information;
The optical marker includes a semiconductor laser that oscillates laser light, and an optical element that is disposed in front of the semiconductor laser and diverges the laser light.
前記カメラ装置は、前記搭乗者が搭乗する移動体に取り付けられていることを特徴とする請求項１又は請求項２に記載のモーショントラッカ装置。 The object is a helmet to be worn on a passenger's head,
The motion tracker device according to claim 1, wherein the camera device is attached to a moving body on which the passenger rides.
前記半導体レーザは、前記境界波長以下のレーザ光を発振することを特徴とする請求項３に記載のモーショントラッカ装置。 The passenger is wearing a night vision device that amplifies light having a wavelength longer than the boundary wavelength,
The motion tracker device according to claim 3, wherein the semiconductor laser oscillates a laser beam having a wavelength equal to or less than the boundary wavelength.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012019850A JP2013160513A (en) | 2012-02-01 | 2012-02-01 | Motion tracker device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012019850A JP2013160513A (en) | 2012-02-01 | 2012-02-01 | Motion tracker device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013160513A true JP2013160513A (en) | 2013-08-19 |
Family
ID=49172896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012019850A Pending JP2013160513A (en) | 2012-02-01 | 2012-02-01 | Motion tracker device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013160513A (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5085507A (en) * | 1989-12-27 | 1992-02-04 | Texas Instruments Incorporated | Device for three dimensional tracking of an object |
| JPH10511005A (en) * | 1990-01-08 | 1998-10-27 | ヘルス リサーチ インコーポレイテッド | Submersible lens fiber optic assembly |
| JP2003168115A (en) * | 2001-12-03 | 2003-06-13 | Nippon Telegr & Teleph Corp <Ntt> | Method and device of motion capture |
| JP2010038707A (en) * | 2008-08-05 | 2010-02-18 | Shimadzu Corp | Motion tracker device |
| US20110079703A1 (en) * | 2009-10-02 | 2011-04-07 | Teledyne Scientific & Imaging, Llc | Object tracking system |
-
2012
- 2012-02-01 JP JP2012019850A patent/JP2013160513A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5085507A (en) * | 1989-12-27 | 1992-02-04 | Texas Instruments Incorporated | Device for three dimensional tracking of an object |
| JPH10511005A (en) * | 1990-01-08 | 1998-10-27 | ヘルス リサーチ インコーポレイテッド | Submersible lens fiber optic assembly |
| JP2003168115A (en) * | 2001-12-03 | 2003-06-13 | Nippon Telegr & Teleph Corp <Ntt> | Method and device of motion capture |
| JP2010038707A (en) * | 2008-08-05 | 2010-02-18 | Shimadzu Corp | Motion tracker device |
| US20110079703A1 (en) * | 2009-10-02 | 2011-04-07 | Teledyne Scientific & Imaging, Llc | Object tracking system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5594944B2 (en) | Motion tracker device | |
| EP3268798B1 (en) | Dual-mode illuminator for imaging under different lighting conditions | |
| US8384912B2 (en) | Wide field of view optical tracking system | |
| US8237101B2 (en) | Object tracking system having at least one angle-of-arrival sensor which detects at least one linear pattern on a focal plane array | |
| JP5145832B2 (en) | Head-mounted display device and head-mounted display device system | |
| JP4961904B2 (en) | Head motion tracker device | |
| JP4924342B2 (en) | Motion tracker device | |
| JP5292725B2 (en) | Motion tracker device | |
| JP5092279B2 (en) | Head motion tracker device and method of using the same | |
| JP5505363B2 (en) | Motion tracker device | |
| JP4665872B2 (en) | Head motion tracker device | |
| JP4905321B2 (en) | Head motion tracker device | |
| JP2009036517A (en) | Head motion tracker device | |
| JP2014095557A (en) | Motion tracker device | |
| JP5092300B2 (en) | Head motion tracker device | |
| JP5029531B2 (en) | Motion tracker system and coordinate system setting method thereof | |
| JP4905311B2 (en) | Head motion tracker system and calibration device used therefor | |
| JP4656016B2 (en) | Motion tracker device | |
| JP4872768B2 (en) | Head motion tracker device | |
| JP2013160513A (en) | Motion tracker device | |
| JP4656017B2 (en) | Head motion tracker device | |
| JP4877138B2 (en) | Head motion tracker device | |
| JP2007334762A (en) | Head motion tracker | |
| JP4784591B2 (en) | Motion tracker device | |
| JP2015075350A (en) | Motion tracker device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151027 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151028 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160308 |