JP2021018206A - Head motion tracker device - Google Patents
Head motion tracker device Download PDFInfo
- Publication number
- JP2021018206A JP2021018206A JP2019135537A JP2019135537A JP2021018206A JP 2021018206 A JP2021018206 A JP 2021018206A JP 2019135537 A JP2019135537 A JP 2019135537A JP 2019135537 A JP2019135537 A JP 2019135537A JP 2021018206 A JP2021018206 A JP 2021018206A
- Authority
- JP
- Japan
- Prior art keywords
- head
- angle
- current frame
- environment information
- motion tracker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 48
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 239000012780 transparent material Substances 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 239000002390 adhesive tape Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、ヘッドモーショントラッカ装置に関する。 The present invention relates to a head motion tracker device.
従来、頭部の位置および角度を算出するヘッドモーショントラッカ装置が知られている（たとえば、特許文献１参照）。 Conventionally, a head motion tracker device for calculating the position and angle of a head is known (see, for example, Patent Document 1).
上記特許文献１のヘッドモーショントラッカ装置は、パイロットの頭部に装着される頭部装着体を備える。頭部装着体には、光線を出射する複数の頭部装着体発光部が設けられている。また、パイロットが搭乗するコックピット内にはカメラ装置が取り付けられている。また、ヘッドモーショントラッカ装置は、カメラ装置により取得される画像において映し出される頭部装着体発光部の位置情報に基づいて、カメラ装置に対するパイロットの頭部（頭部装着体）の位置および角度を含む相対情報を算出する相対情報算出部を備える。
The head motion tracker device of
しかしながら、上記特許文献１に記載されているヘッドモーショントラッカ装置では、カメラ装置がコックピット内に取り付けられているので、頭部の動きを適切に検出するために、カメラ装置の取り付け位置およびカメラ装置の取り付け方法の検討を行う必要がある。この場合、既存のコックピットにカメラ装置を後から取り付ける場合において、コックピットの形状、大きさ、および、コックピット内の装備品の位置等に起因して、カメラ装置を適切に取り付けるのが困難な場合がある。そこで、カメラ装置（撮像部）の取り付けを容易化しながら、頭部の動きを検出することが可能なヘッドモーショントラッカ装置が望まれていた。
However, in the head motion tracker device described in
この発明は、上記のような課題を解決するためになされたものであり、撮像部の取り付けを容易化しながら、頭部の動きを検出することが可能なヘッドモーショントラッカ装置を提供することである。 The present invention has been made to solve the above-mentioned problems, and is to provide a head motion tracker device capable of detecting the movement of the head while facilitating the attachment of the imaging unit. ..
上記目的を達成するために、この発明の一の局面におけるヘッドモーショントラッカ装置は、装着者の頭部に装着され、画像を撮像する撮像部を含む頭部装着部と、現在のフレームにおいて撮像部により撮像された現フレーム画像と、頭部装着部の周囲の特徴点の情報を含む周囲環境情報、および、現在のフレームよりも前の前フレームにおいて撮像部により撮像された前フレーム画像のうちの少なくとも一方とに基づいて、現在のフレームにおける頭部の位置および角度を算出する信号処理部と、を備える。 In order to achieve the above object, the head motion tracker device according to one aspect of the present invention is mounted on the wearer's head and includes a head-mounted portion including an imaging unit that captures an image, and an imaging unit in the current frame. Of the current frame image captured by the imaging unit, ambient environment information including information on feature points around the head-mounted portion, and a front frame image captured by the imaging unit in the front frame prior to the current frame. It includes a signal processing unit that calculates the position and angle of the head in the current frame based on at least one of them.
本発明によれば、上記のように、撮像部が頭部装着部に含まれている。これにより、頭部装着部以外の場所（たとえば、コックピット内の所定箇所）に撮像部が設けられる場合と異なり、頭部の周囲の状態（たとえば、装着者がいる部屋（コックピットなど）の形状、大きさ、上記部屋内の装備品等の位置）によって、撮像部の取り付け位置および撮像部の取り付け方法を検討する必要がない。なお、撮像部が頭部装着部に含まれている場合でも、撮像部により撮像された現フレーム画像と、周囲環境情報および前フレーム画像のうちの少なくとも一方とに基づいて、現在のフレームにおける頭部の位置および角度を算出することができる。その結果、撮像部の取り付けを容易化しながら、頭部の動きを検出することができる。 According to the present invention, as described above, the imaging unit is included in the head mounting unit. As a result, unlike the case where the imaging unit is provided in a place other than the head mounting part (for example, a predetermined place in the cockpit), the shape of the state around the head (for example, the shape of the room where the wearer is (for example, the cockpit)). It is not necessary to consider the mounting position of the imaging unit and the mounting method of the imaging unit depending on the size (position of the equipment and the like in the room). Even when the imaging unit is included in the head-mounted unit, the head in the current frame is based on the current frame image captured by the imaging unit and at least one of the ambient environment information and the previous frame image. The position and angle of the part can be calculated. As a result, the movement of the head can be detected while facilitating the attachment of the imaging unit.
以下、本発明を具体化した実施形態を図面に基づいて説明する。 Hereinafter, embodiments embodying the present invention will be described with reference to the drawings.
［本実施形態］
図１〜図７を参照して、ヘッドモーショントラッカ装置（頭部位置角度検出装置）１００について説明する。本実施形態では、ヘッドモーショントラッカ装置１００が、航空機２００において適用される例について説明する。なお、航空機２００は、特許請求の範囲の「機体」の一例である。
[The present embodiment]
The head motion tracker device (head position angle detecting device) 100 will be described with reference to FIGS. 1 to 7. In this embodiment, an example in which the head
図１に示すように、ヘッドモーショントラッカ装置１００は、頭部装着部１を備える。頭部装着部１は、ヘルメット形状を有しているが、ヘッドギア形状を有していてもよい。頭部装着部１は、航空機２００を操縦する操縦者２０１の頭部２０１ａに装着される。なお、操縦者２０１は、特許請求の範囲の「装着者」の一例である。
As shown in FIG. 1, the head
また、頭部装着部１には、操縦者２０１の眼前に設けられるバイザー２が設けられる。バイザー２を介して、操縦者２０１が航空機２００の操縦を補助する情報（たとえば機体姿勢および速度等のシンボル）が表示される。この表示を視認することにより、操縦者２０１は、航空機２００の機体姿勢および速度等を調整することが可能となる。
Further, the
図２に示すように、頭部装着部１には、カメラ３が設けられている。すなわち、カメラ３は、頭部装着部１と一体的に設けられている。ここで、本実施形態では、カメラ３は、頭部装着部１に複数（本実施形態では２つ）設けられている。２つのカメラ３は、頭部装着部１の前面において水平方向に並んで設けられている。なお、カメラ３の頭部装着部１における配置場所および並び方はこれに限られない。また、カメラ３のレンズの種類は限定されず、たとえば、広角レンズおよび魚眼レンズ等により構成されていてもよい。なお、カメラ３は、特許請求の範囲の「撮像部」の一例である。
As shown in FIG. 2, the
また、頭部装着部１には、近赤外光を照射する近赤外ＬＥＤ４が設けられている。近赤外ＬＥＤ４は、頭部装着部１に２つ設けられている。具体的には、水平方向において頭部装着部１の一方側に設けられている近赤外ＬＥＤ４は、頭部装着部１の一方側に設けられているカメラ３の撮像方向に近赤外光を照射する。また、水平方向において頭部装着部１の他方側に設けられている近赤外ＬＥＤ４は、頭部装着部１の他方側に設けられているカメラ３の撮像方向に近赤外光を照射する。頭部装着部１の一方側に設けられるカメラ３と近赤外ＬＥＤ４は隣接するように設けられ、頭部装着部１の他方側に設けられるカメラ３と近赤外ＬＥＤ４は隣接するように設けられている。なお、近赤外ＬＥＤ４および近赤外光は、それぞれ、特許請求の範囲の「光源部」および「非可視光」の一例である。
Further, the head-mounted
また、本実施形態では、カメラ３は、可視領域の波長から非可視領域の波長までの光を検出可能に構成されている。具体的には、カメラ３は、可視光および近赤外光の検出が可能に構成されている。
Further, in the present embodiment, the
また、ヘッドモーショントラッカ装置１００は、近赤外ＬＥＤ４から照射される近赤外光を照射方向（カメラ３側）に反射する再帰性反射体５を備える。再帰性反射体５とは、光が入射された方向（照射方向）に光を反射させる反射体を意味する。再帰性反射体５は、航空機２００のコックピット２００ａ内の機体フレーム２００ｂ、キャノピー２００ｃ、および、ウィンドウ２００ｄ（図１参照）の各々に取り付けられている。なお、再帰性反射体５は、操縦者２０１の視認性を阻害しなければ、機体フレーム２００ｂ、キャノピー２００ｃ、および、ウィンドウ２００ｄ以外の場所にも取り付けられていてもよい。
Further, the head
また、再帰性反射体５は、透明な材質により形成されている。また、再帰性反射体５は、裏面に粘着テープ等が設けられたシート状の反射体であり、機体フレーム２００ｂ、キャノピー２００ｃ、および、ウィンドウ２００ｄの各々に貼り付けられている。
Further, the
図３に示すように、頭部装着部１は、センサ６を含む。センサ６は、２つのカメラ３の各々に設けられている第１センサ６ａを含む。第１センサ６ａは、カメラ３の傾斜角度および向きを検出する。
As shown in FIG. 3, the
また、センサ６は、第２センサ６ｂを含む。第２センサ６ｂは、頭部装着部１の加速度および角速度を検出する。
Further, the sensor 6 includes a
また、ヘッドモーショントラッカ装置１００は、信号処理部７を備える。信号処理部７は、頭部装着部１に内蔵されている。信号処理部７は、制御部７ａと、画像処理部７ｂと、センサデータ処理部７ｃと、記憶部７ｄと、比較部７ｅと、頭部角度位置算出部７ｆと、を含む。
Further, the head
制御部７ａは、カメラ３および近赤外ＬＥＤ４の各々に制御信号を送信するように構成されている。具体的には、制御部７ａは、たとえば、カメラ３および近赤外ＬＥＤ４の各々のオンオフを制御する信号、および、近赤外ＬＥＤ４の発光強度等を制御する信号を送信する。
The
具体的には、制御部７ａは、夜間等の周囲が暗い場合には、近赤外ＬＥＤ４をオンさせる制御信号を送る。また、昼間等の周囲が明るい場合にも近赤外ＬＥＤ４をオンさせてもよい。なお、近赤外ＬＥＤ４は、近赤外光の波長が８５０ｎｍ以上であるように構成されている。また、近赤外ＬＥＤ４は、夜間等の周囲が暗い場合で暗視機能を使用する用途では、９３０ｎｍ以上の波長の近赤外光を使用可能に構成されている。これにより、夜間等において、近赤外ＬＥＤ４からの近赤外光による暗視機能等への影響を低減することが可能である。
Specifically, the
また、画像処理部７ｂは、２つのカメラ３の各々により撮像された画像に基づいて、画像処理を行うように構成されている。たとえば、画像処理部７ｂは、画像における光学歪補正および特徴点抽出等を行う。
Further, the
また、センサデータ処理部７ｃは、第１センサ６ａおよび第２センサ６ｂの各々の検出値（センサデータ）に基づいて、処理を行うように構成されている。
Further, the sensor
また、記憶部７ｄには、頭部装着部１の周囲の特徴点の情報を含む周囲環境情報が記憶されている。具体的には、周囲環境情報とは、周囲の特徴点の、所定の機体の基準座標における３次元座標情報である。また、周囲環境情報とは、所定の角度に傾いた頭部２０１ａにおいて、所定の位置からカメラ３により画像（頭部２０１ａの周囲の環境）を撮像した場合に撮像された画像において、上記特徴点が取得される位置の情報（画像上における位置の情報）に換算可能な情報を少なくとも含む。また、周囲環境情報は、上記特徴点が取得される位置の情報に加えて、上記特徴点の大きさの情報等を含んでいてもよい。また、カメラ３により取得された後述する前フレーム画像または画像中の特徴点は、記憶部７ｄに格納される。
Further, the
ここで、本実施形態では、周囲環境情報は、操縦者２０１の周囲に設けられた装備品の少なくとも位置情報を含む。たとえば、周囲環境情報は、再帰性反射体５の位置情報、機体フレーム２００ｂの位置情報、キャノピー２００ｃの位置情報、および、ウィンドウ２００ｄの位置情報等を含む。なお、機体フレーム２００ｂ、キャノピー２００ｃ、ウィンドウ２００ｄ、および、再帰性反射体５の各々は、上記装備品の一例である。なお、周囲環境情報は、コックピット２００ａの壁面、天井面、および、角部等の位置情報等を含んでいてもよい。
Here, in the present embodiment, the ambient environment information includes at least the position information of the equipment provided around the
また、比較部７ｅは、現在のフレームにおいてカメラ３により撮像された画像（以下、現フレーム画像）と、現在のフレームよりも前のフレームにおいてカメラ３により撮像された画像（以下、前フレーム画像）とを比較するように構成されている。また、比較部７ｅは、現フレーム画像と、記憶部７ｄに記憶された周囲環境情報とを比較するように構成されている。なお、カメラ３のフレームレートは、たとえば６０Ｈｚ以上である。
Further, the
また、頭部角度位置算出部７ｆは、比較部７ｅによる比較結果に基づいて、頭部２０１ａ（頭部装着部１）の角度および位置を算出するように構成されている。頭部角度位置算出部７ｆにより算出された頭部２０１ａの角度および位置の情報は、ＨＭＤ回路（図示せず）を含む装置（図示せず）に送信される。上記ＨＭＤ回路は、送信された頭部２０１ａの角度および位置の情報に基づいて、バイザー２を介して操縦者２０１に表示する画像を作成する。なお、上記ＨＭＤ回路を含む装置は、頭部装着部１の外部および内部のいずれに設けられていてもよい。
Further, the head angle position calculation unit 7f is configured to calculate the angle and position of the
ここで、本実施形態では、信号処理部７は、現フレーム画像と、周囲環境情報および前フレーム画像のうちの少なくとも一方とに基づいて、現在のフレームにおける頭部２０１ａの位置および角度を算出するように構成されている。具体的には、信号処理部７は、現フレーム画像と、周囲環境情報および前フレーム画像のうちの少なくとも一方とを比較することにより、現在のフレームにおける頭部２０１ａの位置および角度を算出するように構成されている。なお、信号処理部７は、上記比較において、周囲環境情報および前フレーム画像のうちのいずれを使用するかを切り替えるように構成されていてもよいし、いずれか一方のみを使用するように構成されていてもよい。
Here, in the present embodiment, the signal processing unit 7 calculates the position and angle of the
（現フレーム画像と前フレーム画像との比較による算出）
図４を参照して、現フレーム画像と前フレーム画像とを比較することにより、現在のフレームにおける頭部２０１ａの位置および角度を算出する場合の信号処理部７の制御について説明する。
(Calculated by comparing the current frame image with the previous frame image)
The control of the signal processing unit 7 when calculating the position and angle of the
図４に示すように、ステップＳ１において、信号処理部７（頭部角度位置算出部７ｆ）は、初期のフレームの画像（以下、初期フレーム画像）と周囲環境情報とに基づいて、初期のフレームにおける頭部２０１ａの位置および角度の基準値を算出するように構成されている。具体的には、信号処理部７（頭部角度位置算出部７ｆ）は、初期フレーム画像において取得された所定の特徴点（たとえば再帰性反射体５）と、所定の角度で所定の位置に設けられている頭部２０１ａに対応する周囲環境情報に含まれる上記所定の特徴点の位置情報等とを比較する。この比較結果により算出される上記所定の特徴点の位置および大きさ等の変化量に基づいて、上記周囲環境情報に対応する上記所定の角度および上記所定の位置と、初期のフレームにおける頭部２０１ａの位置および角度との差異が検出される。その結果、初期のフレームにおける頭部２０１ａの位置および角度（基準値）が算出される。
As shown in FIG. 4, in step S1, the signal processing unit 7 (head angle position calculation unit 7f) sets the initial frame based on the image of the initial frame (hereinafter referred to as the initial frame image) and the surrounding environment information. It is configured to calculate the reference value of the position and the angle of the
次に、ステップＳ２において、本実施形態では、信号処理部７（頭部角度位置算出部７ｆ）は、上記基準値、および、前フレーム画像と現フレーム画像との比較結果に基づいて、現在のフレームの頭部２０１ａの位置および角度を算出するように構成されている。
Next, in step S2, in the present embodiment, the signal processing unit 7 (head angle position calculation unit 7f) is currently based on the reference value and the comparison result between the previous frame image and the current frame image. It is configured to calculate the position and angle of the
具体的には、信号処理部７（頭部角度位置算出部７ｆ）は、上記基準値、および、初期フレーム画像と初期のフレームの次のフレーム（以下、Ｎ１フレーム）における画像との比較結果に基づいて、Ｎ１フレームにおける頭部２０１ａの位置および角度を算出する。具体的な算出方法としては、上記ステップＳ１で説明した方法と同様である。すなわち、初期フレーム画像において取得された所定の特徴点（たとえば再帰性反射体５）と、Ｎ１フレーム画像において取得された上記所定の特徴点とが比較される。この比較結果により算出される上記所定の特徴点の位置および大きさ等の変化量に基づいて、初期フレームにおける頭部２０１ａの位置および角度と、Ｎ１フレームにおける頭部２０１ａの位置および角度との差異（すなわち頭部２０１ａの位置および角度の各々の変化量）が検出される。その結果、Ｎ１フレームにおける頭部２０１ａの位置および角度が算出される。
Specifically, the signal processing unit 7 (head angle position calculation unit 7f) is based on the above reference value and the comparison result between the initial frame image and the image in the next frame (hereinafter, N1 frame) of the initial frame. Based on this, the position and angle of the
次に、Ｎ１フレームにおける頭部２０１ａの位置および角度を基準値として、Ｎ１フレームの画像とＮ１フレームの次のフレーム（以下、Ｎ２フレーム）の画像との比較結果に基づいて、Ｎ２フレームにおける頭部２０１ａの位置および角度が算出される。このように、フレーム間の画像の比較が各フレームにおいて行われることによって、各フレームにおける頭部２０１ａの位置および角度が算出される。これにより、現在のフレームの頭部２０１ａの位置および角度が算出される。
Next, using the position and angle of the
（現フレーム画像と周囲環境情報との比較による算出）
次に、図５を参照して、現フレーム画像と周囲環境情報とを比較することにより、現在のフレームにおける頭部２０１ａの位置および角度を算出する場合の信号処理部７の制御について説明する。
(Calculated by comparing the current frame image with the surrounding environment information)
Next, with reference to FIG. 5, the control of the signal processing unit 7 when calculating the position and angle of the
まず、ステップＳ１１において、信号処理部７（頭部角度位置算出部７ｆ）は、初期のフレームの画像（以下、初期フレーム画像）と周囲環境情報とに基づいて、初期のフレームにおける頭部２０１ａの位置および角度の基準値を算出するように構成されている。この制御は、上記ステップＳ１と同じであるので、詳細な説明は省略する。
First, in step S11, the signal processing unit 7 (head angle position calculation unit 7f) of the
次に、ステップＳ１２において、信号処理部７（頭部角度位置算出部７ｆ）は、前フレームにおける頭部２０１ａの位置および角度と、センサ６の検出値とに基づいて、現在のフレームの頭部２０１ａの概略的な位置および概略的な角度を算出する。この際、センサ６の検出値として、第１センサ６ａにより検出されたカメラ３の傾斜角度および向きのデータと、第２センサ６ｂにより検出された頭部装着部１の加速度および角速度のデータとが用いられる。
Next, in step S12, the signal processing unit 7 (head angle position calculation unit 7f) heads the current frame based on the position and angle of the
次に、ステップＳ１３において、本実施形態では、信号処理部７は、現フレーム画像と、頭部２０１ａの上記概略的な位置および上記概略的な角度に対応する周囲環境情報とを比較することにより、現在のフレームの頭部２０１ａの位置および角度を算出するように構成されている。具体的には、信号処理部７は、記憶部７ｄ（図３参照）に記憶されている周囲環境情報のうち、頭部２０１ａの上記概略的な位置および上記概略的な角度に対応する周囲環境情報を取得する（読み出す）とともに、記憶部７ｄから取得された（読み出された）周囲環境情報と、現フレーム画像との比較を行う。
Next, in step S13, in the present embodiment, the signal processing unit 7 compares the current frame image with the ambient environment information corresponding to the above-mentioned approximate position and the above-mentioned approximate angle of the
詳細には、信号処理部７（頭部角度位置算出部７ｆ）は、現フレーム画像において取得された所定の特徴点（たとえば再帰性反射体５）と、上記概略的な位置および上記概略的な角度に対応する周囲環境情報に含まれる上記所定の特徴点の位置情報等とを比較する。この比較結果により算出される上記所定の特徴点の位置等の差異に基づいて、上記周囲環境情報と、現在のフレームにおける頭部２０１ａの位置および角度との差異が検出される。その結果、現在のフレームにおける頭部２０１ａの位置および角度が算出される。なお、ステップＳ１２において用いられた前フレームにおける頭部２０１ａの位置および角度は、ステップＳ１１において算出された基準値に基づいて、ステップＳ１３の制御がフレーム毎に繰り返し行われることにより算出されている。
Specifically, the signal processing unit 7 (head angle position calculation unit 7f) includes a predetermined feature point (for example, a retroreflector 5) acquired in the current frame image, the above-mentioned schematic position, and the above-mentioned schematic position. Compare with the position information of the above-mentioned predetermined feature points included in the surrounding environment information corresponding to the angle. Based on the difference such as the position of the predetermined feature point calculated from the comparison result, the difference between the surrounding environment information and the position and angle of the
また、ヘッドモーショントラッカ装置１００（信号処理部７）では、現フレーム画像と前フレーム画像との比較を行う制御と、現フレーム画像と周囲環境情報との比較を行う制御との切り替え可能に構成されていてもよい。たとえば、通常時は現フレーム画像と周囲環境情報との比較が行われる一方、第１センサ６ａまたは第２センサ６ｂの情報から周囲環境情報の取得ができなかった場合などに、現フレーム画像と前フレーム画像との比較を行う制御に切り替えられるように構成されていてもよい。また、通常時は現フレーム画像と前フレーム画像との比較が行われる一方、カメラ３により前フレーム画像が撮像されなかった場合などに、現フレーム画像と周囲環境情報との比較を行う制御に切り替えられるように構成されていてもよい。なお、途中で制御が切り替えられる場合は、上記ステップＳ１（図４参照）およびステップＳ１１（図５参照）の制御は行わなくてもよい。また、現フレーム画像と前フレーム画像との比較を行う制御と、現フレーム画像と周囲環境情報との比較を行う制御のうちのいずれか一方の制御のみが行われるように構成されていてもよい。
Further, the head motion tracker device 100 (signal processing unit 7) is configured to be switchable between a control for comparing the current frame image and the previous frame image and a control for comparing the current frame image with the surrounding environment information. You may be. For example, while the current frame image is normally compared with the surrounding environment information, the current frame image and the previous frame image may not be obtained when the surrounding environment information cannot be obtained from the information of the
また、本実施形態では、信号処理部７は、現在のフレームの頭部２０１ａの位置および角度の算出が所定の時間（たとえば１フレーム）内に行われなかった場合に、センサ６の検出値に基づいて補間を行うように構成されている。信号処理部７は、上記補間を行うことにより、前フレームにおける頭部２０１ａの位置および角度から、現在のフレームの頭部２０１ａの位置および角度を算出するように構成されている。具体的には、信号処理部７は、現在のフレームの頭部２０１ａの位置および角度の算出が所定の時間内に行われなかった場合に、前フレームにおける頭部２０１ａの位置および角度と、第２センサ６ｂにより検出された頭部装着部１の加速度および角速度とに基づいて、現在のフレームの頭部２０１ａの位置および角度を補間により算出する。
Further, in the present embodiment, the signal processing unit 7 determines the detection value of the sensor 6 when the position and angle of the
この場合、信号処理部７に設けられる図示しないタイマ等により、上記算出が所定の時間内に行われたか否かを検知可能に構成されていてもよい。なお、現在のフレームの頭部２０１ａの位置および角度の算出が所定の時間内に行われない場合とは、ノイズ等に起因してカメラ３により適切な画像が撮像されなかったことに起因して、現フレーム画像において前フレーム画像（周囲環境情報）等と位置の比較が行われる所定の特徴点（たとえば再帰性反射体５）の検出（発見）に時間を要した場合等が考えられる。
In this case, a timer (not shown) provided in the signal processing unit 7 may be configured to be able to detect whether or not the above calculation has been performed within a predetermined time. The case where the position and angle of the
また、図６を参照して、現在のフレームの頭部２０１ａの位置および角度に対応する周囲環境情報が記憶部７ｄに記憶されていない場合の信号処理部７の制御ついて説明する。
Further, with reference to FIG. 6, the control of the signal processing unit 7 when the ambient environment information corresponding to the position and angle of the
図６に示すように、現在のフレームよりも前のフレームにおいて、周囲環境情報が記憶部７ｄに記憶されている領域Ａの方向に頭部２０１ａが向いた状態で画像３００が取得されたとする。また、現在のフレームにおいて、周囲環境情報が記憶部７ｄに記憶されていない領域Ｂの方向に頭部２０１ａが向いた状態で画像３０１が取得されているとする。
As shown in FIG. 6, it is assumed that the
この場合、本実施形態では、周囲環境情報が記憶部７ｄに記憶されている頭部２０１ａの位置および角度（領域Ａの方向に対する頭部２０１ａの位置および角度）と、周囲環境情報が記憶部７ｄに記憶されていない頭部２０１ａの位置（領域Ｂの方向に対する頭部２０１ａの位置）からの頭部２０１ａの移動量Ｌと、現フレーム画像（この場合、画像３０１）とに基づいて、現在のフレームの頭部２０１ａの位置および角度を算出するように構成されている。
In this case, in the present embodiment, the position and angle of the
具体的には、信号処理部７は、画像３００および領域Ａの方向に対応する周囲環境情報から領域Ａの方向に対する頭部２０１ａの位置および角度を算出するように構成されている。また、信号処理部７は、前フレーム画像（画像３００）および現フレーム画像（画像３０１）の各々において同一の所定の特徴点（たとえば再帰性反射体５）が取得されている場合に、上記所定の特徴点の位置、方向および大きさ等の変化量に基づいて、フレーム間における頭部２０１ａの位置の移動量Ｌ（および頭部２０１ａの角度の変化量）を算出する。そして、信号処理部７は、領域Ａの方向に対する頭部２０１ａの位置および角度と、頭部２０１ａの位置の移動量Ｌ（および頭部２０１ａの角度の変化量）とに基づいて、領域Ｂの方向に対する頭部２０１ａの位置および角度を算出する。
Specifically, the signal processing unit 7 is configured to calculate the position and angle of the
さらに、信号処理部７は、領域Ａの方向に対する頭部２０１ａの位置および角度と、頭部２０１ａの位置の移動量Ｌ（および頭部２０１ａの角度の変化量）と、現フレーム画像（画像３０１）とに基づいて、現在のフレームの頭部２０１ａの位置および角度に対応する周囲環境情報の作成および記憶部７ｄへの登録を行う。具体的には、領域Ｂに対応する画像３０１から特徴点が抽出されるとともに、抽出された領域Ｂに対応する特徴点と、領域Ｂの方向に対する頭部２０１ａの位置および角度とに基づいて、領域Ｂに対応する周囲環境情報が新たに作成されるとともに記憶部７ｄに登録（追加）される。これにより、周囲環境情報がない領域の方向でも、頭部２０１ａの位置および角度算出が可能になるとともに、この処理が繰り返し行われることにより、周囲環境情報をさらに更新（増加）することが可能である。その結果、上記処理が行われる度に、頭部２０１ａの位置および角度の算出の精度を向上させることが可能である。
Further, the signal processing unit 7 includes a position and angle of the
また、現フレーム画像（画像３０１）において前フレーム画像（画像３００）と同一の所定の特徴点（たとえば再帰性反射体５）が取得されない場合には、領域Ａと領域Ｂとの中間領域（領域Ａと領域Ｂとに跨る領域）に対する頭部２０１ａの位置および角度に基づいて、現在のフレームの頭部２０１ａの位置および角度を算出してもよい。なお、現在のフレームまでに、中間領域の方向に頭部２０１ａが向いた状態で画像３０２が取得されているとする。
Further, when the same predetermined feature point (for example, retroreflective body 5) as that of the previous frame image (image 300) is not acquired in the current frame image (image 301), an intermediate region (region) between the region A and the region B is not acquired. The position and angle of the
この場合、中間領域に対応する画像３０２のうちの領域Ａ側の画像と、領域Ａ側に対応する周囲環境情報とに基づいて、中間領域に対する頭部２０１ａの位置および角度が算出される。また、中間領域に対応する画像３０２のうちの領域Ｂ側の画像から特徴点（たとえば再帰性反射体５）が抽出される。抽出された領域Ｂ側の特徴点と、中間領域に対する頭部２０１ａの位置および角度とに基づいて、中間領域に対応する周囲環境情報が作成されるとともに登録される。
In this case, the position and angle of the
そして、信号処理部７は、中間領域に対応する画像３０２および現フレーム画像（画像３０１）の各々における同一の所定の特徴点の位置、方向および大きさ等の変化量に基づいて算出される頭部２０１ａの位置の移動量（頭部２０１ａの角度の変化量）と、中間領域に対する頭部２０１ａの位置および角度とに基づいて、領域Ｂの方向に対する頭部２０１ａの位置および角度を算出する。その後、上記と同様に、領域Ｂに対応する周囲環境情報が新たに作成されるとともに記憶部７ｄに登録（追加）される。
Then, the signal processing unit 7 calculates the head based on the amount of change in the position, direction, size, etc. of the same predetermined feature point in each of the
また、現フレーム画像（画像３０１）において前フレーム画像（画像３００）と同一の所定の特徴点（たとえば再帰性反射体５）が取得されない場合で、かつ、中間領域において画像が取得されない場合には、領域Ａの方向に対応する頭部２０１ａの位置および角度と、第２センサ６ｂにより検出された加速度および角速度とにより、領域Ｂに対応する頭部２０１ａの位置および角度を算出してもよい。
Further, when the same predetermined feature point (for example, retroreflective body 5) as that of the previous frame image (image 300) is not acquired in the current frame image (image 301) and the image is not acquired in the intermediate region. , The position and angle of the
また、本実施形態では、信号処理部７は、周囲環境情報のアライメント情報を予め取得し、取得したアライメント情報を反映した周囲環境情報を用いて頭部２０１ａの位置および角度を算出するように構成されている。
Further, in the present embodiment, the signal processing unit 7 is configured to acquire the alignment information of the surrounding environment information in advance and calculate the position and angle of the
具体的には、図７に示すように、アライメント装置２０２により、航空機２００の姿勢情報および方位情報に基づいたアライメントに関するデータ（以下、アライメントデータ）を取得しておく。アライメントデータとは、たとえば、航空機２００が飛行していない状態において、航空機２００の機体の基準座標に対する航空機２００の傾斜角度等の情報を含む。すなわち、機体静止状態での所定の機体の基準座標に対する周囲環境情報の位置情報を予め取得するアライメントが行われる。
Specifically, as shown in FIG. 7, the
アライメント装置２０２は、アライメント時のみ使用され、アライメント装置２０２には、航空機２００のインターフェースから機体姿勢および方位情報が入力される。なお、ヘッドモーショントラッカ装置１００自体が航空機２００のインターフェースに直接的に接続されていてもよい。
The
また、ヘッドモーショントラッカ装置１００は、無線（たとえばＷｉｆｉ）または有線（たとえばイーサネット（登録商標））を介して、アライメント装置２０２からアライメントデータを取得している。
Further, the head
また、信号処理部７では、アライメント装置２０２から取得したアライメントデータ（機体姿勢および方位情報）および現フレーム画像の特徴点と、第１センサ６ａにより検出されたカメラ３の傾斜角度および向きのデータとの対応付けが行われる。そして、信号処理部７（たとえば記憶部７ｄ）に、現フレーム画像の特徴点の、所定の機体の基準座標に対する３次元座標および形状等の情報テーブル（上記アライメント情報の一例）が保持される。信号処理部７は、上記テーブルを参照することにより、所定の機体の基準座標に対する現在のフレームにおける頭部２０１ａの位置および角度を算出する。具体的には、上記ステップＳ１（図４参照）および上記ステップＳ１１（図５参照）の各々において上記テーブルの情報が考慮された状態で、頭部２０１ａの位置および角度の算出が行われる。言い換えれば、現在のフレームにおける頭部２０１ａの位置および角度は、上記テーブルの情報により補正された上記基準値に基づいて算出される。
In addition, the signal processing unit 7 includes alignment data (aircraft orientation and orientation information) acquired from the
なお、ヘッドモーショントラッカ１００の使用時には、現在のフレームにおける頭部２０１ａの位置および角度を算出において、航空機２００が飛行時の機体姿勢、方向、加速度、および、角速度等の情報が参照（図３参照）される。
When using the
（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。
(Effect of this embodiment)
In this embodiment, the following effects can be obtained.
本実施形態では、上記のように、ヘッドモーショントラッカ装置１００は、操縦者２０１の頭部２０１ａに装着され、画像を撮像するカメラ３を含む頭部装着部１を備える。また、ヘッドモーショントラッカ装置１００は、現在のフレームにおいてカメラ３により撮像された現フレーム画像と、頭部装着部１の周囲の特徴点の情報を含む周囲環境情報、および、現在のフレームよりも前の前フレームにおいてカメラ３により撮像された前フレーム画像のうちの少なくとも一方とに基づいて、現在のフレームにおける頭部２０１ａの位置および角度を算出する信号処理部７を備える。これにより、頭部装着部１以外の場所にカメラ３が設けられる場合と異なり、頭部２０１ａの周囲の状態（たとえば、コックピット２００ａの形状、大きさ、コックピット２００ａ内の装備等の位置）によって、カメラ３の取り付け位置およびカメラ３の取り付け方法を検討する必要がない。なお、カメラ３が頭部装着部１に含まれている場合でも、カメラ３により撮像された現フレーム画像と、周囲環境情報および前フレーム画像のうちの少なくとも一方とに基づいて、現在のフレームにおける頭部２０１ａの位置および角度を算出することができる。その結果、カメラ３の取り付けを容易化しながら、頭部２０１ａの動きを検出することができる。
In the present embodiment, as described above, the head
また、本実施形態では、上記のように、信号処理部７を、現フレーム画像と、周囲環境情報および前フレーム画像のうちの少なくとも一方とを比較することにより、現在のフレームにおける頭部２０１ａの位置および角度を算出するように構成する。これにより、周囲環境情報および前フレーム画像を基準に、現在のフレームにおける頭部２０１ａの位置および角度を算出することができる。その結果、現在のフレームにおける頭部２０１ａの位置および角度を容易に算出することができる。
Further, in the present embodiment, as described above, the signal processing unit 7 compares the current frame image with at least one of the surrounding environment information and the previous frame image to obtain the
また、本実施形態では、上記のように、信号処理部７を、周囲環境情報としての、操縦者２０１の周囲に設けられた装備品（再帰性反射体５、機体フレーム２００ｂ、キャノピー２００ｃ、および、ウィンドウ２００ｄ）の少なくとも位置情報に基づいて、現在のフレームの頭部２０１ａの位置および角度を算出するように構成する。ここで、上記装備品の位置情報は、信号処理部７による制御中に変化しない情報である。したがって、上記装備品の位置情報に基づいて、現在のフレームの頭部２０１ａの位置および角度を算出することによって、制御中に変化する情報に基づいて制御を行う場合に比べて、信号処理部７の制御を簡易化することができる。
Further, in the present embodiment, as described above, the signal processing unit 7 is provided with the equipment (
また、本実施形態では、上記のように、上記装備品としての、近赤外ＬＥＤ４から照射される近赤外光を照射方向に反射する再帰性反射体５を備えるように、ヘッドモーショントラッカ装置１００を構成する。ここで、再帰性反射体５は、照射方向に近赤外光を反射するので、暗所においてもカメラ３により容易に視認される。また、再帰性反射体５を設けることによって、再帰性反射体５以外の部品がカメラ３により視認され難くなるので、カメラ３により取得可能な情報量が低減される。その結果、再帰性反射体５を設けることにより、暗所においても現在のフレームの頭部２０１ａの位置および角度を算出することができるとともに、カメラ３により取得可能な情報量の低減に起因して上記算出における信号処理部７の処理の負荷を低減することができる。
Further, in the present embodiment, as described above, the head motion tracker device includes the
また、本実施形態では、上記のように、再帰性反射体５が、透明な材質により形成されるように、ヘッドモーショントラッカ装置１００を構成する。これにより、操縦者２０１の視認性が再帰性反射体５により阻害されるのを抑制することができる。
Further, in the present embodiment, as described above, the head
また、本実施形態では、上記のように、信号処理部７を、初期のフレームの初期フレーム画像と周囲環境情報とに基づいて、初期のフレームにおける頭部２０１ａの位置および角度の基準値を算出するとともに、上記基準値、および、前フレーム画像と現フレーム画像との比較結果に基づいて、現在のフレームの頭部２０１ａの位置および角度を算出するように構成する。これにより、上記基準値を用いずに、前フレーム画像と現フレーム画像との比較結果だけに基づいて上記算出を行う場合に比べて、上記算出をより正確に行うことができる。
Further, in the present embodiment, as described above, the signal processing unit 7 calculates the reference value of the position and angle of the
また、本実施形態では、上記のように、信号処理部７を、前フレームにおける頭部２０１ａの位置および角度と、センサ６の検出値とに基づいて、現在のフレームの頭部２０１ａの概略的な位置および概略的な角度を算出するように構成する。さらに、信号処理部７を、現フレーム画像と、頭部２０１ａの概略的な位置および概略的な角度に対応する周囲環境情報とを比較することにより、現在のフレームの頭部２０１ａの位置および角度を算出するように構成する。これにより、現在のフレームの頭部２０１ａの概略的な位置および概略的な角度を算出することにより、現フレーム画像が有する環境情報と、比較対象の周囲環境情報（すなわち上記概略的な位置および概略的な角度に対応する周囲環境情報）との差異を比較的小さくすることができる。その結果、現在のフレームの頭部２０１ａの位置および角度の算出を速やかに、かつ、正確に行うことができる。
Further, in the present embodiment, as described above, the signal processing unit 7 approximates the
また、本実施形態では、上記のように、周囲環境情報が記憶されている記憶部７ｄを備えるように、ヘッドモーショントラッカ装置１００を構成する。また、信号処理部７を、現在のフレームの頭部２０１ａの位置および角度に対応する周囲環境情報が記憶部７ｄに記憶されていない場合に、周囲環境情報が記憶部７ｄに記憶されている頭部２０１ａの位置および角度と、周囲環境情報が記憶部７ｄに記憶されている頭部２０１ａの位置からの頭部２０１ａの移動量Ｌと、現フレーム画像とに基づいて、現在のフレームの頭部２０１ａの位置および角度を算出するとともに現在のフレームの頭部２０１ａの位置および角度に対応する周囲環境情報の作成および記憶部７ｄへの登録を行うように構成する。これにより、現在のフレームの頭部２０１ａの位置および角度に対応する周囲環境情報が記憶部７ｄに記憶されていない場合でも、現在よりも前のフレームにおける情報を用いることによって、現在のフレームの頭部２０１ａの位置および角度を容易に算出することができる。さらに、頭部２０１ａの位置および角度の算出とともに、現在のフレームの頭部２０１ａの位置および角度に対応する周囲環境情報の作成および記憶部７ｄへの登録を行うことによって、次回以降の頭部２０１ａの位置および角度の算出を容易化することができる。
Further, in the present embodiment, as described above, the head
また、本実施形態では、上記のように、信号処理部７を、現在のフレームの頭部２０１ａの位置および角度の算出が所定の時間内に行われなかった場合に、センサ６の検出値に基づいて補間することにより、前フレームにおける頭部２０１ａの位置および角度から、現在のフレームの頭部２０１ａの位置および角度を算出するように構成する。これにより、現在のフレームにおいて頭部２０１ａの位置および角度の算出が所定の時間内に行われなかった場合でも、上記補間より、現在のフレームに対応する頭部２０１ａの位置および角度を取得することができる。
Further, in the present embodiment, as described above, when the position and angle of the
また、本実施形態では、上記のように、信号処理部７を、周囲環境情報のアライメント情報を予め取得し、取得したアライメント情報を反映した周囲環境情報を用いて頭部２０１ａの位置および角度を算出するように構成する。これにより、アライメント情報が反映された周囲環境情報に基づいて頭部２０１ａの位置および角度の算出を行うことによって、頭部２０１ａの位置および角度をより正確に算出することができる。
Further, in the present embodiment, as described above, the signal processing unit 7 acquires the alignment information of the surrounding environment information in advance, and uses the ambient environment information reflecting the acquired alignment information to determine the position and angle of the
また、本実施形態では、上記のように、カメラ３が、頭部装着部１に複数設けられるように、ヘッドモーショントラッカ装置１００を構成する。これにより、頭部装着部１にカメラ３が１つだけ設けられている場合に比べて、頭部から見てより広範囲の領域の画像を取得することができる。
Further, in the present embodiment, as described above, the head
また、本実施形態では、上記のように、カメラ３を、可視領域の波長から非可視領域の波長までの光を検出可能に構成する。これにより、昼間等の周囲が明るい場合においては頭部の周囲の画像を可視光を用いてカメラ３により撮像することができる。さらに、夜間等の周囲が暗いため可視画像の取得が困難な場合にも、頭部の周囲の画像を非可視光を用いてカメラ３により容易に撮像することができる。
Further, in the present embodiment, as described above, the
（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。
(Modification example)
It should be noted that the embodiments disclosed this time are exemplary in all respects and are not considered to be restrictive. The scope of the present invention is shown by the scope of claims, not the description of the above-described embodiment, and further includes all modifications (modifications) within the meaning and scope equivalent to the scope of claims.
たとえば、上記実施形態では、近赤外光（非可視光）が照射される近赤外ＬＥＤ４（光源部）が設けられている例を示したが、本発明はこれに限られない。たとえば、光源部は、紫外線を照射し、カメラは紫外線対応可能なもので構成してもよい。 For example, in the above embodiment, an example in which a near-infrared LED 4 (light source unit) irradiated with near-infrared light (invisible light) is provided, but the present invention is not limited to this. For example, the light source unit may be irradiated with ultraviolet rays, and the camera may be configured to be compatible with ultraviolet rays.
また、上記実施形態では、航空機２００における構成を例に示したが、本発明はこれに限られない。たとえば、自動車、船舶、および、シミュレータ等に上記実施形態に記載のヘッドモーショントラッカ装置が用いられてもよい。
Further, in the above embodiment, the configuration of the
また、上記実施形態では、カメラ３（撮像部）が頭部装着部１に２つ設けられる例を示したが、本発明はこれに限られない。たとえば、カメラ３（撮像部）は、頭部装着部１に１つ、または、３つ以上設けられていてもよい。また、カメラ３とは異なる個数の近赤外ＬＥＤ４（光源部）が設けられていてもよい。
Further, in the above embodiment, an example is shown in which two cameras 3 (imaging units) are provided on the
また、上記実施形態では、信号処理部７は、頭部装着部１に内蔵されている例を示したが、本発明はこれに限られない。信号処理部７は、頭部装着部１の外部に設けられていてもよい。
Further, in the above embodiment, the signal processing unit 7 is incorporated in the
また、上記実施形態では、カメラ３（撮像部）の傾斜角度、カメラ３（撮像部）の向き、頭部装着部１の加速度、および、頭部装着部１の角速度がセンサ６により検出される例を示したが、本発明はこれに限られない。カメラ３（撮像部）の傾斜角度、カメラ３（撮像部）の向き、頭部装着部１の加速度、および、頭部装着部１の角速度のうちの一部だけがセンサ６により検出されてもよい。
Further, in the above embodiment, the tilt angle of the camera 3 (imaging unit), the orientation of the camera 3 (imaging unit), the acceleration of the
また、上記実施形態では、説明の便宜上、信号処理部７による処理を「フロー駆動型」のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、信号処理部７の処理をイベント単位で実行する「イベント駆動型」により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。 Further, in the above embodiment, for convenience of explanation, the processing by the signal processing unit 7 has been described by using a “flow-driven” flowchart, but the present invention is not limited to this. In the present invention, the processing of the signal processing unit 7 may be performed by an "event-driven type" that executes the processing in event units. In this case, it may be completely event-driven, or it may be a combination of event-driven and flow-driven.
［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
[Aspect]
It will be understood by those skilled in the art that the above exemplary embodiments are specific examples of the following embodiments.
（項目１）
装着者の頭部に装着され、画像を撮像する撮像部を含む頭部装着部と、
現在のフレームにおいて前記撮像部により撮像された現フレーム画像と、前記頭部装着部の周囲の特徴点の情報を含む周囲環境情報、および、前記現在のフレームよりも前の前フレームにおいて前記撮像部により撮像された前フレーム画像のうちの少なくとも一方とに基づいて、前記現在のフレームにおける前記頭部の位置および角度を算出する信号処理部と、を備える、ヘッドモーショントラッカ装置。
(Item 1)
A head-mounted part that is attached to the wearer's head and includes an imaging part that captures an image,
The current frame image captured by the imaging unit in the current frame, surrounding environment information including information on feature points around the head-mounted portion, and the imaging unit in a front frame prior to the current frame. A head motion tracker device comprising a signal processing unit that calculates the position and angle of the head in the current frame based on at least one of the previous frame images captured by.
（項目２）
前記信号処理部は、前記現フレーム画像と、前記周囲環境情報および前記前フレーム画像のうちの少なくとも一方とを比較することにより、前記現在のフレームにおける前記頭部の位置および角度を算出するように構成されている、項目１に記載のヘッドモーショントラッカ装置。
(Item 2)
The signal processing unit calculates the position and angle of the head in the current frame by comparing the current frame image with at least one of the surrounding environment information and the previous frame image. The head motion tracker device according to
（項目３）
前記信号処理部は、前記周囲環境情報としての、前記装着者の周囲に設けられた装備品の少なくとも位置情報に基づいて、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、項目１または２に記載のヘッドモーショントラッカ装置。
(Item 3)
The signal processing unit is configured to calculate the position and angle of the head of the current frame based on at least the position information of the equipment provided around the wearer as the ambient environment information. The head motion tracker device according to
（項目４）
前記頭部装着部は、前記撮像部と隣接するように設けられ、前記撮像部の撮像方向に非可視光を照射する光源部を含み、
前記装備品としての、前記光源部から照射される前記非可視光を照射方向に反射する再帰性反射体をさらに備える、項目３に記載のヘッドモーショントラッカ装置。
(Item 4)
The head-mounted portion is provided adjacent to the imaging unit, and includes a light source unit that irradiates invisible light in the imaging direction of the imaging unit.
The head motion tracker device according to
（項目５）
前記再帰性反射体は、透明な材質により形成されている、項目４に記載のヘッドモーショントラッカ装置。
(Item 5)
The head motion tracker device according to item 4, wherein the retroreflector is made of a transparent material.
（項目６）
前記信号処理部は、初期のフレームの初期フレーム画像と前記周囲環境情報とに基づいて、前記初期のフレームにおける前記頭部の位置および角度の基準値を算出するとともに、前記基準値、および、前記前フレーム画像と前記現フレーム画像との比較結果に基づいて、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、項目１〜５のいずれか１項に記載のヘッドモーショントラッカ装置。
(Item 6)
The signal processing unit calculates a reference value of the position and angle of the head in the initial frame based on the initial frame image of the initial frame and the ambient environment information, and also calculates the reference value and the reference value. The item according to any one of
（項目７）
前記頭部装着部は、前記撮像部の傾斜角度、前記撮像部の向き、前記頭部装着部の加速度、および、前記頭部装着部の角速度のうちの少なくとも１つを検出するセンサを含み、
前記信号処理部は、前記前フレームにおける前記頭部の位置および角度と、前記センサの検出値とに基づいて、前記現在のフレームの前記頭部の概略的な位置および概略的な角度を算出するとともに、前記現フレーム画像と、前記頭部の前記概略的な位置および前記概略的な角度に対応する前記周囲環境情報とを比較することにより、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、項目１〜６のいずれか１項に記載のヘッドモーショントラッカ装置。
(Item 7)
The head-mounted portion includes a sensor that detects at least one of the tilt angle of the imaging unit, the orientation of the imaging unit, the acceleration of the head-mounted portion, and the angular velocity of the head-mounted portion.
The signal processing unit calculates the approximate position and the approximate angle of the head of the current frame based on the position and angle of the head in the front frame and the detection value of the sensor. At the same time, by comparing the current frame image with the approximate position of the head and the ambient environment information corresponding to the approximate angle, the position and angle of the head of the current frame can be determined. The head motion tracker device according to any one of
（項目８）
前記周囲環境情報が記憶されている記憶部をさらに備え、
前記信号処理部は、前記現在のフレームの前記頭部の位置および角度に対応する前記周囲環境情報が前記記憶部に記憶されていない場合に、前記周囲環境情報が前記記憶部に記憶されている前記頭部の位置および角度と、前記周囲環境情報が前記記憶部に記憶されている前記頭部の位置からの前記頭部の移動量と、前記現フレーム画像とに基づいて、前記現在のフレームの前記頭部の位置および角度を算出するとともに前記現在のフレームの前記周囲環境情報の作成および前記記憶部への登録を行うように構成されている、項目７に記載のヘッドモーショントラッカ装置。
(Item 8)
Further provided with a storage unit for storing the surrounding environment information,
When the ambient environment information corresponding to the position and angle of the head of the current frame is not stored in the storage unit, the signal processing unit stores the ambient environment information in the storage unit. The current frame based on the position and angle of the head, the amount of movement of the head from the position of the head in which the ambient environment information is stored in the storage unit, and the current frame image. The head motion tracker device according to item 7, which is configured to calculate the position and angle of the head of the head, create the surrounding environment information of the current frame, and register the information in the storage unit.
（項目９）
前記頭部装着部は、前記撮像部の傾斜角度、前記撮像部の向き、前記頭部装着部の加速度、および、前記頭部装着部の角速度のうちの少なくとも１つを検出するセンサを含み、
前記信号処理部は、前記現在のフレームの前記頭部の位置および角度の算出が所定の時間内に行われなかった場合に、前記センサの検出値に基づいて補間することにより、前記前フレームにおける前記頭部の位置および角度から、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、項目１〜８のいずれか１項に記載のヘッドモーショントラッカ装置。
(Item 9)
The head-mounted portion includes a sensor that detects at least one of the tilt angle of the imaging unit, the orientation of the imaging unit, the acceleration of the head-mounted portion, and the angular velocity of the head-mounted portion.
When the position and angle of the head of the current frame are not calculated within a predetermined time, the signal processing unit performs interpolation based on the detected value of the sensor in the previous frame. The head motion tracker device according to any one of
（項目１０）
前記信号処理部は、前記周囲環境情報のアライメント情報を予め取得し、取得された前記アライメント情報を反映した周囲環境情報を用いて前記頭部の位置および角度を算出するように構成されている、項目１〜９のいずれか１項に記載のヘッドモーショントラッカ装置。
(Item 10)
The signal processing unit is configured to acquire alignment information of the surrounding environment information in advance and calculate the position and angle of the head using the acquired surrounding environment information reflecting the alignment information. The head motion tracker device according to any one of
（項目１１）
前記撮像部は、前記頭部装着部に複数設けられている、項目１〜１０のいずれか１項に記載のヘッドモーショントラッカ装置。
(Item 11)
The head motion tracker device according to any one of
（項目１２）
前記撮像部は、可視領域の波長から非可視領域の波長までの光を検出可能に構成されている、項目１〜１１のいずれか１項に記載のヘッドモーショントラッカ装置。
(Item 12)
The head motion tracker device according to any one of
１ 頭部装着部
３ カメラ（撮像部）
４ 近赤外ＬＥＤ（光源部）
５ 再帰性反射体
６ センサ
７ 信号処理部
７ｄ 記憶部
１００ ヘッドモーショントラッカ装置
２００ 航空機（機体）
２０１ 操縦者（装着者）
２０１ａ 頭部
Ｌ 移動量
1 Head-mounted
4 Near infrared LED (light source)
5 Retroreflector 6 Sensor 7
201 Pilot (wearer)
201a Head L movement amount
Claims (12)
現在のフレームにおいて前記撮像部により撮像された現フレーム画像と、前記頭部装着部の周囲の特徴点の情報を含む周囲環境情報、および、前記現在のフレームよりも前の前フレームにおいて前記撮像部により撮像された前フレーム画像のうちの少なくとも一方とに基づいて、前記現在のフレームにおける前記頭部の位置および角度を算出する信号処理部と、を備える、ヘッドモーショントラッカ装置。 A head-mounted part that is attached to the wearer's head and includes an imaging part that captures an image,
The current frame image captured by the imaging unit in the current frame, surrounding environment information including information on feature points around the head-mounted portion, and the imaging unit in a front frame prior to the current frame. A head motion tracker device comprising a signal processing unit that calculates the position and angle of the head in the current frame based on at least one of the previous frame images captured by.
前記装備品としての、前記光源部から照射される前記非可視光を照射方向に反射する再帰性反射体をさらに備える、請求項３に記載のヘッドモーショントラッカ装置。 The head-mounted portion is provided adjacent to the imaging unit, and includes a light source unit that irradiates invisible light in the imaging direction of the imaging unit.
The head motion tracker device according to claim 3, further comprising a retroreflector that reflects the invisible light emitted from the light source unit in the irradiation direction as the equipment.
前記信号処理部は、前記前フレームにおける前記頭部の位置および角度と、前記センサの検出値とに基づいて、前記現在のフレームの前記頭部の概略的な位置および概略的な角度を算出するとともに、前記現フレーム画像と、前記頭部の前記概略的な位置および前記概略的な角度に対応する前記周囲環境情報とを比較することにより、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、請求項１〜６のいずれか１項に記載のヘッドモーショントラッカ装置。 The head-mounted portion includes a sensor that detects at least one of the tilt angle of the imaging unit, the orientation of the imaging unit, the acceleration of the head-mounted portion, and the angular velocity of the head-mounted portion.
The signal processing unit calculates the approximate position and the approximate angle of the head of the current frame based on the position and angle of the head in the front frame and the detection value of the sensor. At the same time, by comparing the current frame image with the approximate position of the head and the ambient environment information corresponding to the approximate angle, the position and angle of the head of the current frame can be determined. The head motion tracker device according to any one of claims 1 to 6, which is configured to be calculated.
前記信号処理部は、前記現在のフレームの前記頭部の位置および角度に対応する前記周囲環境情報が前記記憶部に記憶されていない場合に、前記周囲環境情報が前記記憶部に記憶されている前記頭部の位置および角度と、前記周囲環境情報が前記記憶部に記憶されている前記頭部の位置からの前記頭部の移動量と、前記現フレーム画像とに基づいて、前記現在のフレームの前記頭部の位置および角度を算出するとともに前記現在のフレームの前記周囲環境情報の作成および前記記憶部への登録を行うように構成されている、請求項７に記載のヘッドモーショントラッカ装置。 Further provided with a storage unit for storing the surrounding environment information,
When the ambient environment information corresponding to the position and angle of the head of the current frame is not stored in the storage unit, the signal processing unit stores the ambient environment information in the storage unit. The current frame based on the position and angle of the head, the amount of movement of the head from the position of the head in which the ambient environment information is stored in the storage unit, and the current frame image. The head motion tracker device according to claim 7, wherein the position and angle of the head of the head are calculated, and the ambient environment information of the current frame is created and registered in the storage unit.
前記信号処理部は、前記現在のフレームの前記頭部の位置および角度の算出が所定の時間内に行われなかった場合に、前記センサの検出値に基づいて補間することにより、前記前フレームにおける前記頭部の位置および角度から、前記現在のフレームの前記頭部の位置および角度を算出するように構成されている、請求項１〜８のいずれか１項に記載のヘッドモーショントラッカ装置。 The head-mounted portion includes a sensor that detects at least one of the tilt angle of the imaging unit, the orientation of the imaging unit, the acceleration of the head-mounted portion, and the angular velocity of the head-mounted portion.
When the position and angle of the head of the current frame are not calculated within a predetermined time, the signal processing unit performs interpolation based on the detected value of the sensor in the previous frame. The head motion tracker device according to any one of claims 1 to 8, which is configured to calculate the position and angle of the head of the current frame from the position and angle of the head.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019135537A JP7334521B2 (en) | 2019-07-23 | 2019-07-23 | Head motion tracker device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019135537A JP7334521B2 (en) | 2019-07-23 | 2019-07-23 | Head motion tracker device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021018206A true JP2021018206A (en) | 2021-02-15 |
| JP7334521B2 JP7334521B2 (en) | 2023-08-29 |
Family
ID=74563158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019135537A Active JP7334521B2 (en) | 2019-07-23 | 2019-07-23 | Head motion tracker device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7334521B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1184307A (en) * | 1997-09-01 | 1999-03-26 | M R Syst Kenkyusho:Kk | Head-mounted optical device |
| JP2000347128A (en) * | 1999-03-26 | 2000-12-15 | Mr System Kenkyusho:Kk | Head mount display device and head mount display system |
| JP2003281504A (en) * | 2002-03-22 | 2003-10-03 | Canon Inc | Image pickup portion position and attitude estimating device, its control method and composite reality presenting system |
| JP2003344018A (en) * | 2003-04-04 | 2003-12-03 | Canon Inc | Unit and method for image processing as well as program and storage medium |
| JP2004289733A (en) * | 2003-03-25 | 2004-10-14 | Clarion Co Ltd | Vehicle periphery-monitoring apparatus |
| JP2009036517A (en) * | 2007-07-31 | 2009-02-19 | Shimadzu Corp | Head motion tracker device |
| JP2016183890A (en) * | 2015-03-26 | 2016-10-20 | 日産自動車株式会社 | Self-position calculation device and self-position calculation method |
-
2019
- 2019-07-23 JP JP2019135537A patent/JP7334521B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1184307A (en) * | 1997-09-01 | 1999-03-26 | M R Syst Kenkyusho:Kk | Head-mounted optical device |
| JP2000347128A (en) * | 1999-03-26 | 2000-12-15 | Mr System Kenkyusho:Kk | Head mount display device and head mount display system |
| JP2003281504A (en) * | 2002-03-22 | 2003-10-03 | Canon Inc | Image pickup portion position and attitude estimating device, its control method and composite reality presenting system |
| JP2004289733A (en) * | 2003-03-25 | 2004-10-14 | Clarion Co Ltd | Vehicle periphery-monitoring apparatus |
| JP2003344018A (en) * | 2003-04-04 | 2003-12-03 | Canon Inc | Unit and method for image processing as well as program and storage medium |
| JP2009036517A (en) * | 2007-07-31 | 2009-02-19 | Shimadzu Corp | Head motion tracker device |
| JP2016183890A (en) * | 2015-03-26 | 2016-10-20 | 日産自動車株式会社 | Self-position calculation device and self-position calculation method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7334521B2 (en) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2929891T3 (en) | Eye Tracking Wearable Devices | |
| JP5467303B1 (en) | Gaze point detection device, gaze point detection method, personal parameter calculation device, personal parameter calculation method, program, and computer-readable recording medium | |
| JP4533762B2 (en) | Variable transmittance window system | |
| JP6445607B2 (en) | Vehicle display system and method for controlling vehicle display system | |
| KR20150122975A (en) | Hmd and method for controlling the same | |
| WO2014130049A1 (en) | Systems and methods for augmented rear-view displays | |
| JPWO2020031740A1 (en) | Control devices and control methods, as well as programs | |
| KR102159767B1 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
| US11024040B2 (en) | Dynamic object tracking | |
| US9626783B2 (en) | Helmet-used device capable of automatically adjusting positions of displayed information and helmet thereof | |
| US11579449B2 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
| KR20230025697A (en) | Blind Assistance Eyewear with Geometric Hazard Detection | |
| US20200357179A1 (en) | Viewing device for aircraft pilot | |
| US20230412778A1 (en) | Projector with field lens | |
| US20190188506A1 (en) | A vehicle-mounted display system and method for preventing vehicular accidents | |
| JP7334521B2 (en) | Head motion tracker device | |
| CN113853548A (en) | Dimming light that disturbs the viewer's vision | |
| JP2009036517A (en) | Head motion tracker device | |
| US20160344987A1 (en) | Special Environment Projection System | |
| US20220319364A1 (en) | Eyewear projector brightness control | |
| KR20200111144A (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
| US20230168522A1 (en) | Eyewear with direction of sound arrival detection | |
| US20230063386A1 (en) | Eyewear synchronized with uav image capturing system | |
| US20240169659A1 (en) | Wearable terminal device, program, and display method | |
| EP3812824A1 (en) | Night vision compatible short-wave infrared eye tracking system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220812 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230731 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7334521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |