JP2009031295A - 移動体姿勢検出装置 - Google Patents

Abstract

【課題】測定対象物に装着または内蔵され、どのような環境でも良好に使用できる移動体姿勢位置検出装置を提供する。
【解決手段】測定対象物としての移動体の空間上の３軸の姿勢角度情報、並進位置情報、画像姿勢情報をそれぞれ算出する手段と、姿勢角度情報と、並進位置情報と、画像姿勢情報のそれぞれの情報により空間上での移動体の６軸姿勢情報を算出する手段と、を有し、並進位置検出手段は、直交する３軸上の空間の並進方向の加速度情報を検出し、画像処理姿勢検出手段は、装置周辺の画像を時系列に入力された画像の中から複数の特徴点を抽出して記憶すると共に、以前に記憶されている特徴点の座標等の特徴点情報を探索検出し、特徴点の２次元画像の中での変位から画像の動きベクトルを検出し、姿勢角度情報と、並進方向の加速度情報とに基づいて画像データ上での特徴点の２次元の動きを推定することにより探索検出の範囲を狭める。
【選択図】図１

Description

この発明は、移動体の３次元空間内での姿勢を検出する移動体姿勢検出装置に係り、特に、ヘッドマウンティングディスプレイ（ＨＭＤ）を装着した人間の頭部の姿勢を検知し、その情報に基づいて画像を生成し、あたかも目の前に仮想空間が存在するかのように画像を表示するバーチャルリアリティ（ＶＲ）システムにおいて、更に場所を限定することなく何処でも使えるようなシステムを提供するための、自立型の移動体姿勢検出装置に関する。

従来、姿勢位置検出装置として、以下に示すようなものが知られている。

まず、操作者の周辺の場所に光や超音波、磁界などの基準点となる発信器を設けて、それに対応する位置を検出するようにした基準点設置型の姿勢位置検出装置がある。

これにに対し、自立型の姿勢位置検出装置の従来技術としてジャイロなどの角速度センサを利用したシステムが開発されている。

ジャイロセンサは、ジャイロ自身の回転に対する角速度を出力するので、この情報を積分することにより、変位した相対角度を求めることができる。

よって、ジャイロセンサを直交する３軸の空間上にそれぞれ配置することにより、この空間に対する回転姿勢位置を求めることができるようになる。

これらのジャイロセンサの出力は、ある基準電圧を中心に回転方向の向きに対して、正負の信号として出力されるが、その基準となるオフセット信号が温度や湿度の変化でドリフトしたり、また外部磁界により特性が変わったり、また音などの振動によって出力信号そのものが変動したりする。

しかるに、角度を求めるのに、オフセット信号に対する出力値の差分を常に積分して利用しているため、これらのドリフトやノイズが含まれていると、その演算結果である角度情報には大きな誤差が蓄積されてしまう。

したがって、従来より、これらのドリフト信号をキャンセルするための対策が提案されている。

その一つには、方位センサからの情報を絶対方位として利用し、ジャイロのドリフト成分をキャンセルする方法がある。

この方位センサとしては、ＧＰＳや地磁気センサを利用したシステムが開発されている。

これは、例えば、特許文献１、２等に開示されている。

ＧＰＳは、いくつかの衛星からの信号をキャッチしながらＧＰＳ自体の位置を特定するシステムであるが、建物の中やトンネルの中など電波が届き難いところでは使えない。

これ対して、地磁気センサは、地球上の地磁気ベクトルに対して水平面内の直交した２軸に配置したＭＲ素子が出力する情報により、地球の概ね北向きの地磁気ベクトルの方向に対する磁気の強さを検出することができるので、各ＭＲ素子の２つの信号より方位方向を求めることができる。

すなわち、それぞれの磁気の強さをＸ、Ｙとすると、（１）式により方位（θ）が求められる。

θ＝arcTan（Ｙ／Ｘ） …（１）
因みに、地磁気ベクトルは、地球上の地域毎に固有なわずかながら地理上の北に対して偏角と呼ばれる誤差が存在する。

車のナビゲーションシステムなどに利用する姿勢検出装置ではこれらを補正して使わなければならないが、ＶＲシステム用の仮想表示用のシステムにおいては、あるローカルな空間での基準方位情報として利用するだけなので、絶対的な方向の精度は必要ない。

よって、その方位情報の変位とジャイロの変位角度情報を比較することにより、ジャイロのドリフトなどによる誤差を検知することができる。

また、ジャイロの積算情報である角度データがリセットされたときを初期状態とし、そのときの地磁気ベクトルを測定しておくと、ジャイロの積算結果との比較により絶対的な位置の補正も可能となる。

しかし、ここで地磁気センサの問題として、地磁気センサによるコンパスは水平面内に置いて測定しなければならないと言うことである。

これは前述した偏角と同様に、地磁気ベクトルが地球上の地域毎に固有な垂直面内の仰角と呼ばれる傾きを持っており、東京辺りでは、北向きに対して約４８度前後下を向いている。

この傾きは、コンパスが水平面から傾いたときに方位の誤差として発生する要因である。

車のナビゲーションのようなシステムでは、車は基本的に水平面内で動いているので、このままでも使うことができる。

しかし、ＶＲシステムでは人間の３次元的な姿勢を測定するために傾いた状態でも検知する必要がある。

図４は、ＶＲシステムの一例を示している。

これは操作者の目の前の空間にコンピュータのデスクトップ画像を仮想的に表示した様子をイメージ化した図である。

ここで、操作者が右を向くと、デスクトップ画像の右側の画面がＨＭＤ上に現れ、反対を向くと左側の画面が現れ、更に上下方向を向くとその方向の画面が現れてきて、操作者はあたかも目の前に大きなデスクトップ空間が存在しているかのように感じることができる。

なお、図４において、参照符号５１は仮想スクリーン、５２は実スクリーン、５３はアイコン、５４はウィンドウ、６０はＨＭＤである。

図５は、このときの３次元空間の座標軸を示している。

すなわち、図５は、操作者の前方方向を＋Ｘ軸、左方向を＋Ｙ軸、上方向を＋Ｚ軸とした３次元空間座標を示している。

また、それぞれの軸に対する右ネジの回転方向を＋ロール（Ｒｏｌｌ）、＋ピッチ（Ｐｉｔｃｈ）、＋ヨー（Ｙａｗ）とする。

操作者が、左右画面を見るために左右を向く場合にはＹａｗ方向の変化となるが、画面の上下方向を見るために頭を上下方向に動かすと、Ｐｉｔｃｈ方向が変化する。

また、前記のジンバル機構に相当する機能として、加速度センサにより傾斜角を測定し、その傾き情報より地磁気センサ方位出力（θ）を補正するソフトウェアジンバル機構の方法がある。

ジャィロと地磁気センサに加速度センサを組み合わせた装置としては、特許文献３に開示された従来例がある。

但し、この場合、磁気センサは３軸必要になり、それぞれの軸に対する出力をＸ．Ｙ、Ｚとし、このときの水平面に対する傾きをＲｏｌｌ，Ｐｉｔｃｈとすると、一般的な補正式は（２）式となる。

ここで、ＸｈとＹｈは水平面内へ磁気ベクトルの強さを補正した値である。

Xh=X*cos(Roll)+Y*sin (Roll)*sin(Pitch)-Zcos(Roll)*sin(Pilch)
Yh=Y*cos(Roll)+Z*sin(Roll)
θ=arcTan(Yh/Xh) …（２）
また、加速度センサは、重力ベクトルＧに対してセンサが（θg ）傾いたときに、その検出方向の軸に垂直に投影した長さに相当する重力加速度成分（Ｇ・ｃｏｓ（θg ））と、その他に加減速運動による運動加速度成分が生じる。

この運動加速度成分をキャンセルするために、フィルタリング処理を施す必要がある。

このような構成とすることにより、理論的には、矛盾なく３次元空間上の姿勢を求めることができるようになる。

また、加速度センサは、地球の重力を基準として、その傾き情報の出力を利用するようにしたつまり傾斜センサとして使われている。

また、画像処理による移動体の動きを検出する方法としては特許文献４に開示された従来例がある。

特別なマークや光源を移動体の周りの空間に配置し、それを画像処理により動きベクトルを検出することにより、移動体の姿勢を測定する方法が従来より提案されている。
特開平５−７１９６４号公報、 特開平４−１４９３４号公報 特開平８−１７８６８７号公報 特開平６−８９３４２号公報

しかるに、図４のＶＲシステムを実現するために、図５の姿勢位置検出に地磁気センサを用いると、方位出力は水平方向から傾くために誤差を生じる。

よって、一般的に、地磁気センサでは、水平状態を保つための機械的なジンバル機構を搭載することにより誤差を少なくしようとしているが、機械的な機構を検出装置に搭載することは小型化や軽量化の点で難点となる。

また、地磁気センサは、外乱に弱く、付近に存在する鉄類や磁化された物、建物等により磁場歪みの影響を受け易く、また外部磁場により地磁気センサ自体が誤差を持つなど、絶対的な方位センサとして使うには多くの問題がある。

但し、あるローカルな領域のみで利用するような用途においては、絶対的な方位が違っていても問題にはならないが、近くにモータやＣＲＴ等が有ったり、他に帯磁した物が動くだけでも磁場が乱れ、相対的な基準方位として使うだけにしても、周りの環境に注意する必要がある。

また、地磁気センサでは、反応速度が遅いなどの問題がある。

更に、ジャィロと地磁気センサに加速度センサを組み合わせた装置でも、やはり前記のような磁気センサとしての問題点を有している。

しかも、以上のような問題点の他に、利用上での大きな問題点がある。

すなわち、方位センサは、地球上の地理上の絶対方向に対する相対値を示すために、例えば、電車や車の中に居た場合、利用者自身が動かなくても乗り物の地球に対する方向が変わるために、勝手に姿勢が変化することになる。

携帯型のコンピュータシステムにおいて、ＶＲ空間的な表示技術を利用した表示画面を利用するシステムにおいては、このような環境では利用者自身の前に画像を固定できなくなり、利用者の意志に関わらず画像が勝手に動いてしまう。

また、上記のように、加速度センサを傾斜センサとして地球上で利用する場合、人間も常に重力に対して行動しているために、水平状態の場合には問題とはならないが、例えば、山道等で傾きが生じる場合、あるいは重力が及ばない宇宙空間などで利用しようとした場合には、やはり使えなくなってしまう。

以上のような移動体の姿勢を検出するための自立型のセンサとしての従来技術では、ジャイロセンサのドリフトを補正するために、相対的あるいは絶対的な基準となる地磁気センサの方位を参照情報とした場合、それが磁気的な外乱の影響を受けたり、水平面に対する傾斜により誤差を生じたりして、参照情報がずれてしまう問題がある。

また、ＧＰＳにしても建物内やトンネル内などの電波の届き難い所では使えないと共に、方位センサや加速度センサは重力や地球の磁場を基準とするために、その影響を正しく受ける場所でしか使うことができない。

更に、乗り物などの移動物体の中において利用しようとするときには、操作者の乗り物に対する姿勢ではなく、乗り物自体の姿勢を検出するために、操作者の意志に関わらず勝手に表示などが動いてしまう。

また、画像処理による移動体の姿勢検出においては、取り込まれた周辺画像の特徴点などの条件により演算することができないようなことが起きると、測定不能となってしまう。

また、画像処理により移動体の姿勢を測定する従来の方法においては、特徴点としての基準マークが空間内のどの位置にあるかを常に前の画像から検出した特徴点との比較により求めるために、前の画像と次の画像とのオーバーラップがない状態では、動きベクトルを検出することができず、再度特徴点を抽出して次の画像入力処理に移らなければならないので、システムの画像処理速度のパフォーマンスにより動き検出速度の限界が決定されるために、人の動きに対応して画像処理するには、高速画像処理システムが必要となる。

このように、従来より画像処理においては、高速な演算処理が可能な装置が必要となるような、いわゆる重い演算処理が多く、非常に高い処理能力のコンピュータが必要となり、携帯型の処理装置とするには多くの問題点がある。

本発明は、以上のような点の問題点について着目してなされたもので、どのような環境でも良好に使用することができる移動体姿勢位置検出装置を提供することを目的としている。

また、本発明は、以上のような点の問題点について着目してなされたもので、低速の処理能力のコンピュータでも使用することができる移動体姿勢位置検出装置を提供することを目的としている。

本発明によると、上記課題を解決するために、
測定対象物としての移動体に装着または内蔵され、該移動体の移動に伴って移動して、該移動体の姿勢情報を検出する装置において、
前記移動体の空間上の３軸の姿勢角度情報を算出する角度検出手段と、
前記移動体の空間上の３軸の並進位置情報を算出する並進位置検出手段と、
前記移動体自体に設置され、前記移動体の周りの画像から移動体の並進と姿勢の６軸の画像姿勢情報を算出する画像処理姿勢検出手段と、
前記角度検出手段からの姿勢角度情報と、前記並進位置検出手段からの並進位置情報と、前記画像処理姿勢検出手段からの画像姿勢情報のそれぞれの情報により空間上での前記移動体の６軸姿勢情報を算出する空間姿勢演算手段と、を有しており、
前記角度検出手段は、
直交する３軸上の空間の角速度情報を検出する角速度検出手段と、
前記角速度情報より前記移動体の姿勢角度情報を演算する第１姿勢演算手段とで構成され、
前記並進位置検出手段は、
直交する３軸上の空間の並進方向の加速度情報を検出する加速度検出手段と、
前記加速度情報より前記移動体の傾き情報と並進情報を演算する第２姿勢演算手段とで構成され、
前記画像処理姿勢検出手段は、
前記装置周辺の画像を時系列に入力する画像入力手段と、
この画像入力手段によって入力された画像の中から複数の特徴点を抽出して、それらの特徴点を記憶すると共に、以前に記憶されている特徴点の座標等の特徴点情報を探索検出する特徴点検出手段と、
前記特徴点の２次元画像の中での変位から画像の動きベクトルを検出する動きベクトル検出手段と、
前記姿勢角度情報と前記並進情報と前記特徴点の情報から移動体の回転方向と並進方向の画像姿勢情報を演算する第３姿勢演算手段とで構成され、
前記角度検出手段からの姿勢角度情報と、前記加速度検出手段からの並進方向の加速度情報とに基づいて画像データ上での特徴点の２次元の動きを推定し、この情報をもとに前記探索検出の範囲を狭めることを特徴とする移動体姿勢検出装置が提供される。

従って、以上説明したように、本発明によれば、どのような環境でも良好に使用することができる移動体姿勢検出装置を提供することができる。

また、本発明よれば、低速の処理能力のコンピュータでも使用することができる移動体姿勢検出装置を提供することができる。

すなわち、この発明によれば、角速度センサ及び加速度センサからの情報を、移動体の姿勢検出に使用するのみならず、この情報を巧みに流用することにより。探索検出の範囲を狭めて演算の高速化をも実現できるものである。

以下図面を参照して本発明の実施の形態について説明する。

図１及び図１１は、本発明による第１の実施の形態の構成を示す全体及び要部のブロック図である。

図２は、カメラ姿勢補正の動作時の構成を示す全体のブロック図である。

図３は、画像処理に関する各種モードの流れを示す。

すなわち、図１及び図１１に示すように、測定対象物としての移動体の空間上の３軸の姿勢角度情報を算出する角度検出手段１００は、直交する３軸上空間に配置された３つの角速度センサにより構成された角速度検出手段１１と、前記角速度検出手段１１からの角速度情報より移動体の姿勢角度情報を演算する第１姿勢演算手段１５とで構成される。

また、移動体の空間上の３軸の並進位置情報を算出する並進位置検出手段１０１は、直交する３軸上の空間の並進方向の加速度情報を検出する加速度検出手段２６と、前記加速度検出手段２６からの加速度情報より移動体の傾き情報と並進情報を演算する第２姿勢演算手段２７とで構成される。

また、移動体自体に設置され、移動体の周りの画像から移動体の並進と姿勢の６軸の画像姿勢情報を算出する画像処理姿勢検出手段１０２は、周辺の画像を撮像面に投影するするカメラ部と、その投影像を映像信号に変換するための撮像素子（ＣＣＤ等）を含んで構成され、その画像を時系列に入力するた画像入力手段１７と、この画像入力手段１７から入力された画像の中から複数の特徴点を抽出し、その特徴点を記憶し、同時に以前に記憶された特徴点の座標を探索検出する特徴点検出手段１８と、この特徴点検出手段１８による特徴点の２次元の中での変位から画像の動きベクトルを検出する動きベクトル検出手段１９と、前記角速度情報と前記加速度情報と前記特徴点の情報から移動体の回転方向と並進方向の姿勢を演算する第３姿勢演算手段２０とで構成される。

さらに、前記角度検出手段１００からの姿勢角度情報と、前記並進位置検出手段１０１からの並進位置情報と、前記画像処理姿勢検出手段１０２からの画像姿勢情報のそれぞれからの情報により空間上での移動体の６軸姿勢情報を算出する空間姿勢演算手段１０３は、前記動きベクトル検出手段１９からの情報と前記角速度検出手段１１と前記加速度検出手段２６からの情報とにより第１姿勢演算手段１５の姿勢演算方法と第２姿勢演算手段２７の姿勢演算方法とを変更する情報を送る停止判定制御手段１６と、前記第１姿勢演算手段１５と第２姿勢演算手段２７と第３姿勢演算手段２０のそれぞれからの情報を演算する補正演算手段２１とで構成されている。

図１０は、上述したように構成される移動体姿勢位置検出装置における角速度検出手段１１及び加速度検出手段２６としての角速度センサ及び加速度センサの配置関係を示す。

ここで、角速度センサとしては、Ｘ，Ｙ，Ｚの３軸それぞれで圧電型振動ジャイロセンサ等が図１０に示すように配置されて用いられる。

また、加速度センサとしては、マイクロマシン技術等で作られた微少な電子機械式センサで、一つはＸ軸とＹ軸方向の加速度を検出する２軸型のデバイスと、もう一つはＹ軸方向を検出できる１軸型のデバイスとが、図１０に示すように配置されて用いられる。

そして、ジャイロセンサは直交する３軸上の空間に配置されているために、それぞれの配置された軸周りの回転運動に対する角速度を出力し、その軸周りの回転方向により符号が変わる。

ジャイロ出力（Ｖｇ）より角度（θ）を求める関係式を式（３）に示す。

各ジャイロ毎に静止時の基準出力であるオフセットを保持しておき、そのオフセツト （Ｖｏ）と、ジャイロ出力の差分信号とが角速度信号（ω）となり、これを積分することにより角度が求められる。

この演算の結果、空間内での相対的な姿勢の変位が求められる。

ω＝Ａｓ・（Ｖｇ＋Ｖｏ＋Ｖｔ＋Ｖｎ）
θ＝Σ（ω） …（３）
ここで、Ａｓは時間（Δｔ）のファクタが含まれるジャイロのスケールファクタであり、Ｖｔは変動成分、Ｖｎはノイズ成分を示す。

また、この基準出力であるオフセットは単体によりばらつきがあり、単体毎に記憶して補正してやる必要がある。

更に、温度変化などにより変動し、その変動成分（Ｖｔ）とノイズ成分（Ｖｎ）は誤差成分となる。

よって、ジャイロの角度情報には、これらの誤差成分が積分されるため、その値は停止状態でもふらついてしまうので、出力のドリフトエラーとして現れることになる。

そこで、この差分出力をローパスフィルタリング（ＬＰＦ）し、誤差成分であるノイズ成分（Ｖｎ）や装置に加わる振動成分等の高域周波数（ｆｈ）をカットし、第１姿勢演算手段１５での第１情報として利用する。

これと、同時に、ドリフト成分等であるより低域の周波数（ｆｌ）でカットした第２情報をオフセット値として求め、第２情報と差分を取ることにより、誤差を低減することができる。

しかし、このときのローパスフィルタ（ＬＰＦ）のカットオフ周波数（ｆｌ）は高く設定すれば、それだけ大きなドリフトなどに対して低減効果が出るが、本来の姿勢変化による動作信号もカットしてしまうために、ゆっくりとした動作に対して反応しなくなってしまう。

そこで、後述する停止判定制御手段１６により、本装置が止まっていると判断したときにのみローパスフィルタの情報をオフセットとして記憶する。

こうすることにより、ローパスフィルタのカットオフ周波数（ｆｌ）を低く設定することができ、より低速の動きに対しても検出することが可能となり、ドリフトによる変動も少なくなる。

また、加速度センサは２つの使い方があり、一つは地球重力の重力加速度を利用した傾斜センサとしての機能、もう一つが慣性運動により発生する運動加速度センサ機能である。

この運動加速度情報を積分することにより速度情報が得られ、さらに積分することにより位置情報が得られる。

例えば、Ｘ軸方向の加速度センサについて考えてみると、このときのＸ軸加速度センサに寄与する重力加速度成分（Ｇｘ）と、Ｘ軸加速度センサ出力（Ｖａ）、加速度センサスケールファクタ（Ａｓ）、Ｘ軸加速度センサの水平面に対する傾斜つまりＹ軸周りの回転角度（θ）、地球の重力Ｇ（１Ｇ＝９．８ｍ／ｓ）、静止時出力（Ｖｏ）とする。

Ｇｘ＝Ｇ×ｓｉｎθ
Ｖａ＝Ｇｘ×Ａｓ−Ｖｏ
θ＝ｓｉｎ^−１｛（Ｖａ−Ｖｏ）／Ａｓ｝ …（４）
傾斜センサとしては、式（４）で求めることができる。

しかし、このとき、加速度センサが運動状態であれば、加速度情報には重力加速度と運動加速度の加算された情報が得られるために、この結果の情報を低周波成分を通過させようにローパスフィルタリングをすることにより、重力加速度成分を得ることができる。

したがって、この情報をもとにジャイロデータの角度情報のドリフト成分を補正するのに使うこともできる。

よって、加速度センサによる傾斜情報は、静的には絶対的な参照データとなるが、運動状態や乗り物などの中での移動体の検出には使うことができない。

また、このときに、補正できるジャイロ情報は、Ｘ軸とＹ軸周りの回転のみであり、重力軸に対する回転方向であるＺ軸周りの情報は補正できない。

また、２つ目の運動加速度センサ機能については、（５）式の演算により並進運動による加速度情報（α）を前記同様にＸ軸方向の加速度センサが水平面に対して傾斜（θ）している場合について考えてみる。

α＝｛（Ｖａ−Ｖｏ）／（Ａｓ−Ｇｓｉｎθ）｝／ｃｏｓθ …（５）
このときの角度情報（θ）については（上記傾斜センサ機能からの演算情報は使わずに）前記Ｙ軸の角速度センサより得られた角度情報を使用することで求めることができる。

位置情報を検出するには、運動加速度情報を２回積分してやればよく、これにより位置情報を得ることができる。

以上の演算をＸ，Ｙ，Ｚ軸に対する運動加速度成分（α_ｘ，α_ｙ，α_ｚ）と重力加速度成分（Ｇ_ｘ，Ｇ_ｙ，Ｇ_ｚ）とに分解して同様に行えば、３次元空間上での並進方向の加速度情報、速度情報及び位置情報を得ることが可能となる。

ただし、ここでもジヤイロの場合と同様に積分型演算を行っているために、位置情報には誤差が含まれている。

ところで、停止状態では運動加速度が加わらないので、重力加速度を利用して得た角度情報のみを利用するが、停止状態でない場合は、運動加速度の値を有意として扱うものとする。

なお、本発明において、姿勢位置情報とは角度情報及び並進位置情報の一方または双方を表わすものとする。

次に、図１に戻って各部の動作、機能及び処理について説明する。

「画像入力手段１７」
画像入力手段１７は、カメラ光学系を通して得られた光学投影像を撮像素子であるＣＣＤにより次元画像の映像信号に変換し、この映像信号をフレームメモリに蓄積する。

また、画像入力手段１７は、この２次元画像の映像信号に対して輪郭抽出等の前処理を施し、その時系列画像データを特徴点検手段１８に転送する。

こうして、画像入力手段１７は、測定対象物としての移動体の運動に伴う移動体周辺の画像をカメラで撮影して得られる時系列画像データを入力する。

この場合、カメラにより撮像される周辺画像としては、カメラ撮像画角内に多くの特徴点がある固定物体を撮影することが重要である。

また、周辺に存在する運動物体や、乗り物などの移動体の中にいるときの外の景色などが撮影されないように、天井や壁などの特徴点にカメラ方向を向けることが重要となる。

このように、画像入力方向に配慮することで、確実な画像処理が可能となり、加速度センサや角速度センサによる動き情報を補正することが可能となる。

「特徴点検出手段１８」
特徴点検出手段１８は、まず、画像入力手段１７から入力される時系列画像データに対して、特徴点抽出部１８ａでの画像処理によって他の領域と容易に弁別できると共に、物体上の同一の点が撮影されたことを特定できる複数の特徴点を抽出する。

次に、特徴点検出手段１８は、その特徴点抽出部１８ａで抽出された特徴点データと座標値とを特徴点記憶部１８ｂに保持記憶すると同時に、特徴点・姿勢情報記憶部１８ｃに前回記憶した特徴点を追跡して、その位置を検出し、その２次元画像上の座標情報を取得する。

「ジャイロ・加速度データ情報による画像相関処理」
一般的に、２次元相関処理あるいはテンプレートマッチング処理と呼ばれ、テンプレートである特徴点データを入力画像データに対して２次元方向に走査しながら相関処理を行う。

このときに、問題となる要因の一つがカメラのＺ軸周りの回転である。

例えば、操作者の頭部の運動を図７に示すＨＭＤ６０によって測定するときに、この運動測定用のカメラ６２の入力方向が操作者の頭部の前方方向に取り付けられていた場合、首を左右に傾けたときのＸ軸周りの回転であるＲｏｌｌの発生により、カメラ６２で撮影された画像には２次元面の回転が生じる。

また、同様に、図９に示すように、この運動測定用のカメラ６２の方向を上方向に取り付けていた場合にも、首を左右に動かしたときのＺ軸周りの回転であるＹａｗの動きで画像に回転が生じる。

画像のフィールド間相関を行うとき、画面上での濃淡値であるパターンを回転させてから相関処理を行わなければならないと共に、回転を行うためのアフィン変換処理を各特徴点データのパターン毎に処理しなければならず、またその角度についても繰り返し変更して相関処理することになり、非常に多くの演算回数が必要となる。

よって、この処理は画像処理における最も負荷の重い処理の一つとなる。

そこで、角速度センサからの姿勢角度情報と加速度センサからの並進情報をもとにして、後で述べる画像ベクトル推定手段１０により、画像データ上での特徴点の２次元の動きを推定することができるので、この情報をもとに探索範囲を狭めることができ、相関処理をより効率よく行うことができる。

つまり、ジャイロから演算された角度情報を用いることで、より少ない角度範囲のアフィン変換と、加速度情報を加えることでの特徴点の２次元座標予想位置の範囲の相関処理をするだけでよくなる。

このように、ジャイロセンサ情報と加速度センサ情報を利用することにより、演算処理の負荷を大幅に減らすことが可能となる。

「特徴点・姿勢記憶部１８ｃ」
次に、特徴点検出手段１８の中の特徴点記憶部１８ｂと特徴点・姿勢記憶部１８ｃでは、特徴点の固定空間座標に対する位置を記憶する。

初期化時に、固定座標空間ＯＸＹＺと頭部座標系（Ｏ_ｈＸ_ｈＹ_ｈＺ_ｈ座標系）とは完全に一致している。

ここで、特徴点は、移動体の周りの固定された物体の座標であるため、その周辺画像のシーンに固定された絶対参照点と考えることができる。

したがって、この特徴点は、固定座標空間における絶対参照点となる。

図８は、頭部運動姿勢に対するカメラの位置の関係とカメラ入力画像である投影画像面と空間中の特徴点である固定点Ｐｏの関係を表した図である。

ここで、カメラ座標から見たＰｏ点を（Ｘｃ，Ｙｃ，Ｚｃ）とする。

また、３次元空間座標と画像平面上点Ｑ（ｘ，ｙ）との投影関係式は（６）式となる。

ｘ＝ｆＸｃ／Ｚｃ，
ｙ＝ｆＹ／Ｚｃ …（６）
更に、加速度センサからの並進情報により頭部位置の並進ベクトルが得られるため、この情報と２つの画像間の同じ特徴点の２次元座標より空間上での３次元位置を推定することができる。

そして、特徴点抽出部１８ａによって抽出されたそれぞれの特徴点の２次元座標上の座標データは、特徴点記憶部１８ｂに記憶される。

更に、その中から濃淡値等の変化に富んだ特徴点は、次の特徴点・姿勢情報記憶部１８ｃに記憶される。

すなわち、この特徴点・姿勢情報記憶部１８ｃには、その特徴点固有の番号と、固定座標空間ＯＸＹＺに対する特徴点（Ｘｏ，Ｙｏ、Ｚｏ）座標を内部情報の形で記憶する参照点基準情報と、固定点の時系列データ番号と、時系列データ番号毎に推定された特徴点の特徴点位置情報と、そのときの角速度センサからの姿勢情報と加速度センサからの並進情報とが記憶される。

ここで、特徴点固有の番号は、背景画像の中で抽出された特徴点毎の固有の番号であり、入力画像の１画角中に常に少なくとも８点が得られるように管理される。

また、特徴点時系列データ番号は、固有の特徴点毎に特徴点位置情報を管理する番号である。

この特徴点位置情報は、すべての時系列に入力されるデータを記憶する訳ではなく、その画像を取り込んだときの位置情報である並進情報の値がある閾値以上の位置情報を優先的に保管する。

例えば、移動体が運動をしたときの同一地点からでない種々の方向からの同一の特徴点Ｐｏの情報を記憶する。

更に、特徴点位置情報の値が大きく異なった場合や検出できなかったとき、そのときの系列データは記憶せずに破棄される。

そして、この状態がある一定時間続く場合には、その特徴点が固定物体ではないと判断して全てのデータを破棄する。

視点Ｏｃから特徴点Ｐｏ点に向かう単位方向ベクトルをｍと定義すると、特徴点位置情報にはカメラ原点Ｏｃから見たベクトルｍと、角速度センサからの角度情報と、加速度センサからの並進情報とが記憶される。

「第３姿勢演算手段２０」
次に、第３姿勢演算手段２０では、特徴点位置情報が２点以上になるとステレオカメラの原理により特徴点までの距離情報を求めることができるため、その距離情報を求めて、参照基準情報として記憶する。

また、第３姿勢演算手段２０では、特徴点位置情報がある閾値以上の点数になると、それらの情報を最小二乗法により原点Ｏからの位置情報を求めて参照基準情報として記憶する。

この参照基準情報は原点Ｏから見た方向ベクトルＭｉと、原点ＯからＰｏまでの距離Ｐｉを演算し記憶することにより、特徴点の処理を原点座標に換算して利用できるように管理される。

式（７）は、２つの画面の特徴点情報を最小二乗法により最適解を導くための条件を示す。

ここで、Ｍは、固定座標空間における原点Ｏから特徴点を見た単位方向ベクトルを表し、ｉ（＝１…ｎ）は特徴点固有番号である。

Σ｜ｍｉ ｈ Ｒｍｉ｜² ＞ｍｉｎ …（７）
ｍｉはある時点での単位方向ベクトルで式（６）により求められる。

Ｒｍｉはｍｉ点に対しＲ回転された移動後のベクトルを表し、角速度センサからの角度情報より求められる。

また、ｈはｍｉからＲｍｉまでの並進ベクトルを表し、加速度センサからの並進情報より求められる。

故に、この参照基準情報は角速度センサからの角度情報と加速度センサからの並進情報との誤差を含んだそれぞれの姿勢情報と、画像上の複数の特徴点の情報をもとに最小二乗法で近似的に推定された情報である。

よって、更に、この処理を時系列データ毎に行い、それぞれ固有の参照基準情報に対して平均化を行うことにより、角速度センサからの角度情報と加速度センサからの並進情報による誤差を少なくすることができる。

この参照基準情報が、ある閾値以上の個数で補間演算されると、特徴点位置情報の時系列データに保管することを止め、特徴点位置情報は全て破棄される。

以上の処理は、また新たに検出された特徴点についても同様の手順で処理されていく。

また、前記特徴点位置情報を保存するための条件として、その画像を取り込んだときの位置情報である並進情報の値がある閾値以上の位置情報を優先的に保管していたが、この条件において並進情報がゼロとなる条件（実際にはある閾値以下）のとき、この特徴点位置情報が直接利用される。

この条件では、固定座標空間ＯＸＹＺと頭部座標系（Ｏ_ｈＸ_ｈＹ_ｈＺ_ｈ座標系）とが一致しているため、２次元画像の式（６）により求められる回転姿勢情報はそのまま角度センサからの姿勢情報の補正に利用することが可能となる。

「動きベクトル検出手段１９」
この動きベクトル検出手段１９は、前記の特徴点マッチング法により１フィールド毎の画像の動き情報を検出し、その情報より動きベクトルを検出するものである。

特徴点マッチング法とは、画面上での濃淡値を代表点として選んだいくつかの画素と、その周囲の画素とのフィールド間相関からフィールド毎の動きベクトルを求めるものである。

すなわち、動きベクトル検出手段１９は、前記特徴点検出手段１８により得られたいくつかの特徴点の２次元座標値の時系列データをもとに２次元画像上（ｘｙ座標）での動きベクトル分布の処理を行う。

更に、動きベクトル検出手段１９は、動きベクトルの分布より、同じ向きと大きさのベクトル領域の分割を行う。

「停止判定制御手段１６」
この停止判定制御手段１６は、前記動きベクトル検出手段１９からの動きベクトル情報より周辺の画像の動きがある閾値内であり、ジャイロデータのＬＰＦ出力からの第１情報もある閾値以下で、更にその状態が一定時間内続いていると判定したならば、被計測移動体が停止していると判定し前記ジャイロ出力処理系のオフセット保持手段１２の情報を現在のＬＰＦ出力からの第２情報により更新する。

また、加速度検出手段２６からの情報を演算する第２姿勢演算手段２７に対しても、同様の判定条件を加える。

但し、ジャイロデータと違うのは、停止したと判断されたときのデータは傾斜データと判定して演算処理する。

よって、被計測移動体が停止しているときは、ドリフトによる誤差は一切発生しないが、停止していない状態が長く続くようなとき、第１姿勢演算手段１５の出力にはドリフトによる誤差が加算される問題がある。

「カメラ姿勢パラメータ保持手段２２」
次に、カメラ６２の取り付け位置と方向について説明する。

前記第３姿勢演算手段２０における２次元画像解析結果は、カメラ座標系に対する座標系である。

しかし、求める動きは、操作者の頭部の空間的な運動であるために、頭部運動座標系とカメラ座標系の関係を求めておく必要がある。

図７は、撮影方向が頭部に対して前方方向を向くように設置された場合であって、カメラ６２がＨＭＤ６０に取り付けられているイメージを示す。

図８は、固定座標系ＯＸＹＺ空間内での頭部座標系（Ｏ_ｈＸ_ｈＹ_ｈＺ_ｈ座標系）とカメラ座標系（ＯｃＸｃＹｃＺｃ座標系）の関係を示す。

固定座標系ＯＸＹＺ座標系に対する頭部の回転姿勢を、Ｚ_ｈ軸周りにｙ_ｈ回転させ、回転後のＹ_ｈ軸周りにｐ_ｈ回転させ、回転後のＸ_ｈ軸周りにｒ_ｈの回転を与えたときの姿勢を求める回転行列をＲ_ｈとし、また並進移動べクトルをＰ_ｈとして定義する。

また、頭部Ｏ_ｈＸ_ｈＹ_ｈＺ_ｈ座標系に対するカメラ回転姿勢をＺｃ軸周りにｙｃ、回転後のＹｃ軸周りにｐｃ、回転後のＸｃ軸周りにｒｃの回転を与えたときの姿勢を求める回転行列をＲｃとし、また並進移動ベクトルをＰｃとして定義する。

頭部座標系は、固定座標系に対して運動の基点である首の部分を原点Ｏ_ｈ（Ｘ_ｈＹ_ｈＺ_ｈ）と定義し、また頭部座標系に対してカメラ原点の位置をＯｃ（Ｘｃ，Ｙｃ，Ｚｃ）と定義する。

また、カメラ座標系から見た点Ｐｏの位置を（Ｘｃ，Ｙｃ，Ｚｃ）とすると、固定座標系の空間の点Ｐｏは頭部およびカメラ６２の姿勢に対して式（８）のように表される（但し、Ｓｘ，ＣｘはｓｉｎＸ、ｃｏｓＸを表す）。

この関係式（８）の右辺第１項は頭部の運動パラメータ、第２項がカメラ姿勢パラメータとなる。

カメラ姿勢パラメータは、カメラ姿勢パラメータ保持手段２２に保持されていて、前もって分かっている。

よって、以上の関係式よりカメラ画像により得られる動きベクトルから、固定空間における頭部の動きに変換することが可能となる。

また、逆に、頭部の動き情報である加速度情報と角速度情報から画像特徴点の動きを予想することが可能となる。

図３に示す「姿勢検出動作モード」４４では、第３姿勢演算手段２０における演算処理で求められる運動パラメータを式（８）の右辺第２項に代入することにより、被計測移動体の姿勢を求めることが可能となる。

「補正演算手段２１」
前記第３姿勢演算手段２０では、画像処理による演算により、原点Ｏからのベクトルに換算された姿勢角度と並進情報を含む参照基準情報を求めている。

しかし、この処理にはジャイロや加速度センサによる処理よりも多くの時間を有するために、基本的には第１姿勢演算手段１５からの並進位置情報と第２姿勢演算手段２７からの回転角度情報が本発明による移動体姿勢位置検出装置の姿勢位置演算情報として用いられる。

但し、補正演算手段２１では、角速度センサの角度情報と加速度センサの並進情報より原点Ｏからのベクトルに換算し、ジャイロデータのドリフトを含んだ姿勢角度情報や加速度センサからの並進情報を、このときの参照基準情報と求めたベクトルとの差を角速度センサの角度情報と加速度センサの並進情報の誤差成分として補正するために用いる。

第１姿勢演算手段１５及び第２姿勢演算手段２７の情報に対して第３姿勢演算手段２０の参照基準情報との誤差（ε）が発生した場合、第３姿勢演算手段２０の値に補正するべく、またゆっくりと補正されるようにその差分を加算していく。

例えば、ジャイロデータについてみれば、このときの補正値の幅は第１姿勢演算手段１５からの最新の角速度（ωｔ）に係数（ｋ）を乗じたものを誤差（ε）がゼロになるまで加算し続ける。

これを式（９）に示す。

θｔ＝θ_ｔ−１＋ωｔ＋ε・ｋ …（９）
このとき時の（ｋ）は
ωｔ＝０ ならば ｋ＝０
０＞ωｔ＞Ｔｍａｘ ならば ｋ＝０．５、
ωｔ＞Ｔｍａｘ ならば ｋ＝１となる。

よって、姿勢変化がなく停止状態では誤差が発生していても誤差の補正は行わない。

しかし、動作状態では、その角速度に応じて誤差をキャンセルする幅を大きくする。

このようにすることにより、ＶＲ的な表示を観察しているときに操作者の意志に関わらず勝手に映像が動くことなく、また動作中に誤差がキャンセルされることで操作者にはその補正による動きを分かり難くするという効果がある。

これは、並進情報に関しても同様の処理が行われる。

「画像ベクトル推定手段１０」
画像べクトル推定手段１０は、前記カメラ姿勢演算式（８）において、前記カメラ姿勢パラメータ保持手段２２のカメラ姿勢パラメータ情報と、頭部運動パラメータの代わりに、ジャイロ角速度情報と加速度センサからの加速度情報をそれぞれ式に代入することによりカメラ６２の動きを予測し、更に、そのカメラ６２の動き情報より特徴点の移動位置を予測することが可能となる。

特徴点検出手段１８に対しては、画像回転によるアフィン変換角度情報や特徴点マッチング領域の座標推定情報として、また動きベクトル検出手段１９に対しては、動きベクトルそのものか、あるいは画像領域の中から周辺に存在する運動物体や、乗り物などの移動体の中にいるときの外の景色などの誤差要因となる移動、ベクトルデータを除去するための判定情報として利用することができる。

角速度検出手段１１からの角速度情報あるいは角度情報と、加速度検出手段２６からの加速度情報あるいは並進情報により推定で求められる特徴点の動きあるいは画像ベクトルの動きなどの他のいくつかの処理の中で利用される情報を予め計算しておくことにより、演算負荷を減らすことが可能となる。

「測定不能判定と警告表示」
画像入力手段１７から特徴点検出手段１８に対し、特徴点の少ない壁や天井などを撮像することにより、その特徴点が見つからないような画像が入力されたとき動きベクトルが測定できなくなってしまう。

また、運動物体がカメラ６２の直ぐ前を横切つたりした場合や、操作者が乗り物などの移動体の中にいるときで外の景色だけが写るようなとき、画像処理による動きベクトル検出手段１９ではジャイロデータによる角度情報および加速度センサからの加速度情報と大きく異なる動きベクトルが検出される。

その他に、画像演算処理システムの処理能力以上の早い動きにより更新画像データに過去の特徴点がなくなってしまったときにも、上述と同様に検出不能となってしまう。

このようなときには、測定不能と判断し、補正演算手段２１ではジャイロデータによる角度演算情報および加速度センサからの加速度情報のみで演算し、画像処理演算情報による補正を行わない演算モードとする。

よって、本発明では、常に、どのような条件でも姿勢を検出し続けることができるようになる。

その後、前回記憶していた特徴点が抽出された場合には、そのときの位置情報により姿勢情報の補正を再開する。

しかし、このような測定不能状態が長く続くことは、ジャイロのドリフトや加速度センサの積算などによる誤差が発生する要因になる。

そのために、本発明では、このような状態が一定期間続くと操作者に対して警告を発する機能を有している。

例えば、ブザー音やＬＥＤ等光による警告を発する方法や、ＨＭＤの映像情報にそのステータスを表示する方法、またこの姿勢位置検出装置の情報を入力しているホストシステムに対してステータス情報の中にエラー情報として操作者に知らせることができる。

「カメラ取付方向変更手段２３関連」
カメラ６２の取付方向については、通常はＨＭＤ６０を装着した状態のときの前方の画像を撮像することが基本になっている。

しかし、前記のような測定不能状態が発生するような条件下で使用できなくならないように、図２に示すように、カメラ取り付け方向を変更することが可能なカメラ取付方向変更手段２３を備えている。

例えば、このカメラ取付方向変更手段２３によりカメラ６２を操作者の頭頂方向に向けたり、左右どちらかに向けたりすることで、その使用している環境下で最も測定に良い条件の画像が得られる方向に設定することが可能となる。

また、このカメラ取り付け方向の切り替えに対して、前記カメラ姿勢パラメータ保持手段２２は予めそれぞれの取付方向に対する姿勢パラメータデータを保管しているので、切換スイッチ（図示せず）やホストシステムからのパラメータ設定コマンド等によりその設定を切り換えることができるようにしてもよい。

また、カメラ６２内にカメラ姿勢検知手段２４を組み込むことにより、前記切り替え操作を自動で行うことも可能である。

これは、カメラ取付方向変更手段２３とＨＭＤ６０本体との結合面にマイクロスイッチやホール素子による接合検出器等によりカメラ６２の取付位置による取付方向を検知する方法である。

または、前記加速度センサである半導体加速度センサをカメラ６２の内側に装着することにより、カメラ６２の取付傾斜角度を知る傾斜センサとして利用することも可能である。

したがって、カメラ姿勢検知手段２４は、カメラ取付方向変更手段２３により取り付け方向が変更されたのを自動的に検出し、カメラ姿勢パラメータ保持手段２２の姿勢パラメータデータの変更を自動的に行うことが可能となり、使用者への負担を減らすことができる。

「カメラパラメ一タ自動キャリブレーション機能」
前記までのカメラ取り付け方向に関する機能は、計測されたカメラ姿勢パラメータを前もってシステムに組み込んで利用することにより、極めて簡便にカメラ方向とその姿勢パラメータの変更を行うことができる。

しかし、より自由度のあるカメラ取付方向変更手段２３を備えた画像入力手段１７に対して、あるいは操作者の動きの原点となる首の基点位置に対するカメラ位置の個人差など（例えば、頭の大きさ、首の長さなど）の違いにより、その姿勢パラメータに誤差が生じてしまう。

そこで、カメラ姿勢パラメータ演算手段２５は、カメラ姿勢パラメータである取り付け姿勢や位置を各利用者毎に測定し、カメラ姿勢パラメータ保持手段２２に記憶する機能を有している。

前記カメラパラメータ演算の関連式（８）に、既知の運動データを与えたときの画像処理から得られる動きベクトルを求めることにより、カメラ取り付け位置の姿勢パラメータを自動的に求めることができる。

このカメラパラメ一タ自動キャリブレーションの機能は、以下のようにして簡単な操作で遂行することができる。

まず、カメラ姿勢キャリブレーションにおいては、入力する画像などに関してはなるべく遠方の画像を取り込むことを条件とする。

そして、利用者が、この装置を実際に利用する状態にカメラ６２を向け取り付けた状態で、この装置を装着する頭をなるべく並進運動を行わずゆつくりと上下左右横振り等の回転運動を行い画像を入力するだけで、キャリブレーションが可能となる。

図３に示す「カメラ姿勢キャリブレーションモード」３５のとき、第１姿勢演算手段１５及び第２姿勢演算手段２７は通常の動作や演算を行っている。

カメラ姿勢パラメータ演算手段２５は、ジャイロデータによる姿勢データと加速度センサからの並進情報と第３演算手段２０により得られた画像処理のデータを何点かサンプリングする。

このときの特徴点マッチングでは、カメラ姿勢パラメータが定まっていないために、特徴点の動き予測を行わないモードで処理される。

これらの結果を前記カメラ姿勢パラメータ演算の関連式（８）に代入して、最小二乗法により、カメラ姿勢パラメータを逆算することが可能となる。

キャリブレーションが終了すると、この姿勢パラメータをカメラ姿勢パラメータ保持手段２２に記憶し、その後は図３に示す通常動作の「姿勢検出動作モード」４４等の演算に使用する。

よって、カメラ取付方向変更手段２３に関しては、より自由度のある手法を用いることができ、カメラ方向もより自由度が増し、どのような方向に向けた場合でも、前述したようなキャリブレーションを実行することにより、装置を良好な状態で使うことができると共に、個人差などの誤差も解消することができる。

なお、この場合には、カメラ姿勢検知手段２４などは不要となる。

「前処理入力による特徴点検出記憶手段」
本移動体姿勢位置検出装置は、その他の特徴として、特徴点を前処理により記憶するモードを備えている。

すなわち、図３に示すこの「特徴点前処理モード」３７では、まず、通常利用する範囲の頭部運動を行う。

前記の通常行われる「姿勢検出動作モード」４４と同様にジャイロセンサ、加速度センサ及び画像処理による姿勢検出動作が行われる。

このときに抽出されている特徴点は、姿勢情報と共に特徴点検出手段１８の中の特徴点・姿勢情報記憶部１８ｃにも記憶される。

更に、参照基準情報も計算して、この特徴点・姿勢情報記憶部１８ｃに記憶する。

よって、現在撮像されてる画像内の特徴点だけでなく、環境内の周りの画像の特徴点と姿勢情報が、それぞれ関連付けながら特徴点・姿勢情報記憶部１８ｃに記憶保持される。

そして、その後の「姿勢検出動作モード」４４においては、カメラ画像内の特徴点情報を姿勢情報より特徴点・姿勢情報記憶部１８ｃより取り出すことにより、その情報を利用しながら動きベクトルを検出する。

または、参照基準情報を特徴点・姿勢情報記憶部１８ｃより取り出すことにより、補正を行うことができる。

よって、特徴点検出手段１８の特徴点抽出部１８ａの処理を簡略化することができるため、画像処理においてより演算負荷を少なくすることが可能となると共に、より高速化を計ることができる。

また、この「特徴点前処理モード」３７内における特徴点情報に関する測定が短時間で完了するため、角速度センサや加速度センサのドリフトなどの発生を少なくすることができ、特徴点の情報の誤差を低減することができる。

また、この「特徴点前処理モード」３７は、例えば、ある決まった場所にある椅子に座って作業を行うような固定した環境で使用する場合に有効な利用方法である。

「固定マーク検出動作モード」
更に、その他の特徴として、図３に示す「固定マーク検出動作モード」４３がある。

この「固定マーク検出動作モード」は、個人で常に使う場所が固定されていたり、アミューズメント施設内のある部屋の中で使用するというような、前述の「特徴点前処理記憶モード」３７の場合よりも更に固定された環境で使用するようなときに利用する。

これは、特徴点となる画像パターンを予め記憶しており、このパターンにのみ相関処理を行うモードである。

画像パターンである固定マークが、カメラ画角内に常に８個以上撮像できるように、その環境内の周囲に配置される。

この固定マークの配置に際して、通常では、周期的に配置するのを避け、なるべくランダムに配置するが、ジャイロセンサや加速度センサからの情報も加味されているために、一般的な画像処理のみによる姿勢検出装置よりは、この配置に関しても自由度が高い。

よって、特徴点検出手段１８の特徴点抽出部１８ａの処理を省略することができるため、画像処理においてより演算負荷を少なくすることが可能となると共に、高速化を計ることができる。

また、更に、「特徴点前処理記憶モード」３７のような記憶メモリを多く必要としないので、システム構成をより簡単にすることができる。

「固定マーク登録モード４２」
更に、その他の特徴として、前記「固定マーク検出動作モード」４３においては、内部に予め特徴点となる画像パターンを記憶しておくようにしているが、図３に示すこの「固定マーク登録モード」４２では、前述の「固定マーク検出動作モード」４３に先立ち、操作者自身でカメラ６２の画像から入力したマークを登録し、そのマークに対して「固定マーク検出動作モード」４３を行う点で違っている。

この「固定マーク登録モード」４２では、画像入力手段１７から入力された画像を特徴点データとなるように変換して内部に記憶する。

但し、このときの入力画像には固定マークとして登録するもの以外の画像が写らないようにする必要がある。

よって、この「固定マーク登録モード」４２では、前記と同様に、特徴点検出手段１８の特徴点抽出部１８ａの処理を省略することができるため、画像処理においてより演算負荷を少なくすることが可能となると共に、より高速化を計ることができる。

また、この「固定マーク登録モード」４２では、画像処埋による安定的な信号を得たいときには、識別し易いマーカーなどを配置することで、より精度を上げることができる。

更に、この「固定マーク登録モード」４２では、「特徴点前処理記憶モード」３７のような記憶メモリを多く必要としないので、システム構成をより簡単にすることができる。

更に、この「固定マーク登録モード」４２では、個人でマークを製作したり、使用環境内にある画像をマークとして登録することが可能なので、使用環境内における周辺環境の設計の自由度が増し、より利便性を向上することができる。

「赤外線発光手段」
更に、その他の特徴として、本装置は、画像入力手段１７の画像入力範囲を照射するように配置された赤外線ＬＥＤ等の赤外発光手段（図示せず）を備えている。

画像入力手段１７は、周りが自然光や照明器具によって照明された状態の画像を入力する場合は問題ないが、夜間や暗い部屋などで、照明器具を使用しない環境で本装置を使いたいときに、本装置側に備えている赤外線ＬＥＤを発光させることにより、このような環境でも使用することが可能となる。

この場合、赤外線ＬＥＤは、画像入力手段１７の画像入力処理に同期して、発光させ、それ以外では発光を停止させるようにしている。

このように、点灯・消灯を繰り返すことにより、余計な電力消費を避けて、低消費電力化を計っている。

また、夜景のような遠方の光パターンを利用出来る場合には、赤外線ＬＥＤの発光は行わない。

「人工網膜チップ」
更に、その他の特徴として、前記構成において画像入力手段１７の投影像を映像信号に変換するための撮像素子から、その映像信号を画像データとして蓄積し、その画像データを更に輪郭抽出を行ったり、特徴抽出部１８ａの処理、パターンマッチング処理、映像入力信号のゲインレベルの調整等の機能を一つの人工網膜チップにより構成する。

この人工網膜チップは、画像演算処理機能と、アナログ調整機能とを内蔵したイメージセンサ（例えば、三菱電機株式会社製人工網膜ＩＣ）で、現在は１２８×１２８画素の濃淡画像を処理・出力することができる。

カメラ６２の光学系は画角３０゜を有しており、回転角方向に関しては３０／１２８＝０．２３゜より、１画素当たり０．２３゜となり、アナログ濃淡画像信号を補間処理することで、更に高分解能化を計ることができる。

これにより、ドリフトのない参照点データとして、十分使用することが可能である。

よって、後段の演算処理のための処理系もより低価格で汎用的な処理システムで構成することが可能となる。

この人工網膜チップを画像入力手段１７に用いることにより、システムの小型化、低価格化、高速化、低消費電力化を計ることができる。

以上の説明において、画像処理に関する各種設定やモード変更に関しては、本装置内にある内部スイッチ（図示せず）の設定及び装置ステータス情報により自動的に行うことができる。

また、これは、本装置の情報を利用するホストコンピュータからの設定コマンドによって、変更することも可能である。

図３は、以上における画像処理モード関連のフローチャートを示している。

このフローは、装置本体へのリセット入力あるいはパワーオンリセットにより、開始３１となる。

そして、まず、初期化モード３２において、各種データの初期設定が行われると同時に、内部スイッチのデータが読み込まれる。

次に、カメラモード判定部３３では、内部スイッチのカメラキャリブレーションモードスイッチが「オン」に設定されていれば、「カメラ姿勢キャリブレーションモード」３５を実行し、カメラ姿勢パラメータを測定してそれをカメラ姿勢パラメータ保持手段２２に保持する。

また、カメラキャリブレーションモードスイッチが「オフ」であれば、「カメラ姿勢パラメータ変更モード」３４の処理を行う。

この「カメラ姿勢パラメータ変更モード」３４では、カメラ姿勢検知手段２４のステータス情報よりカメラ取り付け方向情報を調べ、その情報に対応して内部に記憶されているカメラ姿勢パラメータ情報を読み出し、カメラ姿勢パラメータ保持手段２２に保持する。

また、このときにステータス情報にステータスがない場合、すなわち、カメラ姿勢検知手段２４がないカメラ装置の場合には、内部スイッチのカメラ取り付け方向設定スイッチ情報によりカメラ姿勢パラメータ情報を読み出し、カメラ姿勢パラメータ保持手段２２に保持する。

次に、各種動作モード判定部３６，３８，４１では、内部スイッチの動作モード設定スイッチにより、「姿勢検出動作モード」４４、「前処理データ利用・姿勢検出動作モード」３７，４４、「内部固定マークによる固定マーク検出動作モード」４３、「登録マークによる固定マーク検出動作モード」４２，４３の以上５つの動作モードを選択し、実行する。

但し、この動作モード及びカメラモードなどは、この実施の形態のように、全てのモードをサポートする必要はなく、あるモードだけ単独で動かす装置として、構成することも可能である。

また、本実施の形態では、操作者の頭部運動を測定するための例で説明したが、これに限定された利用だけでなく、操作者の他の身体の部分の動きを検出するためにも使用することができる。

また図６は、携帯型コンピュータに本発明による移動体姿勢位置検出装置である頭部検出装置を内蔵したＨＭＤ表示装置を組み込んだシステムを例示する図である。

図６において、参照符号６０は頭部姿勢検出装置内蔵のＨＭＤ表示装置、６１はモードスイッチ、７０はマイクロホン、７１はスピーカ、７２は信号ケーブル、７３はＰＣカード等のグラフィック制御システム、７４は携帯型コンピュータである。

また、図９は、周辺画像の撮像手段であるカメラ６２を操作者の頭上方向に向けた場合を例示する図である。

そして、上述したような実施の形態で示した本発明には、特許請求の範囲に示した請求項１以外に、以下のような付記として示す発明が含まれている。

付記１．上記姿勢位置決定手段は、上記角度情報検出手段よりの角度情報を上記画像解析手段よりの角度情報を用いて補正し、上記並進位置情報検出手段よりの並進位置情報を上記画像解析手段よりの並進位置情報を用いて補正することによって、前記測定対象物の角度情報と並進位置情報を決定することを特徴とする請求項１記載の姿勢位置検出装置。

付記２．測定対象物に装着または内蔵され、該測定対象物の移動に伴って移動して、該測定対象物の姿勢位置情報を検出する姿勢位置検出装置において、
装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報を解析して、装置の傾きを表わす角度情報を検出する画像解析手段と、
上記画像情報を用いずに、角度情報を検出可能な角度情報検出手段と、
上記画像解析手段よりの角度情報と、上記角度情報検出手段よりの角度情報を用いて、測定対象物の角度情報を演算する姿勢位置演算手段と、
を具備することを特徴とする姿勢位置検出装置。

付記３．測定対象物に装着または内蔵され、該測定対象物の移動に伴って移動して、該測定対象物の姿勢情報を検出する姿勢検出装置において、
前記装置周辺を撮像して画像情報を取得可能な画像情報取得手段と、
上記画像情報を解析して、前記装置の位置移動を表わす並進位置情報を検出する画像解析手段と、
上記画像情報を用いずに、並進位置情報を検出可能な並進位置情報検出手段と、
上記画像解析手段よりの並進位置情報と、上記並進位置情報検出手段よりの並進位置情報とを用いて、前記測定対象物の並進位置情報を演算する姿勢位置演算手段と、
を具備することを特徴とする姿勢位置検出装置。

付記４． 移動体の姿勢を検出する装置において
前記移動体の空間上の３軸の姿勢角度情報を算出する角度検出手段と、
前記移動体の空間上の３軸の並進位置情報を算出する並進位置検出手段と、
前記移動体自体に設置され、前記移動体の周りの画像から移動体の並進と姿勢の６軸の画像姿勢情報を算出する画像処理姿勢検出手段と、
前記角度検出手段からの姿勢角度情報と、前記並進位置検出手段からの並進位置情報と、前記画像処理姿勢検出手段からの画像姿勢情報のそれぞれ情報により空間上での前記移動体の６軸姿勢情報を算出する空間姿勢演算手段と、
を具備することを特徴とする移動体姿勢検出装置。

この付記４．は、第１の実施形態が対応する。

この発明によれば、参照点をもたず、空間内での相対的な姿勢変化や並進変位情報を検出する角度検出手段と並進位置検出手段の情報に対して、被計測移動体に対する空間上での絶対的な参照点を持つことが可能な画像処理姿勢検出手段との情報を、関連づけることにより、空間上の絶対参照点に対する姿勢を求めることが可能となる。

付記５． 前記角度検出手段は、
直交する３軸上の空間の角速度情報を検出する角速度検出手段と、
前記角度情報より前記移動体の姿勢角度情報を演算する第１姿勢演算手段とで構成され、
前記並進位置検出手段は、
直交する３軸上の空間の並進方向の加速度情報を検出する加速度検出手段と、
前記加速度情報より前記移動体の傾き情報と並進情報を演算する第２姿勢演算手段とで構成され、
前記画像処理姿勢検出手段は、
前記装置周辺の画像を時系列に入力する画像入力手段と、
この画像入力手段によって入力された画像の中から複数の特徴点を抽出して、それらの特徴点を記憶すると共に、以前に記憶されている特徴点の座標等の特徴点情報を探索検出する特徴点検出手段と、
前記特徴点の２次元画像の中での変位から画像の動きベクトルを検出する動きベクトル検出手段と、
前記姿勢角度情報と前記並進情報と前記特徴点の情報から移動体の回転方向と並進方向の画像姿勢情報を演算する第３姿勢演算手段とで構成され、
前記空間姿勢演算手段は、
前記動きベクトル検出手段からの情報と前記角速度検出手段と前記加速度検出手段とにより前記第１姿勢演算手段の姿勢演算方法と前記第２姿勢演算手段の姿勢演算方法とを変更する情報を送る停止判定制御手段と、
前記第１姿勢演算手段と第２姿勢演算手段と第３姿勢演算手段それぞれからの情報を演算する補正演算手段と、
で構成されることを特徴とする付記４．に記載の移動体姿勢検出装置。

この発明によれば、角速度検出手段より角度を検出するとき及び加速度検出手段で並進位置を検出するときの角速度及び中間データの速度データを画像処理のための補助データとして利用することができ、画像処理の計算負荷を減らす効果があると共に、画像処理のみによる装置に比較して演算処理の負荷が小さくなるため、高速処理が可能であり、また低速の処理系で構成することができ、更に、画像処理での動きベクトルとの比較により停止状態を判定することでジャイロのドリフトなどを補正することができる。

また、その他の効果としては移動体の中においても移動体に対する相対的な姿勢を検出することができる。

付記６．（高速に取り込まれ処理される）前記角速度検出手段の姿勢角度情報と前記加速度検出手段からの並進情報を前記移動体姿勢検出装置の６軸姿勢情報として利用すると共に、上記姿勢角度情報や変位情報よりも低速に演算処理される画像処理姿勢検出手段の画像姿勢情報を上記６軸姿勢情報の基準参照用の補正情報として利用することを特徴とする付記４．または５．に記載の移動体姿勢検出装置。

この発明によれば、画像処理による姿勢演算処理時間に比べて高速でしかも演算負荷の少ない角速度検出手段と加速度検出手段からの情報を本移動体姿勢検出装置の６軸姿勢情報として利用し、画像姿勢検出手段からの情報は固定空間から得られた参照基準情報として前記姿勢情報を補正するために使用することによって６軸姿勢情報としては高速に検出することができると共に、画像姿勢検出手段による基準点情報で定期的に修正することでその誤差を補正することが可能となる。

付記７．前記角速度検出手段と、前記加速度検出手段と、画像入力手段の画像入力方向と取付位置座標との取付関係であるカメラ姿勢パラメータ情報を記憶した画像ベクトル推定手段を備えたことを特徴とする付記４．または５．に記載の移動体姿勢検出装置。

この発明によれば、角速度検出手段からの角速度情報或いは角度情報と、加速度検出手段からの加速度情報あるいは並進情報により椎定で求められる特徴点の動きあるいは画像ベクトルの動きなどの他のいくつかの処理の中で利用される情報を予め計算しておくことで、演算負荷を減らすことが可能となる。

付記８．前記特徴点検出手段は、
前記画像入力手段が画像を入力した時点での前記特徴点検出手段の特徴点情報に、前記第１姿勢演算手段での姿勢角度情報と、前記第２姿勢演算手段での並進情報とを一組の特徴点姿勢情報として記憶すると共に、同一特徴点に対する異なった位置（前記並進情報がある閾値以上の値を持ったもの）の特徴点姿勢情報を優先的に記憶する特徴点姿勢情報記憶機能を有し、
前記第３姿勢演算手段は、
２点以上の前記特徴点姿勢情報より特徴点の固定座標空間の原点からの座標に近似補正して求めることを特徴とする付記４．乃至７．に記載の移動体姿勢検出装置。

この発明によれば、同一特徴点に対する座標情報を求める場合、並進情報が大きいほど精度が上がり、また測定データ数が多いほど誤差を低減することができると共に、特徴点の固定空間上での求める座標情報の誤差を減らすことが可能となり、更に、２次元画像処理から求められた特徴点情報にはカメラの姿勢パラメータ情報が含まれるため、特徴点情報を固定座標原点からの情報に変換して保存しておくことで角速度検出手段の姿勢角度情報とか速度検出手段からの並進情報を参照基準情報と比較するときの処理が簡単になり、処理が高速になる。

付記９． 前記補正演算手段は、
前記第３姿勢演算手段で近似補正して求められた画像姿勢情報を参照基準情報とし、前記第１姿勢演算手段での姿勢角度情報と前記第２姿勢演算手段での並進情報とが前記参照基準情報に一致するように補正すると共に、この補正値を停止中には補正せず、動作中にその動作データの変化データの値によってその補正幅を調整することを特徴とする付記８．に記載の移動体姿勢検出装置。

この発明によれば、参照基準情報を複数の測定点から近似補間した情報より求めることで、画像処理による誤差や、角速度検出手段や加速度検出手段からの情報による誤差を減らすことが可能となり、角速度検出手段の姿勢角度情報とか速度検出手段からの並進情報を、また誤差補正に際してはこのようにすることでＶＲ的な表示を観察しているときに操作者の意志に関わらず勝手に映像が動くこともなく、また動作中に誤差がキャンセルされることで、操作者にはその補正による動きを判り難くするという効果がある。

付記１０． 前記特徴点検出手段は、
同一特徴点に対する同じ位置（前記並進情報がある閾値以下の値を持ったもの）で異なった角度（前記並進情報がある閾値以上の値を持ったもの）の特徴点姿勢情報を角度の参照基準情報として利用し、
前記補正演算手段は、
この角度の参照基準情報に一致するように姿勢角度情報のみ補正することを特徴とする付記８．に記載の移動体姿勢検出装置。

この発明によれば、ＶＲ的な仮想表示システムでは並進による動作より回転中心の動きの方が多いため、並進情報が大きい場合のデータだけではデータ効率が悪くなるが、並進がゼロのときの角度情報はそのままジャイロ情報の角度情報の参照基準情報となるため、演算処理を高速にすることができる。

付記１１． 前記画像ベクトル推定手段からの情報により、取り込まれた画像データの特徴点の移動位置と回転角を推定することを特徴とする付記７．乃至１０に記載の移動体姿勢検出装置。

この発明によれば、カメラ取付状態が変わつても特徴点探索のためのマッチング領域の予測ができ、２次元走査回数やアフィン変換等の画像処理の演算を減らすことができ、カルマンフィルタなどによる探策領域の予測方式より、特徴点処理を簡単に高速化することができる。

付記１２． 前もって移動体の周りの画像を入力し、そのときの前記特徴点検出手段の特徴点姿勢情報を記憶し、
次からは前記第１姿勢演算手段と第２姿勢演算手段との情報より特徴点抽出の処理を行わずに、前記記憶情報を利用すると共に、
複数の記憶した特徴点姿勢情報をもとに前記第３姿勢演算手段により、特徴点の固定座標空間の原点からの座標に近似補正した参照基準情報を求めて記憶しておくことを特徴とする付記７．乃至１１に記載の移動体姿勢検出装置。

この発明によれば、特徴点の固定空間の座標を予め求めるモードで測定しておくことで、角速度検出手段や加速度検出手段からの情報のドリフトや誤差の発生が少ない間で座標情報を特定できるため、より精度を上げることができると共に、抽出処理を簡略化することができるため、画像処理においてより演算負荷を少なくすることが可能となり、またより高速化を計ることができる。

付記１３．前記動きベクトル検出手段は、
処理された情報の中から前記画像ベクトル推定手段の情報との推定による動きベクトルのみを選択出力することを特徴とする付記７．乃至１２に記載の移動体姿勢検出装置。

この発明によれば、画像の中で固定物体以外の動体による動きベクトルが存在したときの判定条件にジャイロデータを利用することで信頼性が上がる。

付記１４． 前記特徴点検出手段で特徴点が検出されないとき、あるいは前記動きベクトル検出手段の情報が前記画像ベクトル椎定手段の情報による動きベクトルとの類似度がある閾値以下のとき、検出不能と判定し、後処理の前記第３姿勢演算手段及び補正演算手段にはその情報を使わないことを特徴とする付記１３に記載の移動体姿勢検出装置。

この発明によれば、運動物体がカメラの直ぐ前を横切ったり、壁や天井などの特徴点が見つからないような画像が入力されたとき等の動きベクトルが測定できないとき、ジャイロデータのみとすることで、画像処理のみによる装置に比較して測定てきなくなる条件を少なくでき、常にどの様な条件でも姿勢を検出し続けることができる。

付記１５． 前記動きベクトル検出手段が検出不能と判定したとき、その情報を使用者に知らせる手段を備えたことを特徴とする付記１４に記載の移動体姿勢検出装置。

この発明によれば、前記理由で検出不能となったとき、使用者に知らせることで画像処理状態を知ることができ、ジャイロのドリフトなどによる誤差が発生する状況や要因を減らすことができる。

付記１６． 前記画像入力手段の入力方向を変更することが可能なカメラ取付方向変更手段を備えたことを特徴とする付記４．乃至１２に記載の移動体姿勢検出装置。

この発明によれば、現在の環境の中で検出に適した方向にカメラを向けることで、動体の少ない固定画像情報が多い画像処埋による条件の良い方向へ向けることができる。

付記１７． 変更されたカメラ取付方向情報を前記画像ベクトル推定手段に知らせるカメラ姿勢パラメータ保持手段を備えたことを特徴とする付記１６に記載の移動体姿勢検出装置。

この発明によれば、使用している環境下で測定に良い条件の画像が得られる方向に向けた場合の姿勢パラメータを設定することが可能となる。

付記１８． 前記画像入力手段の入力方向が変更されたことを検知し、その情報をカメラ姿勢保持手段へ転送するカメラ姿勢検知手段を備えたことを特徴とする付記１７に記載の移動体姿勢検出装置。

この発明によれば、傾斜センサなどをカメラユニットに組み込むことで、取付方向を自動的に検出し設定を自動的に行うことができるため、使用者への負担を減らすことができる。

付記１９． 移動体を運動をさせたときの前記第１姿勢演算手段の情報と前記第２姿勢演算手段の情報と前記第３手段姿勢演算手段の情報とによりカメラ姿勢パラメータを演算し、その情報を前記カメラ姿勢パラメータ保持手段に送るカメラ姿勢パラメータ演算手段を備えたことを特徴とする付記１８に記載の移動体姿勢検出装置。

この発明によれば、カメラ取り付け方向変更手段に関してはより自由度のある方法を用いることができ、カメラ方向の設定もより自由度が増し、どのような方向に向けてもキャリブレーションをすれば使うことができるようになると共に、個人差などの誤差も解消することができ、またカメラ姿勢検知手段などは不要となる。

付記２０． ある特定のマークに対しての特徴点を予め記憶した固定マーク情報記憶手段と、
前記特定のマークに対してのみのテンプレートマッチングを行うように指示する固定マーク指示手段と、
を備えたことを特徴とする付記４．乃至１９に記載の移動体姿勢検出装置。

この発明によれば、特徴点抽出処理を省略することができるため、画像処理においてより演算負荷を少なくすることが可能となり、またより高速化を計ることができると共に、記憶メモリを多く必要としないのでシステム構成をより簡単にすることができる。

付記２１． 前記固定マーク情報記憶手段に対して、前記画像入力手段により入力された画像デ一タを登録することを特徴とする付記２０に記載の移動体姿勢検出装置。

この発明によれば、特徴点抽出処理を省略することができるため、画像処理においてより演算負荷を少なくする事が可能となり、またより高速化を計ることができると共に、画像処理による安定的な信号を得たいときには、識別しやすいマーカーなどを配置することでより精度をあげることができ、記憶メモリを多く必要としないのでシステム構成をより簡単にすることができ、更に、個人でマークを製作したり、特別なマークを設置することもなく、使用環境内にある画像をマークとして登録することが可能なことで、使用環境内における周辺環境の設計の自由度が増し、より利便性を向上することができる。

付記２２． 前記画像入力手段による画像入力範囲を照射するように配置された赤外線発光手段を備えたことを特徴とする付記４．乃至２１．に記載の移動体姿勢検出装置。

この発明によれば、夜間や暗い場所でも画像入力処理が可能となるので、夜間や暗い場所などで、照明器具を使用しない環境でも装置を使用することが可能となる。

付記２３． 前記画像入力手段から前記特徴点検出手段と前記動きベクトル検出手段までを人工網膜チップにより構成したことを特徴とする付記４．乃至２２．に記載の移動体姿勢検出装置。

この発明によれば、演算処理のための処理系もより低価格で汎用的な処理システムで構成することが可能となり、更に、このような構成とすることでシステムの小型化、低価格化、高速化、低消費電力化を計ることが可能となる。

図１は、本発明による第１の実施の形態の構成を示すブロック図である。 図２は、本発明による第１の実施の形態において、カメラ姿勢補正動作時の構成を説明を示すブロック図である。 図３は、本発明による第１の実施の形態において、画像処理に関する各種モードの流れを示すフローチャートである。 図４は、ＶＲシステムの一例として、操作者の目の前の空間にコンピュータのデスクトップ画像を仮想的に表示した様子をイメージ化して示す図である。 図５は、操作者の前方方向を＋Ｘ軸、左方向を＋Ｙ軸、上方向を＋Ｚ軸とした３次元空間座標を示す図である。 図６は、本発明の実装例として、携帯型コンピュータに本発明による移動体姿勢位置検出装置である頭部検出装置を内蔵したＨＭＤ表示装置を組み込んだシステムを示す図である。 図７は、本発明による第１の実施の形態において、撮影方向が頭部に対して前方方向を向くように設置された場合であって、カメラ６２がＨＭＤ６０に取り付けられている場合をイメージ化して示す図である。 図８は、本発明による第１の実施の形態において、頭部運動姿勢に対するカメラの位置の関係とカメラ入力画像である投影画像面と空間中の特徴点である固定点Ｐｏの関係を表した図である。 図９は、本発明による第１の実施の形態において、周辺画像の撮像手段であるカメラ６２を操作者の頭上方向に向けた場合を例示する図である。 図１０は、本発明による第１の実施の形態において、角速度検出手段１１及び加速度検出手段２６としての角速度センサ及び加速度センサとの配置関係を示す図である。 図１１は、本発明による第１の実施の形態の構成を示す要部のブロック図である。

符号の説明

１００…角度検出手段、
１１…角速度検出手段、
１５…第１姿勢演算手段、
１０１…並進位置検出手段、
２６…加速度検出手段、
２７…第２姿勢演算手段、
１０２…画像処理姿勢検出手段、
１７…画像入力手段、
１８…特徴点検出手段、
１９…動きベクトル検出手段、
２０…第３姿勢演算手段、
１０３…空間姿勢演算手段、
１６…停止判定制御手段、
２１…補正演算手段、
６０…ＨＭＤ、
６２…カメラ、
１０…画像ベクトル推定手段、
１８ａ…特徴点抽出部、
１８ｂ…特徴点記憶部、
１８ｃ…特徴点・姿勢記憶部、
２３…カメラ取付方向変更手、段
２４…カメラ姿勢検知手段、
２５…カメラ姿勢パラメータ演算手段。

Claims (1)

1. 測定対象物としての移動体に装着または内蔵され、該移動体の移動に伴って移動して、該移動体の姿勢情報を検出する装置において、
   前記移動体の空間上の３軸の姿勢角度情報を算出する角度検出手段と、
   前記移動体の空間上の３軸の並進位置情報を算出する並進位置検出手段と、
   前記移動体自体に設置され、前記移動体の周りの画像から移動体の並進と姿勢の６軸の画像姿勢情報を算出する画像処理姿勢検出手段と、
   前記角度検出手段からの姿勢角度情報と、前記並進位置検出手段からの並進位置情報と、前記画像処理姿勢検出手段からの画像姿勢情報のそれぞれの情報により空間上での前記移動体の６軸姿勢情報を算出する空間姿勢演算手段と、を有しており、
   前記角度検出手段は、
   直交する３軸上の空間の角速度情報を検出する角速度検出手段と、
   前記角速度情報より前記移動体の姿勢角度情報を演算する第１姿勢演算手段とで構成され、
   前記並進位置検出手段は、
   直交する３軸上の空間の並進方向の加速度情報を検出する加速度検出手段と、
   前記加速度情報より前記移動体の傾き情報と並進情報を演算する第２姿勢演算手段とで構成され、
   前記画像処理姿勢検出手段は、
   前記装置周辺の画像を時系列に入力する画像入力手段と、
   この画像入力手段によって入力された画像の中から複数の特徴点を抽出して、それらの特徴点を記憶すると共に、以前に記憶されている特徴点の座標等の特徴点情報を探索検出する特徴点検出手段と、
   前記特徴点の２次元画像の中での変位から画像の動きベクトルを検出する動きベクトル検出手段と、
   前記姿勢角度情報と前記並進情報と前記特徴点の情報から移動体の回転方向と並進方向の画像姿勢情報を演算する第３姿勢演算手段とで構成され、
   前記角度検出手段からの姿勢角度情報と、前記加速度検出手段からの並進方向の加速度情報とに基づいて画像データ上での特徴点の２次元の動きを推定し、この情報をもとに前記探索検出の範囲を狭めることを特徴とする移動体姿勢検出装置。

Images