JP4396564B2 - 物体のモニタリング方法およびこれを用いたモーショントラッカ - Google Patents

Description

本発明は、一定形状を有する物体にマーカーとなる発光体を取り付け、ステレオ視が可能な一対のカメラでマーカーを映し、カメラに映し出されたマーカーの画像から、この物体の動き、すなわち時々刻々変化する物体の位置情報や角度情報（方向）を検出する物体のモニタリング方法およびこの方法を用いたモーショントラッカに関する。
本発明は、例えば、ゲーム機や乗物等で用いるヘルメット型の頭部装着型表示装置の位置や角度を検出するヘッドモーショントラッカ（ＨＭＴ）などに利用される。

一定形状の物体の動きを正確にモニタリングする技術は、さまざまな分野で利用されている。例えば、ゲーム機などではバーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置を用いて動画を表示することがなされているが、このとき頭部の動きをモニタリングし、その動きに合わせて表示画像を変化させる必要があり、一定形状の物体である頭部装着型表示装置の動きを検出するためのヘッドモーショントラッカ（ＨＭＴ）が取り付けられている。

頭部装着型表示装置に取り付けられるヘッドモーショントラッカ（ＨＭＴ）としては、磁気ソースを用いて周囲の空間に磁界を発生させておき、頭部装着型表示装置に固定した磁気センサにより磁気を測定し、測定された磁気データから磁気センサの現在位置や現在角度、ひいては頭部装着装置の現在位置や現在角度を検出する磁気測定方式のものが開示されている（特許文献１参照）。
磁気測定方式は、磁気センサが移動する空間に磁界が発生している限り特に制限なく使用することができるものの、磁気センサが移動する空間の磁気情報を予め測定し、磁気マッピングしておく必要がある。また、この空間内に金属等の磁気歪を生じる物体が存在すると、その影響で測定誤差を生じてしまうので、その補正を行う必要がある。

これに対し、光学的に頭部装着型表示装置の位置や角度を測定するものも開示されている。例えば、頭部装着型表示装置に反射板を取り付けて、光源から光を照射して反射光をカメラで撮影し、その映像データを利用してマーカーの位置や角度を測定するような光学測定によるものが開示されている（特許文献２参照）。
光学測定方式は、磁気マッピングの必要がなく、また、金属等による影響を受けることはないので、磁気歪の影響を受けやすい環境や場所では光学方式が使いやすい。
特開２００２−８１９０４号公報 特表平９−５０６１９４号公報

光学方式のモーショントラッカで、一定形状の物体についての３次元位置情報や角度情報（向き）を正確に測定しようとすると、その物体上に位置が固定された、異なる３点の位置を知る必要がある。そのため、物体上の異なる３箇所に、それぞれが識別可能なマーカーを取り付けて位置を測定することになる。
例えばヘルメット状の頭部装着型表示装置で具体的に説明すると、頭部装着型表示装置のヘルメット外周面上に、個々のマーカーを識別するため互いに異なる波長の赤外光を発光するＬＥＤをマーカーとして、互いに離隔するようにして３箇所に取り付け、これら３つのマーカーのヘルメットに固定された座標系（ヘルメット座標系という）上の位置関係を予め測定し、定めておく。これら３点を、ステレオ視が可能でかつ設置場所が固定された２台のカメラで（すなわち２つのカメラ間の距離が既知の条件の下で）、それぞれのカメラで同時に撮影することで、それぞれのＬＥＤ（マーカー）の映像から、発光波長の差によりＬＥＤ（マーカー）を識別した上で、いわゆる三角測量の原理により、３つのマーカーの絶対座標（地上空間に対して定めた座標）を測定する。
そして、これら３つのマーカー位置について、絶対座標と、予め測定してある頭部装着型表示装置上に固定されたヘルメット座標系の位置関係とを対応付けることにより、絶対座標に対する頭部装着型表示装置の位置や角度を特定する。

上述したような光学方式では、個々のマーカーを識別する必要があるため、マーカー自身に、それぞれ他のマーカーと識別可能な何らかの情報を持たせて、検出側（カメラ側）で識別できるようにしている。上記例の場合は、発光波長をマーカーごとに変化させ、カメラ側で発光波長を識別するようにしてマーカーを識別している。

しかしながら、個々のマーカーに識別可能な情報を持たせる場合、故障などでマーカーを交換するたびに、識別情報を改めて記憶させておく必要がある。
また、カメラの視野に比べて頭部装着型表示装置の位置や方向が大きく変化する場合は、マーカー位置とカメラ設置位置との関係で、３つのマーカーのいずれかがカメラの視野から外れることがあり、ステレオ視することができなくなる。
そのため、常に３つの識別可能なマーカーが２台のカメラに同時に映し出されるようにしてそれぞれのマーカーがステレオ視できるようにしようとすれば、ヘルメットの外周全体にわたって、それぞれ識別可能なマーカーを分散配置するようにしておき、さらにこれらすべてのマーカーのヘルメット座標系上での位置関係を予め測定しておき、ヘルメットの位置、角度がどのようになっても、２台のカメラの視野内に少なくとも３つの識別可能なマーカーが存在するようにしておく必要がある。この場合、取り付けたすべてのマーカーについて、それぞれ識別できるように何らかの識別情報（例えば発光波長を異ならせる）を持たせておく必要があり、識別情報とマーカー配置との管理が大変である。

また、識別情報を持たないマーカーで、個々のマーカーを識別しようとするなら、マーカーを１つ１つ点灯させて識別すればよいが、その場合、すべてのマーカーを順次点灯させなければならず、一巡するまでに長時間必要となるため、時々刻々変化する動きをモニタリングすることは困難である。

そこで、本発明は、物体に多数取り付けたマーカーのなかから、カメラに映し出される３つの異なるマーカーの位置を光学的に測定し、これら３点の動きから物体の動き（位置、角度）をモニタリングする際に、マーカー自身には他のマーカーと識別するための情報を持たせることなく、マーカーの位置情報のみから個々のマーカーを識別するようにして、マーカーの位置、ひいては、マーカーが取り付けられた物体の動き（位置、角度）をモニタリングする方法を提供することを目的とする。

また、本発明はマーカーを１つ１つ点灯させて個々のマーカーを識別しながらモニタリングするのではなく、測定に必要な３つのマーカーを同時に点灯させておき、これらのマーカーの位置をほぼ同時に測定することで、動きが激しい場合でもモニタリングすることができるモニタリング方法を提供することを目的とする。

また、本発明は、識別情報を有していないマーカーを利用して、かつ、１つ１つのマーカーを別々に点灯させて順次識別しながら測定するのではなく、３つのマーカーを同時に点灯させて、これらマーカーをほぼ同時に測定するようにして、物体の動きをモニタリングするモーショントラッカを提供することを目的とする。

上記課題を解決するためになされた本発明の物体のモニタリング方法は、（ａ）物体をステレオ視する一対のカメラを設置し、（ｂ）物体の外表面に少なくとも４つの点灯可能なマーカー群を取り付け、（ｃ）物体上に定義される物体固定座標系上での各マーカーの座標を定め、
（ｄ）マーカー群のうち、一対のカメラそれぞれの画像に同時に映る３つのマーカーであって、この３つのマーカーを結んだ三角形が正三角形を形成しない位置関係となる３つのマーカーを探索用マーカーとして点灯し、（ｅ）各画像に映る３つの探索用マーカー像に対し、幾何学的な予測に基づいて、画像間で対となる探索用マーカー像どうしの対応付けを行い、（ｆ）対応付けがなされた３つの探索用マーカー像について、一対のカメラを用いた三角測量により空間上に定義される絶対座標系上での各探索用マーカーの絶対座標を算出し、（ｇ）算出された３つの探索用マーカーそれぞれの絶対座標から探索用マーカー間の距離を算出し、（ｈ）先に定めた物体固定座標系上での各マーカーの座標から求まる各マーカー間の距離と、算出された３つの探索用マーカー間の距離との関係に基づいて、これら３つの探索用マーカーが、それぞれ物体上に取り付けられたマーカー群のうちのいずれであるかを特定するマーカー識別を行い、（ｉ）マーカー識別により特定された３つの探索用マーカーそれぞれの絶対座標と物体固定座標系上での座標とに基づいて、絶対座標系に対する物体の位置と角度を特定するようにしている。

この発明のモニタリング方法によれば、物体の外表面に取り付けたマーカー群のうち、一対のカメラの視野内に含まれ、それぞれのカメラの画像に同時に映ることができる３つのマーカーを探索用マーカーとして点灯する。
探索用マーカー像が一対のカメラのそれぞれの画像に映し出されると、各カメラの位置や各カメラの撮影方向の情報、および、２つの画像に映る各探索用マーカー像の位置関係から幾何学的な予測（例えばエピポーラ幾何学による予測）により、２つの画像間で対となる探索用マーカーの組を対応付けすることができる。
この段階では、それぞれの画像間での探索用マーカーの組が特定されるだけであり、３つの探索用マーカーのいずれであるかまでは識別できない。
２つの画像間で対となる探索用マーカーの組が特定されると、それぞれの探索用マーカーについての各カメラからの方向角が特定できるので、カメラ間距離とこれら方向角とからいわゆる三角測量を行うことにより、それぞれの探索用マーカーの絶対座標を算出することができる。
３つの探索用マーカーそれぞれの絶対座標が算出されると、探索用マーカー間の距離を算出することができる。これを、先に定めた物体固定座標系上での各マーカーの座標から求めた各マーカー間の距離と比較する。３つの探索用マーカーを結ぶ三角形は、正三角形を形成しないようにしてあるので、少なくともいずれか１辺の長さが他の２辺と異なり、３つの探索用マーカー間の距離の違いに基づいて、それぞれの探索用マーカーが物体上に取り付けられたマーカー群のうちのいずれであるかを特定することができる。
そして３つの探索用マーカーが特定されると、３つの探索用マーカーそれぞれについて算出された絶対座標と予め定めてある物体固定座標系上での座標とに基づいて、絶対座標系に対する物体の位置と角度を算出することができる。
このようにして、絶対座標系に対する物体の位置と角度とを求めることにより、物体の動きをモニタリングする。

本発明によれば、物体に取り付ける個々のマーカーに識別情報を持たせなくても、一対のカメラに同時に映し出される３つのマーカーの位置関係から光学的にマーカーを識別することができ、物体の位置や角度をモニタリングすることができる。

また、本発明によれば、マーカーを１つ１つ点灯させて個々のマーカーを識別しながらモニタリングすることなく、測定に必要な３つのマーカーを同時に点灯させておき、これらのマーカーの位置をほぼ同時に測定することができるので、動きが激しい場合でも位置や角度をモニタリングすることができる。
（他の課題を解決するための手段および効果）

上記の物体のモニタリング方法の発明の（ａ）から（ｉ）の手順に続いて、（ｊ）物体の絶対座標系に対する位置および角度と、物体固定座標系上での各マーカーの座標とに基づいて、全マーカーの絶対座標を算出し、（ｋ）絶対座標が算出された全マーカーについて、一対のカメラの各画像上で各マーカーがそれぞれ映る予定位置を算出し、（ｌ）全マーカーあるいは探索用マーカーを除いた残りのマーカーを点灯して、各画像上の予定位置と実際に映るマーカー像位置との対応付けにより、全マーカーについてのマーカー識別を行い、（ｍ）識別されたマーカーのうちで一対のカメラの各画像に同時に映る３つのマーカーを新探索用マーカーとして抽出し、一対のカメラを用いた三角測量によりこれら３つの新探索用マーカーの絶対座標を算出し、（ｎ）３つの新探索用マーカーそれぞれの絶対座標と物体固定座標系上での座標とに基づいて、絶対座標系に対する物体の位置と角度を再び特定するようにしてもよい。

この発明によれば、物体の絶対座標系に対する位置および角度と、予め定めてある物体固定座標系上での各マーカーの座標とに基づいて、全マーカーの絶対座標を算出することができる。絶対座標が算出された全マーカー（あるいは探索用マーカーはすでに識別できているのでこれを除いた残りのマーカー）について、一対のカメラの各画像上で各マーカーがそれぞれ映る予定位置を算出し、全マーカーを点灯して、算出された各画像上の予定位置と実際に映るマーカー像位置との対応付けにより、各マーカーについてのマーカー識別を行う。これにより、画像上に映る全マーカーはそれぞれ識別できるようになる。その後、一対のカメラの各画像に同時に映る３つの識別されたマーカーを新探索用マーカーとして抽出し、カメラ位置と画像に映し出された新探索用マーカー像位置との関係からいわゆる三角測量により、これら３つの新探索用マーカーの絶対座標を算出し、３つの新探索用マーカーに基づいて、絶対座標系に対する物体の位置と角度を再び特定する。
これにより、物体が時々刻々変化して画像上に映るマーカーが変化した場合でも、その時点で一対のカメラの各画像に同時に映る３つの新探索マーカーに基づいて、物体の位置や角度を算出することができる。

また、上記発明における（ａ）において、一対のカメラは物体の一部をステレオ視するように設置するようにしてもよい。
これによれば、カメラと物体との距離を近くすることができるので、場所をとらずにモニタリングすることができる。また、カメラと物体との距離を近くすることにより、物体に取り付けたマーカーの画像上の位置を正確に測定することができ、モニタリングの精度を高めることができる。

また、上記発明における（ｂ）において、マーカー群を取り付ける物体上の位置は、一対のカメラで物体の一部を映したときに、常にこれらのマーカー群のうち少なくとも３つのマーカーが同時に一対のカメラのそれぞれに映るように、マーカー群を物体の外表面全体に分散させて配置するようにしてもよい。
これによれば、物体がいずれの方向を向いていても、一対のカメラに３つのマーカーを映すことができ、これらを探索用マーカーとして物体の位置、角度を算出することができるので、物体の向きについて制限を受けることなく、モニタリングすることができる。

また、上記発明における（ｌ）において、予定位置とマーカー像位置との対応付けは、両者の間の距離に基づいて行うようにしてもよい。
予定位置とマーカー位置との距離が一定以下である場合に、マーカーを特定することにより、精度よくマーカー識別を行うことができる。

また、別の観点からなされた本発明のモーショントラッカは、物体のステレオ視を行う一対のカメラと、物体の外表面に取り付けられる少なくとも４つの点灯可能なマーカー群と、一対のカメラおよびマーカー群の制御と物体の位置や角度を求める演算とを行う制御演算部とを備えたモーショントラッカであって、マーカー群は、物体上に定義される物体固定座標系上での各マーカーの座標が定められ、制御演算部は、マーカー群のうち、一対のカメラそれぞれの画像に同時に映る３つのマーカーであってこれら３つのマーカーを結んだ三角形が正三角形を形成しない位置関係となる３つのマーカーを探索用マーカーとして点灯し、各画像に映る３つの探索用マーカー像に対し、幾何学的な予測に基づいて、画像間で対となる探索用マーカー像どうしの対応付けを行い、対応付けがなされた３つの探索用マーカー像について、一対のカメラを用いた三角測量により空間上に定義される絶対座標系上での各探索用マーカーの絶対座標を算出し、算出された３つの探索用マーカーそれぞれの絶対座標から探索用マーカー間の距離を算出し、先に定めた物体固定座標系上での各マーカーの座標から求まる各マーカー間の距離と算出した３つの探索用マーカー間距離との関係に基づいてこれら３つの探索用マーカーがそれぞれ物体上に取り付けられたマーカー群のうちのいずれであるかを特定してマーカーを識別し、識別された３つの探索用マーカーそれぞれの絶対座標と物体固定座標系上での座標とに基づいて、絶対座標系に対する物体の位置と角度とを特定する演算を行うようにしている。

また、上記モーショントラッカにおいて、制御演算部は、さらに、特定された物体の絶対座標系に対する位置および角度と、物体固定座標系上での各マーカーの座標とに基づいて、全マーカーの絶対座標を算出し、絶対座標が算出された全マーカーについて、一対のカメラの各画像上で各マーカーがそれぞれ映る予定位置を算出し、全マーカーあるいは探索用マーカーを除いた残りのマーカーを点灯して、算出された各画像上の予定位置と実際に映るマーカー像位置との対応付けにより、全マーカーについてのマーカー識別を行い、識別されたマーカーのうちで一対のカメラの各画像に同時に映る３つのマーカーを新探索用マーカーとして抽出し、カメラ位置と画像に映し出された新探索用マーカー像位置との関係からこれら３つの新探索用マーカーの絶対座標を算出し、３つの新探索用マーカーそれぞれの絶対座標と物体固定座標系上での座標とに基づいて、絶対座標系に対する物体の位置と角度を再び特定することにより、時々刻々変化する位置と角度とをモニタリングするようにしてもよい。

以下、本発明の一実施形態である物体のモニタリング方法について、この方法を用いたヘッドモーショントラッカを具体例として、図面を用いて説明する。ただし、本発明は以下に説明する具体例に限られず、本発明の趣旨を逸脱しない範囲で適用されるものである。

（実施形態１）
図１は本発明の一実施形態であるヘッドモーショントラッカの概略構成を示す図である。
このヘッドモーショントラッカ１０は、ステレオ視ができるように距離ｄを隔てて並ぶように設置される一対のカメラ１２、１４と、ヘルメット１６と、ヘルメット１６の外側表面に取り付けた少なくとも４つ以上のＬＥＤ群１８（マーカー群）と、コンピュータにより構成される制御演算部２０とから構成される。

カメラ１２、１４は、撮影方向がそれぞれヘルメット１６に向けられており、ＬＥＤ群１８のうち少なくとも３つのＬＥＤ（カメラ１２と１４とで同一のＬＥＤ）が同時に視野内に入るように、ＬＥＤ群１８の数や配置に応じてカメラの設置位置を定めてある。
カメラ１２、１４は、ヘルメット１６の全体像（カメラに面する側の全体像）が視野内に入るように、少し距離を隔てた位置に設置してもよい。この場合は、ヘルメット１６に取り付けるＬＥＤの数を比較的少なくしても、カメラ１２、１４の視野内に３つのＬＥＤを含ませることができる。

一方、カメラ１２、１４を、ヘルメットに接近させてヘルメットの一部だけが視野内に入るようにしてもよい。この場合は、ヘルメット１６に取り付けるＬＥＤ群１８を増やして、視野内に少なくとも３つのＬＥＤが含まれるようにしなければならないが、ＬＥＤの位置を精度よく測定することができる。

また、ヘルメット１６が動く範囲に応じて、ヘルメット１６上でのＬＥＤ群１８を取り付ける範囲を調整してもよい。すなわち、ヘルメット１６の動く範囲が小さい場合は、カメラ１２、１４の視野の変動範囲も小さいので、その領域に限ってＬＥＤ群１８を取り付ければよい。ヘルメット１６があらゆる方向に動く場合は、ヘルメット１６の全体にわたってＬＥＤ群１８を取り付ける必要がある。なおＬＥＤ群１８としてヘルメット１６に取り付けるＬＥＤの数は、数が多くなるほど本発明が有効に働くことになるが、コストも増大するので適当な数にする必要がある。

ＬＥＤ群１８は、カメラ１２、１４で点灯状態が確認できるものであれば発光波長に制限はない。例えばカメラに赤外線カメラを用いた場合は、赤外線発光ＬＥＤを用いることができる。
ＬＥＤ群１８の各ＬＥＤのヘルメット上の位置、すなわちヘルメット上に固定された座標系（ヘルメット座標系）での各ＬＥＤの座標は測定してあり、したがって各ＬＥＤ間の距離は既知にしてある。

制御演算部２０は、カメラ１２、１４およびＬＥＤ群１８についての制御とともに、これらと連動して種々の演算処理を行う。制御演算部２０が実行する制御・演算内容を機能ごとに分けて説明すると、制御演算部２０は、図１に示すように、探索用マーカー点灯部２１、探索用マーカー対応付け部２２、探索用マーカー絶対座標算出部２３、探索用マーカー間距離算出部２４、探索用マーカー識別部２５、物***置・角度特定部２６とを備えている。

探索用マーカー点灯部２１は、ＬＥＤ群１８（マーカー群）のうち、一対のカメラ１２、１４それぞれの画像に同時に映る３つのＬＥＤ（マーカー）であって、これらＬＥＤ間を結んだ三角形が正三角形を形成しない位置関係となる３つのＬＥＤを、探索用ＬＥＤ（探索用マーカー）として点灯する。その他のマーカーは消灯されていなければならない。
探索用マーカー対応付け部２２は、一対のカメラ１２、１４による２つの画像それぞれに映る３つの探索用のＬＥＤ像（探索用マーカー像）に対し、エピポーラ幾何学に基づく予測により、画像間で対となる探索用ＬＥＤ像どうしの対応付けを行う。
探索用マーカー絶対座標算出部２３は、対応付けがなされた３つの探索用ＬＥＤ像について、カメラ位置と画像に映し出された探索用ＬＥＤ像位置との関係から、各探索用ＬＥＤ絶対座標を算出する。
探索用マーカー間距離算出部２４は、算出された３つの探索用ＬＥＤそれぞれの絶対座標から探索用ＬＥＤ間の距離を算出する。
探索用マーカー識別部２５は、ヘルメット座標系（物体固定座標系）上での各ＬＥＤの座標から求めた各ＬＥＤ間の距離と、算出した３つの探索用ＬＥＤ間の距離との関係に基づいて、３つの探索用ＬＥＤが、それぞれ物体上に取り付けられたＬＥＤ群１８のうちのいずれであるかを特定するマーカー識別を行う。
物***置・角度特定部２６は、マーカー識別により特定された３つの探索用ＬＥＤそれぞれの絶対座標とヘルメット座標系（物体固定座標系）上での座標とに基づいて、絶対座標系に対するヘルメット１６（物体）の位置と角度を特定する。

次に、このヘッドモーショントラッカ１０による物体のモニタリング、すなわち時々刻々の位置、角度をモニタリングする動作について説明する。
図２は、ヘッドモーショントラッカ１０により測定対象物体の位置、角度をモニタリングする際の動作フローを示す図である。

まず、図３に示すように、２つのカメラ１２、１４の視野内にある３つのＬＥＤ（ただし３つの位置関係が正三角形とならないもの）を探索用マーカーとして点灯し、それ以外のＬＥＤ群１８を消灯する（ｓ１０１）。便宜上、これら３つのＬＥＤは、ＬＥＤ１８ａ、１８ｂ、１８ｃの組であるとする。

２つのカメラ１２、１４の画像Ａ、Ｂ内に、点灯中の３つのＬＥＤが映っていることを確認する（ｓ１０２）。図４はこのときの画像例を示している。多数のＬＥＤが存在するなかで、ＬＥＤは３つだけが点灯している。３つのＬＥＤが、カメラ１２、１４の視野内に必ず入るようにするためには、ヘルメット１６の初期位置を指定し、最初は初期位置近傍にセットするようヘルメット装着者に促しておけばよい。なお、もしも視野内に３つのＬＥＤのいずれかが映っていない場合は、点灯させる３つのＬＥＤの組を変更して映るようにすればよい。
この段階では、画像Ａ、Ｂ内に映る３つのＬＥＤ像は、それぞれがＬＥＤ１８ａ、１８ｂ、１８ｃのいずれかであることは判明しているが、それぞれのＬＥＤ像が、３つのうちのどれであるかは特定されていない。

そこで、エピポーラ幾何学に基づく予測により、画像Ａ、Ｂ間での共通のＬＥＤの組（探索用マーカーの組）を認識するための対応付けを行う（ｓ１０３）。図５は、エピポーラ幾何学に基づく予測を説明する図である。
カメラ１２の撮影方向とカメラ１４の撮影方向とが定まった状態で、カメラ１２の画像Ａには、点灯中のＬＥＤ１８ａ、１８ｂ、１８ｃのいずれかであるＬＥＤ１８ｘ（ＬＥＤ１８ｙ、ＬＥＤ１８ｚは図示を省略する）が映し出されているとする。このときカメラ１２とＬＥＤ１８ｘとを結ぶ仮想直線Ｌが存在するとして、これをカメラ１４で映したとすると、カメラ１４の画像Ｂ上に仮想直線ＬＢが映し出されることになる。画像Ｂ上の仮想直線ＬＢの位置は、画像Ａ内でのＬＥＤ１８ｘが映る位置、および、カメラ１２の撮影方向とカメラ１４の撮影方向との関係に基づいて一意的に定まる。そして、ＬＥＤ１８ｘの像は、この仮想直線ＬＢ上のいずれかの位置に存在することになる。したがって、画像Ｂ上に映し出される点灯中のＬＥＤ像のうちで、仮想直線ＬＢ上に存在するものがあれば、それがＬＥＤ１８ｘの像であると特定することができる。同様に、他の２つのＬＥＤ１８ｙの像、ＬＥＤ１８ｚの像についても特定することにより、画像Ａと画像Ｂとに映し出される３つのＬＥＤ１８ｘ、ＬＥＤ１８ｙ、ＬＥＤ１８ｚの組の対応付けを行うことができる。

続いて、３つの探索用マーカーであるＬＥＤ１８ｘ、ＬＥＤ１８ｙ、ＬＥＤ１８ｚの絶対座標を算出し、これら３つのＬＥＤの絶対空間に対する３次元位置を特定する（ｓ１０４）。図６は、三角測量による絶対座標の算出を説明する図である。
ＬＥＤ１８ｘの絶対座標は、カメラ１２からＬＥＤ１８ｘへの方向角αｘと、カメラ１４からＬＥＤ１８ｘへの方向角βｘと、カメラ間距離ｄとがわかれば一意的に算出できる。方向角αｘは、カメラ１２の撮影方向と、画像ＡにおけるＬＥＤ１８ｘの位置とにより定めることができ、同様に方向角βｘは、カメラ１４の撮影方向と、画像ＢにおけるＬＥＤ１８ｘの位置とにより定めることができる。また、カメラ間距離ｄは既知であることから、αｘ、βｘ、ｄからＬＥＤ１８ｘの絶対座標が算出される。同様に、ＬＥＤ１８ｙ、ＬＥＤ１８ｚについても絶対座標が算出される。

続いて、３つの探索用マーカーであるＬＥＤ１８ｘ、ＬＥＤ１８ｙ、ＬＥＤ１８ｚ間の距離を算出する（ｓ１０５）。これら３つのＬＥＤそれぞれの絶対座標が算出されているので、ＬＥＤ１８ｘとＬＥＤ１８ｙとの距離ｄｘ、ＬＥＤ１８ｙとＬＥＤ１８ｚとの距離ｄｙ、ＬＥＤ１８ｚとＬＥＤ１８ｘとの距離ｄｚは、簡単な計算で求められる。

続いて、３つの探索用マーカーであるＬＥＤ１８ｘ、ＬＥＤ１８ｙ、ＬＥＤ１８ｚが、それぞれＬＥＤ１８ａ、１８ｂ、１８ｃのいずれであるかを特定するための探索用マーカーの識別を行う（ｓ１０６）。探索用マーカーの識別は、ＬＥＤ１８ｘ、ＬＥＤ１８ｙ、ＬＥＤ１８ｚ間の距離ｄｘ、ｄｙ、ｄｚと、ヘルメット座標系において予め既知としてあるＬＥＤ１８ａ、１８ｂ、１８ｃ間の距離ａ、ｂ、ｃとを比較することによりなされる。なお、ＬＥＤ１８ａ、１８ｂ、１８ｃ間の距離ａ、ｂ、ｃがすべて等しければ（すなわちＬＥＤ１８ａ、１８ｂ、１８ｃが正三角形の位置関係）、距離による探索用マーカー識別はできないことになるが、点灯させる３つのＬＥＤとして正三角形の位置関係とならないものを選択してあるので、識別が可能である。

続いて、３つのＬＥＤが識別され、ＬＥＤ１８ａ、１８ｂ、１８ｃが特定されると、これら３つの点についての絶対座標系での位置とヘルメット座標系での位置とを対応付けることで、絶対座標に対するヘルメット１６の位置や角度（向き）を算出する（ｓ１０７）。
以上の演算処理により、ヘルメット１６の空間（絶対座標）に対する位置、角度を決定し、ヘルメットの位置や向きを特定することができる。

（実施形態２）
図７は本発明の他の一実施形態であるヘッドモーショントラッカ３０の概略構成を示す図である。図７において、図１と同じ構成部分については同符号を付すことにより説明を省略する。
実施形態２は、実施形態１にさらに機能が追加されたものであり、制御演算部４０には、追加機能を実施するための全マーカー絶対座標算出部４１、全マーカー予定位置算出部４２、全マーカー識別部４３、新探索用マーカー絶対座標算出部４４、物***置・角度再特定部４５が付加されている。実施形態２では、ヘルメット１６に取り付けた全ＬＥＤ（全マーカー）を識別し、これらのなかから新探索用マーカーを抽出した上で、新探索用マーカーにより、時々刻々変化するヘルメットの位置や角度をモニタリングするものである。

全マーカー絶対座標算出部４１は、物***置角度特定部２６で特定したヘルメット１６（物体）の絶対座標系に対する位置および角度と、ヘルメット座標系（物体固定座標系）上での各ＬＥＤ（各マーカー）の座標とに基づいて、全ＬＥＤの絶対座標を算出する。
全マーカー予定位置算出部４２は、絶対座標が算出された全ＬＥＤ（全マーカー）について、２つのカメラ１２、１４の画像Ａ、Ｂ上での各ＬＥＤがそれぞれ映る予定位置を算出する。
全マーカー識別部４３は、全ＬＥＤを点灯して、２つの画像Ａ、Ｂ上の予定位置と、実際に画像Ａ、Ｂに映るマーカー像位置との対応付けにより、全ＬＥＤについてのマーカー識別を行う。
新探索用マーカー絶対座標算出部４４は、識別されたＬＥＤのうちでカメラ１２、１４の２つの画像Ａ、Ｂに同時に映る３つのＬＥＤを新探索用ＬＥＤ（新探索用マーカー）として抽出し、カメラ位置と画像Ａ、Ｂに映し出された新探索用ＬＥＤ像位置との関係から、これら３つの新探索用ＬＥＤの絶対座標を算出する。
物***置・角度再特定部４５は、３つの新探索用ＬＥＤそれぞれの絶対座標とヘルメット座標系上での座標とに基づいて、絶対座標系に対する物体の位置と角度を再び特定することにより、時々刻々変化する位置と角度とをモニタリングする。

図８は、ヘッドモーショントラッカ３０によりヘルメット１６の位置、角度をモニタリングする際の動作フローを示す図である。この動作フローにおいてｓ２０１からｓ２０７までの手順は、実施形態１での図２におけるｓ１０１からｓ１０７までの手順と同じであるので、説明を省略し、その後の手順について説明する。

実施形態１で説明したように、ｓ２０７において、探索用ＬＥＤである３つのＬＥＤが識別されてＬＥＤ１８ａ、１８ｂ、１８ｃが特定され、これら３つの識別された探索用ＬＥＤ（ＬＥＤ１８ａ、１８ｂ、１８ｃ）に基づいて絶対座標に対するヘルメット１６の位置や角度（向き）が算出されているものとする（ｓ２０７）。

続いて、絶対座標系に対するヘルメット１６の位置および角度と、ヘルメット座標系上での各ＬＥＤの座標とに基づいて、全ＬＥＤの絶対座標を算出する（ｓ２０８）。

続いて、絶対座標が算出された全ＬＥＤについて、カメラ１２、１４の画像Ａ、Ｂ上で各ＬＥＤがそれぞれ映ると予想される予定位置を、カメラ１２、１４の撮影方向と各ＬＥＤの絶対座標との位置関係から算出する（ｓ２０９）。

続いて、全ＬＥＤを点灯し（ｓ２１０）、画像Ａ、Ｂ上の各ＬＥＤの予定位置と、画像Ａ、Ｂに実際に映るＬＥＤ像の位置との対応付けを行い、全ＬＥＤについて、ＬＥＤ群１８のいずれであるかを特定するマーカー識別を行う（ｓ２１１）。対応付けは、図９に示すように、各ＬＥＤの予定位置から予め設定した一定距離内に、１つのＬＥＤ像が存在するか否かを判定し、全ＬＥＤについて、それぞれ予定位置から一定距離内に１つのＬＥＤ像のみが存在するときに、全ＬＥＤの対応付けがなされる。これにより、全ＬＥＤについて、ＬＥＤ群１８のいずれであるかのマーカー識別が行われる。なお、探索用ＬＥＤ（すなわちＬＥＤ１８ａ、１８ｂ、１８ｃ）については、２度目のマーカー識別となるが、精度確認のために、これらについても再度マーカー識別を行っている。
なお、マーカー識別の際に、たとえ１つでもＬＥＤ像が予定位置から一定距離外に外れている場合（例えばヘルメットが高速かつ大きく変化した場合）は、対応付けは行われず、無視される。

続いて、全ＬＥＤのうちでカメラ１２、１４の２つの画像Ａ、Ｂに同時に映る３つのＬＥＤを新探索用ＬＥＤ（新探索用マーカー）として抽出し、カメラ位置と画像Ａ、Ｂに映し出された新探索用ＬＥＤ像位置との関係から、これら３つの新探索用ＬＥＤの絶対座標を算出する（ｓ２１２）。新探索用ＬＥＤとなる３つのＬＥＤは、ヘルメット１６の位置や向きの変化に応じて、ｓ２０１（ｓ１０１と同じ）の際に選択された探索用ＬＥＤと同じであるかもしれないし、異なるかもしれない。

続いて、３つの新探索用ＬＥＤについて、算出した絶対座標とヘルメット座標系上での座標とに基づいて、絶対座標系に対するヘルメット１６の位置と角度を再び特定することにより、ヘルメットの位置と角度とをモニタリングする（ｓ２１３）。

続いて、３つの新探索用ＬＥＤ（新探索用マーカー）を点灯する（ｓ２１４）。このときその他のＬＥＤは消灯状態にする。
続いて、３つの新探索用ＬＥＤ（新探索用マーカー）の像が２台のカメラそれぞれの画像に映し出されているかを確認する（ｓ２１５）。そして２台のカメラに同時に映し出されていないときは、直前にｓ２０９で求めた予定位置を利用することとして、ｓ２１０に進み、以降の動作を繰り返す。
一方、２台のカメラに同時に映し出されているときは、ｓ２０３に進み（新探索用マーカーは探索用マーカーと読み替える）、以降の動作を繰り返す。


以上の動作により、時々刻々変化するヘルメットの位置や角度の変化、すなわちヘルメットの動きを追尾することができる。

上記動作フローでは、ｓ２１０において、全ＬＥＤを点灯するようにしたが、これに代えて、探索用ＬＥＤとして先に点灯した３つのＬＥＤを消灯し、残りのＬＥＤを点灯するようにしてもよい。この場合は残りのＬＥＤについて、マーカー識別を行うことになるが、探索用ＬＥＤについては既にマーカー識別できているので、全ＬＥＤのマーカー識別は可能である。さらに、この場合はｓ２１０で点灯させる数を減らすことができるので、ＬＥＤの識別を誤る可能性を少しでも減らすことができ、より確実な処理を行うことができる。

上記実施形態ではヘルメットに取り付けるヘッドモーショントラッカを例に挙げたが、これに限らず、その他の一定形状の物体についてのモーショントラッカとしても利用することができる。

本発明は、識別情報を持たない発光体を利用する光学方式のモーショントラッカに利用することができる。

本発明の一実施形態であるヘッドモーショントラッカの構成を示す図。 図１のヘッドモーショントラッカによる動作を説明するフローチャート。 図１のヘッドモーショントラッカでの使用状態を説明する図。 カメラに映し出される画像例を示す図。 エピポーラ幾何学に基づく予測を説明する図。 三角測量による絶対座標の算出を説明する図。 本発明の他の一実施形態であるヘッドモーショントラッカの構成を示す図。 図７のヘッドモーショントラッカによる動作を説明するフローチャート。 算出された予定位置と各ＬＥＤとの位置関係に基づいて行われる各ＬＥＤのマーカー識別を説明する図。

符号の説明

１０ ヘッドモーショントラッカ
１２、１４ カメラ
１６ ヘルメット
１８ ＬＥＤ群（マーカー群）
２０ 演算制御部
２１ 探索用マーカー点灯部
２２ 探索用マーカー対応付け部
２３ 探索用マーカー絶対座標算出部
２４ 探索用マーカー間距離算出部
２５ 探索用マーカー識別部
２６ 物***置・角度特定部
３０ ヘッドモーショントラッカ
４０ 演算制御部
４１ 全マーカー絶対座標算出部
４２ 全マーカー予定位置算出部
４３ 全マーカー識別部
４４ 新探索用マーカー絶対座標算出部
４５ 物***置・角度再特定部

Claims (7)

1. （ａ）物体をステレオ視する一対のカメラを設置し、
   （ｂ）物体の外表面に少なくとも４つの点灯可能なマーカー群を取り付け、
   （ｃ）物体上に定義される物体固定座標系上での各マーカーの座標を定め、
   （ｄ）マーカー群のうち、一対のカメラそれぞれの画像に同時に映る３つのマーカーであって、この３つのマーカーを結んだ三角形が正三角形を形成しない位置関係となる３つのマーカーを探索用マーカーとして点灯し、
   （ｅ）各画像に映る３つの探索用マーカー像に対し、幾何学的な予測に基づいて、画像間で対となる探索用マーカー像どうしの対応付けを行い、
   （ｆ）対応付けがなされた３つの探索用マーカー像について、一対のカメラを用いた三角測量により空間上に定義される絶対座標系上での各探索用マーカーの絶対座標を算出し、
   （ｇ）算出された３つの探索用マーカーそれぞれの絶対座標から探索用マーカー間の距離を算出し、
   （ｈ）先に定めた物体固定座標系上での各マーカーの座標から求まる各マーカー間の距離と、算出された３つの探索用マーカー間の距離との関係に基づいて、これら３つの探索用マーカーが、それぞれ物体上に取り付けられたマーカー群のうちのいずれであるかを特定するマーカー識別を行い、
   （ｉ）マーカー識別により特定された３つの探索用マーカーそれぞれの絶対座標と物体固定座標系上での座標とに基づいて、絶対座標系に対する物体の位置と角度を特定することを特徴とする物体のモニタリング方法。
2. 前記（ａ）から（ｉ）の手順に続いて、
   （ｊ）物体の絶対座標系に対する位置および角度と、物体固定座標系上での各マーカーの座標とに基づいて、全マーカーの絶対座標を算出し、
   （ｋ）絶対座標が算出された全マーカーについて、一対のカメラの各画像上で各マーカーがそれぞれ映る予定位置を算出し、
   （ｌ）全マーカーあるいは探索用マーカーを除いた残りのマーカーを点灯して、各画像上の予定位置と実際に映るマーカー像位置との対応付けにより、全マーカーについてのマーカー識別を行い、
   （ｍ）識別されたマーカーのうちで一対のカメラの各画像に同時に映る３つのマーカーを新探索用マーカーとして抽出し、一対のカメラを用いた三角測量によりこれら３つの新探索用マーカーの絶対座標を算出し、
   （ｎ）３つの新探索用マーカーそれぞれの絶対座標と物体固定座標系上での座標とに基づいて、絶対座標系に対する物体の位置と角度を再び特定することを特徴とする請求項１に記載の物体のモニタリング方法。
3. 前記（ａ）において、一対のカメラは物体の一部をステレオ視するように設置することを特徴とする請求項１に記載のモニタリング法。
4. 前記（ｂ）において、マーカー群を取り付ける物体上の位置は、一対のカメラで物体の一部を映したときに、常にこれらのマーカー群のうち少なくとも３つのマーカーが同時に一対のカメラのそれぞれに映るように、マーカー群を物体の外表面全体に分散させて配置することを特徴とする請求項３に記載のモニタリング法。
5. 前記（ｌ）において、予定位置とマーカー像位置との対応付けは、両者の間の距離に基づいて行うことを特徴とする請求項２に記載のモニタリング方法。
6. 物体のステレオ視を行う一対のカメラと、物体の外表面に取り付けられる少なくとも４つの点灯可能なマーカー群と、一対のカメラおよびマーカー群の制御と物体の位置や角度を求める演算とを行う制御演算部とを備えたモーショントラッカであって、
   マーカー群は、物体上に定義される物体固定座標系上での各マーカーの座標が定められ、
   制御演算部は、マーカー群のうち、一対のカメラそれぞれの画像に同時に映る３つのマーカーであってこれら３つのマーカーを結んだ三角形が正三角形を形成しない位置関係となる３つのマーカーを探索用マーカーとして点灯し、各画像に映る３つの探索用マーカー像に対し、幾何学的な予測に基づいて、画像間で対となる探索用マーカー像どうしの対応付けを行い、対応付けがなされた３つの探索用マーカー像について、一対のカメラを用いた三角測量により空間上に定義される絶対座標系上での各探索用マーカーの絶対座標を算出し、算出された３つの探索用マーカーそれぞれの絶対座標から探索用マーカー間の距離を算出し、先に定めた物体固定座標系上での各マーカーの座標から求まる各マーカー間の距離と算出した３つの探索用マーカー間距離との関係に基づいてこれら３つの探索用マーカーがそれぞれ物体上に取り付けられたマーカー群のうちのいずれであるかを特定してマーカーを識別し、識別された３つの探索用マーカーそれぞれの絶対座標と物体固定座標系上での座標とに基づいて、絶対座標系に対する物体の位置と角度とを特定する演算を行うことを特徴とするモーショントラッカ。
7. 前記制御演算部は、さらに、特定された物体の絶対座標系に対する位置および角度と、物体固定座標系上での各マーカーの座標とに基づいて、全マーカーの絶対座標を算出し、絶対座標が算出された全マーカーについて、一対のカメラの各画像上で各マーカーがそれぞれ映る予定位置を算出し、全マーカーあるいは探索用マーカーを除いた残りのマーカーを点灯して、算出された各画像上の予定位置と実際に映るマーカー像位置との対応付けにより、全マーカーについてのマーカー識別を行い、識別されたマーカーのうちで一対のカメラの各画像に同時に映る３つのマーカーを新探索用マーカーとして抽出し、カメラ位置と画像に映し出された新探索用マーカー像位置との関係からこれら３つの新探索用マーカーの絶対座標を算出し、３つの新探索用マーカーそれぞれの絶対座標と物体固定座標系上での座標とに基づいて、絶対座標系に対する物体の位置と角度を再び特定することを特徴とする請求項６に記載のモーショントラッカ。

Images