JP2013124972A - 位置推定装置及び方法、並びにテレビジョン受信機 - Google Patents

Abstract

【課題】コンパクトなマーカを用いて対象物の位置を求める。
【解決手段】マーカを有する対象物の位置を求める位置推定装置は、前記対象物が撮影されている赤外画像内で前記マーカの座標を求めるマーカ検出部と、前記マーカ検出部で求められた座標に基づいて、前記対象物の、前記マーカ以外の部分に対応する座標を求める対象位置決定部と、前記対象位置決定部で求められた、前記マーカ以外の部分の座標に対応する距離を、前記対象物が撮影されている距離画像の対応する点の値から取得し、前記距離を用いて、前記対象物の３次元空間内の座標を算出する３次元位置出力部とを有する。
【選択図】図２

Description

本開示は、３次元空間内の位置の推定を行う位置推定装置に関する。

ユーザが手に持ったコントローラの位置や姿勢を認識し、その結果をユーザインタフェースの１つとして利用する装置が知られている。

例えば特許文献１には、ディスプレイが２個のマーカを有し、コントローラが有するカメラでこれらのマーカを撮影することによって、コントローラとディスプレイとの間の距離を推定する技術が記載されている。

特許文献２には、コントローラに貼り付けられた２次元コードをディスプレイ側のカメラで撮影することによって、コントローラの位置と姿勢とを推定する技術が記載されている。

特開２００７−８０００２号公報 特開２００７−２９６２４８号公報

しかしながら、特許文献１の技術では、ユーザが手に持つコントローラにカメラが内蔵されており、映像をコントローラから送信する必要もあるので、コントローラのコストや重量が大きくなる。特許文献２の技術では、比較的広い面積を必要とする２次元コードをコントローラに貼り付ける必要があり、小さなコントローラには適用が難しい。

本発明は、コンパクトなマーカを用いて対象物の位置を求めることを目的とする。

本開示による位置推定装置は、マーカを有する対象物の位置を求める位置推定装置であって、前記対象物が撮影されている赤外画像内で前記マーカの座標を求めるマーカ検出部と、前記マーカ検出部で求められた座標に基づいて、前記対象物の、前記マーカ以外の部分に対応する座標を求める対象位置決定部と、前記対象位置決定部で求められた、前記マーカ以外の部分の座標に対応する距離を、前記対象物が撮影されている距離画像の対応する点の値から取得し、前記距離を用いて、前記対象物の３次元空間内の座標を算出する３次元位置出力部とを有する。

これによると、コントローラ等の対象物の、マーカ以外の部分に対応する座標を求め、求められた座標に対応する距離を距離画像から取得するので、コンパクトなマーカを用いて対象物の位置を求めることが可能となる。

本開示によるテレビジョン受信機は、前記位置推定装置と、前記位置推定装置で求められた３次元空間内の座標に基づいて、前記対象物によってポイントされた位置をオブジェクト制御情報として出力するオブジェクト制御部と、前記オブジェクト制御情報に基づいて、３次元空間に配置されたオブジェクトを描画する描画部と、前記描画部で得られた画像データに基づいて画像の表示を行う表示部とを有する。

本開示による位置推定方法は、マーカを有する対象物の位置を求める位置推定方法であって、前記対象物が撮影されている赤外画像内で前記マーカの座標を求め、前記求められた座標に基づいて、前記対象物の、前記マーカ以外の部分に対応する座標を求め、前記マーカ以外の部分の座標に対応する距離を、前記対象物が撮影されている距離画像の対応する点の値から取得し、前記距離を用いて、前記対象物の３次元空間内の座標を算出する。

本開示によれば、コンパクトなマーカを用いて対象物の位置を求めることが可能となる。このため、比較的小さなコントローラ等の対象物についても、位置を求めることができる。

本発明の実施形態に係る位置推定装置を含むシステムの概要を示す説明図である。 本発明の実施形態に係る位置推定装置の構成例を示すブロック図である。 図２のコントローラの概要図である。 赤外画像の例を示す説明図である。 距離画像の例を示す説明図である。 図２の位置推定装置による処理の流れの例を示すフローチャートである。 図４の赤外画像に対応する２値化画像の例を示す説明図である。 マーカ検出用のテンプレートの例を示す説明図である。 図３のコントローラのマーカ領域が検出された状態を示す説明図である。 図１の対象位置決定部の処理を説明する説明図である。 距離画像において、図１０の中点ＰＭに対応する点を示す説明図である。 距離画像から３次元空間内の座標への変換についての説明図である。 図３のコントローラの他の例を示す概要図である。 図１３のコントローラのマーカ領域が検出された状態を示す説明図である。 図１４のマーカ領域の周囲の点の例を示す説明図である。 本発明の実施形態に係る他の位置推定装置の構成例を示すブロック図である。 図１６のコントローラの概要図である。 図１８は、本発明の実施形態に係るテレビジョン受信機を含むシステムの構成例を示すブロック図である。 図１８のコントローラによる操作前のメニュー画面の例を示す説明図である。 図１８のコントローラによる操作後のメニュー画面の例を示す説明図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。
図面において下２桁が同じ参照番号で示された構成要素は、互いに対応しており、同一の又は類似の構成要素である。

図１は、本発明の実施形態に係る位置推定装置を含むシステムの概要を示す説明図である。図１のシステムは、距離画像カメラ２２と、位置推定の対象物であるコントローラ３０と、テレビジョン受信機４０とを有する。

図２は、本発明の実施形態に係る位置推定装置１００の構成例を示すブロック図である。図２の位置推定装置１００は、マーカ検出部１２と、対象位置決定部１４と、３次元位置出力部１６とを有する。位置推定装置１００は、図１のテレビジョン受信機４０に含まれている。位置推定装置１００は、コントローラ３０の３次元空間内の位置を求める。テレビジョン受信機４０は、求められたコントローラ３０の位置を用いて、例えば、ユーザインタフェース用の画像を生成して表示する。

距離画像カメラ２２は、例えばＴＯＦ（time of flight）型の距離画像カメラである。距離画像カメラ２２は、赤外光源として例えば赤外線ＬＥＤ（light emitting diode）を有し、赤外光が、赤外光源を出てから対象物で反射して距離画像カメラ２２に戻るまでの飛行時間（遅れ時間）に基づいて、対象物までの距離を、距離画像ＩＭＤとして出力する。距離画像ＩＭＤでは、各画素が対応する点までの距離が、その画素の明るさで表現される。距離画像カメラ２２は、距離画像の他、赤外光の明暗を示す赤外画像ＩＭＲも出力する。距離画像カメラ２２は、例えば、コントローラ３０を手に持ったユーザを撮影し、撮影された赤外画像ＩＭＲ及び距離画像ＩＭＤを、一定のフレームレートで出力する。

図３は、図２のコントローラ３０の概要図である。コントローラ３０は、例えば図１のテレビジョン受信機４０のリモートコントローラであって、１つの面にマーカ３２Ａ及び３２Ｂを有する。マーカ３２Ａ及び３２Ｂは、例えば再帰性反射素材を有する。マーカ３２Ａ及び３２Ｂは、距離画像カメラ２２の赤外光源から放射された赤外光を反射するので、距離画像カメラ２２からはマーカ３２Ａ及び３２Ｂが発光しているように観察される。また、マーカ３２Ａ及び３２Ｂは、赤外線ＬＥＤのような発光素子であってもよい。

図４は、赤外画像ＩＭＲの例を示す説明図である。赤外画像ＩＭＲでは、距離画像カメラ２２に入射する赤外光の強さが、画素の明るさに対応付けられている。図４では、人物がコントローラを持って操作している場面が示されている。背景、人物、及びコントローラ３０のマーカ３２Ａ及び３２Ｂ以外の部分は、それぞれの素材に応じて赤外光を反射するので、極端に明るく表示されることはない。一方、マーカ３２Ａ及び３２Ｂは赤外光を強く反射するので、周囲よりも明るく表示される。

図５は、距離画像ＩＭＤの例を示す説明図である。ここでは、距離画像カメラ２２から近い部分は明るく、遠い部分は暗く表示されるものとする。コントローラ、人物、背景の順に距離が遠くなるので、コントローラが最も明るく、背景が最も暗く表示される。マーカ３２Ａ及び３２Ｂからは、距離画像カメラ２２にその想定範囲以上の強い赤外光が入射される。このため、距離画像ＩＭＤで示されるマーカ３２Ａ及び３２Ｂまでの距離は信頼できない。位置推定装置１００では、距離画像ＩＭＤに示されたマーカ３２Ａ及び３２Ｂまでの距離は用いられないので、距離画像カメラ２２は、想定範囲以上の強い赤外光を発する部分を、距離画像ＩＭＤにおいて例えば黒で表示してもよい。

図６は、図２の位置推定装置１００による処理の流れの例を示すフローチャートである。以下では図６を参照して、位置推定装置１００の処理について説明する。Ｓ１２では、マーカ検出部１２は、コントローラ３０が撮影されている赤外画像ＩＭＲを距離画像カメラ２２から取り込み、３次元位置出力部１６は、コントローラ３０が撮影されている距離画像ＩＭＤを距離画像カメラ２２から取り込む。

図７は、図４の赤外画像ＩＭＲに対応する２値化画像の例を示す説明図である。図８は、マーカ検出用のテンプレートの例を示す説明図である。図９は、図３のコントローラ３０のマーカ領域が検出された状態を示す説明図である。

Ｓ１４では、マーカ検出部１２は、赤外画像ＩＭＲ内でマーカ３２Ａ及び３２Ｂの座標を求め、求められた座標ＭＫを対象位置決定部１４に出力する。具体的には、マーカ検出部１２は、まず、赤外画像ＩＭＲの各画素の値が所定の閾値以上であるか否かを判定し、赤外画像ＩＭＲの２値化画像を求める。マーカ検出部１２は、例えば画素値が閾値以上の画素を白、その他の画素を黒にし、更に、ノイズ成分を抑制するために、白の領域に収縮処理や膨張処理を行ってもよい。

マーカ検出部１２は、図８に示されているようなマーカのテンプレート画像ＴＰ１，ＴＰ２，及びＴＰ３を予め有している。次に、マーカ検出部１２は、これらのテンプレート画像を用いて、テンプレートマッチングによって、図７の２値画像からマーカ領域を検出する。このようにサイズの異なる複数のテンプレートを用いることによって、マーカまでの距離が近いときでも遠いときでも良好にマーカ領域を検出することができる。

図８のテンプレートのいずれかが図７のマーカ領域に一致すると、すなわち、図９のようにマーカ領域が検出されると、マーカ検出部１２は、例えば、各マーカ領域の中心座標（テンプレートの中心座標）を、マーカ検出情報ＭＫとして対象位置決定部１４に出力する。

図１０は、図１の対象位置決定部１４の処理を説明する説明図である。Ｓ１６では、対象位置決定部１４は、マーカ検出部１２で求められた座標に基づいて、コントローラ３０の、マーカ以外の部分に対応する座標を求める。具体的には、対象位置決定部１４は、マーカ検出情報ＭＫに基づいて、マーカ領域の中心座標ＰＬ及びＰＲから、これらの中点ＰＭの座標を求め、求められた座標を対象位置情報ＰＳとして３次元位置出力部１６に出力する。

コントローラ３０において中点ＰＭに対応する点は、マーカ３２Ａとマーカ３２Ｂとの中点であり、マーカ以外の部分にある。この点は、マーカ３２Ａ及び３２Ｂとほぼ同一の平面上にあり、この点までの距離は、マーカ３２Ａ及び３２Ｂまでの距離とほぼ同じであるとみなすことができる。このような処理を行うのは、前述のように距離画像ＩＭＤに示されるマーカ３２Ａ及び３２Ｂまでの距離、つまり、距離画像ＩＭＤに示される座標ＰＬ及びＰＲに対応する距離は信頼できないが、これらの座標の中点ＰＭの座標に対応する距離は信頼できると考えられるからである。

図１１は、距離画像ＩＭＤにおいて、図１０の中点ＰＭに対応する点を示す説明図である。Ｓ１８では、３次元位置出力部１６は、対象位置決定部１４で求められた、マーカ以外の部分の座標に対応する距離を、図１１のように距離画像ＩＭＤの対応する点の値から取得する。

図１２は、距離画像ＩＭＤから３次元空間内の座標への変換についての説明図である。Ｓ２０では、３次元位置出力部１６は、Ｓ１６で求められた座標に対応する距離を用いて、コントローラ３０の３次元空間内の座標を算出する。図１２では、中点ＰＭに対応する３次元空間内の点Ｐと距離画像ＩＭＤの撮像平面ＩＰとの関係が示されている。

点ＰＤ（ＸＤ，ＹＤ）は撮像平面上の点、点Ｐ（ＸＰ，ＹＰ，ＺＰ）は点ＰＤに対応する３次元空間内の点、点Ｆは焦点、距離ＦＤは焦点距離、距離ＤＤは点ＰＤと焦点Ｆとの間の距離、距離Ｄは焦点Ｆと点Ｐとの間の距離である。座標ＸＰ，ＹＰ，ＺＰは、
ＸＰ＝ＸＤ・Ｄ／ＤＤ
ＹＰ＝ＹＤ・Ｄ／ＤＤ
ＺＰ＝ＦＤ・Ｄ／ＤＤ
によって計算される。ＤＤやＦＤは距離画像カメラの設計値として定められる値である。距離画像ＩＭＤの距離データＺＤが対象物の点Ｐから焦点Ｆまでの距離を示す場合には、Ｄ＝ＺＤとして考えればよい。距離データＺＤが対象物の点Ｐから撮像平面上の点ＰＤまでの距離を示す場合には、Ｄ＝ＺＤ−ＤＤとして考えればよい。いずれにしても、距離画像カメラの仕様に応じて計算することによって、対象物の３次元空間内の位置を取得することができる。３次元位置出力部１６は、座標ＸＰ，ＹＰ，ＺＰを３次元位置ＰＴとして出力する。

Ｓ２２では、位置推定装置１００の制御部（図示せず）は、処理を終了すべきか否かを判断する。３次元位置が必要ない場合には、図６の処理を終了する。新たな３次元位置が必要である場合には、Ｓ１２に戻る。

このように、図２の位置推定装置１００によると、コントローラ３０の、マーカ以外の部分に対応する座標を求め、この座標に対応する距離を距離画像ＩＭＤから求めるので、距離画像ＩＭＤの信頼できる部分の情報を用いることができ、コントローラ３０までの距離及びその３次元空間内の座標を確実に求めることができる。マーカの変形やサイズを考慮する必要がないので、マーカをコンパクトに作成しても、コントローラ３０の３次元空間内の位置を良好に推定することができる。マーカをコンパクトにできるので、コントローラ３０に搭載しても違和感がない。また、複雑な演算を必要としないので、リアルタイムの処理に適している。

図２の位置推定装置１００は、以下のように動作してもよい。図１３は、図３のコントローラの他の例を示す概要図である。図１３のコントローラ２３０は、マーカ３２Ａ及び３２Ｂに代えて、マーカ３２のみを有している。マーカ３２は、例えば再帰性反射素材を有する。図１４は、図１３のコントローラ２３０のマーカ領域が検出された状態を示す説明図である。位置推定装置１００は、図６のＳ１２及びＳ１４と同様の処理を行い、図１４のようにマーカ領域を検出する。マーカ検出部１２は、例えば、マーカ領域の中心座標を、マーカ検出情報ＭＫとして対象位置決定部１４に出力する。

Ｓ１６では、対象位置決定部１４は、マーカ検出情報ＭＫに基づいて、マーカ領域の中心座標からの距離が所定の長さであるような周囲の点を求める。この際、対象位置決定部１４は、そのような点を、マーカ領域の中心座標から例えば複数の所定の方向について求める。

図１５は、図１４のマーカ領域の周囲の点の例を示す説明図である。具体的には、例えば、対象位置決定部１４は、マーカ領域の中心座標Ｑを中点とするような複数の線分を考える。ここでは、水平方向、垂直方向、２種の斜め方向の計４方向の線分を考える。対象位置決定部１４は、これらの線分の端点の座標を、対象位置情報ＰＳとして３次元位置出力部１６に出力する。

Ｓ１８では、３次元位置出力部１６は、対象位置決定部１４で求められた座標に対応する距離を、距離画像ＩＭＤの対応する点の値から取得する。３次元位置出力部１６は、各線分について、２つの端点に対応する距離の平均値を求める。３次元位置出力部１６は、４つの線分のそれぞれについて求められた平均値のうち、最小の平均値をマーカ３２の距離として選択する。Ｓ２０では、３次元位置出力部１６は、Ｓ１８で求められた距離と中心座標Ｑの座標とを用いて、前述のように３次元空間内の座標を算出する。このように、マーカを１つにしても（図１３）、コントローラの３次元空間内の位置を良好に推定することができる。

図１６は、本発明の実施形態に係る他の位置推定装置３００の構成例を示すブロック図である。図１６の位置推定装置３００は、図２の位置推定装置１００に加えて、３次元姿勢出力部１８を更に有する。

図１７は、図１６のコントローラ３３０の概要図である。ここでは、位置推定の対象物として、コントローラ３３０がコントローラ３０に代えて用いられる。コントローラ３３０は、図３のコントローラ３０内に、ジャイロセンサ３３４と、送信部３３６とを更に有するものである。ジャイロセンサ３３４は、コントローラ３３０の３軸の角速度を測定し、送信部３３６に出力する。送信部３３６は、測定された角速度を、例えば赤外線や電波によって受信部２４に送信する。

受信部２４は、コントローラ３３０から送信された角速度を受信し、角速度ＡＧとして３次元姿勢出力部１８に出力する。３次元姿勢出力部１８は、角速度ＡＧに基づいてコントローラ３３０の３次元空間内での姿勢ＡＴを求め、出力する。位置推定装置３００及び受信部２４は、位置推定装置１００に代えて、図１のテレビジョン受信機４０に含まれる。既に説明した構成要素については、説明を省略する。

３次元姿勢出力部１８は、次の式から、コントローラ３３０の姿勢を求める。角速度ＡＧに含まれるＸ軸、Ｙ軸、及びＺ軸の角速度を、それぞれＧｘ、Ｇｙ、及びＧｚとする。ジャイロセンサ３３４から角速度を取得する時間間隔をΔｔとすると、Ｘ軸、Ｙ軸、及びＺ軸の角度変化量ｇｘ、ｇｙ、及びｇｚを、
ｇｘ＝Ｇｘ・Δｔ
ｇｙ＝Ｇｙ・Δｔ
ｇｚ＝Ｇｚ・Δｔ
から得ることができる。ｇｘ、ｇｙ、ｇｚはオイラー角の３成分を表す。

このとき、姿勢変化分は次のような回転行列Ｒ_ｇで表すことができる。ここでは、例として左手系座標を採用している。

回転行列を再帰的に合成していくので、ｎ回目の姿勢を示す姿勢行列Ｒ_ｎは、前回のｎ−１回目の姿勢行列Ｒ_ｎ−１に今回の姿勢変化分を示す行列Ｒ_ｇを乗算することによって、すなわち、
Ｒ_ｎ＝Ｒ_ｇＲ_ｎ−１
によって得ることができる。

３次元姿勢出力部１８は、この姿勢行列Ｒ_ｎを３次元姿勢ＡＴとして出力する。また、既に位置推定装置１００について説明したように３次元位置ＰＴを得ることができるので、３次元位置ＰＴと３次元姿勢ＡＴとを共に用いることによって、コントローラ３３０の３次元空間内の位置及び姿勢を知ることができる。

このように、位置推定装置３００によると、角速度の演算によって３次元姿勢を推定するので、マーカの変形やサイズを考慮する必要がない。このため、マーカをコンパクトに作成しても、コントローラの３次元空間内の位置及び姿勢を良好に推定することができる。

図１６の位置推定装置３００を用いたテレビジョン受信機について説明する。図１８は、本発明の実施形態に係るテレビジョン受信機４４０を含むシステムの構成例を示すブロック図である。図１６のシステムは、距離画像カメラ２２と、コントローラ３３０と、テレビジョン受信機４４０とを有する。

テレビジョン受信機４４０は、受信部２４と、位置推定装置３００と、オブジェクト制御部４４２と、描画部４４４と、表示部４４６とを有する。距離画像カメラ２２、受信部２４、位置推定装置３００、及びコントローラ３３０については、既に説明したので、ここでは説明を省略する。

オブジェクト制御部４４２は、位置推定装置３００で求められた３次元位置ＰＴ及び３次元姿勢ＡＴに基づいて、３次元空間に配置されたオブジェクトを操作するための、コントローラ３３０によってポイントされたポインティング位置やオブジェクトの移動量を計算して、計算結果をオブジェクト制御情報として出力する。

描画部４４４は、オブジェクト制御情報に基づいて、３次元空間に配置されたオブジェクトを、ポインティング状態や移動量に応じてメモリ上に描画し、得られた画像データを出力する。表示部４３０は、描画部４４４で得られた画像データに基づいて画像の表示を行う。

図１９は、図１８のコントローラ３３０による操作前のメニュー画面の例を示す説明図である。図２０は、図１８のコントローラ３３０による操作後のメニュー画面の例を示す説明図である。図１９及び図２０には、３次元的に配置されたアイコンのオブジェクトＢ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６と、オブジェクトをポインティングするポインタＰＲが示されている。図１９は、ユーザがコントローラ３３０によってアイコンＢ４を３次元的にポインティングしている状態を示す。

一般にドラッグ＆ドロップと呼ばれる操作によって、アイコンを移動することができる。例えば、ユーザは、目的のアイコンをポインティングした状態でコントローラ３３０のボタンを押すことによってアイコンを選択し、ボタンを押したままコントローラを移動して、目的の位置でボタンを離して、アイコンを目的の位置に移動する。２次元的な操作はＰＣ（personal computer）等で一般的に行われている操作と同様である。

図１９のように、ユーザは、アイコンＢ４を３次元的にポインティングした状態で、コントローラ３３０のボタンを押して、アイコンＢ４を選択する。次に、ユーザは、コントローラ３３０を３次元的に移動させる。ここでは、ユーザは、図２０のように、コントローラ３３０を右手前に移動させる。オブジェクト制御部４４２は、コントローラの３次元的な移動量に基づいて、アイコンＢ４の３次元的な移動量を制御する。このようにして、上下左右だけでなく、奥行方向にもアイコンを移動させることができる。

更に、オブジェクト制御部４４２は、コントローラの３次元的な移動量に対して係数を乗じることによって、コントローラを操作する空間を広くしたり狭くしたりすることができる。例えば、オブジェクト制御部４４２は、上下方向及び左右方向に対して奥行方向の係数を大きく設定する。すると、上下左右方向には画面サイズに見合ったコントローラ３３０の操作空間を保ちつつ、奥行方向にはコントローラの少しの動きで、アイコンを大きく前後に移動するように制御することができる。これにより、奥行方向のコントローラ操作空間を狭く設計しても、メニュー空間においては十分広い範囲で奥行方向に操作することができる。

本明細書における各機能ブロックは、典型的にはハードウェアで実現され得る。例えば各機能ブロックは、ＩＣ（集積回路）の一部として半導体基板上に形成され得る。ここでＩＣは、ＬＳＩ（large-scale integrated circuit）、ＡＳＩＣ（application-specific integrated circuit）、ゲートアレイ、ＦＰＧＡ（field programmable gate array）等を含む。代替としては各機能ブロックの一部又は全ては、ソフトウェアで実現され得る。例えばそのような機能ブロックは、プロセッサ及びプロセッサ上で実行されるプログラムによって実現され得る。換言すれば、本明細書で説明される各機能ブロックは、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよいし、ハードウェアとソフトウェアとの任意の組合せで実現され得る。

本発明の多くの特徴及び優位性は、記載された説明から明らかであり、よって添付の特許請求の範囲によって、本発明のそのような特徴及び優位性の全てをカバーすることが意図される。更に、多くの変更及び改変が当業者には容易に可能であるので、本発明は、図示され記載されたものと全く同じ構成及び動作に限定されるべきではない。したがって、全ての適切な改変物及び等価物は本発明の範囲に入るものとされる。

１２ マーカ検出部
１４ 対象位置決定部
１６ ３次元位置出力部
１８ ３次元姿勢出力部
２２ 距離画像カメラ
３０，２３０，３３０ コントローラ
４０，４４０ テレビジョン受信機
１００，３００ 位置推定装置
４４０ テレビジョン受信機
４４２ オブジェクト制御部
４４４ 描画部
４４６ 表示部

Claims (6)

1. マーカを有する対象物の位置を求める位置推定装置であって、
   前記対象物が撮影されている赤外画像内で前記マーカの座標を求めるマーカ検出部と、
   前記マーカ検出部で求められた座標に基づいて、前記対象物の、前記マーカ以外の部分に対応する座標を求める対象位置決定部と、
   前記対象位置決定部で求められた、前記マーカ以外の部分の座標に対応する距離を、前記対象物が撮影されている距離画像の対応する点の値から取得し、前記距離を用いて、前記対象物の３次元空間内の座標を算出する３次元位置出力部とを備える
   位置推定装置。
2. 請求項１に記載の位置推定装置において、
   前記対象物は、２つのマーカを有し、
   前記対象位置決定部は、前記赤外画像内における前記２つのマーカの中点の座標を、前記マーカ以外の部分に対応する座標として求める
   位置推定装置。
3. 請求項１に記載の位置推定装置において、
   前記対象位置決定部は、前記赤外画像内において前記マーカを中点とする複数の線分の両端の点を前記マーカ以外の部分に対応する座標として求め、
   前記３次元位置出力部は、前記線分のそれぞれについて、同一の線分の両端の点に対応する前記距離の平均値を求め、求められた平均値の最小値を用いて、前記対象物の３次元空間内の座標を算出する
   位置推定装置。
4. 請求項１に記載の位置推定装置において、
   前記対象物が有し、前記対象物の角速度を測定するジャイロセンサの出力に基づいて、前記対象物の姿勢を求めて出力する３次元姿勢出力部を更に備える
   位置推定装置。
5. 請求項１に記載の位置推定装置と、
   前記位置推定装置で求められた３次元空間内の座標に基づいて、前記対象物によってポイントされた位置をオブジェクト制御情報として出力するオブジェクト制御部と、
   前記オブジェクト制御情報に基づいて、３次元空間に配置されたオブジェクトを描画する描画部と、
   前記描画部で得られた画像データに基づいて画像の表示を行う表示部とを備える
   テレビジョン受信機。
6. マーカを有する対象物の位置を求める位置推定方法であって、
   前記対象物が撮影されている赤外画像内で前記マーカの座標を求め、
   前記求められた座標に基づいて、前記対象物の、前記マーカ以外の部分に対応する座標を求め、
   前記マーカ以外の部分の座標に対応する距離を、前記対象物が撮影されている距離画像の対応する点の値から取得し、前記距離を用いて、前記対象物の３次元空間内の座標を算出する
   位置推定方法。

Images