JP4908523B2 - 位置情報検出装置、位置情報検出方法及び位置情報検出プログラム - Google Patents

Description

【技術分野】
【０００１】
本発明は、画面などの指示対象平面に対して、指示した位置を特定する位置情報検出装置、その方法およびそのプログラムに関する。
【背景技術】
【０００２】
従来から、ＣＲＴやＬＣＤなどの表示装置とその表示画面上の位置を特定するデバイスによって構成されるシステムが開発されている。その一例が射撃ゲーム装置である。一般に、銃射撃型ゲームでは、ディスプレイの画像表示領域に表示された標的に向かって、ガン型コントローラの照準を合わせ、その狙いの正確性を判定すること等によってゲームを進行させる。そのため、少なくともガン型コントローラが画像表示領域内のいかなる位置に照準を合わせているか（指示位置）を検出する必要がある。
【０００３】
このように画面上の位置を特定するための手法として、ディスプレイに表示され若しくはその周囲に配置された識別マークを撮像し、これを解析することにより、指示位置を算出するものがある。たとえば、特許文献１に記載された技術は、ゲーム画面の左右両端に配置された赤外光スポットを模擬銃（ガン型コントローラ）に内蔵されたＣＣＤカメラで撮像し、この撮像位置に基づいてガン型コントローラの着弾位置を検出するものである。
【特許文献１】
特許第２６８１４５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記の従来技術においては、ＣＣＤカメラによる赤外光スポットの撮像位置に基づく位置検出を行っているため、ゲーム画面とガン型コントローラ（ＣＣＤカメラ）の相対位置が固定されている場合には、比較的誤差の少ない位置検出が可能となる。ところが、最近の銃射撃型ゲームは多様化が進んでおり、競技者がガン型コントローラを手に持って、指示する位置や姿勢を自由に選択できるようにする必要があるものが多い。このようなゲームでは、ゲーム中に、ゲーム画面とガン型コントローラの相対位置が多様に変化することになる。しかし、かかる場合には、上記のような従来技術では、位置検出の誤差が無視できない程度に発生する可能性がある。
［０００５］
また、ＣＣＤカメラに一般的な撮像素子を用いる場合、被写体や撮像素子が比較的高速に移動すると、被写体の像がぶれてしまい、期待する画像認識結果が得られず、対象画面の特定に失敗してしまう場合がある。この問題を解決する一つの方法として、シャッタースピードが高速な撮像素子を用いることが考えられる。しかし、このような高速な撮像素子は、普及型撮像素子と比較して高価である。
［０００６］
本発明は、上記のような従来技術の問題点を解決するために提案されたものであり、その目的は、非常に簡素な識別マークを用いて、位置情報を高精度に検出できるとともに、安価な撮像素子を用いても、位置検出の成功率を向上させることができる位置情報検出装置、方法及びプログラムを提供することにある。
課題を解決するための手段
［０００７］
上記の目的を達成するために、本発明の位置情報検出装置は、指示対象平面側に配設された識別マークを、カメラレンズを介して撮像する撮像部と、前記撮像部が撮像した画像から、識別マーク像を抽出する識別マーク抽出部と、前記識別マーク像から、参照点を抽出する参照点抽出部と、抽出された参照点を記憶する参照点記憶部と、前記参照点により特定される座標系に基づいて、指示対象平面に対する前記撮像部の位置情報を算出する位置情報算出部と、を有し、前記識別マークは、同一直線上に所定の間隔で配置された少なくとも３つの参照点を含み、前記位置情報算出部は、前記識別マークにおける同一直線上に所定の間隔で配置された少なくとも３つの参照点の相対位置に対して、前記参照点抽出部により抽出された当該少なくとも３つの参照点の相対位置を射影像とした場合に、この射影像に対する逆射影変換に基づいて、指示対象平面の指示対象領域における前記撮像部の指示位置を算出する指示位置算出部を有することを特徴とする。なお、本発明は、上記の各部の機能を実現するための位置情報検出方法、位置情報検出プログラムとして捉えることもできる。
【０００８】
以上のような本発明では、同一直線上に配置した３つの参照点の位置と、撮像された画像から抽出された参照点の位置とを用いて、逆射影変換に基づく算出を行うことにより、撮像部の指示位置検出誤差を小さく抑えることができる。
【０００９】
他の態様では、前記識別マークにおける各参照点は、等間隔で配置されていることを特徴とする。
【００１０】
以上のような態様では、参照点が等間隔で配置された識別マークを用いることにより、演算式を簡略化することができるので、処理負担を軽減し、高速な処理が可能となる。
【００１１】
他の態様は、前記位置情報算出部は、前記撮像部のカメラレンズの光軸周りの回転角を算出する回転角算出部を有し、前記回転角算出部は、回転角誤差補正曲面を用いて、誤差を補正する回転角誤差補正部を有することを特徴とする。
【００１２】
以上のような態様では、指示対象平面に対する撮像部の指示位置のみならず、撮像部の回転角も得ることができるので、ゲーム内容、適用範囲等の多様化、高度化を図ることができる。さらに、回転角誤差補正曲面を用いることにより、大域的な誤差をキャンセルできる。
【００１３】
他の態様は、指示対象領域における複数の所定点に、前記カメラレンズの照準を合わせた際の指示位置に基づいて、キャリブレーション用の任意の指示点の指示位置を求めるキャリブレーション演算部を有することを特徴とする。
【００１４】
以上のような態様では、本発明で使用する識別マークに適したキャリブレーションを実行することにより、誤差が低減される。
【００１５】
他の態様は、前記参照点は、前記識別マークの重心であることを特徴とする。
【００１６】
以上のような態様では、識別マークとしては、重心が特定できるものを用いればよいので、構成が単純であり、抽出も容易となる。また、識別マークの特徴や設置方法に変化を持たせることにより、方向の特定も可能となる。
【００１７】
他の態様は、前記識別マーク抽出部による識別マークの抽出ができない場合に、前記参照点記憶部に記憶された参照点に基づいて、参照点を推定する参照点推定部を有することを特徴とする。
【００１８】
以上のような態様では、被写体や撮像素子が高速に移動した場合に、撮像部が撮像した画像から識別マークの抽出ができず、そのために参照点の抽出に失敗したとしても、直前の参照点の抽出若しくは推定に成功している場合には、参照点推定処理により、参照点を良好に推定可能となる。したがって、高価な撮像素子を用いずとも、位置検出の成功率を向上させることができる。
【００１９】
他の態様は、前記参照点推定部は、前記参照点記憶部に記憶された参照点に基づいて、識別マークの近傍領域を算出する領域算出部と、前記近傍領域において遮断すべき背景光を検出する背景光検出部と、前記背景光検出部による検出結果に基づいて、前記近傍領域における識別マークの重心を推定する重心推定部と、前記重心推定部により推定された重心に基づいて、参照点を推定する推定部と、を有することを特徴とする。
【００２０】
以上のような態様では、直前に記憶された参照点に基づいて算出された識別マークの近傍領域に基づいて、識別マークの重心を推定して、これにより参照点を推定するので、処理すべきデータ量を低減して高速化を図りつつ、より高い確度によって良好な参照点推定ができる。
【００２１】
他の態様は、前記推定部による推定のために、前記重心推定部により推定された重心と、前記参照点記憶部に記憶された参照点との対応付けを行う整合部を有することを特徴とする。
【００２２】
以上のような態様では、推定できない重心があった場合であっても、直前の参照点に基づいて、参照点を推定できるので、参照点が得られる可能性が高まる。
【００２３】
他の態様は、前記識別マーク側には、前記撮像部が撮像した画像から前記識別マークを識別可能とする光源が配設されていることを特徴とする。
【００２４】
以上のような態様では、識別マークを自発光型とすることにより、周囲の照明環境にかかわらず、識別マークを明確に識別できる。
【００２５】
他の態様は、前記撮像部は、前記識別マークに光を照射する投光部を有することを特徴とする。
【００２６】
以上のような態様では、識別マークを反射型として構成できるので、設置が容易であり、家庭用途に適している。
【００２７】
他の態様は、前記撮像部、前記参照点抽出部及び前記位置情報算出部が一体的に構成されていることを特徴とする。
【００２８】
以上のような態様では、撮像部等を別体で構成するよりも、全体構成を簡素化でき、装置間の接続作業を簡略化できる。
【発明の効果】
【００２９】
以上説明したように、本発明によれば、非常に簡素な識別マークを用いて、位置情報を高精度に検出できるとともに、安価な撮像素子を用いても、位置検出の成功率を向上させることが可能な位置情報検出装置、方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態を示す全体構成図である。
【図２】図１に示す実施形態の機能ブロック図である。
【図３】図１の実施形態に使用する識別マークの例を示す説明図であり、（ａ）は点光源によるもの、（ｂ）は幾何学的パターンによるもの、（ｃ）は分割構成によるものである。
【図４】図１の実施形態の処理手順を示すフローチャートである。
【図５】図１の実施形態で用いる座標系を示す説明図である。
【図６】識別マークの参照点を２点とした場合の指示位置検出方法を示す説明図である。
【図７】図１の実施形態の指示位置検出方法を示す説明図である。
【図８】カメラレンズ光軸周りの回転角誤差を示す説明図である。
【図９】カメラレンズ光軸周りの回転角誤差を示す説明図である。
【図１０】図１の実施形態の近傍領域算出例を示す説明図である。
【図１１】図１の実施形態の背景光遮断閾値の例を示す説明図である。
【図１２】図１の実施形態の識別マーク重心推定処理の一例を示す説明図である。
【図１３】図１の実施形態の区画選択処理の一例を示す説明図である。
【符号の説明】
【００３１】
１００…位置情報検出装置
１０１…ガン型コントローラ
１０２…識別マーク
１０３…ディスプレイ
１０３Ａ…画像表示領域
１０４…ゲーム機
２０１…操作部
２０３…撮像部
２０４…投光部
２０５…周辺制御部
２０６…参照点抽出部
２０７…位置情報算出部
２０８…参照点推定部
２０９…Ｉ／Ｏ部
２６１…識別マーク抽出部
２６２…重心判定部
２７１…指示位置算出部
２７２…回転角算出部
２７３…レンズ位置算出部
２７４…キャリブレーション演算部
２８１…領域算出部
２８２…背景光検出部
２８３…重心推定部
２８４…整合部
２８５…推定部
【発明を実施するための最良の形態】
【００３２】
以下、本発明の位置情報検出装置を、銃射撃型ゲームに適用する際の一実施形態について、図面を参照して説明する。
［実施形態の概要］
まず、本実施形態の概要を、図１及び図２を参照して説明する。なお、図１は、本実施形態の全体構成を示す外観斜視図であり、図２は機能ブロック図である。ただし、以降の説明は、本実施形態のみならず、本発明が目的とする機能を実現するための他の応用例に対する説明としても、容易に読み替えることができる。さらに、図２の機能ブロック図は概念的なものであり、これらの機能を実現する具体的な回路は種々考えられるため、実装方法等を限定するものではない。
【００３３】
本実施形態の位置情報検出装置１００は、ガン型コントローラ１０１、ゲーム機１０４及びディスプレイ１０３を使用する銃射撃型ゲームに適用したシステムである。ゲーム機１０４は、ゲームプログラムを実行可能なホスト機器であればよく、たとえば、パーソナルコンピュータ等であってもよい。ディスプレイ１０３は、表示領域が指示対象平面を構成する表示手段であればよく、たとえば、ＴＶ、スクリーン、パネル等であってもよい。ガン型コントローラ１０１は、ゲームの射撃に用いる銃として機能するものであり、その内部に、位置情報を検出するための構成を有している。さらに、識別マーク１０２は、ディスプレイ１０３上の画像表示領域(指示対象領域)１０３Ａの周辺に設置して運用する。
【００３４】
そして、本実施形態においては、ディスプレイ１０３に配設された識別マーク１０２を撮像する撮像部２０３、識別マーク１０２の参照点を抽出する参照点抽出部２０６、ガン型コントローラ１０１の指示位置を含む位置情報を算出する位置情報算出部２０７、参照点を推定する参照点推定部２０８等が、ガン型コントローラ１０１の内部に実装され、一体的に構成されている。
【００３５】
また、本実施形態では、指示位置のみならず、ガン型コントローラ１０１の銃身軸周りの回転角やディスプレイ１０３に対する位置（レンズ位置）等の相対的な位置情報をも検出できるようにして、ゲーム内容の多様化を可能としている。
【００３６】
さらに、本実施形態は、被写体や撮像素子の高速な移動によって所望の識別マーク像が得られない場合においても、以下のような特徴によって、参照矩形を良好に推定し位置検出を行うことが可能となる。
（Ａ）直前の参照点に基づいて、参照点間を結ぶ最大線分長に応じた近傍領域を決定する。
（Ｂ）現画像上の直前に求められた近傍領域の部分画像より、識別マーク画像の背景と見做すべき画素値の閾値を求める。
（Ｃ）現画像上の直前に求められた近傍領域の部分画像より、画素集合の重心を求める。
（Ｄ）抽出された参照点の一部と部分画像の重心より、現画像上の参照点を推定する。
【００３７】
［実施形態の構成］
次に、本実施形態の構成を具体的に説明する。
［ディスプレイ１０３］
まず、ディスプレイ１０３は、ＣＲＴやＬＣＤ等のテレビ受像機やコンピュータ用の表示装置である。ディスプレイ１０３には、ゲーム機１０４で実行されるゲームプログラムの進行に応じて、画像信号が入力される。そして、その矩形型の画像表示領域（指示対象平面）１０３Ａに、入力された画像信号に応じた画像が表示される。
【００３８】
［識別マーク１０２］
識別マーク１０２は、ディスプレイ１０３上の画像表示領域１０３Ａを特定するために、画像表示領域１０３Ａの外周部分に複数設置されている。この識別マーク１０２は、図３（ａ）に示すように、点光源の集合であってもよいし、図３（ｂ）に示すように、幾何学的パターン（図形）をその表面に有するものであってもよい。なお、識別マーク１０２が設けられる支持部材は、図１、図３（ａ）（ｂ）のように一体となっていてもよいし、図３（ｃ）のように、複数に分割されてもよい。
【００３９】
本発明における識別マーク１０２に使用される点光源若しくは幾何学的パターンは、図３に示すように、左右と中央の３つあればよい（権利範囲は３つには限定されない。但し、これより多ければ冗長となるため３つで必要十分）。図３（ａ）における左の点光源は、右のものと区別するために物理的に２つあるが、機能的には１つと考える。同様の理由から、図３（ｂ）における左の幾何学的パターンは、右のものと形状が異なっているが、機能的には１つと考える。これらの識別マーク１０２は、参照点（本実施形態では重心）の抽出が可能であれば、どのような形状であってもよい。なお、後述するように、３つの点光源若しくは幾何学的パターンの参照点は、同一直線上に並んでいる必要があるが、各参照点間の距離は、異なっていても均等であってもよい。
【００４０】
また、識別マーク１０２は、自発光型と反射型の２種類に分類できる。識別マーク１０２を反射型とする場合、たとえば、表面は主に、図３（ｂ）の穴（幾何学的パターン内の白色部分）及び背景部分の光の反射率が小さく、それ以外の部分の反射率が高い構成とする。自由な位置で射撃を可能とするためには、高反射率部分の素材には再帰反射特性を有するものが望ましいと言える。
【００４１】
識別マーク１０２を自発光型とする場合、たとえば、背面から表面へ向かってマーク内部から光を放射する光源を備える。この場合、ガン型コントローラ１０１側に、投光部２０４を実装する必要はなくなる。但し、識別マーク１０２側に光源及びその光源への給電が必要となる。この場合、たとえば、表面は主に、図３（ｂ）の穴及び背景部分の光の透過率が小さく、それ以外の部分で光を透過、拡散する構成とする。
【００４２】
なお、以上の説明の通り、識別マーク１０２の形状とその背景部分とは、色彩や素材等から、境界が光学的に識別できればよいのであり、特定の形状には限定されない。同一平面上に形成されているか否かも問わない。したがって、平面状に描かれたものであってもよいし、物理的な穴や窪み、***や突出等によって形成されていてもよい。
【００４３】
［ゲーム機１０４］
ゲーム機１０４は、所定のプログラムを実行し、当該実行にしたがってゲーム用の画像を表示するための画像信号を生成し、これをディスプレイ１０３に出力する機器である。このゲーム機１０４は、位置情報検出部２０２から、ガン型コントローラ１０１によって指定された画像表示領域１０３Ａ上の点の指示位置データその他等のデータが入力され、当該データを基に、プログラムの実行に応じた所定のゲーム進行処理を行う。したがって、ゲーム機は、家庭用のゲーム機のみならず、アーケードゲーム機やゲームプログラムをインストールしたコンピュータであってもよい。
【００４４】
［ガン型コントローラ１０１］
ガン型コントローラ１０１は、操作部２０１、撮像部２０３、投光部２０４、周辺制御部２０５、参照点抽出部２０６、位置情報算出部２０７、参照点推定部２０８、Ｉ／Ｏ部２０９を有している。
【００４５】
操作部２０１は、引き金（トリガ）などであり、ユーザの指などの操作によって所定の位置まで引かれると、操作信号を出力する。なお、操作部２０１の具体的な構成は、本発明とは基本的に独立したものであり、特定のものには限定されない。したがって、必ずしも引き金の形状をしている必要はなく、たとえば、押しボタンやトグル等のスイッチであっても、光の遮蔽を検知するセンサであってもよい。
【００４６】
撮像部２０３は、主に光学フィルタ、レンズ、撮像素子で構成されている。レンズはガン型コントローラ１０１の銃口付近にその光軸上で照準が合うように設置されている。撮像素子は、レンズよりも内部に撮像面が光軸と直交するように設置されている。光学フィルタは、撮影対象とする光の波長領域のみを良好に通過させるものとし、レンズ付近に設置されるかレンズ自体の素材となっている。
【００４７】
投光部２０４は、主に撮影対象とする波長領域で発光する発光素子群で構成されている。この投光部２０４は、撮像部２０３のレンズ外周に、光軸よりもやや外側に傾けた状態で設置されている。なお、投光部２０４は、識別マーク１０２として反射型を採用する際に必要となる。
【００４８】
周辺制御部２０５は、投光部２０４の発光及び撮像部２０３の撮像を制御する手段である。たとえば、発光タイミングの制御、投光部２０４の光量、撮像部２０３の感度などの調整が可能な設定とすることもできる。
【００４９】
参照点抽出部２０６は、識別マーク１０２の構成によらず、撮影された画像を解析して、識別マーク像からその特徴点となる参照点を抽出する手段である。参照点抽出部２０６は、識別マークに対応する画像成分を抽出する識別マーク抽出部２６１、識別マーク像の重心を判定する重心判定部２６２を有している。参照点は、たとえば、点光源の場合は各光源に対応する画像成分の重心点とする。幾何学的パターンで構成される場合は、各パターンに対応する重心点などを参照点とする。
【００５０】
位置情報算出部２０７は、抽出された参照点群に基づいて、画像表示領域１０３Ａにおけるカメラ(撮像部２０３)の外部パラメータを検出する手段である。本実施形態においては、カメラの外部パラメータを、指示対象領域における指示位置(２次元)、カメラレンズ光軸周りの回転角(１次元)および指示対象領域からカメラレンズまでの距離(１次元)と定義している。それぞれ、指示位置算出部２７１、回転角算出部２７２、レンズ位置算出部２７３によって算出される。さらに、位置情報算出部２０７は、後述するキャリブレーションのための演算を行うキャリブレーション演算部２７４を有している。
【００５１】
参照点推定部２０８は、後述するように、参照点の抽出に失敗した撮影画像を対象として参照点の推定を行う手段である。参照点推定部２０８は、直前に抽出若しくは推定された参照点をもとに、識別マーク近傍領域を算出する領域算出部２８１、遮断すべき背景光を検出する背景光検出部２８２、識別マーク近傍領域と背景光に基づいて、識別マークの重心を推定する重心推定部２８３、推定された重心に基づいて、直前に抽出若しくは推定された参照点との対応付けを行う整合部２８４、推定された重心と整合部による対応付けの結果から、参照点を推定する推定部２８５を有している。参照点抽出部２０６、位置情報算出部２０７、参照点推定部２０８における具体的な処理は、後述する。
【００５２】
また、各処理で抽出、算出等された情報は、適宜、メモリ等の記憶手段に記憶され、次処理に利用されるが、常識的であるため、図示は省略する。記憶手段として、どのような種類、容量のものを確保するかについては、自由である。特に、本実施形態においては、抽出された参照点や推定された参照点もメモリに記憶され（参照点記憶部）、直前に抽出された参照点や推定された参照点は、参照点推定処理に利用される。なお、Ｉ／Ｏ部２０９は、外部機器との入出力を制御する手段である。
【００５３】
［実施形態の作用］
以上のような本実施形態による指示位置等の検出処理を、図４のフローチャート、図５〜１３の説明図を参照して説明する。なお、下記の処理手順は例示であり、各処理において必要な情報がその前段階のいずれかにおいて得られているのであれば、順序が前後してもよい。
【００５４】
［識別マークの撮像…ステップ４０１］
まず、識別マークの点光源や幾何学的パターン(識別マークパターン)を撮像部２０３で撮影する。すなわち、ガン型コントローラ１０１の照準を、ディスプレイ１０３の画像表示領域１０３Ａ近辺に合わせている場合、投光部２０４から放射された光が、識別マーク１０２表面で反射し、その一部が撮像部２０３に入射し、撮像素子で撮影される。なお、放射光が識別マーク１０２に到達しない場合、その反射光は当然撮影されない。
【００５５】
また、自発光型の識別マーク１０２を使用して、投光部２０４を省略した場合には、識別マーク１０２から放射された光が、撮像部２０３に入射する。以上のように撮影された画像は、処理に適した画像データ（たとえば、２値画像等）に変換される。
【００５６】
［参照点抽出…ステップ４０２〜４０５］
撮影された画像データは、参照点抽出部２０６で解析されて、参照点が抽出される。つまり、識別マーク抽出部２６１が、撮像された画像データから、各光源若しくは幾何学的パターンに対応する画像成分を抽出し（ステップ４０２）、重心判定部２６２が、抽出した画像成分の重心点を算出する（ステップ４０４）。この重心点が、参照点として抽出され、記憶される（ステップ４０５）。
【００５７】
識別マークの画像成分の抽出、重心の算出は、周知の技術を適用可能である。なお、撮像部２０３により撮像される画像には、目的とする識別マークの画像成分のみが撮影されるように、周辺制御部２０５によって、あらかじめ光源の出力や撮像素子の受光感度などが適切に設定されている。
【００５８】
また、必要であれば幾何学的な条件などにより、ノイズ成分を除去しておく。たとえば、重心点を求めた画像成分の面積を同時に記憶しておき、その面積が正常値範囲から外れている場合にはノイズ成分と判定し、参照点としないノイズ除去方法が考えられる。さらに、参照点は全て同一直線上に存在する制約条件による弁別方法を適用することが考えられる。すなわち、３つの参照点座標から得られる任意の２つのベクトルの外積の大きさは、理想的には０となる。このため、４つ以上の参照点候補が得られた場合、総当りで選択できる任意の３点の集合のうち、前記外積の大きさが最小となる集合を、参照点として抽出できる。これにより、ノイズ耐性がさらに向上する。
【００５９】
なお、参照点を抽出する過程では、参照点群の配置や識別マーク１０２の幾何学的特徴などから、指示対象領域である画像表示領域の位置と天地に関する情報を特定する（ステップ４０４）。
【００６０】
識別マーク１０２が当初の設置位置から移動しない限り、参照点と画像表示領域１０３Ａとの位置関係は変化しないため、参照点の位置情報から画像表示領域１０３Ａを特定することができる(後述のキャリブレーションを参照)。
【００６１】
識別マーク１０２が、図３（ａ）の点光源の場合、参照点間の距離をすべて求め、点間距離が小さく抑えられる参照点群のうちいずれかを画像表示領域の左上隅に対応する参照点(基準参照点)とすることができる。識別マーク１０２が図３（ｂ）の幾何学的パターンで構成される場合、いずれかの幾何学的特徴を有する識別マーク１０２に対応する参照点を選択してもよい。このように画像表示領域の天地を知ることが、正しい位置検出には必須である。
【００６２】
識別マーク１０２の表面が画像表示領域１０３Ａと同一平面上になるように、参照点を結ぶ直線と画像表示領域との水平方向の辺が平行となるように設置することで、より正確な位置検出が実現できる。
【００６３】
レンズに歪曲収差がある場合、検出した指示位置等に歪曲収差による誤差が含まれてしまうので、少なくとも抽出された参照点すべてに、歪曲収差補正を実施する。
【００６４】
［位置情報検出…ステップ４０６〜４０８］
位置情報算出部２０７においては、抽出された参照点群に基づいて、カメラの外部パラメータを検出する。つまり、後述するように、指示位置算出部２７１が、画像表示領域１０３Ａにおける指示対象領域におけるカメラの指示位置を算出し（ステップ４０６）、回転角算出部２７２が、カメラレンズ光軸周りの回転角を算出し（ステップ４０７）、レンズ位置算出部２７３が、指示対象領域からカメラレンズまでの距離を算出する（ステップ４０８）。なお、回転角以外は後述のとおり正規化される。
【００６５】
このようなパラメータの算出手順を、以下に詳述する。すなわち、図５に示すように、図１の銃射撃型ゲームをプレイする実３次元空間に座標系を定める。世界座標系Ｏ_ｗ−ｘ_ｗｙ_ｗｚ_ｗの原点は、基準参照点に位置し、ｘ_ｗ軸は、参照点群が乗る直線上にあり、ｙ_ｗ軸は、それに直交しかつ指示対象領域平面に乗り、ｚ_ｗ軸はｘ_ｗ，ｙ_ｗ軸に直交する。
【００６６】
指示座標系Ｏ−ｘｙは、世界座標系のｘ_ｗ−ｙ_ｗ平面上にあり、原点を指示対象領域の左上隅とし、ｘ，ｙ軸は、それぞれｘ_ｗ，ｙ_ｗ軸と平行とする。カメラ座標系Ｏ_ｃ−ｘ_ｃｙ_ｃｚ_ｃの原点は、レンズの主点に位置し、ｘ_ｃ，ｙ_ｃ軸は、それぞれ撮像素子受光面の水平、垂直方向に沿い、ｚ_ｃ軸は、光軸に一致する。
【００６７】
画像座標系Ｏ_Ｉ−ｘ_Ｉｙ_Ｉの原点は、撮像素子受光面の中心に位置し、ｘ_Ｉ，ｙ_Ｉ軸は、それぞれ受光面の水平、垂直方向に沿う。撮像素子受光面の法線はｚ軸に一致しており、受光面とレンズ主点までの距離はレンズの焦点距離ｆとする。ただし、ｆは未知であってもよい。
【００６８】
世界座標系のｘ_ｗ，ｙ_ｗ軸は、原点Ｏ_ｗから最も離れた参照点までの距離を１として正規化され、ｚ_ｗ軸は、後述のキャリブレーションの際のガン型コントローラ１０１のレンズ位置までの距離を１として正規化される。指示座標系のｘ，ｙ軸は、それぞれ指示対象領域の幅と高さを１として正規化される。また、ガン型コントローラ１０１の照準は画像座標系の原点Ｏ_Ｉに一致させる。
【００６９】
ここで、従来の位置情報検出装置のうち、本発明で言う識別マークの参照点を２点とした場合の指示位置検出方法を、図６を参照して説明する。すなわち、図５において、指示対象領域と撮像素子受光面の法線が一致している場合、指示対象領域上の世界座標系におけるｐ’＝（ｘ’，ｙ’，０）^Ｔは、識別マークから得られる画像平面上の２つの参照点ｐ_Ｉ０，ｐ_Ｉ１を用いて、式（１）のとおり求めることができる。
【数１】
【００７０】
ｐ’を指示座標系の対応点ｐに変換しなければならないが、この際、指示対象領域を特定するためのキャリブレーション動作として、従来はプレイ直前などに同領域の左上隅および右下隅の世界座標系での位置座標ｐ’_ＬＴ＝（ｘ’_ＬＴ，ｙ’_ＬＴ，０）^Ｔ，ｐ’_ＲＢ＝（ｘ’_ＲＢ，ｙ’_ＲＢ，０）^Ｔを、ｐ’同様に、ガン型コントローラ１０１の照準を合わせて求めておいたのち、プレイ中は式（２）により、ｐを求めていた。
【数２】
【００７１】
カメラレンズ光軸周りの回転角は、画像平面上の２つの参照点が乗る直線を用いて求めることができる。キャリブレーション時のガン型コントローラ１０１の姿勢を回転角計測の基準とし、この際の２つの参照点がつくる画像平面上の直線を記憶しておく。プレイ中にも同様な直線を求め、キャリブレーション時に記憶した直線と成す角を回転角とする。
【００７２】
指示対象領域からカメラレンズまでの距離は、画像平面上の２つの参照点を結ぶ線分の長さを用いて求めることができる。キャリブレーション時のガン型コントローラ１０１の位置を距離計測の基準とし、この際の２つの参照点がつくる画像平面上の線分の長さを記憶しておく。プレイ中にも同様な線分長を求めキャリブレーション時に記憶した線分長を基準とした比を距離とする。よって、距離は、キャリブレーション時の指示対象領域とガン型コントローラ１０１間の距離を１として正規化される。
【００７３】
一般的なプレイ環境と考えられる以下の表１の条件下で、式（１），（２）により求めた指示位置と実際の指示位置との間に生ずる誤差の概要は、表２のとおりとなる。いずれの項目も相当量の誤差を含んでいるが、これは式（１），（２）を適用可能な条件である、指示対象領域と撮像素子受光面の法線が一致していることが表１の指示条件では守られていないことによる。
【表１】
【表２】
【００７４】
従来手法による各種誤差を抑えるべく、本実施形態では、前述の通り、３つの参照点を同一直線上に配した識別マーク１０２を用いている。つまり、同一直線上の相対位置が既知の３点ｐ_ｃ＝（１−Ｍ）ｐ_ａ＋Ｍｐ_ｂ点と同直線上の任意点ｐ＝（１−ｎ）ｐ_ａ＋ｎｐ_ｂが、任意の射影変換によりそれぞれｐ_Ｉｃ＝（１−Ｍ_Ｉ）ｐ_Ｉａ＋Ｍ_Ｉｐ_Ｉｂ，ｐ_Ｉ＝（１−ｎ_Ｉ）ｐ_Ｉａ＋ｎ_Ｉｐ_Ｉｂに写像された場合、これらＭ，Ｍ_Ｉ，ｎ_Ｉを用いて、式（３）のとおりｎを求めることができる。これは射影変換に対する逆射影変換を求められたことになる。
【数３】
【００７５】
よって、ｐ_ａ，ｐ_ｃ，ｐ_ｂがこの順に等間隔に配置されている場合、式（４）が言える。
【数４】
【００７６】
図７における参照点ｐ’_ａ，ｐ’_ｂ，ｐ’_ｃを、上記のｐ_ａ，ｐ_ｃ，ｐ_ｂに対応させた場合、撮像素子による撮影が射影変換となるため、ｐ’_ａ，ｐ’_ｂ，ｐ’_ｃの画像平面における像ｐ_Ｉａ，ｐ_Ｉｂ，ｐ_Ｉｃと、それらより求められるＭ_Ｉ，ｎ_Ｉおよび既知のＭにより、式（３）を用いて、ｘ_ｗ軸上の任意点ｐ＝（１−ｎ）ｐ_ａ＋ｎｐ_ｂを厳密に求めることができる。ここで、Ｍ_Ｉは、式（５）のとおり求まる。
【数５】
【００７７】
［キャリブレーション］
式（５）によりｘ_ｗ軸近傍の任意点も精度よく求めることができるため、本実施形態でのキャリブレーションは、図７のとおり、指示対象領域の左上隅、右上隅および中心点の３点に、ガン型コントローラ１０１の照準を合わせ、キャリブレーション演算部２７４が次の手順で行う。
【００７８】
(i） 指示対象領域の左上隅にガン型コントローラ１０１の照準を合わせ、式（１）によりその際の指示位置ｐ’_ＬＴを求める。
(ii) 同時に式（５）により現在のＭ_Ｉを求める。
(iii)式（３）において、ｎ_Ｉを、ｐ’_ＬＴのｘ座標値としてｎを求め、そのｎを新たなｘ座標値としてｐ’_ＬＴを更新する。
(iv) 指示対象領域の右上隅にガン型コントローラ１０１の照準を合わせ、式（１）によりその際の指示位置ｐ’_ＲＴを求める。
(v) 同時に式（５）により、現在のＭ_Ｉを求める。
(vi) 式（３）において、ｎ_Ｉを、ｐ’_ＲＴのｘ座標値としてｎを求め、そのｎを新たなｘ座標値として、ｐ’_ＲＴを更新する。
(vii)指示対象領域の中心点にガン型コントローラ１０１の照準を合わせ、式（１）により、その際の指示位置ｐ’_ＭＭを求める。
【００７９】
上記手順により得られた世界座標系上の３点ｐ’_ＬＴ＝（ｘ’_ＬＴ，ｙ’_ＬＴ，０）^Ｔ，ｐ’_ＲＴ＝（ｘ’_ＲＴ，ｙ’_ＲＴ，０）^Ｔ，ｐ’_ＭＭ＝（ｘ’_ＭＭ，ｙ’_ＭＭ，０）^Ｔを用いて、任意の指示点ｐ’＝（ｘ’，ｙ’，０）^Ｔは、式（６）のとおり、指示座標系Ｏ−ｘｙでの指示点ｐに変換できる。
【数６】
【００８０】
このキャリブレーションにより求められた指示対象領域内の任意の指示点のｙ座標値および式（５）のＭ_Ｉと、カメラレンズ光軸周りのコントローラの実際の回転角と回転角算出部２７２より求めた回転角との誤差の関係を、図８及び図９に示す。なお、キャリブレーション時のコントローラの姿勢を、回転角の基準として前述のとおり求めている。
【００８１】
この図８及び図９より、局所的なカメラレンズ光軸周りの回転角の誤差は小さいことがわかり、回転角誤差補正曲面（ａｙ＋ｂ）（Ｍ_Ｉ−０．５）を用いて大域的な誤差をキャンセルできる。この際、係数ａ，ｂは、非線形最小二乗法により求めることができる。
【００８２】
回転角の大域的な誤差をキャンセルするための回転角誤差補正行列Ｒは、式（７）のとおりである。誤差が５［ｄｅｇ］以下であるため、ｘ≒ｓｉｎｘが十分成立するので三角関数を用いず、計算量を抑えて求めることができる。
【数７】
【００８３】
画像平面上での参照点ｐ_Ｉｃを中心として、式（７）の回転角誤差補正行列Ｒにより残る参照点ｐ_Ｉａ，ｐ_Ｉｂを回転させる場合、回転後のそれぞれの対応点ｐ’_Ｉａ，ｐ’_Ｉｂは式（８）のとおりである。ただし、Ｉは単位行列を表す。
【数８】
【００８４】
以上により、本実施形態における指示位置検出は次の手順で行う。
(i) 式（６）により現在の指示位置ｐを求める。
(ii) 同時に式（３）により現在のＭ_Ｉを求める。
(iii)式（７）のｙを上記ｐのｙ座標値としたうえで、式（８）より、ｐ’_Ｉａ，ｐ’_Ｉｂを求める。
(iv) 式（１）のｐ_Ｉ０，ｐ_Ｉ１を、それぞれ上記ｐ’_Ｉａ，ｐ’_Ｉｂとして、ｐ’を求める。
(v) 式（３）のｎ’をｐ’のｘ座標値としてｎを求め、そのｎを新たなｘ座標値として、ｐ’を更新する。
(vi) 式（６）により、検出誤差が改善された現在の指示位置ｐを求める。
【００８５】
表１の条件下で、上記手順により求めた指示位置と実際の指示位置との間に生ずる誤差の概要は、表３のとおりである。従来手法による表２と比較して、各種誤差が改善されていることがわかる。
【表３】
【００８６】
表２、表３共に、ｘ，ｙ軸方向の指示位置誤差は、表１の条件下における指示点の集合をＰ、 本装置内レンズ主点を通る指示対象領域の法線と同領域の交点の集合をＬ、同レンズ主点位置ｌにおいて、同領域上の点ｐを指示した際の指示位置を求める関数をｆ（ｌ，ｐ）としたときの、求めた指示位置と実際の指示位置ｐとの誤差ベクトルｅを表し、誤差上限はｅの集合Ｅ＝｛ｅ｜ｅ＝ｆ（ｌ，ｐ）−ｐ，ｌ∈Ｌ，ｐ∈Ｐ｝のすべての元を、ｘ，ｙ軸に正射影した写像を、それぞれＥｘ，Ｅｙとした場合の、大きさが最大となる正方向の元の評価対象成分である。誤差下限は同様に大きさが最大となる負方向の元の評価対象成分である。
【００８７】
回転角誤差は、正面から対象領域中心を指示した際に観測される両端の参照点を結ぶ線分ｓ_ｂａｓｅと、線分ｓ_ｂａｓｅを観測したときと同一の姿勢でレンズ主点位置ｌにおいて同領域上の点ｐを指示した際に観測される同線分ｓ（ｌ，ｐ）とが成す角度を求める関数ｆ_θ（ｓ（ｌ，ｐ），ｓ_ｂａｓｅ）としたときに求めた角度を表し、誤差上下限は求めた角度の集合Θ＝｛θ｜θ＝ｆ_θ（ｓ（ｌ，ｐ），ｓ_ｂａｓｅ），ｌ∈Ｌ，ｐ∈Ｐ｝の元のうちの最大、最小値である。
【００８８】
距離誤差は、線分ｓの長さを求める関数をｆ_ｌ（ｓ）とした場合、線分ｓ_ｂａｓｅとｓ（ｌ，ｐ）との比を表し、誤差上下限は求めた比の集合Ｒ＝｛ｒ｜ｒ＝ｆ_ｌ（ｓ（ｌ，ｐ））／ｆ_ｌ（ｓ_ｂａｓｅ），ｌ∈Ｌ，ｐ∈Ｐ｝の元のうちの最大、最小値である。
【００８９】
［参照点推定…ステップ４１０〜４１４］
位置情報算出部２０７は、抽出された参照点をもとに、画像表示領域における指示位置等のカメラ(撮像部)の外部パラメータを算出する。しかし、被写体である識別マークやカメラが比較的高速に移動した場合、識別マーク像がぶれてしまい期待する形状などの特徴量および画素値(受光量)が得られなくなり、たとえ識別マークを撮像したとしても参照点の抽出に失敗してしまう（ステップ４０３）。
【００９０】
本問題は普及型カメラの構造上回避できないが、シャッタースピードが高速なカメラを用いることで解決が可能である。ただし、同カメラは比較的高価であるため製品コストを抑えにくいという別の問題が生じる。
【００９１】
さらに、そのような高速移動期間においては、正確な指示位置検出の要求は少なく、位置検出誤差が比較的大きくなってしまったとしても、指示位置検出を成功させることへの要求のほうが優先的である。
【００９２】
よって、普及型カメラにより問題となる高速移動期間においても、参照点を推定し抽出できればよい。それを実現するために本実施形態では、参照点推定部２０８によって、識別マーク位置を推定する。
【００９３】
この参照点推定処理を、図４のフローチャートを参照して説明する。すなわち、参照点の抽出に失敗した撮影画像を対象として参照点の推定を行うに先立って、識別マーク近傍領域算出処理が行われる（ステップ４１０）。これは、領域算出部２８１が、直前に抽出若しくは推定された参照点に基づいて、参照点間を結ぶ最大線分長に応じた領域を算出する処理である。
【００９４】
識別マーク近傍領域の半径の長さは、たとえば上記線分長の任意辺の１／ｎとして許容すべき移動速度をもとに決定する。ただし、図１０のとおり、近傍領域同士が重ならないように決定すべきである。
【００９５】
次に、背景光検出処理が行われる（ステップ４１１）。これは、背景光検出部２８２が、現画像上の直前に求められた識別マーク近傍領域に対応する領域内の部分画像より、識別マーク像の背景と見做すべき画素値の閾値(背景光遮断閾値)を決定する処理である。
【００９６】
ノイズの少ない理想的な状態で識別マークが撮影された場合、同部分画像による画素値を階級とする画素数のヒストグラムは、おおよそ図１１のような傾向を示す。よって、多値画像の２値化手法を応用して背景光遮断閾値を決定する。本閾値は、複数の部分画像をまとめて唯一つ求めることも、部分画像毎に求めることもできる。以降の説明は部分画像毎に閾値を求めたものとする。
【００９７】
上記背景光検出処理において得られたヒストグラムが、図１１で示す特徴と異なる場合、理想的でない撮影状態の可能性があるため、図１１と同様な特徴が得られるように、撮像部２０３の撮像素子の露光時間等を、適切に制御してもよいし、Ｉ／Ｏ部２０６経由で、本装置外部のホスト機器に、適切な制御情報を提供させてもよい。
【００９８】
次に、識別マーク重心推定処理が行われる（ステップ４１２）。これは、重心推定部２８３が、現画像上の直前に求められた識別マーク近傍領域に対応する領域内の部分画像より、識別マークと推定される画素情報を集計して、それら画素集合の重心を求める処理である。画素集合が識別マーク像より構成される場合は、良好に識別マーク像の重心を求めることができる。
【００９９】
算出する重心の精度を向上させるために、背景光検出処理で求めた背景光遮断閾値Ｉ_ｂ ^（ｋ）により対応する識別マーク近傍領域ｋの部分画像ｓ^（ｋ）（ｉ， ｊ）を式（９）のとおりｔ^（ｋ）（ｉ，ｊ）へ変換してもよい。
【数９】
【０１００】
識別マーク近傍領域ｋの部分画像ｓ^（ｋ）（ｉ，ｊ）の重心を求めるために、同画像の０次モーメントｍ_０ ^（ｋ）およびｉ方向とｊ方向の１次モーメントｍ_ｉ ^（ｋ），ｍ_ｊ ^（ｋ）を式（１０）〜 （１２）のとおり逐次求める。以降、ｓ^（ｋ）（ｉ，ｊ）は式（９）のｔ^（ｋ）（ｉ，ｊ）に読み替えてもよい。
【数１０】
【数１１】
【数１２】
【０１０１】
これらｍ_０ ^（ｋ），ｍ_ｉ ^（ｋ），ｍ_ｊ ^（ｋ）により部分画像ｓ^（ｋ）（ｉ，ｊ）の重心ｇ^（ｋ）は式（１３）のとおり求めることができる。
【数１３】
【０１０２】
しかし、これら部分画像に識別マーク以外のノイズ成分が無視できない程度に含まれる場合は、式（１３）の重心算出方法では、誤った重心が求まる可能性がある。そこで、図１２に示すように、すべての識別マーク近傍領域を同様に複数の区画に分割し、重心算出に適する区画のみを選択することで、期待する重心を求めることができる。
【０１０３】
識別マーク近傍領域ｋの区画ｌにおける部分画像ｓ^{（ｋ，ｌ）}（ｉ，ｊ）毎に式（１０）−（１２）と同様に、０次モーメントｍ_０ ^{（ｋ，ｌ）}およびｉ方向とｊ方向の１次モーメントｍ_ｉ ^{（ｋ，ｌ）}，ｍ_ｊ ^{（ｋ，ｌ）}を求めておく。
【０１０４】
重心算出に適する区画を選択するためには、たとえば図１３に示すような識別マーク近傍領域間の一定条件を満たした選択候補区画の一致を考える。区画ｌを選択候補とする条件として、識別マーク近傍領域がｎ個の区画に分割される場合、区画ｌを含む識別マーク近傍領域ｋの０次モーメントｍ_０ ^（ｋ）と区画数ｎによる関数値ｆ（ｍ_０ ^（ｋ），ｎ）が区画１の０次モーメントｍ_０ ^{（ｋ，ｌ）}を下回ることなどが挙げられる。このｆ（ｍ，ｎ）はたとえばｆ＝ｍ／ａｎ（ａは任意の定数)とできるが、識別マーク像を一定率以上含む区画が選択候補となるように決定される。
【０１０５】
すべての識別マーク近傍領域が撮影画像上である程度同一方向に移動するならば、図１３のとおり、複数の識別マーク近傍領域間の同一区画で識別マーク像を一定率以上含むものが選択候補とされることを期待できる。このように、複数領域間で一致する選択候補区画のみを選択すれば、ノイズ成分を含む区画を良好に排除することができる。
【０１０６】
以上のとおり選択された区画のみの各モーメントの和をそれぞれｍ’_０ ^（ｋ），ｍ’_ｉ ^（ｋ），ｍ’_ｊ ^（ｋ）とすれば、部分画像ｓ^（ｋ） _{（ｉ，ｊ）}の重心ｇ’^（ｋ）＝［ｍ’_ｉ ^（ｋ）／ｍ’_０ ^（ｋ），ｍ’_ｊ ^（ｋ）／ｍ’_０ ^（ｋ）］^Ｔが新たに得られる。なお、以上までの参照点推定処理は、識別マーク抽出処理等と平行して実行することが可能である。
【０１０７】
次に、識別マーク整合処理が行われる(ステップ４１３）。これは、整合部２８４が、直前に抽出または推定された参照点位置と、現画像から抽出された参照点位置との対応付けを試みる処理である。
【０１０８】
一部の参照点が抽出できた場合、それら参照点をそれぞれ直前に抽出または推定された参照点のうち最も近くに存在する参照点に対応させ、それらのみを出力する。すべての参照点の抽出に失敗した場合は出力なしとする。
【０１０９】
さらに、参照点推定処理が行われる（ステップ４１４）。これは、推定部２８５が、抽出された参照点の一部と部分画像ｓ^（ｋ）（ｉ，ｊ）の重心ｇ^（ｋ）（ｇ’^（ｋ））とにより、現画像における参照点を推定する処理である。
【０１１０】
抽出に失敗した参照点の識別マーク近傍領域ｋから求められた重心ｇ^（ｋ）（ｇ’^（ｋ））を、当該参照点と推定する。その推定した参照点と抽出に成功した参照点とをもって現画像の参照点群とする。
【０１１１】
［実施形態の効果］
以上のような本実施形態によれば、光源若しくは幾何学的図形を使用した簡単な３つの識別マーク１０２を、その参照点（重心）が同一直線上となるように配置し、その参照点の相対位置と、撮像部２０３により撮像された画像から抽出された参照点の相対位置とを用いて、逆射影変換に基づく算出を行うことにより、撮像部２０３の指示点等の位置情報の検出誤差を、従来よりも小さく抑えることができる。
【０１１２】
特に、３つの識別マーク１０２の参照点を等間隔とした場合には、演算式を簡略化することができるので、処理負担が軽減され、ゲーム等に適した高速な処理が可能となる。さらに、上記のような３つの識別マーク１０２、逆射影変換等に適したキャリブレーションを実行することにより、誤差の低減が可能となる。
【０１１３】
また、指示対象平面に対する撮像部の指示位置のみならず、撮像部の回転角も得ることができるとともに、回転角誤差補正曲面を用いることにより、回転角の大域的な誤差をキャンセルできる。このため、ゲーム内容、適用範囲等の多様化、高度化を図ることができる。たとえば、同一標的に対する命中であっても、回転角に応じて、得点や表示画面を変える等が可能となる。
【０１１４】
また、ノイズ成分の除去等のための重心点及び面積の記憶は、１画面分の画像記憶領域を必要とせず、総じて水平数ライン程度の記憶領域で求めることが可能であるため、本実施形態のような小規模の組込機器に適している。
【０１１５】
また、識別マーク１０２は、少なくとも直線上に配置された３つの参照点を含むものであればよいので、構成が単純であり、設置が容易である。また、点光源の密集度や幾何学的図形の特徴を変えることにより、天地等の方向の識別が可能となる。これにより、装置の姿勢にかかわらず、正しい指示位置等の検出が可能となる。そして、識別マーク１０２は、自発光型とすれば、識別しやすくなるが、反射型としても、設置が容易となり家庭用途に適する。
【０１１６】
また、投光部２０４、撮像部２０３、参照点抽出部２０６、位置情報算出部２０７、参照点推定部２０８等を含む装置が、全てガン型コントローラ１０１内に一体的に構成されているので、全体構成を簡素化でき、装置間の接続作業も簡単となる。
【０１１７】
また、現画像で参照点の抽出に失敗したとしても、直前の参照点の抽出若しくは推定に成功している場合には、一連の参照点推定処理により、現画像における参照点を良好に推定可能となり、要求される指示位置検出結果を得られる。特に、識別マーク１０２や撮像部２０３の高速移動による像のぶれはもちろん、他の何らかの原因により参照点の抽出に失敗した場合においても、本機能は良好に参照点を推定できることは自明であり、指示位置検出の成功率は従来よりも向上する。
【０１１８】
たとえば、一時的な光量不足により識別マーク１０２の認識に失敗した場合においても、指示位置検出に成功する。したがって、高価な高速度対応型の撮像素子が必ずしも必要とならず、普及型の撮像素子を用いて製品コストを抑えることが可能となる。また、カメラの動作可能距離範囲の拡大にもつながる。
【０１１９】
さらに、直前の参照点に基づいて算出された識別マーク１０２の近傍領域を対象として、背景光を遮断し、識別マーク１０２の重心を推定して、これにより参照点を推定できるので、処理すべきデータ量を低減した高速化を図りつつ、より高い確度によって良好な参照点が推定できる。そして、推定できない重心があっても、直前の参照点に基づいて頂点を推定できるので、参照点が得られる可能性が高まる。
【０１２０】
［他の実施形態］
本発明は上記の実施形態に限定されるものではない。たとえば、本発明は、上記の処理に対応してコンピュータ及び周辺回路を動作させる方法、プログラムとしても把握できる。ハードウェア処理によって実現する範囲とソフトウェア処理によって実現する範囲も自由である。
【０１２１】
また、本発明は、上記の識別マークを設置させることにより、指示対象となる平面としてあらゆるものが適用可能である。たとえば、ディスプレイとしては、ＣＲＴ、ＬＣＤ以外にも、現在又は将来において利用可能なものが適用可能である。また、ディスプレイには限定されず、画像を投影させるスクリーン、パネル、壁面その他あらゆるものが利用できる。
【０１２２】
さらに、本発明の用途としては、射撃型のゲームには限定されない。たとえば、射撃型以外の釣り、フェンシング、消防活動などのゲーム、ゲーム以外のプレゼンテーションシステム、会議システム、テレビジョンのリモートコントローラ、照明のオン／オフ、ブラインド開閉などのリモートコントローラ、倉庫や書庫の管理システムなどに適用可能である。

Claims (13)

1. 指示対象平面側に配設された識別マークを、カメラレンズを介して撮像する撮像部と、
   前記撮像部が撮像した画像から、識別マーク像を抽出する識別マーク抽出部と、
   前記識別マーク像から、参照点を抽出する参照点抽出部と、
   抽出された参照点を記憶する参照点記憶部と、
   前記参照点により特定される座標系に基づいて、指示対象平面に対する前記撮像部の位置情報を算出する位置情報算出部と、
   を有し、
   前記識別マークは、同一直線上に所定の間隔で配置された少なくとも３つの参照点を含み、
   前記位置情報算出部は、前記識別マークにおける同一直線上に所定の間隔で配置された少なくとも３つの参照点の相対位置に対して、前記参照点抽出部により抽出された当該少なくとも３つの参照点の相対位置を射影像とした場合に、この射影像に対する逆射影変換に基づいて、指示対象平面の指示対象領域における前記撮像部の指示位置を算出する指示位置算出部を有することを特徴とする位置情報検出装置。
2. 前記識別マークにおける各参照点は、等間隔で配置されていることを特徴とする請求項１記載の位置情報検出装置。
3. 前記位置情報算出部は、前記撮像部のカメラレンズの光軸周りの回転角を算出する回転角算出部を有し、
   前記回転角算出部は、回転角誤差補正曲面を用いて、誤差を補正する回転角誤差補正部を有することを特徴とする請求項１記載の位置情報検出装置。
4. 指示対象領域における複数の所定点に、前記カメラレンズの照準を合わせた際の指示位置に基づいて、キャリブレーション用の任意の指示点の指示位置を求めるキャリブレーション演算部を有することを特徴とする請求項１記載の位置情報検出装置。
5. 前記参照点は、前記識別マークの重心であることを特徴とする請求項１記載の位置情報検出装置。
6. 前記識別マーク抽出部による識別マークの抽出ができない場合に、前記参照点記憶部に記憶された参照点に基づいて、参照点を推定する参照点推定部を有することを特徴とする請求項１記載の位置情報検出装置。
7. 前記参照点推定部は、
   前記参照点記憶部に記憶された参照点に基づいて、識別マークの近傍領域を算出する領域算出部と、
   前記近傍領域において遮断すべき背景光を検出する背景光検出部と、
   前記背景光検出部による検出結果に基づいて、前記近傍領域における識別マークの重心を推定する重心推定部と、
   前記重心推定部により推定された重心に基づいて、参照点を推定する推定部と、
   を有することを特徴とする請求項６記載の位置情報検出装置。
8. 前記推定部による推定のために、前記重心推定部により推定された重心と、前記参照点記憶部に記憶された参照点との対応付けを行う整合部を有することを特徴とする請求項７記載の位置情報検出装置。
9. 前記識別マーク側には、前記撮像部が撮像した画像から前記識別マークを識別可能とする光源が配設されていることを特徴とする請求項１記載の位置情報検出装置。
10. 前記撮像部は、前記識別マークに光を照射する投光部を有することを特徴とする請求項１記載の位置情報検出装置。
11. 前記撮像部、前記参照点抽出部及び前記位置情報算出部が一体的に構成されていることを特徴とする請求項１記載の位置情報検出装置。
12. カメラレンズを有する撮像部が接続されたコンピュータが、識別マーク抽出部、参照点抽出部、参照点記憶部、指示位置算出部を有し、
    撮像部が、指示対象平面側に同一直線上に配設された少なくとも３つの参照点を含む識別マークを、カメラレンズを介して撮像する処理と、
    前記識別マーク抽出部が、撮像部により撮像された画像から、識別マーク像を抽出する処理と、
    前記参照点抽出部が、前記識別マーク像から参照点を抽出する処理と、
    前記参照点記憶部が、抽出された参照点を記憶する処理と、
    前記指示位置算出部が、前記識別マークにおける各参照点の相対位置に対して、前記参照点抽出部により抽出された各参照点の相対位置を射影像とした場合に、この射影像に対する逆射影変換に基づいて、指示対象平面の指示対象領域における前記撮像部の指示位置を算出する処理と、
    を実行することを特徴とする位置情報検出方法。
13. 撮像部が接続されたコンピュータにより実行可能な位置情報検出プログラムにおいて、
    指示対象平面側に同一直線上に配設された少なくとも３つの参照点を含む識別マークを、前記撮像部にカメラレンズを介して撮像させる処理と、
    前記撮像部により撮像された画像から、識別マーク像を抽出させる処理と、
    前記識別マーク像から参照点を抽出させる処理と、
    抽出された参照点を記憶させる処理と、
    前記識別マークにおける各参照点の相対位置に対して、抽出された各参照点の相対位置を射影像とした場合に、この射影像に対する逆射影変換に基づいて、指示対象平面の指示対象領域における前記撮像部の指示位置を算出する処理と、
    を前記コンピュータに実行させることを特徴とする位置情報検出プログラム。