JP4908523B2 - POSITION INFORMATION DETECTING DEVICE, POSITION INFORMATION DETECTING METHOD, AND POSITION INFORMATION DETECTING PROGRAM - Google Patents

Abstract

It is possible to provide a position information detection device, method, and program which can detect position information with a high accuracy by using a simple identification mark and improve the successful position detection ratio even when a cheap imaging element is used. The position information detection device includes: an identification mark (102) including three reference points arranged at a predetermined interval on the same straight line on a display (103); an imaging unit (203) which images the identification mark (102); an identification mark extraction unit (261) which extracts an identification mark image from the captured image; a reference point extraction unit (206) which extracts the reference points from the identification mark; a position information calculation unit (207) which calculates the position information on the imaging unit (203) with respect to the display region according to the coordinate system specified by the reference points; and an instruction position calculation unit (271) which assumes relative positions of the respective extracted reference points as projection conversions of the relative positions of the respective reference points of the identification mark (102) and calculates the instruction position of the imaging unit (203) according to the reverse projection conversion corresponding to the projection conversions.

Description

【技術分野】
【０００１】
本発明は、画面などの指示対象平面に対して、指示した位置を特定する位置情報検出装置、その方法およびそのプログラムに関する。
【背景技術】
【０００２】
従来から、ＣＲＴやＬＣＤなどの表示装置とその表示画面上の位置を特定するデバイスによって構成されるシステムが開発されている。その一例が射撃ゲーム装置である。一般に、銃射撃型ゲームでは、ディスプレイの画像表示領域に表示された標的に向かって、ガン型コントローラの照準を合わせ、その狙いの正確性を判定すること等によってゲームを進行させる。そのため、少なくともガン型コントローラが画像表示領域内のいかなる位置に照準を合わせているか（指示位置）を検出する必要がある。
【０００３】
このように画面上の位置を特定するための手法として、ディスプレイに表示され若しくはその周囲に配置された識別マークを撮像し、これを解析することにより、指示位置を算出するものがある。たとえば、特許文献１に記載された技術は、ゲーム画面の左右両端に配置された赤外光スポットを模擬銃（ガン型コントローラ）に内蔵されたＣＣＤカメラで撮像し、この撮像位置に基づいてガン型コントローラの着弾位置を検出するものである。
【特許文献１】
特許第２６８１４５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記の従来技術においては、ＣＣＤカメラによる赤外光スポットの撮像位置に基づく位置検出を行っているため、ゲーム画面とガン型コントローラ（ＣＣＤカメラ）の相対位置が固定されている場合には、比較的誤差の少ない位置検出が可能となる。ところが、最近の銃射撃型ゲームは多様化が進んでおり、競技者がガン型コントローラを手に持って、指示する位置や姿勢を自由に選択できるようにする必要があるものが多い。このようなゲームでは、ゲーム中に、ゲーム画面とガン型コントローラの相対位置が多様に変化することになる。しかし、かかる場合には、上記のような従来技術では、位置検出の誤差が無視できない程度に発生する可能性がある。
［０００５］
また、ＣＣＤカメラに一般的な撮像素子を用いる場合、被写体や撮像素子が比較的高速に移動すると、被写体の像がぶれてしまい、期待する画像認識結果が得られず、対象画面の特定に失敗してしまう場合がある。この問題を解決する一つの方法として、シャッタースピードが高速な撮像素子を用いることが考えられる。しかし、このような高速な撮像素子は、普及型撮像素子と比較して高価である。
［０００６］
本発明は、上記のような従来技術の問題点を解決するために提案されたものであり、その目的は、非常に簡素な識別マークを用いて、位置情報を高精度に検出できるとともに、安価な撮像素子を用いても、位置検出の成功率を向上させることができる位置情報検出装置、方法及びプログラムを提供することにある。
課題を解決するための手段
［０００７］
上記の目的を達成するために、本発明の位置情報検出装置は、指示対象平面側に配設された識別マークを、カメラレンズを介して撮像する撮像部と、前記撮像部が撮像した画像から、識別マーク像を抽出する識別マーク抽出部と、前記識別マーク像から、参照点を抽出する参照点抽出部と、抽出された参照点を記憶する参照点記憶部と、前記参照点により特定される座標系に基づいて、指示対象平面に対する前記撮像部の位置情報を算出する位置情報算出部と、を有し、前記識別マークは、同一直線上に所定の間隔で配置された少なくとも３つの参照点を含み、前記位置情報算出部は、前記識別マークにおける同一直線上に所定の間隔で配置された少なくとも３つの参照点の相対位置に対して、前記参照点抽出部により抽出された当該少なくとも３つの参照点の相対位置を射影像とした場合に、この射影像に対する逆射影変換に基づいて、指示対象平面の指示対象領域における前記撮像部の指示位置を算出する指示位置算出部を有することを特徴とする。なお、本発明は、上記の各部の機能を実現するための位置情報検出方法、位置情報検出プログラムとして捉えることもできる。
【０００８】
以上のような本発明では、同一直線上に配置した３つの参照点の位置と、撮像された画像から抽出された参照点の位置とを用いて、逆射影変換に基づく算出を行うことにより、撮像部の指示位置検出誤差を小さく抑えることができる。
【０００９】
他の態様では、前記識別マークにおける各参照点は、等間隔で配置されていることを特徴とする。
【００１０】
以上のような態様では、参照点が等間隔で配置された識別マークを用いることにより、演算式を簡略化することができるので、処理負担を軽減し、高速な処理が可能となる。
【００１１】
他の態様は、前記位置情報算出部は、前記撮像部のカメラレンズの光軸周りの回転角を算出する回転角算出部を有し、前記回転角算出部は、回転角誤差補正曲面を用いて、誤差を補正する回転角誤差補正部を有することを特徴とする。
【００１２】
以上のような態様では、指示対象平面に対する撮像部の指示位置のみならず、撮像部の回転角も得ることができるので、ゲーム内容、適用範囲等の多様化、高度化を図ることができる。さらに、回転角誤差補正曲面を用いることにより、大域的な誤差をキャンセルできる。
【００１３】
他の態様は、指示対象領域における複数の所定点に、前記カメラレンズの照準を合わせた際の指示位置に基づいて、キャリブレーション用の任意の指示点の指示位置を求めるキャリブレーション演算部を有することを特徴とする。
【００１４】
以上のような態様では、本発明で使用する識別マークに適したキャリブレーションを実行することにより、誤差が低減される。
【００１５】
他の態様は、前記参照点は、前記識別マークの重心であることを特徴とする。
【００１６】
以上のような態様では、識別マークとしては、重心が特定できるものを用いればよいので、構成が単純であり、抽出も容易となる。また、識別マークの特徴や設置方法に変化を持たせることにより、方向の特定も可能となる。
【００１７】
他の態様は、前記識別マーク抽出部による識別マークの抽出ができない場合に、前記参照点記憶部に記憶された参照点に基づいて、参照点を推定する参照点推定部を有することを特徴とする。
【００１８】
以上のような態様では、被写体や撮像素子が高速に移動した場合に、撮像部が撮像した画像から識別マークの抽出ができず、そのために参照点の抽出に失敗したとしても、直前の参照点の抽出若しくは推定に成功している場合には、参照点推定処理により、参照点を良好に推定可能となる。したがって、高価な撮像素子を用いずとも、位置検出の成功率を向上させることができる。
【００１９】
他の態様は、前記参照点推定部は、前記参照点記憶部に記憶された参照点に基づいて、識別マークの近傍領域を算出する領域算出部と、前記近傍領域において遮断すべき背景光を検出する背景光検出部と、前記背景光検出部による検出結果に基づいて、前記近傍領域における識別マークの重心を推定する重心推定部と、前記重心推定部により推定された重心に基づいて、参照点を推定する推定部と、を有することを特徴とする。
【００２０】
以上のような態様では、直前に記憶された参照点に基づいて算出された識別マークの近傍領域に基づいて、識別マークの重心を推定して、これにより参照点を推定するので、処理すべきデータ量を低減して高速化を図りつつ、より高い確度によって良好な参照点推定ができる。
【００２１】
他の態様は、前記推定部による推定のために、前記重心推定部により推定された重心と、前記参照点記憶部に記憶された参照点との対応付けを行う整合部を有することを特徴とする。
【００２２】
以上のような態様では、推定できない重心があった場合であっても、直前の参照点に基づいて、参照点を推定できるので、参照点が得られる可能性が高まる。
【００２３】
他の態様は、前記識別マーク側には、前記撮像部が撮像した画像から前記識別マークを識別可能とする光源が配設されていることを特徴とする。
【００２４】
以上のような態様では、識別マークを自発光型とすることにより、周囲の照明環境にかかわらず、識別マークを明確に識別できる。
【００２５】
他の態様は、前記撮像部は、前記識別マークに光を照射する投光部を有することを特徴とする。
【００２６】
以上のような態様では、識別マークを反射型として構成できるので、設置が容易であり、家庭用途に適している。
【００２７】
他の態様は、前記撮像部、前記参照点抽出部及び前記位置情報算出部が一体的に構成されていることを特徴とする。
【００２８】
以上のような態様では、撮像部等を別体で構成するよりも、全体構成を簡素化でき、装置間の接続作業を簡略化できる。
【発明の効果】
【００２９】
以上説明したように、本発明によれば、非常に簡素な識別マークを用いて、位置情報を高精度に検出できるとともに、安価な撮像素子を用いても、位置検出の成功率を向上させることが可能な位置情報検出装置、方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態を示す全体構成図である。
【図２】図１に示す実施形態の機能ブロック図である。
【図３】図１の実施形態に使用する識別マークの例を示す説明図であり、（ａ）は点光源によるもの、（ｂ）は幾何学的パターンによるもの、（ｃ）は分割構成によるものである。
【図４】図１の実施形態の処理手順を示すフローチャートである。
【図５】図１の実施形態で用いる座標系を示す説明図である。
【図６】識別マークの参照点を２点とした場合の指示位置検出方法を示す説明図である。
【図７】図１の実施形態の指示位置検出方法を示す説明図である。
【図８】カメラレンズ光軸周りの回転角誤差を示す説明図である。
【図９】カメラレンズ光軸周りの回転角誤差を示す説明図である。
【図１０】図１の実施形態の近傍領域算出例を示す説明図である。
【図１１】図１の実施形態の背景光遮断閾値の例を示す説明図である。
【図１２】図１の実施形態の識別マーク重心推定処理の一例を示す説明図である。
【図１３】図１の実施形態の区画選択処理の一例を示す説明図である。
【符号の説明】
【００３１】
１００…位置情報検出装置
１０１…ガン型コントローラ
１０２…識別マーク
１０３…ディスプレイ
１０３Ａ…画像表示領域
１０４…ゲーム機
２０１…操作部
２０３…撮像部
２０４…投光部
２０５…周辺制御部
２０６…参照点抽出部
２０７…位置情報算出部
２０８…参照点推定部
２０９…Ｉ／Ｏ部
２６１…識別マーク抽出部
２６２…重心判定部
２７１…指示位置算出部
２７２…回転角算出部
２７３…レンズ位置算出部
２７４…キャリブレーション演算部
２８１…領域算出部
２８２…背景光検出部
２８３…重心推定部
２８４…整合部
２８５…推定部
【発明を実施するための最良の形態】
【００３２】
以下、本発明の位置情報検出装置を、銃射撃型ゲームに適用する際の一実施形態について、図面を参照して説明する。
［実施形態の概要］
まず、本実施形態の概要を、図１及び図２を参照して説明する。なお、図１は、本実施形態の全体構成を示す外観斜視図であり、図２は機能ブロック図である。ただし、以降の説明は、本実施形態のみならず、本発明が目的とする機能を実現するための他の応用例に対する説明としても、容易に読み替えることができる。さらに、図２の機能ブロック図は概念的なものであり、これらの機能を実現する具体的な回路は種々考えられるため、実装方法等を限定するものではない。
【００３３】
本実施形態の位置情報検出装置１００は、ガン型コントローラ１０１、ゲーム機１０４及びディスプレイ１０３を使用する銃射撃型ゲームに適用したシステムである。ゲーム機１０４は、ゲームプログラムを実行可能なホスト機器であればよく、たとえば、パーソナルコンピュータ等であってもよい。ディスプレイ１０３は、表示領域が指示対象平面を構成する表示手段であればよく、たとえば、ＴＶ、スクリーン、パネル等であってもよい。ガン型コントローラ１０１は、ゲームの射撃に用いる銃として機能するものであり、その内部に、位置情報を検出するための構成を有している。さらに、識別マーク１０２は、ディスプレイ１０３上の画像表示領域(指示対象領域)１０３Ａの周辺に設置して運用する。
【００３４】
そして、本実施形態においては、ディスプレイ１０３に配設された識別マーク１０２を撮像する撮像部２０３、識別マーク１０２の参照点を抽出する参照点抽出部２０６、ガン型コントローラ１０１の指示位置を含む位置情報を算出する位置情報算出部２０７、参照点を推定する参照点推定部２０８等が、ガン型コントローラ１０１の内部に実装され、一体的に構成されている。
【００３５】
また、本実施形態では、指示位置のみならず、ガン型コントローラ１０１の銃身軸周りの回転角やディスプレイ１０３に対する位置（レンズ位置）等の相対的な位置情報をも検出できるようにして、ゲーム内容の多様化を可能としている。
【００３６】
さらに、本実施形態は、被写体や撮像素子の高速な移動によって所望の識別マーク像が得られない場合においても、以下のような特徴によって、参照矩形を良好に推定し位置検出を行うことが可能となる。
（Ａ）直前の参照点に基づいて、参照点間を結ぶ最大線分長に応じた近傍領域を決定する。
（Ｂ）現画像上の直前に求められた近傍領域の部分画像より、識別マーク画像の背景と見做すべき画素値の閾値を求める。
（Ｃ）現画像上の直前に求められた近傍領域の部分画像より、画素集合の重心を求める。
（Ｄ）抽出された参照点の一部と部分画像の重心より、現画像上の参照点を推定する。
【００３７】
［実施形態の構成］
次に、本実施形態の構成を具体的に説明する。
［ディスプレイ１０３］
まず、ディスプレイ１０３は、ＣＲＴやＬＣＤ等のテレビ受像機やコンピュータ用の表示装置である。ディスプレイ１０３には、ゲーム機１０４で実行されるゲームプログラムの進行に応じて、画像信号が入力される。そして、その矩形型の画像表示領域（指示対象平面）１０３Ａに、入力された画像信号に応じた画像が表示される。
【００３８】
［識別マーク１０２］
識別マーク１０２は、ディスプレイ１０３上の画像表示領域１０３Ａを特定するために、画像表示領域１０３Ａの外周部分に複数設置されている。この識別マーク１０２は、図３（ａ）に示すように、点光源の集合であってもよいし、図３（ｂ）に示すように、幾何学的パターン（図形）をその表面に有するものであってもよい。なお、識別マーク１０２が設けられる支持部材は、図１、図３（ａ）（ｂ）のように一体となっていてもよいし、図３（ｃ）のように、複数に分割されてもよい。
【００３９】
本発明における識別マーク１０２に使用される点光源若しくは幾何学的パターンは、図３に示すように、左右と中央の３つあればよい（権利範囲は３つには限定されない。但し、これより多ければ冗長となるため３つで必要十分）。図３（ａ）における左の点光源は、右のものと区別するために物理的に２つあるが、機能的には１つと考える。同様の理由から、図３（ｂ）における左の幾何学的パターンは、右のものと形状が異なっているが、機能的には１つと考える。これらの識別マーク１０２は、参照点（本実施形態では重心）の抽出が可能であれば、どのような形状であってもよい。なお、後述するように、３つの点光源若しくは幾何学的パターンの参照点は、同一直線上に並んでいる必要があるが、各参照点間の距離は、異なっていても均等であってもよい。
【００４０】
また、識別マーク１０２は、自発光型と反射型の２種類に分類できる。識別マーク１０２を反射型とする場合、たとえば、表面は主に、図３（ｂ）の穴（幾何学的パターン内の白色部分）及び背景部分の光の反射率が小さく、それ以外の部分の反射率が高い構成とする。自由な位置で射撃を可能とするためには、高反射率部分の素材には再帰反射特性を有するものが望ましいと言える。
【００４１】
識別マーク１０２を自発光型とする場合、たとえば、背面から表面へ向かってマーク内部から光を放射する光源を備える。この場合、ガン型コントローラ１０１側に、投光部２０４を実装する必要はなくなる。但し、識別マーク１０２側に光源及びその光源への給電が必要となる。この場合、たとえば、表面は主に、図３（ｂ）の穴及び背景部分の光の透過率が小さく、それ以外の部分で光を透過、拡散する構成とする。
【００４２】
なお、以上の説明の通り、識別マーク１０２の形状とその背景部分とは、色彩や素材等から、境界が光学的に識別できればよいのであり、特定の形状には限定されない。同一平面上に形成されているか否かも問わない。したがって、平面状に描かれたものであってもよいし、物理的な穴や窪み、***や突出等によって形成されていてもよい。
【００４３】
［ゲーム機１０４］
ゲーム機１０４は、所定のプログラムを実行し、当該実行にしたがってゲーム用の画像を表示するための画像信号を生成し、これをディスプレイ１０３に出力する機器である。このゲーム機１０４は、位置情報検出部２０２から、ガン型コントローラ１０１によって指定された画像表示領域１０３Ａ上の点の指示位置データその他等のデータが入力され、当該データを基に、プログラムの実行に応じた所定のゲーム進行処理を行う。したがって、ゲーム機は、家庭用のゲーム機のみならず、アーケードゲーム機やゲームプログラムをインストールしたコンピュータであってもよい。
【００４４】
［ガン型コントローラ１０１］
ガン型コントローラ１０１は、操作部２０１、撮像部２０３、投光部２０４、周辺制御部２０５、参照点抽出部２０６、位置情報算出部２０７、参照点推定部２０８、Ｉ／Ｏ部２０９を有している。
【００４５】
操作部２０１は、引き金（トリガ）などであり、ユーザの指などの操作によって所定の位置まで引かれると、操作信号を出力する。なお、操作部２０１の具体的な構成は、本発明とは基本的に独立したものであり、特定のものには限定されない。したがって、必ずしも引き金の形状をしている必要はなく、たとえば、押しボタンやトグル等のスイッチであっても、光の遮蔽を検知するセンサであってもよい。
【００４６】
撮像部２０３は、主に光学フィルタ、レンズ、撮像素子で構成されている。レンズはガン型コントローラ１０１の銃口付近にその光軸上で照準が合うように設置されている。撮像素子は、レンズよりも内部に撮像面が光軸と直交するように設置されている。光学フィルタは、撮影対象とする光の波長領域のみを良好に通過させるものとし、レンズ付近に設置されるかレンズ自体の素材となっている。
【００４７】
投光部２０４は、主に撮影対象とする波長領域で発光する発光素子群で構成されている。この投光部２０４は、撮像部２０３のレンズ外周に、光軸よりもやや外側に傾けた状態で設置されている。なお、投光部２０４は、識別マーク１０２として反射型を採用する際に必要となる。
【００４８】
周辺制御部２０５は、投光部２０４の発光及び撮像部２０３の撮像を制御する手段である。たとえば、発光タイミングの制御、投光部２０４の光量、撮像部２０３の感度などの調整が可能な設定とすることもできる。
【００４９】
参照点抽出部２０６は、識別マーク１０２の構成によらず、撮影された画像を解析して、識別マーク像からその特徴点となる参照点を抽出する手段である。参照点抽出部２０６は、識別マークに対応する画像成分を抽出する識別マーク抽出部２６１、識別マーク像の重心を判定する重心判定部２６２を有している。参照点は、たとえば、点光源の場合は各光源に対応する画像成分の重心点とする。幾何学的パターンで構成される場合は、各パターンに対応する重心点などを参照点とする。
【００５０】
位置情報算出部２０７は、抽出された参照点群に基づいて、画像表示領域１０３Ａにおけるカメラ(撮像部２０３)の外部パラメータを検出する手段である。本実施形態においては、カメラの外部パラメータを、指示対象領域における指示位置(２次元)、カメラレンズ光軸周りの回転角(１次元)および指示対象領域からカメラレンズまでの距離(１次元)と定義している。それぞれ、指示位置算出部２７１、回転角算出部２７２、レンズ位置算出部２７３によって算出される。さらに、位置情報算出部２０７は、後述するキャリブレーションのための演算を行うキャリブレーション演算部２７４を有している。
【００５１】
参照点推定部２０８は、後述するように、参照点の抽出に失敗した撮影画像を対象として参照点の推定を行う手段である。参照点推定部２０８は、直前に抽出若しくは推定された参照点をもとに、識別マーク近傍領域を算出する領域算出部２８１、遮断すべき背景光を検出する背景光検出部２８２、識別マーク近傍領域と背景光に基づいて、識別マークの重心を推定する重心推定部２８３、推定された重心に基づいて、直前に抽出若しくは推定された参照点との対応付けを行う整合部２８４、推定された重心と整合部による対応付けの結果から、参照点を推定する推定部２８５を有している。参照点抽出部２０６、位置情報算出部２０７、参照点推定部２０８における具体的な処理は、後述する。
【００５２】
また、各処理で抽出、算出等された情報は、適宜、メモリ等の記憶手段に記憶され、次処理に利用されるが、常識的であるため、図示は省略する。記憶手段として、どのような種類、容量のものを確保するかについては、自由である。特に、本実施形態においては、抽出された参照点や推定された参照点もメモリに記憶され（参照点記憶部）、直前に抽出された参照点や推定された参照点は、参照点推定処理に利用される。なお、Ｉ／Ｏ部２０９は、外部機器との入出力を制御する手段である。
【００５３】
［実施形態の作用］
以上のような本実施形態による指示位置等の検出処理を、図４のフローチャート、図５〜１３の説明図を参照して説明する。なお、下記の処理手順は例示であり、各処理において必要な情報がその前段階のいずれかにおいて得られているのであれば、順序が前後してもよい。
【００５４】
［識別マークの撮像…ステップ４０１］
まず、識別マークの点光源や幾何学的パターン(識別マークパターン)を撮像部２０３で撮影する。すなわち、ガン型コントローラ１０１の照準を、ディスプレイ１０３の画像表示領域１０３Ａ近辺に合わせている場合、投光部２０４から放射された光が、識別マーク１０２表面で反射し、その一部が撮像部２０３に入射し、撮像素子で撮影される。なお、放射光が識別マーク１０２に到達しない場合、その反射光は当然撮影されない。
【００５５】
また、自発光型の識別マーク１０２を使用して、投光部２０４を省略した場合には、識別マーク１０２から放射された光が、撮像部２０３に入射する。以上のように撮影された画像は、処理に適した画像データ（たとえば、２値画像等）に変換される。
【００５６】
［参照点抽出…ステップ４０２〜４０５］
撮影された画像データは、参照点抽出部２０６で解析されて、参照点が抽出される。つまり、識別マーク抽出部２６１が、撮像された画像データから、各光源若しくは幾何学的パターンに対応する画像成分を抽出し（ステップ４０２）、重心判定部２６２が、抽出した画像成分の重心点を算出する（ステップ４０４）。この重心点が、参照点として抽出され、記憶される（ステップ４０５）。
【００５７】
識別マークの画像成分の抽出、重心の算出は、周知の技術を適用可能である。なお、撮像部２０３により撮像される画像には、目的とする識別マークの画像成分のみが撮影されるように、周辺制御部２０５によって、あらかじめ光源の出力や撮像素子の受光感度などが適切に設定されている。
【００５８】
また、必要であれば幾何学的な条件などにより、ノイズ成分を除去しておく。たとえば、重心点を求めた画像成分の面積を同時に記憶しておき、その面積が正常値範囲から外れている場合にはノイズ成分と判定し、参照点としないノイズ除去方法が考えられる。さらに、参照点は全て同一直線上に存在する制約条件による弁別方法を適用することが考えられる。すなわち、３つの参照点座標から得られる任意の２つのベクトルの外積の大きさは、理想的には０となる。このため、４つ以上の参照点候補が得られた場合、総当りで選択できる任意の３点の集合のうち、前記外積の大きさが最小となる集合を、参照点として抽出できる。これにより、ノイズ耐性がさらに向上する。
【００５９】
なお、参照点を抽出する過程では、参照点群の配置や識別マーク１０２の幾何学的特徴などから、指示対象領域である画像表示領域の位置と天地に関する情報を特定する（ステップ４０４）。
【００６０】
識別マーク１０２が当初の設置位置から移動しない限り、参照点と画像表示領域１０３Ａとの位置関係は変化しないため、参照点の位置情報から画像表示領域１０３Ａを特定することができる(後述のキャリブレーションを参照)。
【００６１】
識別マーク１０２が、図３（ａ）の点光源の場合、参照点間の距離をすべて求め、点間距離が小さく抑えられる参照点群のうちいずれかを画像表示領域の左上隅に対応する参照点(基準参照点)とすることができる。識別マーク１０２が図３（ｂ）の幾何学的パターンで構成される場合、いずれかの幾何学的特徴を有する識別マーク１０２に対応する参照点を選択してもよい。このように画像表示領域の天地を知ることが、正しい位置検出には必須である。
【００６２】
識別マーク１０２の表面が画像表示領域１０３Ａと同一平面上になるように、参照点を結ぶ直線と画像表示領域との水平方向の辺が平行となるように設置することで、より正確な位置検出が実現できる。
【００６３】
レンズに歪曲収差がある場合、検出した指示位置等に歪曲収差による誤差が含まれてしまうので、少なくとも抽出された参照点すべてに、歪曲収差補正を実施する。
【００６４】
［位置情報検出…ステップ４０６〜４０８］
位置情報算出部２０７においては、抽出された参照点群に基づいて、カメラの外部パラメータを検出する。つまり、後述するように、指示位置算出部２７１が、画像表示領域１０３Ａにおける指示対象領域におけるカメラの指示位置を算出し（ステップ４０６）、回転角算出部２７２が、カメラレンズ光軸周りの回転角を算出し（ステップ４０７）、レンズ位置算出部２７３が、指示対象領域からカメラレンズまでの距離を算出する（ステップ４０８）。なお、回転角以外は後述のとおり正規化される。
【００６５】
このようなパラメータの算出手順を、以下に詳述する。すなわち、図５に示すように、図１の銃射撃型ゲームをプレイする実３次元空間に座標系を定める。世界座標系Ｏ_ｗ−ｘ_ｗｙ_ｗｚ_ｗの原点は、基準参照点に位置し、ｘ_ｗ軸は、参照点群が乗る直線上にあり、ｙ_ｗ軸は、それに直交しかつ指示対象領域平面に乗り、ｚ_ｗ軸はｘ_ｗ，ｙ_ｗ軸に直交する。
【００６６】
指示座標系Ｏ−ｘｙは、世界座標系のｘ_ｗ−ｙ_ｗ平面上にあり、原点を指示対象領域の左上隅とし、ｘ，ｙ軸は、それぞれｘ_ｗ，ｙ_ｗ軸と平行とする。カメラ座標系Ｏ_ｃ−ｘ_ｃｙ_ｃｚ_ｃの原点は、レンズの主点に位置し、ｘ_ｃ，ｙ_ｃ軸は、それぞれ撮像素子受光面の水平、垂直方向に沿い、ｚ_ｃ軸は、光軸に一致する。
【００６７】
画像座標系Ｏ_Ｉ−ｘ_Ｉｙ_Ｉの原点は、撮像素子受光面の中心に位置し、ｘ_Ｉ，ｙ_Ｉ軸は、それぞれ受光面の水平、垂直方向に沿う。撮像素子受光面の法線はｚ軸に一致しており、受光面とレンズ主点までの距離はレンズの焦点距離ｆとする。ただし、ｆは未知であってもよい。
【００６８】
世界座標系のｘ_ｗ，ｙ_ｗ軸は、原点Ｏ_ｗから最も離れた参照点までの距離を１として正規化され、ｚ_ｗ軸は、後述のキャリブレーションの際のガン型コントローラ１０１のレンズ位置までの距離を１として正規化される。指示座標系のｘ，ｙ軸は、それぞれ指示対象領域の幅と高さを１として正規化される。また、ガン型コントローラ１０１の照準は画像座標系の原点Ｏ_Ｉに一致させる。
【００６９】
ここで、従来の位置情報検出装置のうち、本発明で言う識別マークの参照点を２点とした場合の指示位置検出方法を、図６を参照して説明する。すなわち、図５において、指示対象領域と撮像素子受光面の法線が一致している場合、指示対象領域上の世界座標系におけるｐ’＝（ｘ’，ｙ’，０）^Ｔは、識別マークから得られる画像平面上の２つの参照点ｐ_Ｉ０，ｐ_Ｉ１を用いて、式（１）のとおり求めることができる。
【数１】
【００７０】
ｐ’を指示座標系の対応点ｐに変換しなければならないが、この際、指示対象領域を特定するためのキャリブレーション動作として、従来はプレイ直前などに同領域の左上隅および右下隅の世界座標系での位置座標ｐ’_ＬＴ＝（ｘ’_ＬＴ，ｙ’_ＬＴ，０）^Ｔ，ｐ’_ＲＢ＝（ｘ’_ＲＢ，ｙ’_ＲＢ，０）^Ｔを、ｐ’同様に、ガン型コントローラ１０１の照準を合わせて求めておいたのち、プレイ中は式（２）により、ｐを求めていた。
【数２】
【００７１】
カメラレンズ光軸周りの回転角は、画像平面上の２つの参照点が乗る直線を用いて求めることができる。キャリブレーション時のガン型コントローラ１０１の姿勢を回転角計測の基準とし、この際の２つの参照点がつくる画像平面上の直線を記憶しておく。プレイ中にも同様な直線を求め、キャリブレーション時に記憶した直線と成す角を回転角とする。
【００７２】
指示対象領域からカメラレンズまでの距離は、画像平面上の２つの参照点を結ぶ線分の長さを用いて求めることができる。キャリブレーション時のガン型コントローラ１０１の位置を距離計測の基準とし、この際の２つの参照点がつくる画像平面上の線分の長さを記憶しておく。プレイ中にも同様な線分長を求めキャリブレーション時に記憶した線分長を基準とした比を距離とする。よって、距離は、キャリブレーション時の指示対象領域とガン型コントローラ１０１間の距離を１として正規化される。
【００７３】
一般的なプレイ環境と考えられる以下の表１の条件下で、式（１），（２）により求めた指示位置と実際の指示位置との間に生ずる誤差の概要は、表２のとおりとなる。いずれの項目も相当量の誤差を含んでいるが、これは式（１），（２）を適用可能な条件である、指示対象領域と撮像素子受光面の法線が一致していることが表１の指示条件では守られていないことによる。
【表１】
【表２】
【００７４】
従来手法による各種誤差を抑えるべく、本実施形態では、前述の通り、３つの参照点を同一直線上に配した識別マーク１０２を用いている。つまり、同一直線上の相対位置が既知の３点ｐ_ｃ＝（１−Ｍ）ｐ_ａ＋Ｍｐ_ｂ点と同直線上の任意点ｐ＝（１−ｎ）ｐ_ａ＋ｎｐ_ｂが、任意の射影変換によりそれぞれｐ_Ｉｃ＝（１−Ｍ_Ｉ）ｐ_Ｉａ＋Ｍ_Ｉｐ_Ｉｂ，ｐ_Ｉ＝（１−ｎ_Ｉ）ｐ_Ｉａ＋ｎ_Ｉｐ_Ｉｂに写像された場合、これらＭ，Ｍ_Ｉ，ｎ_Ｉを用いて、式（３）のとおりｎを求めることができる。これは射影変換に対する逆射影変換を求められたことになる。
【数３】
【００７５】
よって、ｐ_ａ，ｐ_ｃ，ｐ_ｂがこの順に等間隔に配置されている場合、式（４）が言える。
【数４】
【００７６】
図７における参照点ｐ’_ａ，ｐ’_ｂ，ｐ’_ｃを、上記のｐ_ａ，ｐ_ｃ，ｐ_ｂに対応させた場合、撮像素子による撮影が射影変換となるため、ｐ’_ａ，ｐ’_ｂ，ｐ’_ｃの画像平面における像ｐ_Ｉａ，ｐ_Ｉｂ，ｐ_Ｉｃと、それらより求められるＭ_Ｉ，ｎ_Ｉおよび既知のＭにより、式（３）を用いて、ｘ_ｗ軸上の任意点ｐ＝（１−ｎ）ｐ_ａ＋ｎｐ_ｂを厳密に求めることができる。ここで、Ｍ_Ｉは、式（５）のとおり求まる。
【数５】
【００７７】
［キャリブレーション］
式（５）によりｘ_ｗ軸近傍の任意点も精度よく求めることができるため、本実施形態でのキャリブレーションは、図７のとおり、指示対象領域の左上隅、右上隅および中心点の３点に、ガン型コントローラ１０１の照準を合わせ、キャリブレーション演算部２７４が次の手順で行う。
【００７８】
(i） 指示対象領域の左上隅にガン型コントローラ１０１の照準を合わせ、式（１）によりその際の指示位置ｐ’_ＬＴを求める。
(ii) 同時に式（５）により現在のＭ_Ｉを求める。
(iii)式（３）において、ｎ_Ｉを、ｐ’_ＬＴのｘ座標値としてｎを求め、そのｎを新たなｘ座標値としてｐ’_ＬＴを更新する。
(iv) 指示対象領域の右上隅にガン型コントローラ１０１の照準を合わせ、式（１）によりその際の指示位置ｐ’_ＲＴを求める。
(v) 同時に式（５）により、現在のＭ_Ｉを求める。
(vi) 式（３）において、ｎ_Ｉを、ｐ’_ＲＴのｘ座標値としてｎを求め、そのｎを新たなｘ座標値として、ｐ’_ＲＴを更新する。
(vii)指示対象領域の中心点にガン型コントローラ１０１の照準を合わせ、式（１）により、その際の指示位置ｐ’_ＭＭを求める。
【００７９】
上記手順により得られた世界座標系上の３点ｐ’_ＬＴ＝（ｘ’_ＬＴ，ｙ’_ＬＴ，０）^Ｔ，ｐ’_ＲＴ＝（ｘ’_ＲＴ，ｙ’_ＲＴ，０）^Ｔ，ｐ’_ＭＭ＝（ｘ’_ＭＭ，ｙ’_ＭＭ，０）^Ｔを用いて、任意の指示点ｐ’＝（ｘ’，ｙ’，０）^Ｔは、式（６）のとおり、指示座標系Ｏ−ｘｙでの指示点ｐに変換できる。
【数６】
【００８０】
このキャリブレーションにより求められた指示対象領域内の任意の指示点のｙ座標値および式（５）のＭ_Ｉと、カメラレンズ光軸周りのコントローラの実際の回転角と回転角算出部２７２より求めた回転角との誤差の関係を、図８及び図９に示す。なお、キャリブレーション時のコントローラの姿勢を、回転角の基準として前述のとおり求めている。
【００８１】
この図８及び図９より、局所的なカメラレンズ光軸周りの回転角の誤差は小さいことがわかり、回転角誤差補正曲面（ａｙ＋ｂ）（Ｍ_Ｉ−０．５）を用いて大域的な誤差をキャンセルできる。この際、係数ａ，ｂは、非線形最小二乗法により求めることができる。
【００８２】
回転角の大域的な誤差をキャンセルするための回転角誤差補正行列Ｒは、式（７）のとおりである。誤差が５［ｄｅｇ］以下であるため、ｘ≒ｓｉｎｘが十分成立するので三角関数を用いず、計算量を抑えて求めることができる。
【数７】
【００８３】
画像平面上での参照点ｐ_Ｉｃを中心として、式（７）の回転角誤差補正行列Ｒにより残る参照点ｐ_Ｉａ，ｐ_Ｉｂを回転させる場合、回転後のそれぞれの対応点ｐ’_Ｉａ，ｐ’_Ｉｂは式（８）のとおりである。ただし、Ｉは単位行列を表す。
【数８】
【００８４】
以上により、本実施形態における指示位置検出は次の手順で行う。
(i) 式（６）により現在の指示位置ｐを求める。
(ii) 同時に式（３）により現在のＭ_Ｉを求める。
(iii)式（７）のｙを上記ｐのｙ座標値としたうえで、式（８）より、ｐ’_Ｉａ，ｐ’_Ｉｂを求める。
(iv) 式（１）のｐ_Ｉ０，ｐ_Ｉ１を、それぞれ上記ｐ’_Ｉａ，ｐ’_Ｉｂとして、ｐ’を求める。
(v) 式（３）のｎ’をｐ’のｘ座標値としてｎを求め、そのｎを新たなｘ座標値として、ｐ’を更新する。
(vi) 式（６）により、検出誤差が改善された現在の指示位置ｐを求める。
【００８５】
表１の条件下で、上記手順により求めた指示位置と実際の指示位置との間に生ずる誤差の概要は、表３のとおりである。従来手法による表２と比較して、各種誤差が改善されていることがわかる。
【表３】
【００８６】
表２、表３共に、ｘ，ｙ軸方向の指示位置誤差は、表１の条件下における指示点の集合をＰ、 本装置内レンズ主点を通る指示対象領域の法線と同領域の交点の集合をＬ、同レンズ主点位置ｌにおいて、同領域上の点ｐを指示した際の指示位置を求める関数をｆ（ｌ，ｐ）としたときの、求めた指示位置と実際の指示位置ｐとの誤差ベクトルｅを表し、誤差上限はｅの集合Ｅ＝｛ｅ｜ｅ＝ｆ（ｌ，ｐ）−ｐ，ｌ∈Ｌ，ｐ∈Ｐ｝のすべての元を、ｘ，ｙ軸に正射影した写像を、それぞれＥｘ，Ｅｙとした場合の、大きさが最大となる正方向の元の評価対象成分である。誤差下限は同様に大きさが最大となる負方向の元の評価対象成分である。
【００８７】
回転角誤差は、正面から対象領域中心を指示した際に観測される両端の参照点を結ぶ線分ｓ_ｂａｓｅと、線分ｓ_ｂａｓｅを観測したときと同一の姿勢でレンズ主点位置ｌにおいて同領域上の点ｐを指示した際に観測される同線分ｓ（ｌ，ｐ）とが成す角度を求める関数ｆ_θ（ｓ（ｌ，ｐ），ｓ_ｂａｓｅ）としたときに求めた角度を表し、誤差上下限は求めた角度の集合Θ＝｛θ｜θ＝ｆ_θ（ｓ（ｌ，ｐ），ｓ_ｂａｓｅ），ｌ∈Ｌ，ｐ∈Ｐ｝の元のうちの最大、最小値である。
【００８８】
距離誤差は、線分ｓの長さを求める関数をｆ_ｌ（ｓ）とした場合、線分ｓ_ｂａｓｅとｓ（ｌ，ｐ）との比を表し、誤差上下限は求めた比の集合Ｒ＝｛ｒ｜ｒ＝ｆ_ｌ（ｓ（ｌ，ｐ））／ｆ_ｌ（ｓ_ｂａｓｅ），ｌ∈Ｌ，ｐ∈Ｐ｝の元のうちの最大、最小値である。
【００８９】
［参照点推定…ステップ４１０〜４１４］
位置情報算出部２０７は、抽出された参照点をもとに、画像表示領域における指示位置等のカメラ(撮像部)の外部パラメータを算出する。しかし、被写体である識別マークやカメラが比較的高速に移動した場合、識別マーク像がぶれてしまい期待する形状などの特徴量および画素値(受光量)が得られなくなり、たとえ識別マークを撮像したとしても参照点の抽出に失敗してしまう（ステップ４０３）。
【００９０】
本問題は普及型カメラの構造上回避できないが、シャッタースピードが高速なカメラを用いることで解決が可能である。ただし、同カメラは比較的高価であるため製品コストを抑えにくいという別の問題が生じる。
【００９１】
さらに、そのような高速移動期間においては、正確な指示位置検出の要求は少なく、位置検出誤差が比較的大きくなってしまったとしても、指示位置検出を成功させることへの要求のほうが優先的である。
【００９２】
よって、普及型カメラにより問題となる高速移動期間においても、参照点を推定し抽出できればよい。それを実現するために本実施形態では、参照点推定部２０８によって、識別マーク位置を推定する。
【００９３】
この参照点推定処理を、図４のフローチャートを参照して説明する。すなわち、参照点の抽出に失敗した撮影画像を対象として参照点の推定を行うに先立って、識別マーク近傍領域算出処理が行われる（ステップ４１０）。これは、領域算出部２８１が、直前に抽出若しくは推定された参照点に基づいて、参照点間を結ぶ最大線分長に応じた領域を算出する処理である。
【００９４】
識別マーク近傍領域の半径の長さは、たとえば上記線分長の任意辺の１／ｎとして許容すべき移動速度をもとに決定する。ただし、図１０のとおり、近傍領域同士が重ならないように決定すべきである。
【００９５】
次に、背景光検出処理が行われる（ステップ４１１）。これは、背景光検出部２８２が、現画像上の直前に求められた識別マーク近傍領域に対応する領域内の部分画像より、識別マーク像の背景と見做すべき画素値の閾値(背景光遮断閾値)を決定する処理である。
【００９６】
ノイズの少ない理想的な状態で識別マークが撮影された場合、同部分画像による画素値を階級とする画素数のヒストグラムは、おおよそ図１１のような傾向を示す。よって、多値画像の２値化手法を応用して背景光遮断閾値を決定する。本閾値は、複数の部分画像をまとめて唯一つ求めることも、部分画像毎に求めることもできる。以降の説明は部分画像毎に閾値を求めたものとする。
【００９７】
上記背景光検出処理において得られたヒストグラムが、図１１で示す特徴と異なる場合、理想的でない撮影状態の可能性があるため、図１１と同様な特徴が得られるように、撮像部２０３の撮像素子の露光時間等を、適切に制御してもよいし、Ｉ／Ｏ部２０６経由で、本装置外部のホスト機器に、適切な制御情報を提供させてもよい。
【００９８】
次に、識別マーク重心推定処理が行われる（ステップ４１２）。これは、重心推定部２８３が、現画像上の直前に求められた識別マーク近傍領域に対応する領域内の部分画像より、識別マークと推定される画素情報を集計して、それら画素集合の重心を求める処理である。画素集合が識別マーク像より構成される場合は、良好に識別マーク像の重心を求めることができる。
【００９９】
算出する重心の精度を向上させるために、背景光検出処理で求めた背景光遮断閾値Ｉ_ｂ ^（ｋ）により対応する識別マーク近傍領域ｋの部分画像ｓ^（ｋ）（ｉ， ｊ）を式（９）のとおりｔ^（ｋ）（ｉ，ｊ）へ変換してもよい。
【数９】
【０１００】
識別マーク近傍領域ｋの部分画像ｓ^（ｋ）（ｉ，ｊ）の重心を求めるために、同画像の０次モーメントｍ_０ ^（ｋ）およびｉ方向とｊ方向の１次モーメントｍ_ｉ ^（ｋ），ｍ_ｊ ^（ｋ）を式（１０）〜 （１２）のとおり逐次求める。以降、ｓ^（ｋ）（ｉ，ｊ）は式（９）のｔ^（ｋ）（ｉ，ｊ）に読み替えてもよい。
【数１０】
【数１１】
【数１２】
【０１０１】
これらｍ_０ ^（ｋ），ｍ_ｉ ^（ｋ），ｍ_ｊ ^（ｋ）により部分画像ｓ^（ｋ）（ｉ，ｊ）の重心ｇ^（ｋ）は式（１３）のとおり求めることができる。
【数１３】
【０１０２】
しかし、これら部分画像に識別マーク以外のノイズ成分が無視できない程度に含まれる場合は、式（１３）の重心算出方法では、誤った重心が求まる可能性がある。そこで、図１２に示すように、すべての識別マーク近傍領域を同様に複数の区画に分割し、重心算出に適する区画のみを選択することで、期待する重心を求めることができる。
【０１０３】
識別マーク近傍領域ｋの区画ｌにおける部分画像ｓ^{（ｋ，ｌ）}（ｉ，ｊ）毎に式（１０）−（１２）と同様に、０次モーメントｍ_０ ^{（ｋ，ｌ）}およびｉ方向とｊ方向の１次モーメントｍ_ｉ ^{（ｋ，ｌ）}，ｍ_ｊ ^{（ｋ，ｌ）}を求めておく。
【０１０４】
重心算出に適する区画を選択するためには、たとえば図１３に示すような識別マーク近傍領域間の一定条件を満たした選択候補区画の一致を考える。区画ｌを選択候補とする条件として、識別マーク近傍領域がｎ個の区画に分割される場合、区画ｌを含む識別マーク近傍領域ｋの０次モーメントｍ_０ ^（ｋ）と区画数ｎによる関数値ｆ（ｍ_０ ^（ｋ），ｎ）が区画１の０次モーメントｍ_０ ^{（ｋ，ｌ）}を下回ることなどが挙げられる。このｆ（ｍ，ｎ）はたとえばｆ＝ｍ／ａｎ（ａは任意の定数)とできるが、識別マーク像を一定率以上含む区画が選択候補となるように決定される。
【０１０５】
すべての識別マーク近傍領域が撮影画像上である程度同一方向に移動するならば、図１３のとおり、複数の識別マーク近傍領域間の同一区画で識別マーク像を一定率以上含むものが選択候補とされることを期待できる。このように、複数領域間で一致する選択候補区画のみを選択すれば、ノイズ成分を含む区画を良好に排除することができる。
【０１０６】
以上のとおり選択された区画のみの各モーメントの和をそれぞれｍ’_０ ^（ｋ），ｍ’_ｉ ^（ｋ），ｍ’_ｊ ^（ｋ）とすれば、部分画像ｓ^（ｋ） _{（ｉ，ｊ）}の重心ｇ’^（ｋ）＝［ｍ’_ｉ ^（ｋ）／ｍ’_０ ^（ｋ），ｍ’_ｊ ^（ｋ）／ｍ’_０ ^（ｋ）］^Ｔが新たに得られる。なお、以上までの参照点推定処理は、識別マーク抽出処理等と平行して実行することが可能である。
【０１０７】
次に、識別マーク整合処理が行われる(ステップ４１３）。これは、整合部２８４が、直前に抽出または推定された参照点位置と、現画像から抽出された参照点位置との対応付けを試みる処理である。
【０１０８】
一部の参照点が抽出できた場合、それら参照点をそれぞれ直前に抽出または推定された参照点のうち最も近くに存在する参照点に対応させ、それらのみを出力する。すべての参照点の抽出に失敗した場合は出力なしとする。
【０１０９】
さらに、参照点推定処理が行われる（ステップ４１４）。これは、推定部２８５が、抽出された参照点の一部と部分画像ｓ^（ｋ）（ｉ，ｊ）の重心ｇ^（ｋ）（ｇ’^（ｋ））とにより、現画像における参照点を推定する処理である。
【０１１０】
抽出に失敗した参照点の識別マーク近傍領域ｋから求められた重心ｇ^（ｋ）（ｇ’^（ｋ））を、当該参照点と推定する。その推定した参照点と抽出に成功した参照点とをもって現画像の参照点群とする。
【０１１１】
［実施形態の効果］
以上のような本実施形態によれば、光源若しくは幾何学的図形を使用した簡単な３つの識別マーク１０２を、その参照点（重心）が同一直線上となるように配置し、その参照点の相対位置と、撮像部２０３により撮像された画像から抽出された参照点の相対位置とを用いて、逆射影変換に基づく算出を行うことにより、撮像部２０３の指示点等の位置情報の検出誤差を、従来よりも小さく抑えることができる。
【０１１２】
特に、３つの識別マーク１０２の参照点を等間隔とした場合には、演算式を簡略化することができるので、処理負担が軽減され、ゲーム等に適した高速な処理が可能となる。さらに、上記のような３つの識別マーク１０２、逆射影変換等に適したキャリブレーションを実行することにより、誤差の低減が可能となる。
【０１１３】
また、指示対象平面に対する撮像部の指示位置のみならず、撮像部の回転角も得ることができるとともに、回転角誤差補正曲面を用いることにより、回転角の大域的な誤差をキャンセルできる。このため、ゲーム内容、適用範囲等の多様化、高度化を図ることができる。たとえば、同一標的に対する命中であっても、回転角に応じて、得点や表示画面を変える等が可能となる。
【０１１４】
また、ノイズ成分の除去等のための重心点及び面積の記憶は、１画面分の画像記憶領域を必要とせず、総じて水平数ライン程度の記憶領域で求めることが可能であるため、本実施形態のような小規模の組込機器に適している。
【０１１５】
また、識別マーク１０２は、少なくとも直線上に配置された３つの参照点を含むものであればよいので、構成が単純であり、設置が容易である。また、点光源の密集度や幾何学的図形の特徴を変えることにより、天地等の方向の識別が可能となる。これにより、装置の姿勢にかかわらず、正しい指示位置等の検出が可能となる。そして、識別マーク１０２は、自発光型とすれば、識別しやすくなるが、反射型としても、設置が容易となり家庭用途に適する。
【０１１６】
また、投光部２０４、撮像部２０３、参照点抽出部２０６、位置情報算出部２０７、参照点推定部２０８等を含む装置が、全てガン型コントローラ１０１内に一体的に構成されているので、全体構成を簡素化でき、装置間の接続作業も簡単となる。
【０１１７】
また、現画像で参照点の抽出に失敗したとしても、直前の参照点の抽出若しくは推定に成功している場合には、一連の参照点推定処理により、現画像における参照点を良好に推定可能となり、要求される指示位置検出結果を得られる。特に、識別マーク１０２や撮像部２０３の高速移動による像のぶれはもちろん、他の何らかの原因により参照点の抽出に失敗した場合においても、本機能は良好に参照点を推定できることは自明であり、指示位置検出の成功率は従来よりも向上する。
【０１１８】
たとえば、一時的な光量不足により識別マーク１０２の認識に失敗した場合においても、指示位置検出に成功する。したがって、高価な高速度対応型の撮像素子が必ずしも必要とならず、普及型の撮像素子を用いて製品コストを抑えることが可能となる。また、カメラの動作可能距離範囲の拡大にもつながる。
【０１１９】
さらに、直前の参照点に基づいて算出された識別マーク１０２の近傍領域を対象として、背景光を遮断し、識別マーク１０２の重心を推定して、これにより参照点を推定できるので、処理すべきデータ量を低減した高速化を図りつつ、より高い確度によって良好な参照点が推定できる。そして、推定できない重心があっても、直前の参照点に基づいて頂点を推定できるので、参照点が得られる可能性が高まる。
【０１２０】
［他の実施形態］
本発明は上記の実施形態に限定されるものではない。たとえば、本発明は、上記の処理に対応してコンピュータ及び周辺回路を動作させる方法、プログラムとしても把握できる。ハードウェア処理によって実現する範囲とソフトウェア処理によって実現する範囲も自由である。
【０１２１】
また、本発明は、上記の識別マークを設置させることにより、指示対象となる平面としてあらゆるものが適用可能である。たとえば、ディスプレイとしては、ＣＲＴ、ＬＣＤ以外にも、現在又は将来において利用可能なものが適用可能である。また、ディスプレイには限定されず、画像を投影させるスクリーン、パネル、壁面その他あらゆるものが利用できる。
【０１２２】
さらに、本発明の用途としては、射撃型のゲームには限定されない。たとえば、射撃型以外の釣り、フェンシング、消防活動などのゲーム、ゲーム以外のプレゼンテーションシステム、会議システム、テレビジョンのリモートコントローラ、照明のオン／オフ、ブラインド開閉などのリモートコントローラ、倉庫や書庫の管理システムなどに適用可能である。【Technical field】
[0001]
  The present invention relates to a position information detection apparatus, a method thereof, and a program thereof that specify an instructed position with respect to an instruction target plane such as a screen.
[Background]
[0002]
  Conventionally, a system composed of a display device such as a CRT or LCD and a device for specifying a position on the display screen has been developed. One example is a shooting game device. In general, in a gun shooting type game, the game is advanced by aiming the gun type controller toward the target displayed in the image display area of the display and determining the accuracy of the aim. For this reason, it is necessary to detect at least what position in the image display area the gun-type controller is aimed at (indicated position).
[0003]
  As a method for specifying the position on the screen in this way, there is a method of calculating the indicated position by capturing an image of the identification mark displayed on the display or arranged around it and analyzing it. For example, the technique described in Patent Document 1 captures infrared light spots arranged at the left and right ends of a game screen with a CCD camera built in a simulated gun (gun-type controller), and based on this imaging position, It detects the landing position of the mold controller.
[Patent Document 1]
Japanese Patent No. 2681454
DISCLOSURE OF THE INVENTION
[Problems to be solved by the invention]
[0004]
  In the above prior art, since the position detection based on the imaging position of the infrared light spot by the CCD camera is performed, the comparison is made when the relative position between the game screen and the gun-type controller (CCD camera) is fixed. Position detection with less target error is possible. However, recent gun shooting-type games have been diversified, and it is often necessary for the athlete to hold the gun-type controller in his hand and freely select the position and posture to be pointed. In such a game, the relative position of the game screen and the gun-type controller changes variously during the game. However, in such a case, there is a possibility that the position detection error may occur to the extent that it cannot be ignored in the conventional technique as described above.
[0005]
  In addition, when a general image sensor is used for a CCD camera, if the subject or the image sensor moves at a relatively high speed, the image of the subject will be blurred, the expected image recognition result will not be obtained, and identification of the target screen will fail. May end up. One method for solving this problem is to use an image sensor with a high shutter speed. However, such a high-speed image sensor is more expensive than a popular image sensor.
[0006]
  The present invention has been proposed in order to solve the above-described problems of the prior art, and the object thereof is to detect position information with high accuracy using a very simple identification mark and to be inexpensive. An object of the present invention is to provide a position information detection apparatus, method, and program capable of improving the success rate of position detection even if a simple image sensor is used.
Means for solving the problem
[0007]
  In order to achieve the above object, a position information detection apparatus according to the present invention includes an imaging unit that images an identification mark arranged on the pointing target plane side through a camera lens, and an image captured by the imaging unit. An identification mark extraction unit that extracts an identification mark image, a reference point extraction unit that extracts a reference point from the identification mark image, a reference point storage unit that stores the extracted reference point, and the reference point A position information calculation unit that calculates position information of the imaging unit with respect to the pointing target plane based on a coordinate system, and the identification marks are arranged on the same straight line at predetermined intervals. The position information calculation unit includes a point, and the position information calculation unit extracts the small number extracted by the reference point extraction unit with respect to a relative position of at least three reference points arranged at a predetermined interval on the same straight line in the identification mark. When the relative position of the three reference points is a projection image, an instruction position calculation unit that calculates the instruction position of the imaging unit in the instruction target region of the instruction target plane based on the reverse projection transformation on the projection image is provided. It is characterized by that. In addition, this invention can also be grasped | ascertained as the positional information detection method and positional information detection program for implement | achieving the function of said each part.
[0008]
  In the present invention as described above, by using the position of the three reference points arranged on the same straight line and the position of the reference point extracted from the captured image, by performing a calculation based on the reverse projection transformation, An instruction position detection error of the imaging unit can be suppressed to a small value.
[0009]
  In another aspect, the reference points in the identification mark are arranged at equal intervals.
[0010]
  In the above-described aspect, the arithmetic expression can be simplified by using the identification marks in which the reference points are arranged at equal intervals, so that the processing load is reduced and high-speed processing is possible.
[0011]
  In another aspect, the position information calculation unit includes a rotation angle calculation unit that calculates a rotation angle around the optical axis of the camera lens of the imaging unit, and the rotation angle calculation unit uses a rotation angle error correction curved surface. And a rotation angle error correction unit for correcting the error.
[0012]
  In the aspect as described above, not only the instruction position of the imaging unit with respect to the instruction target plane but also the rotation angle of the imaging unit can be obtained. Furthermore, a global error can be canceled by using a rotation angle error correction curved surface.
[0013]
  Another aspect includes a calibration calculation unit that obtains an indication position of an arbitrary indication point for calibration based on an indication position when the camera lens is aimed at a plurality of predetermined points in the indication target region. It is characterized by that.
[0014]
  In the above aspect, the error is reduced by executing calibration suitable for the identification mark used in the present invention.
[0015]
  In another aspect, the reference point is a center of gravity of the identification mark.
[0016]
  In the above-described aspect, as the identification mark, a mark that can identify the center of gravity may be used, so the configuration is simple and the extraction is easy. In addition, the direction can be specified by changing the characteristics of the identification mark and the installation method.
[0017]
  Another aspect includes a reference point estimation unit that estimates a reference point based on a reference point stored in the reference point storage unit when an identification mark cannot be extracted by the identification mark extraction unit. To do.
[0018]
  In the above-described aspect, when the subject or the imaging device moves at high speed, the identification mark cannot be extracted from the image captured by the imaging unit. If the extraction or estimation of the reference point is successful, the reference point can be estimated well by the reference point estimation process. Therefore, the success rate of position detection can be improved without using an expensive image sensor.
[0019]
  In another aspect, the reference point estimation unit is configured to calculate an area near the identification mark based on the reference points stored in the reference point storage unit, and background light to be blocked in the vicinity area. Based on the background light detection unit to be detected, the center of gravity estimation unit for estimating the center of gravity of the identification mark in the vicinity region based on the detection result by the background light detection unit, and the reference based on the center of gravity estimated by the center of gravity estimation unit An estimation unit for estimating a point.
[0020]
  In the above-described aspect, the center of gravity of the identification mark is estimated based on the neighborhood area of the identification mark calculated based on the reference point stored immediately before, and thus the reference point is estimated. Good reference point estimation can be performed with higher accuracy while reducing the amount of data and increasing speed.
[0021]
  Another aspect includes a matching unit that associates a centroid estimated by the centroid estimation unit with a reference point stored in the reference point storage unit for estimation by the estimation unit. To do.
[0022]
  In the above aspect, even if there is a center of gravity that cannot be estimated, the reference point can be estimated based on the immediately preceding reference point, so that the possibility of obtaining the reference point is increased.
[0023]
  Another aspect is characterized in that a light source capable of identifying the identification mark from an image captured by the imaging unit is disposed on the identification mark side.
[0024]
  In the above aspects, the identification mark can be clearly identified regardless of the surrounding lighting environment by making the identification mark self-luminous.
[0025]
  In another aspect, the imaging unit includes a light projecting unit that irradiates light to the identification mark.
[0026]
  In the above aspect, since the identification mark can be configured as a reflection type, it is easy to install and suitable for home use.
[0027]
  In another aspect, the imaging unit, the reference point extraction unit, and the position information calculation unit are integrally configured.
[0028]
  In the aspect as described above, the overall configuration can be simplified and the connection work between apparatuses can be simplified, rather than configuring the imaging unit or the like separately.
【The invention's effect】
[0029]
  As described above, according to the present invention, position information can be detected with high accuracy using a very simple identification mark, and the success rate of position detection can be improved even with an inexpensive image sensor. It is possible to provide a position information detection apparatus, method and program capable of performing the above.
[Brief description of the drawings]
[0030]
FIG. 1 is an overall configuration diagram showing an embodiment of the present invention.
FIG. 2 is a functional block diagram of the embodiment shown in FIG.
FIGS. 3A and 3B are explanatory diagrams showing examples of identification marks used in the embodiment of FIG. 1, wherein FIG. 3A is a point light source, FIG. 3B is a geometric pattern, and FIG. 3C is a divided configuration; Is.
FIG. 4 is a flowchart showing a processing procedure of the embodiment of FIG. 1;
FIG. 5 is an explanatory diagram showing a coordinate system used in the embodiment of FIG. 1;
FIG. 6 is an explanatory diagram showing a designated position detection method when there are two reference points of the identification mark.
FIG. 7 is an explanatory diagram showing a designated position detection method of the embodiment of FIG. 1;
FIG. 8 is an explanatory diagram showing a rotation angle error around the optical axis of the camera lens.
FIG. 9 is an explanatory diagram showing a rotation angle error around the optical axis of the camera lens.
FIG. 10 is an explanatory diagram illustrating an example of calculating a neighborhood region in the embodiment of FIG. 1;
FIG. 11 is an explanatory diagram illustrating an example of a background light blocking threshold according to the embodiment of FIG. 1;
12 is an explanatory diagram illustrating an example of an identification mark centroid estimation process according to the embodiment of FIG. 1;
FIG. 13 is an explanatory diagram illustrating an example of a section selection process according to the embodiment of FIG. 1;
[Explanation of symbols]
[0031]
100: Position information detection device
101 ... Gun-type controller
102 ... Identification mark
103 ... Display
103A ... Image display area
104 ... Game console
201 ... operation unit
203 ... Imaging unit
204: Projector
205 ... Peripheral control unit
206: Reference point extraction unit
207 ... Position information calculation unit
208: Reference point estimation unit
209 ... I / O section
261 ... Identification mark extraction unit
262 ... Center of gravity determination unit
271: Pointed position calculation unit
272 ... Rotation angle calculation unit
273 ... Lens position calculation unit
274: Calibration calculation unit
281 ... Area calculation unit
282 ... Background light detector
283 ... Center of gravity estimation unit
284 ... matching section
285 ... Estimator
BEST MODE FOR CARRYING OUT THE INVENTION
[0032]
  Hereinafter, an embodiment when the position information detecting device of the present invention is applied to a gun shooting type game will be described with reference to the drawings.
[Outline of Embodiment]
  First, an outline of the present embodiment will be described with reference to FIGS. 1 and 2. FIG. 1 is an external perspective view showing the overall configuration of the present embodiment, and FIG. 2 is a functional block diagram. However, the following description can be easily read not only as the present embodiment but also as another application example for realizing the function intended by the present invention. Further, the functional block diagram of FIG. 2 is conceptual, and various concrete circuits for realizing these functions are conceivable, and the mounting method and the like are not limited.
[0033]
  The position information detection apparatus 100 of this embodiment is a system applied to a gun shooting type game using a gun type controller 101, a game machine 104, and a display 103. The game machine 104 may be a host device that can execute a game program, and may be a personal computer, for example. The display 103 only needs to be a display unit whose display area forms an instruction target plane, and may be a TV, a screen, a panel, or the like, for example. The gun-type controller 101 functions as a gun used for game shooting, and has a configuration for detecting position information therein. Further, the identification mark 102 is installed and operated around the image display area (instruction target area) 103A on the display 103.
[0034]
  In the present embodiment, the imaging unit 203 that images the identification mark 102 disposed on the display 103, the reference point extraction unit 206 that extracts the reference point of the identification mark 102, and the position including the indicated position of the gun-type controller 101 A position information calculation unit 207 that calculates information, a reference point estimation unit 208 that estimates a reference point, and the like are mounted inside the gun-type controller 101 and integrally configured.
[0035]
  In the present embodiment, not only the indicated position but also relative position information such as the rotation angle around the barrel axis of the gun-type controller 101 and the position (lens position) with respect to the display 103 can be detected. Can be diversified.
[0036]
  Furthermore, the present embodiment can estimate the reference rectangle well and perform position detection by the following features even when a desired identification mark image cannot be obtained due to high-speed movement of the subject or the image sensor. It becomes.
(A) Based on the immediately preceding reference point, a neighborhood region corresponding to the maximum line segment length connecting the reference points is determined.
(B) The threshold value of the pixel value to be regarded as the background of the identification mark image is obtained from the partial image of the neighboring area obtained immediately before the current image.
(C) The center of gravity of the pixel set is obtained from the partial image of the neighboring area obtained immediately before the current image.
(D) A reference point on the current image is estimated from a part of the extracted reference point and the center of gravity of the partial image.
[0037]
[Configuration of the embodiment]
  Next, the configuration of the present embodiment will be specifically described.
[Display 103]
  First, the display 103 is a television receiver such as a CRT or LCD, or a display device for a computer. An image signal is input to the display 103 as the game program executed on the game machine 104 progresses. Then, an image corresponding to the input image signal is displayed in the rectangular image display area (instruction target plane) 103A.
[0038]
[Identification mark 102]
  In order to specify the image display area 103A on the display 103, a plurality of identification marks 102 are provided on the outer periphery of the image display area 103A. The identification mark 102 may be a set of point light sources as shown in FIG. 3 (a), or have a geometric pattern (figure) on its surface as shown in FIG. 3 (b). It may be. The support member provided with the identification mark 102 may be integrated as shown in FIGS. 1, 3 (a) and 3 (b), or may be divided into a plurality of parts as shown in FIG. 3 (c). Good.
[0039]
  As shown in FIG. 3, there are three point light sources or geometric patterns used for the identification mark 102 in the present invention, that is, right, left, and center (the right range is not limited to three, but from this point). If there are many, it becomes redundant, so 3 is necessary and sufficient). The left point light source in FIG. 3A is physically two in order to distinguish it from the right one, but is considered to be functionally one. For the same reason, the geometric pattern on the left in FIG. 3B is different in shape from that on the right, but is considered to be functionally one. These identification marks 102 may have any shape as long as a reference point (in this embodiment, the center of gravity) can be extracted. As will be described later, the three point light sources or the reference points of the geometric pattern need to be aligned on the same straight line, but the distance between the reference points may be different or even. Good.
[0040]
  The identification mark 102 can be classified into two types, a self-luminous type and a reflective type. When the identification mark 102 is of a reflective type, for example, the surface mainly has a small light reflectance of the hole (white portion in the geometric pattern) and the background portion of FIG. A structure with high reflectance is adopted. In order to enable shooting at a free position, it can be said that it is desirable that the material of the high reflectivity portion has a retroreflection characteristic.
[0041]
  When the identification mark 102 is a self-luminous type, for example, a light source that emits light from the inside of the mark from the back to the surface is provided. In this case, it is not necessary to mount the light projecting unit 204 on the gun-type controller 101 side. However, a light source and power supply to the light source are required on the identification mark 102 side. In this case, for example, the surface mainly has a structure in which the light transmittance of the hole and the background portion in FIG. 3B is small, and the light is transmitted and diffused in other portions.
[0042]
  Note that, as described above, the shape of the identification mark 102 and the background portion of the identification mark 102 are not limited to a specific shape, as long as the boundary can be optically identified from colors, materials, and the like. It does not matter whether they are formed on the same plane. Therefore, it may be drawn in a planar shape, or may be formed by physical holes, dents, bumps, protrusions, or the like.
[0043]
[Game machine 104]
  The game machine 104 is a device that executes a predetermined program, generates an image signal for displaying a game image in accordance with the execution, and outputs the image signal to the display 103. The game machine 104 receives data such as pointed position data of a point on the image display area 103A designated by the gun-type controller 101 from the position information detection unit 202, and executes the program based on the data. A predetermined game progress process is performed. Therefore, the game machine may be not only a home game machine but also an arcade game machine or a computer installed with a game program.
[0044]
[Gun-type controller 101]
  The gun-type controller 101 includes an operation unit 201, an imaging unit 203, a light projecting unit 204, a peripheral control unit 205, a reference point extraction unit 206, a position information calculation unit 207, a reference point estimation unit 208, and an I / O unit 209. ing.
[0045]
  The operation unit 201 is a trigger (trigger) or the like, and outputs an operation signal when pulled to a predetermined position by an operation of a user's finger or the like. The specific configuration of the operation unit 201 is basically independent of the present invention, and is not limited to a specific one. Therefore, the shape of the trigger is not necessarily required, and for example, a switch such as a push button or a toggle or a sensor that detects light shielding may be used.
[0046]
  The imaging unit 203 is mainly composed of an optical filter, a lens, and an imaging element. The lens is installed in the vicinity of the muzzle of the gun-type controller 101 so as to be aimed on its optical axis. The imaging element is installed inside the lens so that the imaging surface is orthogonal to the optical axis. The optical filter allows only the wavelength region of light to be imaged to pass well, and is installed in the vicinity of the lens or is the material of the lens itself.
[0047]
  The light projecting unit 204 is mainly composed of a light emitting element group that emits light in a wavelength region to be photographed. The light projecting unit 204 is installed on the outer periphery of the lens of the imaging unit 203 in a state inclined slightly outside the optical axis. The light projecting unit 204 is necessary when a reflection type is adopted as the identification mark 102.
[0048]
  The peripheral control unit 205 is a unit that controls light emission of the light projecting unit 204 and imaging of the imaging unit 203. For example, it is also possible to make settings that allow adjustment of light emission timing control, light quantity of the light projecting unit 204, sensitivity of the imaging unit 203, and the like.
[0049]
  The reference point extraction unit 206 is a unit that analyzes a captured image and extracts a reference point that is a feature point from the identification mark image regardless of the configuration of the identification mark 102. The reference point extraction unit 206 includes an identification mark extraction unit 261 that extracts an image component corresponding to the identification mark, and a centroid determination unit 262 that determines the centroid of the identification mark image. For example, in the case of a point light source, the reference point is a barycentric point of an image component corresponding to each light source. In the case of a geometric pattern, the center of gravity corresponding to each pattern is used as a reference point.
[0050]
  The position information calculation unit 207 is means for detecting an external parameter of the camera (imaging unit 203) in the image display area 103A based on the extracted reference point group. In the present embodiment, the external parameters of the camera are the indication position in the indication target area (two-dimensional), the rotation angle around the optical axis of the camera lens (one-dimensional), and the distance from the indication target area to the camera lens (one-dimensional). Defined. They are calculated by the indicated position calculation unit 271, the rotation angle calculation unit 272, and the lens position calculation unit 273, respectively. Further, the position information calculation unit 207 includes a calibration calculation unit 274 that performs calculation for calibration described later.
[0051]
  As will be described later, the reference point estimation unit 208 is a means for estimating a reference point for a captured image for which reference point extraction has failed. The reference point estimation unit 208 includes an area calculation unit 281 that calculates an identification mark vicinity region based on the reference point extracted or estimated immediately before, a background light detection unit 282 that detects background light to be blocked, and an identification mark vicinity Based on the region and the background light, the center of gravity estimation unit 283 that estimates the center of gravity of the identification mark, and on the basis of the estimated center of gravity, the matching unit 284 that associates with the reference point extracted or estimated immediately before is estimated. An estimation unit 285 that estimates a reference point from the result of association by the center of gravity and the matching unit is provided. Specific processing in the reference point extraction unit 206, the position information calculation unit 207, and the reference point estimation unit 208 will be described later.
[0052]
  In addition, information extracted and calculated in each process is appropriately stored in a storage unit such as a memory and used for the next process, but is not shown because it is common sense. What kind and capacity of storage means to be secured is free. In particular, in the present embodiment, the extracted reference point and the estimated reference point are also stored in the memory (reference point storage unit), and the reference point extracted immediately before and the estimated reference point are processed by the reference point estimation process. Used for The I / O unit 209 is means for controlling input / output with an external device.
[0053]
[Operation of the embodiment]
  The detection processing of the designated position and the like according to the present embodiment as described above will be described with reference to the flowchart of FIG. 4 and the explanatory diagrams of FIGS. Note that the following processing procedure is an example, and the order may be changed as long as information necessary for each processing is obtained in any of the previous steps.
[0054]
[Identification Mark Imaging ... Step 401]
  First, a point light source and a geometric pattern (identification mark pattern) of the identification mark are photographed by the imaging unit 203. That is, when the gun-type controller 101 is aimed at the vicinity of the image display area 103 </ b> A of the display 103, the light emitted from the light projecting unit 204 is reflected on the surface of the identification mark 102, and part of the light is emitted from the imaging unit 203. And is photographed by the image sensor. If the emitted light does not reach the identification mark 102, the reflected light is naturally not photographed.
[0055]
  Further, when the light emitting type identification mark 102 is used and the light projecting unit 204 is omitted, the light emitted from the identification mark 102 enters the imaging unit 203. The image photographed as described above is converted into image data suitable for processing (for example, a binary image).
[0056]
[Reference Point Extraction ... Steps 402-405]
  The captured image data is analyzed by the reference point extraction unit 206, and a reference point is extracted. That is, the identification mark extraction unit 261 extracts image components corresponding to each light source or geometric pattern from the captured image data (step 402), and the centroid determination unit 262 determines the centroid point of the extracted image components. Calculate (step 404). This barycentric point is extracted and stored as a reference point (step 405).
[0057]
  A known technique can be applied to the extraction of the image component of the identification mark and the calculation of the center of gravity. It should be noted that the output of the light source and the light receiving sensitivity of the image sensor are appropriately set in advance by the peripheral control unit 205 so that only the image component of the target identification mark is captured in the image captured by the image capturing unit 203. Has been.
[0058]
  If necessary, noise components are removed according to geometric conditions. For example, a noise removal method is conceivable in which the area of the image component for which the barycentric point is obtained is stored at the same time, and when the area is out of the normal value range, it is determined as a noise component and not used as a reference point. Furthermore, it is conceivable to apply a discrimination method based on a constraint that all reference points are on the same straight line. That is, the magnitude of the outer product of any two vectors obtained from the three reference point coordinates is ideally zero. For this reason, when four or more reference point candidates are obtained, a set with the smallest outer product size can be extracted as a reference point from a set of arbitrary three points that can be selected in a round-robin manner. Thereby, noise tolerance further improves.
[0059]
  In the process of extracting the reference point, information on the position and the top and bottom of the image display area that is the instruction target area is specified from the arrangement of the reference point group and the geometric feature of the identification mark 102 (step 404).
[0060]
  Unless the identification mark 102 moves from the initial installation position, the positional relationship between the reference point and the image display area 103A does not change, and therefore the image display area 103A can be specified from the position information of the reference point (the calibration described later). See).
[0061]
  When the identification mark 102 is the point light source of FIG. 3A, all the distances between the reference points are obtained, and any of the reference point groups in which the distance between the points is suppressed to be small corresponds to the upper left corner of the image display area. It can be a point (standard reference point). When the identification mark 102 is constituted by the geometric pattern of FIG. 3B, a reference point corresponding to the identification mark 102 having any geometric feature may be selected. Knowing the top and bottom of the image display area in this way is essential for correct position detection.
[0062]
  More accurate position detection is performed by setting the straight line connecting the reference points and the horizontal side of the image display area so that the surface of the identification mark 102 is flush with the image display area 103A. Can be realized.
[0063]
  When there is distortion in the lens, an error due to distortion is included in the detected indicated position and the like, so distortion correction is performed on at least all the extracted reference points.
[0064]
[Position information detection: Steps 406 to 408]
  The position information calculation unit 207 detects an external parameter of the camera based on the extracted reference point group. That is, as will be described later, the pointing position calculation unit 271 calculates the pointing position of the camera in the pointing target region in the image display region 103A (step 406), and the rotation angle calculation unit 272 rotates the rotation angle around the optical axis of the camera lens. (Step 407), the lens position calculation unit 273 calculates the distance from the instruction target area to the camera lens (step 408). In addition, it normalizes as mentioned later except rotation angle.
[0065]
  The procedure for calculating such parameters will be described in detail below. That is, as shown in FIG. 5, a coordinate system is defined in an actual three-dimensional space for playing the gun shooting game of FIG. World coordinate system O_w-X_wy_wz_wThe origin of is located at the reference reference point and x_wThe axis is on a straight line on which the reference point group rides and y_wThe axis is orthogonal to it and lies in the plane of the indicated area, z_wThe axis is x_w, Y_wOrthogonal to the axis.
[0066]
  The indicated coordinate system O-xy is x in the world coordinate system._w-Y_wIt is on the plane, the origin is the upper left corner of the target area, and the x and y axes are x_w, Y_wParallel to the axis. Camera coordinate system O_c-X_cy_cz_cThe origin of is located at the principal point of the lens and x_c, Y_cThe axes are along the horizontal and vertical directions of the light-receiving surface of the image sensor, respectively, and z_cThe axis coincides with the optical axis.
[0067]
  Image coordinate system O_I-X_Iy_IIs located at the center of the light-receiving surface of the image sensor, and x_I, Y_IThe axes are along the horizontal and vertical directions of the light receiving surface, respectively. The normal line of the light receiving surface of the image sensor coincides with the z axis, and the distance between the light receiving surface and the lens principal point is the focal length f of the lens. However, f may be unknown.
[0068]
  X in the world coordinate system_w, Y_wThe axis is the origin O_wNormalized from 1 to the furthest reference point, z_wThe axis is normalized assuming that the distance to the lens position of the gun-type controller 101 at the time of calibration described later is 1. The x and y axes of the pointing coordinate system are normalized by setting the width and height of the pointing target area to 1, respectively. The aim of the gun-type controller 101 is the origin O of the image coordinate system._ITo match.
[0069]
  Here, of the conventional position information detection apparatus, an instruction position detection method in the case where two reference points of the identification mark referred to in the present invention are described will be described with reference to FIG. That is, in FIG. 5, when the normal line of the pointing target region and the image sensor light receiving surface match, p ′ = (x ′, y ′, 0) in the world coordinate system on the pointing target region.^TAre two reference points p on the image plane obtained from the identification mark_I0, P_I1Can be obtained as shown in equation (1).
[Expression 1]
[0070]
  p ′ must be converted into the corresponding point p in the designated coordinate system. At this time, as a calibration operation for specifying the designated target area, conventionally, the world in the upper left corner and the lower right corner of the same area immediately before play is used. Position coordinate p 'in the coordinate system_LT= (X ’_LT, Y ’_LT, 0)^T, P ’_RB= (X ’_RB, Y ’_RB, 0)^TIn the same manner as p ', the aim of the gun-type controller 101 was determined and then p was obtained from the equation (2) during play.
[Expression 2]
[0071]
  The rotation angle around the optical axis of the camera lens can be obtained using a straight line on which two reference points on the image plane are placed. The posture of the gun-type controller 101 at the time of calibration is used as a reference for rotation angle measurement, and straight lines on the image plane formed by two reference points at this time are stored. A similar straight line is obtained during play, and the angle formed with the straight line stored during calibration is defined as the rotation angle.
[0072]
  The distance from the instruction target area to the camera lens can be obtained using the length of a line segment connecting two reference points on the image plane. The position of the gun-type controller 101 at the time of calibration is used as a reference for distance measurement, and the length of the line segment on the image plane formed by the two reference points at this time is stored. A similar line segment length is obtained during play, and the distance based on the line segment length stored during calibration is used as the distance. Therefore, the distance is normalized with the distance between the instruction target area at the time of calibration and the gun-type controller 101 being 1.
[0073]
  Table 2 shows an outline of errors that occur between the indicated position obtained by the equations (1) and (2) and the actual indicated position under the conditions shown in Table 1 below, which are considered to be general play environments. Become. Each item includes a considerable amount of error. This is a condition where the formulas (1) and (2) can be applied, and that the normal line of the pointing target area and the light receiving surface of the image sensor coincide with each other. This is because the indication conditions in Table 1 are not followed.
[Table 1]
[Table 2]
[0074]
  In order to suppress various errors caused by the conventional method, in this embodiment, as described above, the identification mark 102 in which three reference points are arranged on the same straight line is used. That is, three points p whose relative positions on the same straight line are known_c= (1-M) p_a+ Mp_bArbitrary point p = (1-n) p on the same line as the point_a+ Np_bAre p by any projective transformation._Ic= (1-M_I) P_Ia+ M_Ip_Ib, P_I= (1-n_I) P_Ia+ N_Ip_IbM, M when mapped to_I, N_ICan be used to find n as in equation (3). This means that a reverse projection transformation with respect to the projection transformation is required.
[Equation 3]
[0075]
Therefore, p_a, P_c, P_bAre arranged at equal intervals in this order, Equation (4) can be said.
[Expression 4]
[0076]
  Reference point p 'in FIG._a, P ’_b, P ’_cP above_a, P_c, P_bSince the shooting with the image sensor is the projective transformation, p ′_a, P ’_b, P ’_cImage p in the image plane_Ia, P_Ib, P_IcAnd M required from them_I, N_IAnd with known M, using equation (3), x_wArbitrary point p = (1-n) p_a+ Np_bCan be determined strictly. Where M_IIs obtained as shown in equation (5).
[Equation 5]
[0077]
[Calibration]
  X in accordance with equation (5)_wSince arbitrary points in the vicinity of the axis can be obtained with high accuracy, the calibration in this embodiment is performed at three points of the upper left corner, the upper right corner, and the center point of the pointing target region as shown in FIG. The aim is adjusted and the calibration calculation unit 274 performs the following procedure.
[0078]
  (i) The aim of the gun-type controller 101 is aimed at the upper left corner of the pointing target area, and the pointing position p ′ at that time is expressed by Equation (1)._LTAsk for.
  (ii) At the same time, the current M_IAsk for.
  (iii) In formula (3), n_IP ’_LTN as the x-coordinate value of p ′ and p ′ as the new x-coordinate value_LTUpdate.
  (iv) The gun-type controller 101 is aimed at the upper right corner of the pointing target area, and the pointing position p ′ at that time is expressed by Equation (1)._RTAsk for.
  (v) At the same time, the current M_IAsk for.
  (vi) In formula (3), n_IP ’_RTN is obtained as the x coordinate value of p ′, and p ′ as the new x coordinate value._RTUpdate.
  (vii) The gun-type controller 101 is aimed at the center point of the indication target area, and the indication position p ′ at that time is expressed by Equation (1)._MMAsk for.
[0079]
  3 points p 'on the world coordinate system obtained by the above procedure_LT= (X ’_LT, Y ’_LT, 0)^T, P ’_RT= (X ’_RT, Y ’_RT, 0)^T, P ’_MM= (X ’_MM, Y ’_MM, 0)^TIs used to specify an arbitrary designated point p ′ = (x ′, y ′, 0).^TCan be converted into a designated point p in the designated coordinate system O-xy as shown in Equation (6).
[Formula 6]
[0080]
  The y-coordinate value of an arbitrary designated point in the designated target area obtained by this calibration and M in Expression (5)_IFIG. 8 and FIG. 9 show the relationship between the error between the actual rotation angle of the controller around the optical axis of the camera lens and the rotation angle obtained by the rotation angle calculation unit 272. Note that the posture of the controller at the time of calibration is obtained as described above as a reference for the rotation angle.
[0081]
  8 and 9, it can be seen that the error of the rotation angle around the local optical axis of the camera lens is small, and the rotation angle error correction curved surface (ay + b) (M_I-0.5) can be used to cancel the global error. At this time, the coefficients a and b can be obtained by a non-linear least square method.
[0082]
  A rotation angle error correction matrix R for canceling the global error of the rotation angle is as shown in Expression (7). Since the error is 5 [deg] or less, x≈sinx is sufficiently established, so that the calculation amount can be suppressed without using a trigonometric function.
[Expression 7]
[0083]
  Reference point p on the image plane_IcAnd the reference point p remaining by the rotation angle error correction matrix R of the equation (7)._Ia, P_Ib, Each corresponding point p ′ after the rotation_Ia, P ’_IbIs as in equation (8). Here, I represents a unit matrix.
[Equation 8]
[0084]
  As described above, the designated position detection in the present embodiment is performed according to the following procedure.
  (i) The current designated position p is obtained by equation (6).
  (ii) At the same time, the current M_IAsk for.
  (iii) After setting y in the expression (7) to the y coordinate value of the above p, from the expression (8), p ′_Ia, P ’_IbAsk for.
  (iv) p in equation (1)_I0, P_I1P ′_Ia, P ’_IbP ′ is obtained as follows.
  (v) n is obtained by using n ′ in equation (3) as the x coordinate value of p ′, and p ′ is updated with n as a new x coordinate value.
  (vi) The current designated position p with improved detection error is obtained by equation (6).
[0085]
  Table 3 shows an overview of errors that occur between the indicated position obtained by the above procedure and the actual indicated position under the conditions shown in Table 1. It can be seen that various errors are improved as compared with Table 2 according to the conventional method.
[Table 3]
[0086]
  In both Tables 2 and 3, the specified position error in the x and y axis directions is P for the set of specified points under the conditions in Table 1, and the intersection of the same area with the normal of the specified target area passing through the lens principal point in this device And the actual designated position when the function for obtaining the designated position when the point p on the same area is designated at f (l, p) at the lens principal point position l. represents an error vector e with respect to p, and the upper limit of the error is that all elements of the set E = {e | e = f (l, p) -p, l∈L, p∈P} on e, This is the original evaluation target component in the positive direction having the maximum size when the orthographic projections are respectively Ex and Ey. Similarly, the lower limit of error is the original evaluation target component in the negative direction having the maximum size.
[0087]
  The rotation angle error is a line segment s connecting the reference points at both ends, which is observed when the center of the target area is designated from the front._baseAnd the line segment s_baseA function f for obtaining an angle formed by the collinear segment s (l, p) observed when the point p on the same region is indicated at the lens principal point position l in the same posture as when observing._θ(S (l, p), s_base), And the error upper and lower limits are a set of obtained angles Θ = {θ | θ = f_θ(S (l, p), s_base), LεL, pεP}.
[0088]
  The distance error is a function for obtaining the length of the line segment s._lIn the case of (s), the line segment s_baseRepresents the ratio of s (l, p), and the upper and lower limits of the error are the set of calculated ratios R = {r | r = f_l(S (l, p)) / f_l(S_base), LεL, pεP}.
[0089]
[Reference Point Estimation ... Steps 410 to 414]
  The position information calculation unit 207 calculates external parameters of the camera (imaging unit) such as the designated position in the image display area based on the extracted reference points. However, if the identification mark or camera that is the subject moves at a relatively high speed, the identification mark image will be blurred, and the feature amount and pixel value (light reception amount) such as the expected shape will not be obtained, even if the identification mark was imaged However, the reference point extraction fails (step 403).
[0090]
  This problem cannot be avoided due to the structure of a popular camera, but can be solved by using a camera with a high shutter speed. However, since the camera is relatively expensive, another problem arises that it is difficult to reduce the product cost.
[0091]
  Further, during such a high-speed movement period, there are few requests for accurate designated position detection, and even if the position detection error becomes relatively large, a request for successful designated position detection is more preferential. is there.
[0092]
  Therefore, it is only necessary to estimate and extract the reference point even in a high-speed movement period that is a problem with the popular camera. In order to realize this, in the present embodiment, the reference point estimation unit 208 estimates the identification mark position.
[0093]
  This reference point estimation process will be described with reference to the flowchart of FIG. In other words, prior to estimating a reference point for a captured image for which reference point extraction has failed, identification mark vicinity region calculation processing is performed (step 410). In this process, the area calculation unit 281 calculates an area according to the maximum line segment length connecting the reference points based on the reference points extracted or estimated immediately before.
[0094]
  The length of the radius in the vicinity of the identification mark is determined based on, for example, a moving speed that should be allowed as 1 / n of an arbitrary side of the line segment length. However, as shown in FIG. 10, it should be determined so that neighboring regions do not overlap.
[0095]
  Next, a background light detection process is performed (step 411). This is because the background light detection unit 282 determines the threshold value of the pixel value (background light) to be regarded as the background of the identification mark image from the partial image in the area corresponding to the identification mark vicinity area obtained immediately before the current image. This is a process for determining the cutoff threshold.
[0096]
  When the identification mark is photographed in an ideal state with little noise, the histogram of the number of pixels with the pixel value of the partial image as a class shows a tendency as shown in FIG. Therefore, the background light blocking threshold is determined by applying the binarization method of the multi-valued image. This threshold value can be obtained for a single partial image or a plurality of partial images. In the following description, it is assumed that a threshold value is obtained for each partial image.
[0097]
  When the histogram obtained in the background light detection process is different from the feature shown in FIG. 11, there is a possibility of a non-ideal shooting state, so that the imaging of the imaging unit 203 is performed so that the same feature as in FIG. 11 is obtained. The exposure time or the like of the element may be appropriately controlled, or appropriate control information may be provided to a host device outside the apparatus via the I / O unit 206.
[0098]
  Next, an identification mark centroid estimation process is performed (step 412). This is because the center-of-gravity estimation unit 283 aggregates pixel information estimated as identification marks from partial images in an area corresponding to the identification mark vicinity area obtained immediately before on the current image, and calculates the center of gravity of these pixel sets. Is a process for obtaining. When the pixel set is composed of an identification mark image, the center of gravity of the identification mark image can be obtained satisfactorily.
[0099]
  In order to improve the accuracy of the calculated center of gravity, the background light blocking threshold I obtained in the background light detection process_b ^(K)The partial image s of the corresponding identification mark vicinity region k by^(K)(I, j) as t in equation (9)^(K)You may convert into (i, j).
[Equation 9]
[0100]
  Partial image s of identification mark vicinity region k^(K)In order to obtain the center of gravity of (i, j), the 0th-order moment m of the same image₀ ^(K)And the first moment m in the i and j directions_i ^(K), M_j ^(K)Are sequentially obtained as shown in equations (10) to (12). S^(K)(I, j) is t in equation (9)^(K)It may be read as (i, j).
[Expression 10]
[Expression 11]
[Expression 12]
[0101]
  These m₀ ^(K), M_i ^(K), M_j ^(K)By partial image s^(K)Center of gravity g of (i, j)^(K)Can be obtained as shown in equation (13).
[Formula 13]
[0102]
  However, if noise components other than the identification mark are included in these partial images to the extent that they cannot be ignored, an incorrect centroid may be obtained by the centroid calculation method of Equation (13). Therefore, as shown in FIG. 12, all the areas near the identification mark are similarly divided into a plurality of sections, and only the sections suitable for calculating the center of gravity are selected, whereby the expected center of gravity can be obtained.
[0103]
  Partial image s in section l of identification mark vicinity region k^{(K, l)}For each (i, j), the 0th-order moment m, as in equations (10)-(12)₀ ^{(K, l)}And the first moment m in the i and j directions_i ^{(K, l)}, M_j ^{(K, l)}Ask for.
[0104]
  In order to select a section suitable for the calculation of the center of gravity, for example, matching of selection candidate sections satisfying a certain condition between areas near the identification mark as shown in FIG. 13 is considered. When the area near the identification mark is divided into n sections as a condition for selecting the section l as a selection candidate, the 0th-order moment m of the area near the identification mark k including the section l₀ ^(K)And the function value f (m₀ ^(K), N) is the zeroth-order moment m of section 1₀ ^{(K, l)}And the like. This f (m, n) can be set to, for example, f = m / an (a is an arbitrary constant), but is determined so that a section including an identification mark image at a certain rate or more is a selection candidate.
[0105]
  If all the areas near the identification mark move in the same direction to some extent on the photographed image, as shown in FIG. 13, the one including a plurality of identification mark images in the same section between the plurality of areas near the identification mark is selected. Can be expected. In this way, if only selection candidate sections that match between a plurality of regions are selected, sections including noise components can be eliminated well.
[0106]
  The sum of the moments of only the section selected as above is m '₀ ^(K), M ’_i ^(K), M ’_j ^(K)If so, the partial image s^(K) _{(I, j)}Center of gravity g '^(K)= [M ’_i ^(K)/ M ’₀ ^(K), M ’_j ^(K)/ M ’₀ ^(K)]^TIs newly obtained. Note that the reference point estimation processing described above can be executed in parallel with the identification mark extraction processing and the like.
[0107]
  Next, identification mark alignment processing is performed (step 413). This is a process in which the matching unit 284 tries to associate the reference point position extracted or estimated immediately before with the reference point position extracted from the current image.
[0108]
  If some of the reference points can be extracted, the reference points are made to correspond to the closest reference points among the reference points extracted or estimated immediately before, and only these are output. If extraction of all reference points fails, no output is given.
[0109]
  Further, reference point estimation processing is performed (step 414). This is because the estimation unit 285 extracts a part of the extracted reference points and the partial image s.^(K)Center of gravity g of (i, j)^(K)(G ’^(K)) To estimate the reference point in the current image.
[0110]
  The center of gravity g obtained from the identification mark neighborhood region k of the reference point that failed to be extracted^(K)(G ’^(K)) Is estimated as the reference point. The estimated reference points and the reference points that have been successfully extracted are used as the reference point group of the current image.
[0111]
[Effect of the embodiment]
  According to the present embodiment as described above, three simple identification marks 102 using light sources or geometric figures are arranged so that their reference points (centers of gravity) are on the same straight line. By using the relative position and the relative position of the reference point extracted from the image picked up by the image pickup unit 203, the calculation based on the reverse projection transformation is performed, so that the detection error of the position information such as the indication point of the image pickup unit 203 is obtained. Can be kept smaller than before.
[0112]
  In particular, when the reference points of the three identification marks 102 are equally spaced, the arithmetic expression can be simplified, so that the processing load is reduced and high-speed processing suitable for a game or the like is possible. Furthermore, by executing calibration suitable for the above three identification marks 102, reverse projection transformation, etc., errors can be reduced.
[0113]
  Further, not only the designated position of the imaging unit with respect to the designated target plane but also the rotation angle of the imaging unit can be obtained, and the global error of the rotation angle can be canceled by using the rotation angle error correction curved surface. For this reason, diversification and sophistication of the game content and application range can be achieved. For example, even when hitting the same target, the score or the display screen can be changed according to the rotation angle.
[0114]
  In addition, since the center of gravity point and area for noise component removal and the like can be obtained in a storage area of about several horizontal lines as a whole without requiring an image storage area for one screen, this embodiment It is suitable for small-scale embedded equipment.
[0115]
  Further, since the identification mark 102 only needs to include at least three reference points arranged on a straight line, the configuration is simple and installation is easy. In addition, by changing the density of point light sources and the characteristics of geometric figures, it is possible to identify the direction of the top and the bottom. This makes it possible to detect the correct designated position regardless of the posture of the apparatus. And if the identification mark 102 is a self-luminous type, it will be easy to identify, but even if it is a reflective type, it will be easy to install and suitable for home use.
[0116]
  In addition, since the devices including the light projecting unit 204, the imaging unit 203, the reference point extracting unit 206, the position information calculating unit 207, the reference point estimating unit 208, etc. are all configured integrally in the gun-type controller 101, The overall configuration can be simplified, and the connection work between devices is also simplified.
[0117]
  Even if reference point extraction fails in the current image, if the previous reference point extraction or estimation is successful, the reference point in the current image can be estimated well by a series of reference point estimation processes. Thus, the required indicated position detection result can be obtained. In particular, it is obvious that this function can estimate the reference point satisfactorily even when the extraction of the reference point fails due to some other cause as well as the image blur due to the high-speed movement of the identification mark 102 or the imaging unit 203, The success rate of the indicated position detection is improved as compared with the conventional case.
[0118]
  For example, even when recognition of the identification mark 102 fails due to a temporary shortage of light, the indicated position is successfully detected. Therefore, an expensive high-speed compatible image sensor is not necessarily required, and the product cost can be reduced by using a popular image sensor. It also leads to expansion of the operable range of the camera.
[0119]
  Further, since the background light is blocked for the region near the identification mark 102 calculated based on the immediately preceding reference point, the center of gravity of the identification mark 102 is estimated, and thereby the reference point can be estimated. A good reference point can be estimated with higher accuracy while increasing the speed by reducing the amount of data. And even if there is a center of gravity that cannot be estimated, the vertex can be estimated based on the immediately preceding reference point, so the possibility of obtaining a reference point increases.
[0120]
[Other Embodiments]
  The present invention is not limited to the above embodiment. For example, the present invention can be grasped as a method and program for operating a computer and peripheral circuits corresponding to the above processing. The range realized by hardware processing and the range realized by software processing are also free.
[0121]
  In addition, the present invention can be applied to any plane as an instruction target by installing the identification mark. For example, a display that can be used at present or in the future can be applied in addition to CRT and LCD. Further, the display is not limited, and a screen, a panel, a wall surface, or any other device that projects an image can be used.
[0122]
  Furthermore, the application of the present invention is not limited to shooting-type games. For example, non-shooting fishing, fencing, firefighting games, non-game presentation systems, conference systems, television remote controllers, lighting on / off, blind open / close remote controllers, warehouse and archive management systems It is applicable to.

Claims (13)

指示対象平面側に配設された識別マークを、カメラレンズを介して撮像する撮像部と、
前記撮像部が撮像した画像から、識別マーク像を抽出する識別マーク抽出部と、
前記識別マーク像から、参照点を抽出する参照点抽出部と、
抽出された参照点を記憶する参照点記憶部と、
前記参照点により特定される座標系に基づいて、指示対象平面に対する前記撮像部の位置情報を算出する位置情報算出部と、
を有し、
前記識別マークは、同一直線上に所定の間隔で配置された少なくとも３つの参照点を含み、
前記位置情報算出部は、前記識別マークにおける同一直線上に所定の間隔で配置された少なくとも３つの参照点の相対位置に対して、前記参照点抽出部により抽出された当該少なくとも３つの参照点の相対位置を射影像とした場合に、この射影像に対する逆射影変換に基づいて、指示対象平面の指示対象領域における前記撮像部の指示位置を算出する指示位置算出部を有することを特徴とする位置情報検出装置。An image pickup unit for picking up an image of the identification mark arranged on the instruction target plane side through the camera lens;
An identification mark extraction unit that extracts an identification mark image from an image captured by the imaging unit;
A reference point extraction unit for extracting a reference point from the identification mark image;
A reference point storage unit for storing the extracted reference points;
A position information calculation unit that calculates position information of the imaging unit with respect to the pointing target plane based on a coordinate system specified by the reference point;
Have
The identification mark includes at least three reference points arranged at predetermined intervals on the same straight line,
The position information calculation unit is configured to calculate at least three reference points extracted by the reference point extraction unit with respect to relative positions of at least three reference points arranged at predetermined intervals on the same straight line in the identification mark. A position having a pointing position calculation unit that calculates a pointing position of the imaging unit in a pointing target area of a pointing target plane based on a reverse projection transformation on the projected image when the relative position is a projected image; Information detection device. 前記識別マークにおける各参照点は、等間隔で配置されていることを特徴とする請求項１記載の位置情報検出装置。  The position information detection apparatus according to claim 1, wherein the reference points in the identification mark are arranged at equal intervals. 前記位置情報算出部は、前記撮像部のカメラレンズの光軸周りの回転角を算出する回転角算出部を有し、
前記回転角算出部は、回転角誤差補正曲面を用いて、誤差を補正する回転角誤差補正部を有することを特徴とする請求項１記載の位置情報検出装置。The position information calculation unit includes a rotation angle calculation unit that calculates a rotation angle around the optical axis of the camera lens of the imaging unit,
The position information detection apparatus according to claim 1, wherein the rotation angle calculation unit includes a rotation angle error correction unit that corrects an error using a rotation angle error correction curved surface. 指示対象領域における複数の所定点に、前記カメラレンズの照準を合わせた際の指示位置に基づいて、キャリブレーション用の任意の指示点の指示位置を求めるキャリブレーション演算部を有することを特徴とする請求項１記載の位置情報検出装置。  A calibration calculation unit is provided that obtains an instruction position of an arbitrary instruction point for calibration based on an instruction position when the camera lens is aimed at a plurality of predetermined points in the instruction target region. The position information detection apparatus according to claim 1. 前記参照点は、前記識別マークの重心であることを特徴とする請求項１記載の位置情報検出装置。  The position information detection apparatus according to claim 1, wherein the reference point is a center of gravity of the identification mark. 前記識別マーク抽出部による識別マークの抽出ができない場合に、前記参照点記憶部に記憶された参照点に基づいて、参照点を推定する参照点推定部を有することを特徴とする請求項１記載の位置情報検出装置。  The reference point estimation unit that estimates a reference point based on a reference point stored in the reference point storage unit when the identification mark cannot be extracted by the identification mark extraction unit. Position information detection device. 前記参照点推定部は、
前記参照点記憶部に記憶された参照点に基づいて、識別マークの近傍領域を算出する領域算出部と、
前記近傍領域において遮断すべき背景光を検出する背景光検出部と、
前記背景光検出部による検出結果に基づいて、前記近傍領域における識別マークの重心を推定する重心推定部と、
前記重心推定部により推定された重心に基づいて、参照点を推定する推定部と、
を有することを特徴とする請求項６記載の位置情報検出装置。The reference point estimation unit
An area calculation unit that calculates a neighborhood area of the identification mark based on the reference points stored in the reference point storage unit;
A background light detector for detecting background light to be blocked in the vicinity region;
Based on the detection result by the background light detection unit, a center of gravity estimation unit that estimates the center of gravity of the identification mark in the vicinity region;
An estimation unit that estimates a reference point based on the center of gravity estimated by the center of gravity estimation unit;
The position information detecting apparatus according to claim 6, wherein 前記推定部による推定のために、前記重心推定部により推定された重心と、前記参照点記憶部に記憶された参照点との対応付けを行う整合部を有することを特徴とする請求項７記載の位置情報検出装置。  The alignment unit that associates the center of gravity estimated by the center of gravity estimation unit with the reference point stored in the reference point storage unit for estimation by the estimation unit. Position information detection device. 前記識別マーク側には、前記撮像部が撮像した画像から前記識別マークを識別可能とする光源が配設されていることを特徴とする請求項１記載の位置情報検出装置。  The position information detection apparatus according to claim 1, wherein a light source capable of identifying the identification mark from an image captured by the imaging unit is disposed on the identification mark side. 前記撮像部は、前記識別マークに光を照射する投光部を有することを特徴とする請求項１記載の位置情報検出装置。  The position information detection apparatus according to claim 1, wherein the imaging unit includes a light projecting unit that irradiates the identification mark with light. 前記撮像部、前記参照点抽出部及び前記位置情報算出部が一体的に構成されていることを特徴とする請求項１記載の位置情報検出装置。  The position information detection apparatus according to claim 1, wherein the imaging unit, the reference point extraction unit, and the position information calculation unit are integrally configured. カメラレンズを有する撮像部が接続されたコンピュータが、識別マーク抽出部、参照点抽出部、参照点記憶部、指示位置算出部を有し、
撮像部が、指示対象平面側に同一直線上に配設された少なくとも３つの参照点を含む識別マークを、カメラレンズを介して撮像する処理と、
前記識別マーク抽出部が、撮像部により撮像された画像から、識別マーク像を抽出する処理と、
前記参照点抽出部が、前記識別マーク像から参照点を抽出する処理と、
前記参照点記憶部が、抽出された参照点を記憶する処理と、
前記指示位置算出部が、前記識別マークにおける各参照点の相対位置に対して、前記参照点抽出部により抽出された各参照点の相対位置を射影像とした場合に、この射影像に対する逆射影変換に基づいて、指示対象平面の指示対象領域における前記撮像部の指示位置を算出する処理と、
を実行することを特徴とする位置情報検出方法。A computer to which an imaging unit having a camera lens is connected has an identification mark extraction unit, a reference point extraction unit, a reference point storage unit, and an indicated position calculation unit,
A process in which the imaging unit images an identification mark including at least three reference points arranged on the same straight line on the indication target plane side via a camera lens;
The identification mark extraction unit extracts an identification mark image from an image captured by the imaging unit;
A process in which the reference point extraction unit extracts a reference point from the identification mark image;
A process in which the reference point storage unit stores the extracted reference points;
When the indicated position calculation unit uses the relative position of each reference point extracted by the reference point extraction unit as the projection image with respect to the relative position of each reference point in the identification mark, a reverse projection is performed on the projection image. A process of calculating an instruction position of the imaging unit in the instruction target area of the instruction target plane based on the conversion;
The position information detection method characterized by performing. 撮像部が接続されたコンピュータにより実行可能な位置情報検出プログラムにおいて、
指示対象平面側に同一直線上に配設された少なくとも３つの参照点を含む識別マークを、前記撮像部にカメラレンズを介して撮像させる処理と、
前記撮像部により撮像された画像から、識別マーク像を抽出させる処理と、
前記識別マーク像から参照点を抽出させる処理と、
抽出された参照点を記憶させる処理と、
前記識別マークにおける各参照点の相対位置に対して、抽出された各参照点の相対位置を射影像とした場合に、この射影像に対する逆射影変換に基づいて、指示対象平面の指示対象領域における前記撮像部の指示位置を算出する処理と、
を前記コンピュータに実行させることを特徴とする位置情報検出プログラム。In the position information detection program that can be executed by the computer to which the imaging unit is connected,
A process of causing the imaging unit to image through the camera lens an identification mark including at least three reference points arranged on the same straight line on the instruction target plane side;
A process of extracting an identification mark image from an image captured by the imaging unit;
Processing for extracting a reference point from the identification mark image;
A process for storing the extracted reference points;
When the relative position of each extracted reference point is a projection image with respect to the relative position of each reference point in the identification mark, based on the inverse projection transformation for this projection image, A process of calculating an instruction position of the imaging unit;
Is executed by the computer.