JP7027109B2 - 姿勢位置推測システム、姿勢位置推測方法、および姿勢位置推測装置 - Google Patents

Description

本発明は、姿勢や位置を推測する技術に関し、より特定的には、現実空間に配置された被検出部を撮像装置で撮像した画像に基づいて、ユーザの把持する操作装置等の位置や姿勢を推測する技術に関する。

従来から、現実空間もしくは現実物体に配置された指標（マーカ）を、撮像装置で撮像した画像から検出、同定する、指標の同定技術が知られている（例えば、特許文献１）。この技術では、例えば、空間中を移動する現実物体に設置されたマーカをカメラによって撮像し、画像上におけるマーカの投影像の位置を検出することで、空間中における現実物体の位置や姿勢を計測している。また、現実空間に配置した複数のマーカを撮影することで、撮影しているカメラの空間中での位置や姿勢を計測している。このような技術は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）分野等でも用いられている。

特開２００７－６４８０８号公報

上記の技術では、マーカを撮影するために、複数台のカメラを固定的に設置する必要があり（例えば、ユーザとマーカの全体が撮像範囲に含まれるような位置にカメラを設置する等）、その設置の手間等が大がかりなものとなっていた。

それ故に、本発明の目的は、より簡易な構成の姿勢位置推測システムを提供することである。

上記目的を達成するために、例えば以下のような構成例が挙げられる。

構成例の一例は、可動撮像部と、立体画像提供部と、検出部と、特定部と、推測部と、画像生成部とを備える、姿勢位置推測システムである。可動撮像部は、周囲を撮像するための撮像部を有する。立体画像提供部は、互いに視差のある左目用画像および右目用画像からなる立体視画像を表示する少なくとも１つの表示部、立体視画像を見ている状態の当該ユーザの顔の一部と当接可能な当接部、および、ユーザによって把持されている状態の可動撮像部の撮像部によって撮像可能な被検出部を有する。検出部は、撮像部によって撮像された画像に含まれる被検出部を示す被検出部画像を検出する。特定部は、検出部によって検出された被検出画像の撮像された画像における位置および／または形状を特定する。推測部は、特定部によって特定された被検出画像の撮像された画像における位置および／または形状に基づいて、可動撮像部の姿勢および／または位置を推測する。画像生成部は、推測部による推測結果に基づいて、少なくとも１つの表示部に表示する立体視画像を生成する。

上記構成例によれば、可動撮像部をユーザが把持することによって、より簡易な構成の姿勢位置推測システムを提供することができる。

他の構成例として、可動撮像部は、更に、操作部、および、当該操作部に対するユーザの操作に基づいて所定のデータを生成する操作データ生成部を有し、画像生成部は、更に、推測部による推測結果と操作データ生成部によって生成されたデータとに基づいて、少なくとも１つの表示部に表示する立体視画像を生成してもよい。

上記構成例によれば、可動撮像部を用いた操作として、より多様な操作が可能となる。

他の構成例として、可動撮像部は、更に、撮像部の撮像方向と少なくとも実質的に同じ方向へ所定の光を発する発光部を有し、被検出部は、発光部からの所定の光を反射する再帰性反射材であってもよい。

上記構成例によれば、被検出部をより確実に検出することができる。

他の構成例として、被検出部は、ユーザの顔の一部が当接部に当接している状態で少なくとも１つの表示部を見ている当該ユーザの視線方向と実質的に同じ方向を向く立体画像提供部の所定面、および／または、当該視線方向に対向する方向から見た場合に視認可能な立体画像提供部における位置に設けられていてもよい。

上記構成例によれば、可動撮像部の位置や姿勢の推測精度を高めることができる。

他の構成例として、立体画像提供部は、所定の領域を有する複数の被検出部を有し、当該複数の被検出部は、同一の直線上には並ばないような３つの非検出部を含むようにしてもよい。

上記構成例によれば、可動撮像部の位置や姿勢の推測精度を高めることができる

他の構成例として、複数の被検出部は、立体画像提供部の所定面を正面視した場合において、少なくとも３つ以上の被検出部が左右非対称および／または上下非対称となるように配置されてもよい。

上記構成例によれば、可動撮像部の位置や姿勢の推測精度を高めることができる。

他の構成例として、複数の被検出部は、当該複数の被検出部それぞれを終点とした場合に、当該終点までの直線距離が実質的に同一となるような始点位置である中央点を通る直線を基準として左右非対称および／または上下非対称となるように配置されていてもよい。

上記構成例によれば、可動撮像部の位置や姿勢の推測精度を高めることができる。

他の構成例として、可動撮像部は、更に、加速度センサおよび／または角速度センサを有し、推測部は、更に、加速度センサおよび／または角速度センサによる検出結果に基づいて、可動撮像部の姿勢および／または位置を推測するよう構成してもよい。

上記構成例によれば、可動撮像部の位置や姿勢を推測できる範囲をより広げることができる。

他の構成例として、推測部は、可動撮像部で撮像された画像において被検出部画像を判別または特定できない場合に、加速度センサおよび／または角速度センサによる検出結果に基づいて、可動撮像部の姿勢および／または位置を推測するようにしてもよい。

上記構成例によれば、可動撮像部の位置や姿勢を推測できる範囲をより広げることができる。

他の構成例として、姿勢位置推測システムは、一方の端が可動撮像部の少なくとも一部と接続され、他方の端が立体画像提供部との一部と接続される接続部を更に備えていてもよい。

上記構成例によれば、接続部によって、可動撮像部を移動させることができる範囲が制限されるため、姿勢や位置の推測精度を高めることが可能となる。

他の構成例として、接続部と立体画像提供部とが接続される位置は、被検出部が設けられている面の下辺近傍であって、当該被検出部が設けられている面を正面視した場合に略中央となる位置を通って上下方向に伸びる直線の上または近傍であってもよい。

上記構成例によれば、被検出部をより確実に撮像することができ、姿勢や位置の推測精度を高めることができる。
することが可能となる。

他の構成例として、接続部は、当該接続部と立体画像提供部とが接続される位置の近傍に設けられる第１の可動部を有していてもよい。そして、第１の可動部によって、立体画像提供部と可動撮像部との相対的な位置関係および／または姿勢関係が変更可能であってもよい。

上記構成例によれば、可動撮像部の可動範囲をより広くすることができる。

他の構成例として、接続部は、当該接続部と立体画像提供部が接続される位置、および、当該接続部と可動撮像部とが接続される位置のいずれにも該当しない所定の位置に設けられる第２の可動部を有していてもよい。そして、第２の可動部によって、立体画像提供部と可動撮像部との相対的な位置関係および／または姿勢関係が変更可能であってもよい。

上記構成例によれば、可動撮像部の可動範囲をより広くすることができる。

他の構成例として、接続部は、当該接続部と可動撮像部とが接続される位置の近傍に設けられる第３の可動部を有していてもよい。そして、第３の可動部によって、立体画像提供部と可動撮像部との相対的な位置関係および／または姿勢関係が変更可能であってもよい。

上記構成例によれば、可動撮像部の可動範囲をより広くすることができる。

他の構成例として、接続部は、伸縮可能であってもよい。

上記構成例によれば、伸縮可能な構成であるため、例えば収納時等においてユーザの利便性を高めることができる。

他の構成例として、撮像部および操作部は、可動撮像部に着脱可能なハウジングに設けられていてもよい。

上記構成例によれば、撮像部と操作部を有するハウジングを、例えば単一のコントローラとして、可動撮像部から取り外した上で把持して利用することができる。

本実施形態によれば、より簡易な構成の姿勢位置推測システムを提供することができる。

本実施形態の一例であるゲームシステムの全体像を示す模式図 ゲームシステム１を用いて遊ぶ（ゲーム処理を実行する）ユーザの様子を示す模式図 本実施形態に係るゲーム処理の画面の一例 ゲーム装置本体３の外観図 ゲーム装置本体３の内部構成の一例を示すブロック図 コントローラ４の一例を示す六面図 コントローラ４の内部構成を示すブロック図 ＶＲゲームキット２の一例を示す六面図 ＶＲゲームキット２の一例を示す斜視図 ＶＲゲームキット２の一例を示す斜視図 ＶＲゲームキット２を分離した例を示す模式図 第１アームの可動例を示す模式図 第１アームと第２アームの姿勢変化の例を示す模式図 ＶＲゴーグル部５および把持操作部６の位置関係の変化例を説明するための図 ＶＲゴーグル部５および把持操作部６の位置関係の変化例を説明するための図 ＶＲゴーグル部５および把持操作部６の姿勢関係の変化例を説明するための図 ＶＲゴーグル部５および把持操作部６の姿勢関係の変化例を説明するための図 接続アーム部を最長の状態としたときの模式図 接続アーム部を最短の状態としたときの模式図 ＶＲゴーグル部の一例を示す模式図 ゲーム装置本体３のＶＲゴーグル部への装着例を示す図 ゲーム装置本体３のＶＲゴーグル部への装着例を示す図 マーカ配置部２０２を正面視した模式図 マーカ配置部２０２の他の一例を示す模式図 把持操作部６へのコントローラ４の装着に関して説明するための図 把持操作部６へのコントローラ４の装着に関して説明するための図 把持操作部６へのコントローラ４の装着に関して説明するための図 把持操作部６へのコントローラ４の装着に関して説明するための図 ゲーム装置本体３のＤＲＡＭ８５に格納されるプログラムおよび情報の一例 ゲーム装置本体３で実行されるゲーム処理の詳細を示すフローチャート

以下、本発明の一実施形態について説明する。

［１．ゲームシステムの全体構成］
以下、図面を参照して、本発明の一実施形態に係る位置姿勢推測システムについて説明する。なお、本実施形態では、位置姿勢推測システムの一例として、ゲームシステムを例として説明する。図１は、ゲームシステム１の全体像を示す模式図である。図１において、ゲームシステム１は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゲームキット２と、情報処理装置の一例としてのゲーム装置本体３と、コントローラ４とを含む。また、ＶＲゲームキット２は、ＶＲゴーグル部５と把持操作部６と、この両者を接続する接続アーム部７とを含む。接続アーム部７には、関節部分が一つまたは複数設けられており、この関節部分において接続アーム部を折りたたむことが可能である。これにより、接続アーム部７が全体として、ある程度伸縮可能なように構成されている。また、ＶＲゴーグル部５には、ゲーム装置本体３を差し込んで固定することができるゲーム装置装着部２０１が設けられている。また、把持操作部６にも、コントローラ４を挿入して固定できるコントローラ装着部２３１が設けられている。更に、ＶＲゴーグル部５は、当該ＶＲゴーグル部５に備えられている２つのレンズ（右目用レンズ２０６および左目用レンズ２０５）を介して、ユーザがゲーム装置装着部２０１に挿入されたゲーム装置本体３のディスプレイ１２を見ることができるように構成されている（いわゆるＶＲゴーグルとして機能するものである）。また、ＶＲゴーグル部５、把持操作部６のいずれも、ユーザが片手又は両手で把持できるような把持部（２０４、２３２ａおよび後述の２３２ｂ）を有している。把持部は、一例として、略棒状の形状またはグリップ形状であってもよい。

ゲーム装置本体３は、一例として、略板状のハウジングを備えており、その主面にはディスプレイが設けられている。この主面は、大略的には矩形形状である。また、コントローラ４はゲーム装置本体３と無線接続される。コントローラ４における操作内容を示す情報は、ゲーム装置本体に無線通信で送信される。また、詳細は後述するが、コントローラ４の下面には赤外発光部および赤外撮像部が設けられている。また、ＶＲゴーグル部５の把持操作部６側の面（後述のマーカ配置部２０２）には、被検出部（検出対象）の一例として、各々の少なくとも一部が再帰性反射材からなる複数のマーカが設けられている。

本実施形態では、ゲーム装置本体３のディスプレイ１２側が上記レンズ側を向くようにして、ゲーム装置本体３をゲーム装置装着部２０１に挿入して装着する。また、コントローラ４の下面（赤外発光部および赤外撮像部のある面）がＶＲゴーグル部５の方を向くようにして、コントローラ４をコントローラ装着部２３１に挿入して装着する。このようにＶＲゲームキット２にゲーム装置本体３およびコントローラ４を装着することで、本実施形態にかかるゲームシステム１におけるゲーム処理を実行する。

なお、この構成は、以下のように言い換えることもできる。すなわち、ＶＲゴーグル部５にゲーム装置本体３を装着した構成を第１のパーツとし、把持操作部６にコントローラ４を装着した構成を第２パーツとする。第１のパーツは、後述の立体視画像（ＶＲ空間画像）をユーザに提供するための機能および上記マーカを有しており、第２のパーツは、このマーカを撮像可能な撮像機能を有している。そして、この第１のパーツおよび第２のパーツが、接続アーム部７を介して接続された構成と言うこともできる。なお、第１のパーツは、ＶＲゴーグル部５とゲーム装置本体３とからなる立体画像提供部の一例であり、第２のパーツは、コントローラ４と把持操作部６とからなる可動撮像部の一例であるとも言える。

図２に、ゲームシステム１を用いて遊ぶ（ゲーム処理を実行する）ユーザの様子を示す模式図を示す。この図の例では、ユーザは、左手でＶＲゴーグル部５を把持し、右手で把持操作部６を把持している。また、ユーザは、ＶＲゴーグル部５のレンズの位置をユーザの目の位置に合わせてのぞき込むような姿勢を取っている。換言すれば、ユーザの顔の一部をＶＲゴーグル部５の略円弧形状となっている部分に当接させている姿勢となっている。そして、ユーザは、ＶＲゴーグル部５の位置は基本的には動かさずに、把持操作部６の位置を変化させることで、ゲームをプレイする。

図３に、本実施形態に係るゲーム処理の画面の一例を示す。本ゲームは、彫刻を題材にしたゲームである。具体的には、仮想空間内に存在するブロックオブジェクト５０１をドリルオブジェクト５０２で削って変形させていく、彫刻ゲームである。ユーザは、（現実空間において）把持操作部６を把持した右腕を動かして把持操作部６の位置を変化させることで、仮想空間内におけるドリルオブジェクト５０２の位置を移動させることができる。また、詳細は後述するが、把持操作部６において右手で把持されている把持部については、ユーザが右手をより握り込むようにすることで、コントローラ４の所定のボタンを押下できるように構成されている。このボタンが押下されることで、ドリルオブジェクト５０２のドリル部分を回転させることができる。つまり、ユーザは、ドリルオブジェクト５０２のドリル部分をブロックオブジェクト５０１に接触させた状態で、上記操作でこの先端部分を回転させることで、ブロックオブジェクト５０１を削ることができる。

なお、上記ドリルオブジェクト５０２の移動操作は、以下のような処理によって実現される。上記図２で示したような状態において、把持操作部６に装着されたコントローラ４（赤外発光部）から、ＶＲゴーグル部５側（ユーザ側）に向けて赤外光が照射される。また、コントローラ４の赤外撮像部により、ＶＲゴーグル部５のある側（赤外光の照射方向）を撮像方向とした撮像処理が行われる。この撮像画像には、ＶＲゴーグル部５側に設けられたマーカ（再帰性反射材）によって反射された赤外光（以下、反射光）が含まれる。この撮像画像を解析処理することで撮像画像内におけるマーカ（反射光）の位置が算出（検出）され、その位置に基づいて、マーカに対するコントローラ４の相対的な姿勢が算出される。そして、この算出されたコントローラ４の姿勢に応じて、上記ドリルオブジェクト５０２の位置を変化させるものである。

なお、本実施形態では、上記ゲーム画面は、立体視画像（ＶＲ空間画像、ＶＲ映像）として表示される。そのため、厳密には、ディスプレイ１２には、互いに視差がある右目用画像と左目用画像とが表示される。そして、ＶＲゴーグル部５の右目用のレンズの位置とディスプレイ１２における右目用画像の表示位置の関係についても、ＶＲゴーグル部５の右目用レンズを通してユーザの右目に右目用画像が視認されるように構成されている。同様に、左目用のレンズの位置とディスプレイ１２における左目用画像の表示位置の関係についても、ＶＲゴーグル部５の左目用レンズを通してユーザの左目に左目用画像が視認されるように構成されている。ユーザの右目に右目用画像を、ユーザの左目に左目用画像を視認させることにより（すなわち、互いに視差のある右目用画像および左目用画像をユーザに視認させることにより）、ユーザにとって立体感のある立体視画像を表示することができる。上記図３に示したゲーム画面例は、ＶＲゴーグル部５のレンズを通して見た、ユーザから見える立体視画像の例である。

次に、ゲームシステム１を構成する各要素について説明する。

［ゲーム装置本体３のハードウェア構成について］
まず、ゲーム装置本体３について説明する。図４は、ゲーム装置本体３の外観図である。上記のように、ゲーム装置本体３は、略板状のハウジング１１を備える。また、ゲーム装置本体３は、ハウジング１１の主面（表側の面）に設けられるディスプレイ１２を備える。ディスプレイ１２は、ゲーム装置本体３が生成した画像を表示する。本実施形態においては、ディスプレイ１２は、液晶表示装置（ＬＣＤ）とする。ただし、ディスプレイ１２は任意の種類の表示装置であってよい。

また、図示は省略するが、ハウジング１１の上側面には、スロットが設けられている。このスロットは、所定の種類の記憶媒体を装着可能な形状を有する。所定の種類の記憶媒体は、例えば、ゲームシステム１およびそれと同種の情報処理装置に専用の記憶媒体（例えば、専用メモリカード）である。所定の種類の記憶媒体は、例えば、ゲーム装置本体３で利用されるデータ（例えば、アプリケーションのセーブデータ等）、および／または、ゲーム装置本体３で実行されるプログラム（例えば、アプリケーションのプログラム等）を記憶するために用いられる。

また、ハウジング１１の上側面には、電源ボタンも備えられている。また、ハウジング１１の内部には、スピーカも備えられている。

図５は、ゲーム装置本体３の内部構成の一例を示すブロック図である。図５において、ゲーム装置本体３は、一つまたは複数のプロセッサ８１を備える。プロセッサ８１は、ゲーム装置本体３において実行される各種の情報処理を実行する情報処理部であって、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のみから構成されてもよいし、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）から構成されてもよい。プロセッサ８１は、記憶部（具体的には、フラッシュメモリ８４等の内部記憶媒体、あるいは、スロット２３に装着される外部記憶媒体等）に記憶される情報処理プログラム（例えば、ゲームプログラム）を実行することによって、各種の情報処理を実行する。

ゲーム装置本体３は、自身に内蔵される内部記憶媒体の一例として、フラッシュメモリ８４およびＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８５を備える。フラッシュメモリ８４およびＤＲＡＭ８５は、プロセッサ８１に接続される。フラッシュメモリ８４は、主に、ゲーム装置本体３に保存される各種のデータ（プログラムであってもよい）を記憶するために用いられるメモリである。ＤＲＡＭ８５は、情報処理において用いられる各種のデータを一時的に記憶するために用いられるメモリである。

ゲーム装置本体３は、スロットインターフェース（以下、「Ｉ／Ｆ」と略記する。）９１を備える。スロットＩ／Ｆ９１は、プロセッサ８１に接続される。スロットＩ／Ｆ９１は、スロット２３に接続され、スロット２３に装着された所定の種類の記憶媒体（例えば、専用メモリカード）に対するデータの読み出しおよび書き込みを、プロセッサ８１の指示に応じて行う。

プロセッサ８１は、フラッシュメモリ８４およびＤＲＡＭ８５、ならびに上記各記憶媒体との間でデータを適宜読み出したり書き込んだりして、上記の情報処理を実行する。

ゲーム装置本体３は、ネットワーク通信部８２を備える。ネットワーク通信部８２は、プロセッサ８１に接続される。ネットワーク通信部８２は、ネットワークを介して外部の装置と通信（具体的には、無線通信）を行う。本実施形態においては、ネットワーク通信部８２は、第１の通信態様としてＷｉ－Ｆｉの規格に準拠した方式により、無線ＬＡＮに接続して外部装置と通信を行う。また、ネットワーク通信部８２は、第２の通信態様として所定の通信方式（例えば、独自プロトコルによる通信や、赤外線通信）により、同種の他のゲーム装置本体３との間で無線通信を行う。なお、上記第２の通信態様による無線通信は、閉ざされたローカルネットワークエリア内に配置された他のゲーム装置本体３との間で無線通信可能であり、複数のゲーム装置本体３の間で直接通信することによってデータが送受信される、いわゆる「ローカル通信」を可能とする機能を実現する。

ゲーム装置本体３は、コントローラ通信部８３を備える。コントローラ通信部８３は、プロセッサ８１に接続される。コントローラ通信部８３は、コントローラ４と無線通信を行う。ゲーム装置本体３とコントローラ４との通信方式は任意であるが、本実施形態においては、コントローラ通信部８３は、コントローラ４との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信を行う。

また、ディスプレイ１２は、プロセッサ８１に接続される。プロセッサ８１は、（例えば、上記の情報処理の実行によって）生成した画像および／または外部から取得した画像をディスプレイ１２に表示する。

ゲーム装置本体３は、コーデック回路８７およびスピーカ（具体的には、左スピーカおよび右スピーカ）８８を備える。コーデック回路８７は、スピーカ８８に接続されるとともに、プロセッサ８１に接続される。コーデック回路８７は、スピーカ８８に対する音声データの入出力を制御する回路である。

ゲーム装置本体３は、電力制御部９７およびバッテリ９８を備える。電力制御部９７は、バッテリ９８およびプロセッサ８１に接続される。電力制御部９７は、プロセッサ８１からの指令に基づいて、バッテリ９８から上記各部への電力供給を制御する。

［コントローラ４のハードウェア構成について］
次に、コントローラ４について説明する。図６は、コントローラ４の一例を示す六面図である。図６に示すように、コントローラ４は、ハウジング５１を備える。本実施形態においては、ハウジング５１は、縦長の形状、すなわち、上下方向に長い形状である。コントローラ４は、縦長となる向きで把持されることも可能である。ハウジング５１は、縦長となる向きで把持される場合に片手、特に右手で把持可能な形状および大きさをしている。また、コントローラ４は、横長となる向きで、両手で把持されることも可能である。

コントローラ４は、方向入力部としてアナログスティック５２を備える。また、コントローラ４は、ハウジング５１の主面上に４つの操作ボタン５３～５６（具体的には、Ａボタン５３、Ｂボタン５４、Ｘボタン５５、およびＹボタン５６）を備える。更に、コントローラ４は、＋（プラス）ボタン５７およびホームボタン５８を備える。また、コントローラ４は、ハウジング５１の側面の右上に第１Ｒボタン６０およびＺＲボタン６１を備える。また、コントローラ４は、第２Ｌボタン６５および第２Ｒボタン６６を備える。上記の各種ボタンおよびアナログスティック５２は、自身に対して行われた操作に関する情報を、適宜のタイミングで繰り返し通信制御部１０１へ出力する。

また、ハウジング５１の下側面には、窓部６８が設けられる。詳細は後述するが、コントローラ４は、ハウジング５１の内部に配置される赤外撮像部１２３および赤外発光部１２４を備えている。赤外撮像部１２３は、コントローラ４の下方向（図６に示すｙ軸負方向）を撮像方向として、窓部６８を介してコントローラ４の周囲を撮像する。赤外発光部１２４は、コントローラ４の下方向（図６に示すｙ軸負方向）を中心とする所定範囲を照射範囲として、赤外撮像部１２３が撮像する撮像対象に窓部６８を介して赤外光を照射する。窓部６８は、赤外撮像部１２３のカメラのレンズや赤外発光部１２４の発光体等を保護するためのものであり、当該カメラが検知する波長の光や当該発光体が照射する光を透過する材質（例えば、透明な材質）で構成される。なお、窓部６８は、ハウジング５１に形成された孔であってもよい。なお、本実施形態においては、カメラが検知する光（本実施形態においては、赤外光）以外の波長の光の透過を抑制するフィルタ部材を赤外撮像部１２３自身が有する。ただし、他の実施形態においては、窓部６８がフィルタの機能を有していてもよい。

なお、他の実施形態では、上記赤外発光部１２４は必ずしも備わっていなくても良い。この場合は、例えば、マーカが赤外光を発するような構成としてもよい。

図７は、コントローラ４の内部構成を示すブロック図である。図７に示すように、コントローラ４は、ゲーム装置本体３との間で通信を行う通信制御部１１１を備える。通信制御部１１１には、通信部１１９が含まれる。また、通信制御部１１１は、各構成要素に接続される。また、コントローラ４は、例えばフラッシュメモリ等のメモリ１１２を備える。通信制御部１１１は、例えばマイコン（マイクロプロセッサとも言う）で構成され、メモリ１１２に記憶されるファームウェアを実行することによって各種の処理を実行する。

通信制御部１１１は、無線通信を用いてゲーム装置本体３と通信を行うことが可能である。すなわち、通信制御部１１１は、通信部１１９を用いて、ゲーム装置本体３（具体的には、コントローラ通信部８３）との間で無線通信を行う。コントローラ通信部８３と通信制御部１１１（通信部１１９）との間の無線通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）の規格に従って行われる。

コントローラ４は、各ボタン１１３、アナログスティック５２を備える。各ボタン１１３およびアナログスティック５２は、自身に対して行われた操作に関する情報を、適宜のタイミングで繰り返し通信制御部１１１へ出力する。

また、コントローラ４は、慣性センサを備える。具体的には、コントローラ３は、加速度センサ１１４および／または角速度センサ１１５を備える。本実施形態においては、加速度センサ１１４は、所定の３軸（例えば、図６に示すｘｙｚ軸）方向に沿った加速度の大きさを検出する。なお、加速度センサ１１４は、１軸方向あるいは２軸方向の加速度を検出するものであってもよい。本実施形態においては、角速度センサ１１５は、所定の３軸（例えば、図６に示すｘｙｚ軸）回りの角速度を検出する。なお、角速度センサ１１５は、１軸回りあるいは２軸回りの角速度を検出するものであってもよい。加速度センサ１１４および角速度センサ１１５は、それぞれ通信制御部１１１に接続される。そして、加速度センサ１１４および角速度センサ１１５の検出結果は、適宜のタイミングで繰り返し通信制御部１１１へ出力される。

通信制御部１１１は、各入力部（具体的には、各ボタン１１３、アナログスティック５２、各センサ１１４および１１５）から、入力に関する情報（具体的には、操作に関する情報、またはセンサによる検出結果）を取得する。通信制御部１１１は、取得した情報（または取得した情報に所定の加工を行った情報）を含む操作データをゲーム装置本体３へ送信する。なお、操作データは、所定時間に１回の割合で繰り返し送信される。なお、入力に関する情報がゲーム装置本体３へ送信される間隔は、各入力部について同じであってもよいし、同じでなくてもよい。

上記操作データがゲーム装置本体３へ送信されることによって、ゲーム装置本体３は、コントローラ４に対して行われた入力を得ることができる。すなわち、ゲーム装置本体３は、各ボタン１１３およびアナログスティック５２に対する操作を、操作データに基づいて判別することができる。また、ゲーム装置本体３は、コントローラ４の動きおよび／または姿勢に関する情報を、操作データ（具体的には、加速度センサ１１４および角速度センサ１１５の検出結果）に基づいて算出することができる。

なお、他の実施形態では、コントローラ４の動きおよび／または姿勢に関する情報を、加速度センサまたは角速度センサのいずれか一方のみに基づいて算出するようにしてもよい。

また、コントローラ４は、赤外撮像部１２３を備える。赤外撮像部１２３は、コントローラ４の周囲を撮像する赤外線カメラを有する。一例として、ゲーム装置本体３および／またはコントローラ４は、撮像された情報（例えば、撮像された撮像画像における少なくとも一部の領域全体を分割した複数のブロックの輝度に関連する情報等）を算出し、当該情報に基づいて、コントローラ４の周囲変化を判別する。また、赤外撮像部１２３は、環境光のみによって撮像を行ってもよいが、本実施形態においては、赤外線を照射する赤外発光部１２４を有する。赤外発光部１２４は、例えば、赤外線カメラが画像を撮像するタイミングと同期して、赤外線を照射する。また、その照射方向については、少なくとも、赤外線カメラの撮像方向と実質的に同じ方向に赤外線を照射する。そして、赤外発光部１２４によって照射された赤外線が撮像対象によって反射され、当該反射された赤外線が赤外線カメラによって受光されることで、赤外線の画像が取得される。これによって、赤外撮像部１２３は、より鮮明な赤外線画像を得ることができる。なお、赤外撮像部１２３と赤外発光部１２４とは、それぞれ別のデバイスとしてコントローラ４内に設けられてもよいし、同じパッケージ内に設けられた単一のデバイスとしてコントローラ４内に設けられてもよい。また、本実施形態においては、赤外線カメラを有する赤外撮像部１２３が用いられるが、他の実施形態においては、撮像手段として、赤外線カメラに代えて可視光カメラ（可視光イメージセンサを用いたカメラ）が用いられてもよい。また、他の実施形態では、赤外発光部１２４は設けず、赤外撮像部１２３と、可視光撮像部としての可視光カメラだけで撮像するような構成としても良い。

コントローラ４は、処理部１２１を備える。処理部１２１は、通信制御部１１１に接続される。また、処理部１２１は、赤外撮像部１２３、および赤外発光部１２４に接続される。処理部１２１は、ＣＰＵやメモリ等を含み、コントローラ４に備えられた図示しない記憶装置（例えば、不揮発性メモリ等）に記憶された所定のプログラム（例えば、画像処理や各種演算を行うためのアプリケーションプログラム）に基づいて、ゲーム装置本体３からの指令に応じて赤外撮像部１２３に対する管理処理を実行する。例えば、処理部１２１は、赤外撮像部１２３に撮像動作を行わせたり、撮像結果に基づく情報（撮像画像の情報、あるいは、当該情報から算出される情報等）を取得および／または算出して通信制御部１１１を介してゲーム装置本体３へ送信したりする。また、処理部１２１は、ゲーム装置本体３からの指令に応じて赤外発光部１２４に対する管理処理を実行する。例えば、処理部１２１は、ゲーム装置本体３からの指令に応じて赤外発光部１２４の発光を制御する。なお、処理部１２１が処理を行う際に用いるメモリは、処理部１２１内に設けられてもよいし、メモリ１１２であってもよい。

コントローラ４は、電力供給部１１８を備える。本実施形態において、電力供給部１１８は、バッテリおよび電力制御回路を有する。図示しないが、電力制御回路は、バッテリに接続されるとともに、コントローラ４の各部（具体的には、バッテリの電力の給電を受ける各部）に接続される。

［ＶＲゲームキットについて］
次に、ＶＲゲームキット２について説明する。図８は、ＶＲゲームキット２の一例を示す六面図である。また、図９は、ＶＲゲームキット２をＶＲゴーグル部５の側から見た斜視図である。図１０は、ＶＲゲームキット２を把持操作部６側からみた斜視図である。なお、各パーツの構成の理解を助けるために、図１１に、ＶＲゴーグル部５、接続アーム部７、把持操作部６を分離した場合の模式図も示す。

ＶＲゴーグル部５は、ゲーム装置装着部２０１と、マーカ配置部２０２と、把持部２０４と、レンズパーツ部２０７とを含んでいる。レンズパーツ部２０７は、当接部２０３と、左目用レンズ２０５と、右目用レンズ２０６とを含む。当接部２０３は、ＶＲゴーグル部５に装着されたゲーム装置本体３のディスプレイをユーザが見る場合に、ユーザの顔の一部に当接する部位である。レンズパーツ部２０７とゲーム装置装着部２０１、マーカ配置部２０２は、把持部２０４の上方となる位置に設けられている。

マーカ配置部２０２は、略板状の部材である。また、マーカ配置部２０２の一面（図９のｚ軸正方向を向く面）が、把持操作部６と対向するような位置に設けられている。ゲーム装置装着部２０１は、ゲーム装置本体３を装着するためのものである。ゲーム装置装着部２０１は、マーカ配置部２０２とレンズパーツ部２０７とに挟まれるような位置に配置されている。すなわち、ＶＲゴーグル部５に装着されたゲーム装置本体３のディスプレイ１２を見ている状態のユーザの視線方向に沿って、レンズパーツ部２０７、ゲーム装置装着部２０１、マーカ配置部２０２の順に配置されている。また、マーカ配置部２０２は、ＶＲゴーグル部５に装着されたゲーム装置本体３のディスプレイ面の反対側（裏側）となるような位置に配置されているとも言える。また、詳細は後述するが、マーカ配置部２０２（の把持操作部６側の面）には、５つのマーカ２１１が設置されている。換言すれば、ディスプレイ面と略平行となるような面であって、ディスプレイを見ている状態のユーザの視線方向側にあるＶＲゴーグル部５の外面部分にマーカ２１１が配置されている。

把持操作部６は、コントローラ４を装着するためのコントローラ装着部２３１と、把持部２３２ａ、２３２ｂとを有する。ユーザは、例えば右手でこの把持部２３２ａおよび２３２ｂをまとめて握るようにして、把持操作部６を把持する。なお、把持操作部６へのコントローラ４の装着の詳細については後述する。

接続アーム部７は、ＶＲゴーグル部５と把持操作部６とを接続する。図８～１０の例では、接続アーム部７は、第１アーム２５１、第２アーム２５２と、可動関節部として４つの関節部２５３ａ～２５３ｄを有している。関節部２５３ａは、第１アーム２５１の一方の端、具体的には、立体画像提供部により近い方の端側に設けられる。関節部２５３ｂは、第１アーム２５１の他方の端に設けられる。また、関節部２５３ｃは、第２アーム２５２の一方の端、具体的には、立体画像提供部により近い方の端（すなわち、第１アーム２５１と接続されている部分）に設けられる。関節部２５３ｄは、第２アーム２５２の他方の端側（すなわち、可動撮像部により近い方の端側）に設けられている。なお、関節部２５３ａについては、接続アーム部７の立体画像提供部により近い方の端側に設けられているとも言える。関節部２５３ｂおよび２５３ｃについては、接続アーム部７の一端と他端の間に設けられているとも言える。関節部２５３ｄについては、接続アーム部７の可動撮像部により近い方の端側に設けられるとも言える。第１アーム２５１、第２アーム２５２は、各関節部を支点として、上記図２のｘ軸周りで姿勢を変化させることが可能となっている（例えば図１２参照）。つまり、ｘ軸回りの回転が可能となっている。また、関節部２５３ｂと２５３ｃとは、第１アーム２５１と第２アーム２５２とが上記図２のｚ軸周りに姿勢を変化させることが可能なように接続されている（例えば図１３参照）。つまり、ｚ軸回りの回転が可能となっている。回転可能とする構造はどのようなものでも良いが、例えば、関節部２５３ｂと関節部２５３ｃが互いに対向する面同士を、円盤状のジョイントで接続する等で、回転可能に構成されている（その他、いわゆるユニバーサルジョイントを採用した構成であってもよい）。上記のことから、関節部２５３は、接続アーム部７の可動部としての役割を有しているといえる。

なお、関節部２５３ａおよび２５３ｄについても、上記ｚ軸回りの回転が可能な構成であってもよい。例えば、関節部２５３ａおよび２５３ｄの部分についても、上記関節部２５３ｂと関節部２５３ｃと同様の構成を採用するようにしてもよい。

このように接続アーム部７が関節部２５３を有する構成とすることで、ＶＲゴーグル部５および把持操作部６（ひいては、立体画像提供部と可動撮像部）との間の位置関係、および／または、姿勢関係を変化させることが可能となる。図１４および図１５に、当該位置関係の変化の例を示す。図１４は、ＶＲゲームキット２を右側面から見た場合を想定した模式図である。この図では、接続アーム部７が当該図の水平方向に伸びきっている状態となっている。一方、図１５は、接続アーム部７が略Ｖ字型となっている状態である。そのため、ＶＲゴーグル部５および把持操作部６との間のｚ軸上の距離をみると、図１４の場合より図１５のほうが短い距離となる。すなわち、図１４の場合よりも図１５のほうが、把持操作部６がＶＲゴーグル部５により近づいた位置に変化していることになる。つまり、ＶＲゴーグル部５および把持操作部６との位置関係が変化している。また、図１６および図１７に、姿勢関係の変化の例を示す。図１６は、上記図１４のような状態のＶＲゲームキット２を、把持操作部６側から（ｚ軸に沿って）見た場合を想定した模式図である。なお、図１６および図１７では、把持操作部６の部分を検出しやすくするため、当該部分をドットパターンで示し、また、ＶＲゴーグル部５および把持操作部６の関係をわかりやすくするため、接続アーム部７の図示は省略している。この図１６の状態から、把持操作部６の姿勢をｚ軸回りに回転させることで変化させた状態（厳密には、本例の構成の場合は、第２アーム２５２も一緒に回転することになる）を、図１７で示している。つまり、図１６および図１７とでは、ＶＲゴーグル部５および把持操作部６の姿勢関係が変化しているものといえる。

また、接続アーム部７とＶＲゴーグル部５の接続位置について、本実施形態では、図９～図１０のｘ軸方向における略中央となる位置であって、レンズパーツ部２０７の下側となるような位置に接続アーム部７が接続されている。換言すれば、マーカ配置部２０２の下辺の略中央近傍の位置であって、マーカ配置部２０２の略中央となる位置を通って上下に伸びる直線を含むような位置に接続されている。また、把持操作部６と接続アーム部７との接続位置については、本実施形態では、ＶＲゴーグル部５側の端近傍となる位置で、コントローラ装着部２３１の下端部分近傍の位置に接続されている。

なお、上記関節部の接続位置や第１アーム２５１、第２アーム２５２（ひいては、把持操作部６）の可動範囲は一例であり、上記の構成に限るものではない。関節部の数を増やして第１アーム２５１、第２アーム２５２の可動範囲等をより大きくしてもよいし、逆に、関節部の数を減らして、第１アーム２５１、第２アーム２５２の可動範囲等をより小さくしてもよい。あるいは、例えば第１アーム２５１のみを用いるような構成でもよいし、アームの数を３以上とする構成であってもよい。

また、本実施形態では、第１アーム２５１と第２アーム２５２の長さは同じであるものとする。そして、図１８に示すように、接続アーム部７を最長の状態としたときの長さＬについては、例えば、成人男性の平均的な腕の長さとほぼ同じか、これより少し短い程度であるものとする。

ここで、図１９に、接続アーム部７を折りたたみ、最短の状態にした（折りたたんだ）場合の例を示す。図１９に示すように、最短の状態にした場合でも、マーカ配置部２０２と把持操作部６（コントローラ４の下面）との間で、ある程度の距離Ｍが確保されている。換言すれば、接続アーム部７は、最短の状態であっても、コントローラ４から赤外光をマーカ配置部２０２に照射し、その反射光を赤外撮像部１２３で撮像できる程度の距離が確保されるように構成されている。

本実施形態では、このようなＶＲゲームキット２を、段ボール素材の組み立てキットという形でユーザに提供する。ユーザは、自分でこのＶＲゲームキット２を組み立てるというものである。なお、他の実施形態では、ユーザに組み立てを任せる組み立てキットという形でなくともよい。例えば、ＶＲゴーグル部５、接続アーム部７、把持操作部６がプラスチック等の素材で一体成形された完成品として提供するようにしてもよい。もちろん、プラスチック成形ではあるが一体成形ではなく別体成形としてもよい。すなわち、ＶＲゴーグル部５、接続アーム部７、把持操作部６のそれぞれをプラスチック成形して、接続アーム部７で接続可能な構成（いわば、プラスチック素材の組み立てキット）としてもよい。

次に、ＶＲゴーグル部５の詳細を説明する。本実施形態では、レンズパーツ部２０７については着脱可能なように構成されている。参考のため、図２０に、レンズパーツ部２０７が分離した例の模式図を示す。図２０では、レンズパーツ部２０７の左右の凸部を、ＶＲゴーグル部５の凹部に合わせて、上方から差し込むようにして装着することができる。

なお、ゲーム装置本体３については、図２１に示すようにゲーム装置装着部２０１の右側（あるいは左側）に設けられた開口部から挿入することで、図２２に示すように装着される。

なお、他の実施形態では、上記のようにレンズパーツ部が着脱可能な構成でなくともよい。本実施形態では、段ボール素材の組み立てキットを想定するため、上記のように着脱可能な構成であったが、着脱機構は設けずに、例えばプラスチック等で一体的に成形したものであってもよい。

次に、上記マーカ配置部２０２におけるマーカに関して説明する。図２３に、マーカ２１１が配置されている面を正面として、マーカ配置部２０２を正面視した模式図を示す。すなわち、上記図２のような状態において、把持操作部６のある方向側にあたるＶＲゴーグル部５の面を正面として正面視した図である。本実施形態では、マーカ２１１ａ、２１１ｂ、２１１ｃ、２１１ｄ、２１１ｅの５つのマーカ２１１がマーカ配置部２０２上に設けられている。換言すれば、マーカ２１１は、ＶＲゴーグル部５に装着されたディスプレイ１２をユーザが見ている状態での当該ユーザの視線方向と実質的に同じ方向を向く面上に配置されていると言える。図２３に示すように、マーカ配置部２０２は矩形形状である。また、各マーカ２１１は、正方形の形状を有している。また、本実施形態では、上記マーカ２１１ａ～２１１ｅは、再帰性反射材である。このマーカ２１１は、マーカ配置部２０２に貼り付けられているものとする。

上記５つのマーカのうち、４つのマーカ（マーカ２１１ａ～２１１ｄ）については、マーカ配置部２０２より小さな矩形形状を想定した場合（図２３の点線部分２１３）の、その四隅となるような位置にそれぞれ配置される。そして、残りの１つ（マーカ２１１ｅ）は、上記想定した矩形形状における上辺部の略中央となるような位置に配置される。ここで、図２３において、この５つのマーカ２１１の配置は、図２３の点線２１４を基準に、上下非対称な配置となっている。当該点線２１４は、上記４つのマーカの中央点を通る線であり、かつ、左右方向に伸びる線となっている。ここで、当該中央点とは、その位置を始点として、マーカ２１１ａ～２１１ｄの４つのマーカをそれぞれ終点とする４本の直線を想定した場合に、これら４本の直線の長さ（始点から終点までの距離）が実質的に同一となるような位置（等距離となる位置）のことを指すものとする。また、これら５つのマーカの配置は、実質的に左右方向に延び、かつ、上記中央点を通る第２直線（点線２１４）を基準として上下非対称となるようにマーカを配置しているともいえる。換言すれば、本実施形態では、これら５つのマーカ２１１が同一直線上に並ばないように配置されている。このように上下非対称となるようマーカ２１１を配置としているのは、所定の１方向の認識を容易にするためである。具体的には、本実施形態では、マーカ２１１ｅは、「上方向」を示す役割を持つマーカとなっている。

本実施形態では、当該マーカ配置部２０２に向けて赤外発光部１２４から赤外光を照射するとともに、赤外撮像部１２３による撮像が行われる（撮像方向は赤外発光部１２４の照射方向となる）。そして、その撮像画像内における反射光画像（マーカ画像）に基づいて、コントローラ４の姿勢を算出する。具体的には、マーカ２１１ａ～２１１ｄに対応するマーカ画像に基づいて、コントローラ４の傾きが算出できる。ここで、更に、マーカ２１１Ｅに対応するマーカ画像を判別することで、マーカ２１１ｅのある方向が、実空間における「上」方向であることも判別可能となる。仮に、マーカ２１１ｅを用いない場合、上下方向の判別については、例えば上記加速度センサ１１４等を用いて重力方向を算出する等して判別することも可能ではある。しかし、このような別途の算出処理を行うよりは、上記マーカ２１１ｅを用いる手法のほうが、簡便に上下関係を判別することができる。

なお、所定の一方向が判別できればよいため、例えば、図２４に示すように、上記想定した矩形形状における右辺部の略中央となるような位置にマーカ２１１ｅが配置されるような構成でもよい。この場合は、マーカ２１１ｅは「右」を示す役割を有する。また、マーカ２１１の配置は、左右非対称な配置となる。換言すれば、マーカ群の中央点を通る線であり、かつ、上下方向に伸びる線を基準に、左右非対称となっている。このように、上記のような上下非対称、あるいは左右非対称なマーカの配置とすることによって、実空間における所定の一方向を簡便に判別することができ、処理負荷の軽減や処理の高速化を図ることができる。また、この構成により、例えば、把持操作部の側（可動撮像部）から見た場合の上下方向の概念、あるいは、左右方向の概念を判別しやすくすることもできる。

次に、把持操作部６へのコントローラ４の装着に関して説明する。図２５に示すように、本実施形態では、把持操作部６のコントローラ装着部２３１に、コントローラ４を装着する。このとき、コントローラ４の上記窓部６８のある下側面がユーザ側（ＶＲゴーグル部５側）を向くようにして装着される。なお、装着後のコントローラ４の位置は所定の位置で固定されるように構成されている。

図２６に、コントローラ４の装着前の把持操作部６を正面視した模式図を示す。また、図２７に、コントローラ４を装着した状態の把持操作部６を正面視した模式図を示す。なお、ここでいう正面は、上記図２の状態で、ＶＲゴーグル部５の側を向いている把持操作部６の側面（ユーザの方を向く側面）である。図２７で示されるように、装着後の状態では、コントローラ４の上記窓部６８がユーザ側を向くようにして固定されている。

ここで、コントローラ装着部２３１には、突起部２３５が設けられている。この突起部２３５の位置は、装着後のコントローラ４の所定のボタン、例えば、ボタン５６に相対するような位置となっている。そして、ユーザが、把持部２３２ａ、２３２ｂを握り込むことで、図２８に示すように、把持部２３２が把持操作部６の内側に少し傾くと共に、突起部２３５がボタン５６を押圧するような構造となっている。つまり、把持操作部６には、コントローラ４の所定のボタンを押下するための押し込み機構も備わっている。これにより、ユーザは、把持操作部６自体を動かすという操作の他、ボタン５６を押下するという操作も行うことができるようになっている。

このように、本実施形態のゲームシステムでは、コンパクトなシステム構成で、ＶＲゲーム等におけるユーザのモーションをキャプチャしたり、把持操作部６の位置や姿勢を推測したりすることができる。すなわち、従来のように、ユーザ全体を撮像可能なように予めカメラを設置する等の大がかりな手間をかけることなく、ユーザ周りの空間というコンパクトな空間を確保するだけで、ユーザのモーションをキャプチャしたり、把持操作部６の位置や姿勢を推測したりすることができる。

次に、図２９～図３０を参照して、本実施形態におけるゲームシステム１における処理についてより詳細に説明する。

［利用されるデータについて］
まず、本ゲームシステム１で用いられる各種データについて説明する。図２９は、ゲーム装置本体３のＤＲＡＭ８５に格納されるプログラムおよび情報の一例を示している。ＤＲＡＭ８５には、ゲーム処理プログラム４０１、操作データ４０２、現在姿勢データ４０６、直前姿勢データ４０７、オブジェクトデータ４０８等が格納される。

ゲーム処理プログラム４０１は、本実施形態にかかるゲーム処理を実行するためのプログラムである。具体的には、後述する図３０のフローチャート処理を実行するためのプログラムである。

操作データ４０２は、コントローラ４に対して行われた各種操作を示すデータである。操作データ４０２には、撮像画像データ４０３、慣性センサデータ４０４、ボタンデータ４０５等が含まれる。撮像画像データ４０３は、赤外撮像部１２３による撮像画像のデータである。慣性センサデータ４０４は、上記加速度センサ８９および角速度センサ９０から出力された加速度データ、角速度データである。ボタンデータ４０５は各種ボタンの押下状態を示すデータである。

現在姿勢データ４０６は、現在のコントローラ４の姿勢を示すデータである。直前姿勢データ４０７は、現在のコントローラ４の姿勢算出の前に算出された姿勢を示すデータである。すなわち、直前（直近）に算出された姿勢データである。

オブジェクトデータ４０８は、上記ブロックオブジェクト５０１やドリルオブジェクト５０２等、仮想空間内における各種オブジェクトのデータである。

［詳細フローチャート］
次に、図３０のフローチャートを参照して、ゲームシステム１によって実行されるゲーム処理の流れを説明する。なお、図３０のステップＳ１～Ｓ１０の処理は、例えば１フレーム（例えば１／６０秒）毎に繰り返し実行される。

まず、ステップＳ１で、プロセッサ８１は、操作データ４０２を取得する。次に、ステップＳ２で、プロセッサ８１は、操作データ４０２に含まれる撮像画像データ４０３の解析処理を行う。すなわち、撮像画像を解析し、当該撮像画像内における検出対象となるマーカに係る画像（以下、単にマーカ画像）を判別、特定するための処理を実行する。更に、特定された各マーカ画像の撮像画像内における位置、形状、大きさ、明度等を算出する処理が実行される。なお、マーカ画像が判別できない場合としては、例えば、撮像画像内にノイズ光の画像が多数映っているため、どれがマーカ画像であるか判別できないような場合がある。また、撮像時にマーカ２１１（５つとも）が撮像範囲内に含まれていなかった場合等も、マーカ画像が判別できないものとして扱われる。また、５つのマーカ２１１のうちの一部のみが映っているような場合は、マーカ画像が判別できないとして扱ってもよいし、所定の補間処理を行うことで、映っていないマーカ２１１を推測するような処理を行ってもよい。

次に、ステップＳ３で、プロセッサ８１は、上記解析処理の結果、マーカ画像が判別可能であるか否かを判定する。すなわち、有効なマーカ画像が得られたか否かを判定する。当該判定の結果、マーカ画像が判別可能であるときは（ステップＳ３でＹＥＳ）、ステップＳ４で、プロセッサ８１は、撮像画像データ４０３（上記解析処理で得られたマーカ画像）に基づいて、コントローラ４の姿勢を算出する。例えば、撮像画像におけるマーカ画像の位置関係に基づき、コントローラ４の姿勢が算出される。また、マーカ画像の大きさに基づいて、マーカ２１１とコントローラ４との間の相対的な距離（換言すれば、マーカに対するコントローラ４の相対的な位置）も算出される。そして、算出された姿勢および距離を示すデータを現在姿勢データ４０６としてＤＲＡＭ８５に記憶する。

一方、マーカ画像が判別できなかったときは（ステップＳ３でＮＯ）、ステップＳ５で、プロセッサ８１は、直前姿勢データ４０７および慣性センサデータ４０４に基づいて、コントローラ４の現在の姿勢を推測する処理を実行する。つまり、有効なマーカ画像が得られなかった場合は、直前に算出されていた姿勢に、慣性センサデータ４０４で示されるコントローラ４の動きを加えることで現在の姿勢および位置を推測する、という処理が実行される。そして、推測した姿勢及び位置を現在姿勢データ４０６として記憶する。このように、慣性センサデータ４０４も併用することで、例えば、マーカ２１１が撮像範囲内に一時的に入らない状況となった場合でも、コントローラ４の姿勢および位置を推測することが可能となる。

ここで、本実施形態では、上記のようなＶＲゲームキット２を用いた操作を行っている。上記図２で示したように、ユーザが、片手でＶＲゴーグル部５を把持し、もう一方の手で把持操作部６を把持するというスタイルで遊ぶため、コントローラ４の可動範囲もある程度限定される。すなわち、マーカ２１１とコントローラ４との相対的な位置関係は、ある程度限定されるものとなっている。つまり、上記コントローラ４の取り得る姿勢として考えられる範囲は、ある程度限られるものになっているといえる。そのため、例えば、部屋全体のような広い範囲を撮像してユーザのモーションを判別するＶＲシステムに比べると、上記のようなユーザのモーション（現在姿勢）の算出や推測の精度を高くすることが可能となっている。

次に、ステップＳ６で、プロセッサ８１は、現在姿勢データ４０６に基づいて、仮想空間内においてドリルオブジェクト５０２を移動させる。

次に、ステップＳ７で、プロセッサ８１は、ドリル回転用として予め設定されているボタンが押下されているか否かをボタンデータ４０５に基づいて判定する。当該判定の結果、ドリル回転用のボタンが押下されているときは（ステップＳ７でＹＥＳ）、ステップＳ８で、プロセッサ８１は、ドリルオブジェクト５０２（の先端部分）とブロックオブジェクト５０１とが接触しているか否かを判定する。その結果、接触していれば、ブロックオブジェクト５０１をその接触位置に基づいて適宜変形させる処理が実行される。一方。接触していないときは、ブロックオブジェクト５０１の変形は行われない。

一方、上記ステップＳ７で、ドリル回転用のボタンは押下されていないと判定されたときは（ステップＳ７でＮＯ）、上記ステップＳ８の処理は行われない。

次に、ステップＳ９で、プロセッサ８１は、直前姿勢データ４０７の更新を行う。すなわち、現在姿勢データ４０６の内容を直前姿勢データ４０７として記憶する処理が行われる。

次に、ステップＳ１０で、上記のような処理が反映された仮想空間を仮想カメラで撮像し、ゲーム画面を生成して表示する処理が実行される。本実施形態では、ゲーム画面は立体視画面であるため、ここでは、視差のある右目用画像および左目用画像がそれぞれ生成され、これを横に並べるようにしてディスプレイ１２に表示されることになる。

このように、本実施形態では、ユーザが、片手にマーカを有するＶＲゴーグル部５を把持し、もう片方の手でこのマーカを撮像可能な把持操作部６を把持し、マーカを撮像しながら当該把持操作部６を動かすというようなゲームシステムを提供している。そして、把持操作部６の姿勢や操作内容に基づいてゲーム処理が実行される。そのため、ユーザ周りのコンパクトな空間を確保するだけで、ユーザのモーションを反映するＶＲゲーム等を楽しませることができる。また、そのシステム構成についても、大がかりなＶＲ用のカメラの設置作業等は不要であり、簡便なシステム構成にすることが可能となっている。

また、ＶＲゴーグル部５と把持操作部６とが接続アーム部７で接続された構成であるため、把持操作部６の可動範囲は、接続アーム部７の可動範囲に基づいて制限された範囲となる。すなわち、把持操作部６の取り得る姿勢がある程度限定されるため、把持操作部６（コントローラ４）の姿勢の推測について、より精度の高い推測も可能である。

（変形例）
なお、上記実施形態におけるゲーム装置本体３に関して、他の実施形態では、上記のようなゲーム処理が可能なスマートフォンやタブレット端末等の情報処理装置であってもよい。コントローラ４についても、このようなスマートフォン等と通信可能なものであってもよい。

また、上記実施形態では、ＶＲゴーグル部５は基本的には動かさずに、把持操作部６の位置を変化させてゲームをプレイする例を示した。他の実施形態では、逆に、把持操作部６のほうを動かさず（固定して）、ＶＲゴーグル部５のほうを（つまり、プレイヤの頭部のほうを）動かすような操作で遊ぶようなゲーム処理であってもよい。

また、ＶＲゴーグル部５に関して、上記実施形態では、ゲーム装置本体３（表示装置）を装着する構成（別体の構成）としていたが、他の実施形態では、これらを一体型の構成としてもよい。例えば、ＶＲゴーグル部５およびゲーム装置本体３（のディスプレイ１２）に相当する部分を、ＨＭＤ（ヘッドマウントディスプレイ）として構成してもよい。また、上記ゲーム装置本体３と同等の機能を当該ＨＭＤが有するように構成してもよい。つまり、当該ＨＭＤが、上述のようなゲーム処理を実行する構成でもよい。

更には、上述したゲーム処理を実行するための情報処理機能については、上記のようにゲーム装置本体３やＨＭＤ自体に持たせる構成の他、例えば、コントローラ４にこのような処理機能を持たせても良い。あるいは、ゲーム装置本体３やＨＭＤやコントローラ４とは更に別体の情報処理装置にこのような処理機能を持たせる構成としてもよい。例えば、ＨＭＤおよびコントローラ４と通信可能な据え置き型ゲーム装置等に、上述のようなゲーム処理を実行させてもよい。この場合は、据え置き型ゲーム装置で生成されたゲーム画像がＨＭＤに有線あるいは無線通信で送信されるような構成としてもよい。

また、上記ディスプレイ１２に関して、上記の例では、単一のディスプレイ１２に右目用画像および左目用画像を並べて表示して立体視画像を提供する構成を示していた。これに限らず、例えば、右目用のディスプレイと左目用のディスプレイとの２つの異なるディスプレイを用いるような構成であってもよい。すなわち、この２つのディスプレイを左右に並べて配置し、右目用画像を右目用のディスプレイに、左目用画像を左目用のディスプレイに表示することで立体視画像を表示する構成であってもよい。

また、マーカ２１１に関して、上記の例では、再帰性反射材であるマーカ２１１をマーカ配置部２０２に貼り付けた構成を例として説明した。このような構成に限らず、他の実施形態では、マーカ配置部２０２に直接的に描かれた画像をマーカ２１１とする構成であってもよい。また、マーカ２１１の形状も、上記のような正方形に限らず、他の形状であっても良い。あるいは、所定の模様やパターン図をマーカ２１１としてもよい。

また、更に他の実施形態では、不可視タイプのマーカを用いる構成であってもよい。すなわち、赤外線反射顔料などを用いて、見た目ではマーカであるとは分からないように描かれたマーカを用いても良い。例えば、マーカ配置部２０２の全面に所定のイラストが描画されたものを想定する。そして、このイラストの一部分（例えば上記マーカ２１１の位置に対応する箇所）だけを、赤外線反射顔料（例えばカーボンを含有する塗料）で描画したものである。この際、赤外線反射顔料を用いていない描画箇所との差異が分からないように描画される。

また、マーカ２１１の数について、上記の例では、５つのマーカの場合を例としたが、これに限らず、５つ以上のマーカを用いる構成としてもよい。また、マーカ数を３つあるいは４つの構成としてもよい。なお、上記の処理を実現するためには、マーカ数は最低でも３つは必要となる。例えば、３つのマーカを三角形状に配置した構成が考えられる。これに関して、上記不可視タイプのマーカを併用し、例えば、大きな三角形を一つだけ描き、その頂点部分のみ、赤外線反射顔料を用いるような構成としてもよい。なお、マーカ数を増やすことで、認識精度を高める点で有利になり、マーカ数を抑えることで、処理負荷の点で有利となる。

また、ＶＲゴーグル部５におけるマーカ２１１（マーカ配置部２０２）の配置位置（配置箇所）に関し、上記実施形態では、ＶＲゴーグル部５に装着したゲーム装置本体３のディスプレイ面とは反対側となるＶＲゴーグル部５の面（上記例では正面）にマーカ２１１を配置していた。つまり、ＶＲゴーグル部５のレンズを通してディスプレイを見る場合のユーザの視線方向と略直交する面であって、ユーザから遠ざかる方向の面にマーカ２１１を配置していた。マーカの配置位置については、これに限らず、例えば、ＶＲゴーグル部５の左右の側面部分にも更にマーカ２１１を設ける構成としてもよい。これにより、把持操作部６（コントローラ４）を左右に大きく動かした場合でも、赤外撮像部１２３の撮像範囲内にマーカ２１１を含めることができる。そのため、コントローラ４の姿勢等を推測可能な範囲を広くすることができ、操作の自由度をより高めることができる。

なお、ＨＭＤ等の場合で、上記マーカ配置部２０２にあたる位置が板状の形状を有さないようなＨＭＤ等も想定される。このような形状の場合は、ディスプレイを見るユーザの視線方向に対向する側から見た場合（換言すれば、赤外撮像部１２３から見た場合）に視認可能なＨＭＤ上の位置に、上記のようなマーカ２１１が配置されていればよい。

また、上記の例では、撮像画像からマーカ画像を特定等するための分析処理をゲーム装置本体３側で行う例を示したが、他の実施形態では、コントローラ４側で行うようにしても良い。つまり、コントローラ４側で、撮像画像を分析し、マーカ画像の有効／無効、マーカの数や大きさ、明度を算出して、その算出結果をゲーム装置本体３に送信するような構成としても良い。

また、上記把持操作部６に関して、上記の例では、コントローラ４を把持操作部６に装着する例（すなわち、別体の構成）を示したが、他の実施形態では、上記コントローラ４を装着した状態の把持操作部６の構成について、一体型の構成としてもよい。すなわち、上記コントローラ４を装着した状態の把持操作部６の機能・構成を最初から一体型のパーツとして提供するようにしてもよい。例えばプラスチック成形でそのハウジングを構成し、内部的に、上記のような赤外発光部１２４、赤外撮像部１２３や通信機能等を実現する回路や機構を実装するようにしてもよい（換言すれば、一種の専用コントローラとして一体成形するようにしてもよい）。

また、把持操作部６の形状や、ボタンの押し込み機構に関しても、上記の例に限り物ではない。例えば、ボタンの押し込み機構については無くとも良いし、逆に、２つ以上のボタンの押圧操作が可能な構成であってもよい。また、ボタン操作についても、例えばユーザの指で直接的に押圧操作可能な構成としてもよい。

また、操作対象に関して、上記のようなボタンの押圧操作だけに限らず、他の実施形態ではタッチパネルやホイール、スライダー等を操作対象とするようにしてもよい。

また、上記接続アーム部７の接続位置に関して、上記の例では、ＶＲゴーグル部５と接続アーム部７の接続位置の例として、マーカ配置部２０２の下辺の略中央近傍の位置であって、当該マーカ配置部２０２の略中央を通って上下に伸びる直線を含むような位置に接続されている例を示した。他の実施形態では、このような位置に限らず、例えば、マーカ配置部２０２の上辺の略中央近傍に接続されるような構成でもよい。あるいは、例えばＶＲゴーグル部５の左右いずれかの側面の下辺部分近傍であって、マーカ配置部２０２に近い位置に接続されるように構成しても良い。

また、上記の例では、接続アーム部７は、可動関節部を用いた折りたたみ可能な構成として伸縮可能な構成としていた。他の実施形態では、例えば、一方のアーム部を他方のアーム部の内部にスライドして収納可能な伸縮機構を有する伸縮アームの構成としてもよい。また、このような可動関節部や伸縮機構のようなギミックによる伸縮の他、例えば、ゴム等の弾性素材によって伸縮が可能な構成としてもよい。換言すれば、接続アーム部７の「伸縮」については、上記ギミックによる伸縮と、弾性素材による伸縮とが含まれる。

また、上記ゲームシステム１において、上記接続アーム部７を設けない構成としてもよい。つまり、上記ゲーム装置本体３を装着したＶＲゴーグル部５と、コントローラ４を装着した把持操作部６とは完全に分離した構成であってもよい。この場合、例えば左手でゲーム装置本体３を装着したＶＲゴーグル部５を把持し、右手でコントローラ４を装着した把持操作部６を持つというプレイスタイルとなる。また、この場合は、把持操作部６の可動範囲は、ユーザの右腕の可動範囲とほぼ同じとなる。上述した接続アーム部７を用いる構成の場合よりは、広い可動範囲となり得るため、操作の自由度が高まる点で有利である。

また、上述の処理は、ゲーム処理の他、片手で持って操作する道具（電動工具等）の操作練習用のシミュレーション処理等の情報処理にも適用可能である。

１ ゲームシステム
２ ＶＲゲームキット
３ ゲーム装置本体
４ コントローラ
５ ＶＲゴーグル部
６ 把持操作部
７ 接続アーム部

Claims (20)

1. 周囲を撮像するための撮像部を有し、ユーザによって把持可能な可動撮像部と、
   互いに視差のある左目用画像および右目用画像からなる立体視画像を表示する少なくとも１つの表示部、前記立体視画像を見ている状態の前記ユーザの顔の一部と当接可能な当接部、および、当該ユーザによって把持されている状態の前記可動撮像部の前記撮像部によって撮像可能な被検出部を有する立体画像提供部と、
   一方の端が前記可動撮像部の一部と接続され、他方の端が前記立体画像提供部の一部と接続される接続部と、
   前記撮像部によって撮像された画像に含まれる前記被検出部を示す被検出部画像を検出する検出部と、
   前記検出部によって検出された前記被検出部画像の前記撮像された画像における位置および／または形状を特定する特定部と、
   前記特定部によって特定された前記被検出部画像の前記撮像された画像における位置および／または形状に基づいて、前記可動撮像部の姿勢および／または位置を推測する推測部と、
   前記推測部による推測結果に基づいて、前記少なくとも１つの表示部に表示する前記立体視画像を生成する画像生成部とを備える、姿勢位置推測システム。
2. 前記可動撮像部は、更に、操作部、および、当該操作部に対する前記ユーザの操作に基づいて所定のデータを生成する操作データ生成部を有し、
   前記画像生成部は、更に、前記推測部による推測結果と前記操作データ生成部によって生成されたデータとに基づいて、前記少なくとも１つの表示部に表示する立体視画像を生成する、請求項１に記載の姿勢位置推測システム。
3. 前記可動撮像部は、更に、前記撮像部の撮像方向と少なくとも実質的に同じ方向へ所定の光を発する発光部とを有し、
   前記被検出部は、前記発光部からの所定の光を反射する再帰性反射材である、請求項１または２に記載の姿勢位置推測システム。
4. 前記被検出部は、前記ユーザの顔の一部が前記当接部に当接している状態で前記少なくとも１つの表示部を見ている当該ユーザの視線方向と実質的に同じ方向を向く前記立体画像提供部の所定面、および／または、当該視線方向に対向する方向から見た場合に視認可能な前記立体画像提供部における位置に設けられる、請求項１乃至３のいずれか１つに記載の姿勢位置推測システム。
5. 前記立体画像提供部は、所定の領域を有する複数の前記被検出部を有し、
   当該複数の被検出部は、同一の直線上には並ばないような３つの被検出部を含む、請求項１乃至４のいずれか１つに記載の姿勢位置推測システム。
6. 前記複数の被検出部は、前記立体画像提供部の前記所定面を正面視した場合において、前記少なくとも３つ以上の被検出部が左右非対称および／または上下非対称となるように配置される、請求項５に記載の姿勢位置推測システム。
7. 前記複数の被検出部は、当該複数の被検出部それぞれを終点とした場合に、当該終点までの直線距離が実質的に同一となるような始点位置である中央点を通る直線を基準として左右非対称および／または上下非対称となるように配置される、請求項６に記載の姿勢位置推測システム。
8. 前記可動撮像部は、更に、加速度センサおよび／または角速度センサを有し、
   前記推測部は、更に、前記加速度センサおよび／または角速度センサによる検出結果に基づいて、前記可動撮像部の姿勢および／または位置を推測する、請求項１乃至７のいずれか１つに記載の姿勢位置推測システム。
9. 前記推測部は、前記可動撮像部で撮像された画像において前記被検出部画像を判別または特定できない場合に、前記加速度センサおよび／または角速度センサによる検出結果に基づいて、前記可動撮像部の姿勢および／または位置を推測する、請求項８に記載の姿勢位置推測システム。
10. 前記接続部と前記立体画像提供部とが接続される位置は、前記被検出部が設けられている面の下辺近傍であって、当該被検出部が設けられている面を正面視した場合に略中央となる位置を通って上下方向に伸びる直線の上または近傍である、請求項１に記載の姿勢位置推測システム。
11. 前記接続部は、当該接続部と前記立体画像提供部とが接続される位置の近傍に設けられる第１の可動部を有し、
    前記第１の可動部によって、前記立体画像提供部と前記可動撮像部との相対的な位置関係および／または姿勢関係が変更可能である、請求項１乃至１０のいずれかに記載の姿勢位置推測システム。
12. 前記接続部は、当該接続部と前記立体画像提供部とが接続される位置、および、当該接続部と前記可動撮像部とが接続される位置のいずれにも該当しない所定の位置に設けられる第２の可動部を有し、
    前記第２の可動部によって、前記立体画像提供部と前記可動撮像部との相対的な位置関係および／または姿勢関係が変更可能である、請求項１乃至１１のいずれか１つに記載の姿勢位置推測システム。
13. 前記接続部は、当該接続部と可動撮像部とが接続される位置の近傍に設けられる第３の可動部を有し、
    前記第３の可動部によって、前記立体画像提供部と前記可動撮像部との相対的な位置関係および／または姿勢関係が変更可能である、請求項１乃至１２のいずれか１つに記載の姿勢位置推測システム。
14. 前記接続部は、伸縮可能である、請求項１乃至１３のいずれか１つに記載の姿勢位置推測システム。
15. 前記撮像部および前記操作部は、前記可動撮像部に着脱可能なハウジングに設けられる、請求項２乃至１４のいずれか１つに記載の姿勢位置推測システム。
16. 前記可動撮像部は、前記撮像部の撮像方向が前記ユーザに面するように、前記一方の端を介して前記接続部に接続される、請求項１に記載の姿勢位置推測システム。
17. 前記ユーザによって立体画像提供部が使用されるとき、前記接続部の前記他方の端は、前記立体画像提供部の下部に接続される、請求項１に記載の姿勢位置推測システム。
18. 前記一方の端は、前記可動撮像部と電気的に接触することなく接続され、
    前記他方の端は、前記立体画像提供部と電気的に接触することなく接続される、請求項１に記載の姿勢位置推測システム。
19. 互いに視差のある左目用画像および右目用画像からなる立体視画像を表示する少なくとも１つの表示部、前記立体視画像を見ている状態のユーザの顔の一部と当接する当接部、および、被検出部を有する立体画像提供部の当該被検出部を、
    周囲を撮像するための撮像部を有し、一方の端が前記立体画像提供部の少なくとも一部と接続される接続部の他方の端と接続されており、かつ、ユーザによって把持可能な可動撮像部の当該撮像部を用いて撮像し、当該撮像された画像に含まれる当該被検出部を示す被検出部画像を検出する検出ステップと、
    前記検出ステップによって検出された前記被検出部画像の前記撮像された画像における位置および／または形状を特定する特定ステップと、
    前記特定ステップによって特定された前記被検出部画像の前記撮像された画像における位置および／または形状に基づいて、前記可動撮像部の姿勢および／または位置を推測する推測ステップと、
    前記推測ステップによる推測結果に基づいて、前記表示部に表示する立体視画像を生成する画像生成ステップとを有する、姿勢位置推測方法。
20. 周囲を撮像するための撮像部を有し、ユーザによって把持可能な可動撮像部と、
    互いに視差のある左目用画像および右目用画像からなる立体視画像を表示する少なくとも１つの表示部、前記立体視画像を見ている状態のユーザの顔の一部と当接する当接部、および、前記ユーザが前記可動撮像部を把持している状態における前記撮像部によって撮像可能な被検出部を有する立体画像提供部と、
    少なくとも２つの端を有し、一方の端が前記可動撮像部の少なくとも一部と接続され、他方の端が前記立体画像提供部の少なくとも一部と接続される接続部と、
    前記可動撮像部の前記撮像部によって撮像された画像に含まれる前記被検出部を示す被検出部画像を検出する検出部と、
    前記検出部によって検出された前記被検出部画像の前記撮像された画像における位置および／または形状を特定する特定部と、
    前記特定部によって特定された前記被検出部画像の前記撮像された画像における位置および／または形状に基づいて、前記可動撮像部の姿勢および／または位置を推測する推測部と、
    前記推測部による推測結果に基づいて、前記表示部に表示する立体視画像を生成する画像生成部とを備える、姿勢位置推測装置。

Images