JP5174908B2 - 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法 - Google Patents

Description

本発明は、携帯型ゲーム装置及び携帯型ゲーム装置の制御方法に関する。

携帯型ゲーム装置が普及し、プレイヤはさまざまな場所でゲームを楽しむことができる。このような携帯型ゲーム装置には、カメラなどの撮像手段と接続できるものが存在する。カメラと接続できる携帯型ゲーム装置では、カメラによって撮像される人物などの画像の蓄積や撮像される画像を用いた情報処理を行うことができる。また、例えば、特許文献１に開示されているような、３次元仮想物体をあたかも現実世界に存在するかのように表示させるようにした３次元仮想物体表示装置に関する技術が知られている。

特許第３５５８１０４号公報

しかしながら、撮像手段と接続できる従来の携帯型ゲーム装置では、レンズの前に存在する人物などの撮像対象オブジェクトを二次元の投影面に投影した二次元画像しか生成することができなかった。そのため、ゲームによっては、生成される画像から得られるデータが充分ではなく、画像が充分活用されているとはいえなかった。

本発明は、上記課題に鑑みてなされたものであって、その目的の一つは、撮像手段から生成される画像の活用性を向上することができる携帯型ゲーム装置及び携帯型ゲーム装置の制御方法を提供することにある。

上記課題を解決するために、本発明に係る携帯型ゲーム装置は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段と、前記撮像対象オブジェクトとの距離を測定する距離測定手段と、前記撮像対象オブジェクト画像、及び、前記距離測定手段により測定される距離に基づく情報処理を実行する情報処理実行手段と、を備えることを特徴とする。

また、本発明に係る携帯型ゲーム装置の制御方法は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像ステップと、前記撮像対象オブジェクトとの距離を測定する距離測定ステップと、前記撮像対象オブジェクト画像、及び、前記距離測定手段により測定される前記距離に基づく情報処理を実行する情報処理実行ステップと、を含むことを特徴とする。

本発明によると、撮像対象オブジェクト画像と、撮像対象オブジェクトと携帯型ゲーム装置との距離と、を情報処理に活用することができるので、撮像手段から生成される画像の活用性を向上することができる。

本発明の一態様では、前記距離測定手段が、順次、前記距離を測定して、前記情報処理実行手段が、前記距離測定手段により測定される距離の変化に応じて、実行する情報処理の内容を変更することを特徴とする。こうすれば、撮像対象オブジェクトと携帯型ゲーム装置との距離の変化を情報処理に活用することができる。

また、本発明の一態様では、前記情報処理実行手段が、前記距離測定手段により測定される距離に基づく画像を表示手段に表示することを特徴とする。こうすれば、画像の表示処理に、撮像対象オブジェクトと携帯型ゲーム装置との距離を活用することができる。

また、本発明の一態様では、前記距離測定手段が、順次、前記距離を測定して、前記情報処理実行手段が、仮想空間の画像を、当該仮想空間に配置された視点の位置に従って生成して、生成された前記仮想空間の画像を表示手段に表示して、前記距離測定手段により測定される距離の変化に応じて、前記仮想空間における前記視点の位置を変更することを特徴とする。こうすれば、仮想空間に配置された視点の位置に従って生成される仮想空間の画像を表示する処理に、撮像対象オブジェクトと携帯型ゲーム装置との距離の変化を活用することができる。

また、この態様では、前記撮像手段が、順次、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成して、前記情報処理実行手段が、前記撮像手段により撮像される前記撮像対象オブジェクト画像の変化に応じて、前記仮想空間における前記視点の位置又は向きの少なくとも一方を変更するようにしてもよい。こうすれば、仮想空間に配置された視点の位置に従って生成される仮想空間の画像を表示する処理に、順次撮像される撮像対象オブジェクト画像の変化を活用することができる。

また、本発明の一態様では、前記撮像手段と、前記距離測定手段とは、一体的に形成されていることを特徴とする。

また、本発明に係る携帯型ゲーム装置は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段を備え、前記撮像手段が、複数のレンズと、光を反射する反射部材と、前記反射部材により反射される光を受けて前記撮像対象オブジェクト画像を生成する撮像素子と、を有し、前記反射部材が、各前記レンズを透過する光を前記撮像素子へ向けて反射する反射部材位置の間を移動可能に支持されていることを特徴とする。

本発明によれば、異なる方向の撮像対象オブジェクトを撮像して撮像対象オブジェクト画像をまとめて生成することができるので、撮像手段から生成される画像の活用性を向上することができる。

本発明の一態様では、予め定められた規則に従って、各前記反射部材位置の間を移動するよう前記反射部材を駆動する反射部材駆動手段をさらに含むことを特徴とする。こうすれば、異なる方向の撮像対象オブジェクトを撮像した画像を予め定められた規則に従って生成することができる。

本発明に係る携帯型ゲーム装置の制御方法は、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成する撮像手段を備え、前記撮像手段が、複数のレンズと、光を反射する反射部材と、前記反射部材により反射される光を受けて前記撮像対象オブジェクト画像を生成する撮像素子と、を有し、前記反射部材が、各前記レンズを透過する光を前記撮像素子へ向けて反射する反射部材位置の間を移動可能に支持されている、携帯型ゲーム装置の制御方法であって、予め定められた規則に従って、各前記反射部材位置の間を移動するよう前記反射部材を駆動する反射部材駆動ステップを含むことを特徴とする。

本発明の一実施形態に係る携帯型ゲーム装置の一例を示す斜視図である。 本発明の一実施形態に係る携帯型ゲーム装置のハードウェア構成の一例を示すハードウェア構成図である。 仮想空間の一例を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 仮想空間の画像が表示部に表示される様子を示す図である。 本発明の一実施形態に係る携帯型ゲーム装置の機能ブロック図である。 プレイヤ基礎画像の一例を示す図である。 プレイヤ画像の一例を示す図である。 本発明の一実施形態に係る携帯型ゲーム装置で行われる処理のフローの一例を示す図である。 本発明の一実施形態に係る携帯型ゲーム装置を将棋ゲームに用いている様子の一例を説明する説明図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の一例を示す図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の一例を示す図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の一例を示す図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。 本発明の別の一実施形態に係る携帯型ゲーム装置で行われる処理のフローの一例を示す図である。 本発明の別の一実施形態に係る携帯型ゲーム装置の撮像部の構成の概要の一例を示す概要図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本実施形態に係る携帯型ゲーム装置１の一例を示す斜視図である。図２は、図１に示す携帯型ゲーム装置１のハードウェア構成の一例を示すハードウェア構成図である。図１及び図２に示すように、本実施形態に係る携帯型ゲーム装置１の筐体１０の形状は、箱形である。そして、本実施形態に係る携帯型ゲーム装置１は、制御部１２、記憶部１４、表示部１６、操作部１８、撮像部２０、距離測定部２２、通信部２４を備えている。

制御部１２はＣＰＵ等のプログラム制御デバイスであり、記憶部１４に格納されたプログラム（例えば、ゲームプログラム）に従って動作する。

記憶部１４は、ＲＡＭ等の記憶素子やハードディスクなどである。記憶部１４には、制御部１２によって実行されるプログラムなどが格納される。具体的には、例えば、制御部１２で実行されるゲームプログラムが格納される。このゲームプログラムは、例えば、ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の情報伝達媒体を介して、あるいは、インターネット等の通信ネットワークを介して携帯型ゲーム装置１に供給される。また、記憶部１４は、制御部１２のワークメモリとしても動作する。

表示部１６は、例えば液晶ディスプレイ等であり、制御部１２からの指示に従って、画像の表示を行う。本実施形態では、表示部１６は、携帯型ゲーム装置１の筐体１０の正面中央部に設けられている。ここで、制御部１２は、表示部１６に、表示される画像の解像度やアスペクト比などといった属性を併せて指示してもよい。また、制御部１２は、実行するプログラムに含まれる、画像の解像度やアスペクト比などといった属性を示す属性情報の内容に従って表示部１６に表示される画像の属性を指示してもよい。

操作部１８は、例えば、操作部材（具体的には、例えば、十字キーやボタン）であり、当該操作部材に対する操作に応じた出力データを制御部１２に対して出力する。制御部１２は、この出力データを取得することで、当該出力データを用いてプレイヤの操作部材に対する操作に応じた処理を実行する。本実施形態では、操作部１８は、携帯型ゲーム装置１の表示部１６の左右に設けられている。すなわち、操作部１８は、携帯型ゲーム装置１の筐体１０の正面左側及び正面右側に分かれて配置されている。

撮像部２０は、例えば、公知のデジタルカメラを含んで構成され、所定時間（例えば１／６０秒）ごとに、白黒、グレイスケール又はカラーの画像（例えば、ＪＰＥＧ形式の画像）を生成する。なお、撮像部２０は、標準カメラであっても、望遠カメラであっても、広角カメラであっても構わない。本実施形態では、撮像部２０は、表示部１６の上側に設けられている。すなわち、撮像部２０は、筐体１０の正面中央付近上側に設けられている。

距離測定部２２は、携帯型ゲーム装置１と、その外部に存在する外部オブジェクトとの距離を測定する。距離測定部２２は、例えば、携帯型ゲーム装置１の正面によって形成される平面と、外部オブジェクトとの距離（より具体的には、例えば、外部オブジェクトから、携帯型ゲーム装置１の正面によって形成される平面に下ろした垂線の長さ）を測定する。そして、距離測定部２２は、撮像部２０によって生成される画像に含まれる各画素に、その画素に対応する、外部オブジェクト上の点と携帯型ゲーム装置１との距離を対応づける。距離測定部２２は、具体的には、例えば、複数のレンズから構成されるステレオカメラであり、それぞれのレンズの視差に基づいて、外部オブジェクトと携帯型ゲーム装置１との距離を測定する。距離測定部２２は、ステレオカメラにはもちろん限定されず、距離測定部２２は、赤外線を出力して、その赤外線が撮像対象オブジェクトに反射して戻ってくるまでの時間を測定して、その測定された時間に基づいて、外部オブジェクトと携帯型ゲーム装置１との距離を測定しても構わない。また、距離測定部２２が、焦点距離の異なる複数のレンズから構成され、これらのレンズのうち、外部オブジェクトに対してピントが合ったレンズに基づいて、外部オブジェクトと携帯型ゲーム装置１との距離を測定しても構わない。なお、本実施形態では、距離測定部２２は、撮像部２０と一体的に形成されており、表示部１６の上側に設けられている。すなわち、距離測定部２２は、正面中央付近上側に設けられている。

通信部２４は、例えば、ネットワークインタフェースなど（具体的には、例えば、無線ＬＡＮモジュール）であり、制御部１２から入力される指示に従って、他の携帯型ゲーム装置１や、インターネット上のサーバ（図示せず）などへ情報を送信する。また、この通信部２４は、受信される情報を制御部１２に出力する。

本実施形態においては、携帯型ゲーム装置１は、図３に示す仮想空間２６（本実施形態では、仮想３次元空間）における各仮想オブジェクト２８の位置、視点３０の位置、及び、視線方向３２に基づいて、図４Ａ〜図４Ｃや図５Ａ〜図５Ｃに示すように、携帯型ゲーム装置１の前のプレイヤ３４の顔の位置や向きに応じた画像を生成して、生成された画像を表示する仮想空間表示処理を実行する。

具体的には、例えば、プレイヤ３４の顔が前進すると（図４Ａ参照）、仮想空間２６における視点３０が前進し、図４Ｂに示すような仮想空間２６の画像が液晶ディスプレイなどの表示部１６に表示される。一方、プレイヤ３４の顔が後退すると（図４Ａ参照）、仮想空間２６における視点３０が後退し、図４Ｃに示すような仮想空間２６の画像が表示部１６に表示される。

そして、プレイヤ３４の顔が携帯型ゲーム装置１に対して反時計回りに回転すると、（図５Ａ参照）、仮想空間２６における視点３０や視線方向３２が反時計回りに回転し、図５Ｂに示すような仮想空間２６の画像が表示部１６に表示される。一方、プレイヤ３４の顔が携帯型ゲーム装置１に対して時計回りに回転すると（図５Ａ参照）、仮想空間２６における視点３０や視線方向３２が時計回りに回転し、図５Ｃに示すような仮想空間２６の画像が表示部１６に表示される。

図６は、本発明の、この実施形態に係る携帯型ゲーム装置１の機能ブロック図である。図６に示すように、この実施形態に係る携帯型ゲーム装置１は、機能的には、仮想空間データ記憶部４０、視点データ記憶部４２、基礎画像生成部４４、特徴量算出部４６、基礎画像記憶部４８、基礎画像通信部５０、撮像対象オブジェクト画像生成部５２、撮像対象オブジェクト距離測定部５４、情報処理実行部５６（撮像対象オブジェクト配置算出部５６ａ、視点データ変更部５６ｂ、及び、仮想空間表示部５６ｃ）を含むものとして機能する。

仮想空間データ記憶部４０は、記憶部１４を主として実現される。仮想空間データ記憶部４０は、例えば、図３に示すような、仮想空間２６における各仮想オブジェクト２８の位置（例えば、座標値）を示す仮想オブジェクト位置データを記憶する。具体的には、例えば、仮想空間データ記憶部４０は、図３に示すように、部屋に相当する部屋仮想オブジェクト２８ａの位置、球形のボール仮想オブジェクト２８ｂの位置、及び、直方体形状のボックス仮想オブジェクト２８ｃの位置、を示す仮想オブジェクト位置データ（例えば、各頂点の３次元座標値や、球の中心の３次元座標値及び半径の長さなど）を記憶している。図３に示すように、この仮想空間２６では、部屋に相当する箱型の部屋仮想オブジェクト２８ａの内部に、球形のボール仮想オブジェクト２８ｂと直方体形状のボックス仮想オブジェクト２８ｃが配置されている。そして、ボール仮想オブジェクト２８ｂは部屋仮想オブジェクト２８ａの下面上に配置されており、ボックス仮想オブジェクト２８ｃは部屋仮想オブジェクト２８ａの上面に接触して配置されている。

視点データ記憶部４２は、記憶部１４を主として実現される。視点データ記憶部４２は、例えば、図３に示すような、仮想空間２６における視点３０の位置（例えば、３次元座標値）を示す視点位置データと、この視点３０の視線方向３２を示す視線方向データと、を含む視点データを記憶する。

基礎画像生成部４４は、撮像部２０と制御部１２と操作部１８を主として実現される。基礎画像生成部４４は、例えば、図７に示すような、プレイヤ３４を示す画像（プレイヤ基礎画像６０）などの基礎画像を生成する。

具体的には、例えば、基礎画像生成部４４は、所定時間ごとに、順次、画像を生成して、生成された画像を、枠画像６２とともに表示部１６に順次表示するよう制御する。このとき、プレイヤ３４は、自分の顔の画像（顔画像６４）が、枠画像６２の中に入るように、携帯型ゲーム装置１を移動させる。このとき、プレイヤ３４自身が移動しても、もちろん構わない。ここで、プレイヤ３４が、操作部１８を操作（例えば、ボタンを押下）すると、基礎画像生成部４４が、表示部１６の枠画像６２内に表示されている画像をプレイヤ基礎画像６０として、後述する基礎画像記憶部４８に記憶する。

なお、プレイヤ３４が、操作部１８を操作することによって、図７に示す、表示部１６に表示される枠画像６２の位置や大きさを変更できるようにしても構わない。

また、基礎画像生成部４４が、距離測定部２２が撮像部によって撮像される画像に対応する外部オブジェクトと、携帯型ゲーム装置１との距離を測定して、所定の距離より短い測定距離に対応付けられる画素について、その画像を表示するよう表示部１６を制御してもよい。また、表示部１６が画像を表示する際に、基礎画像生成部４４が、距離測定部２２によって測定される距離に応じた映像効果を付与するよう表示部１６を制御するようにしてもよい。具体的には、例えば、基礎画像生成部４４は、表示部１６が画像を表示する際に、水に顔をつけるような映像効果や暗闇から顔が浮き出てくるような映像効果を付与するよう表示部１６を制御してもよい。

また、携帯型ゲーム装置１が、フラッシュやライトを備えている場合に、基礎画像生成部４４は、画像を生成する際に、フラッシュやライトを照らすようにしてもよい。こうすることで、暗い状況下でも、基礎画像生成部４４は基礎画像を生成することができる。

特徴量算出部４６は、制御部１２を主として実現される。特徴量算出部４６は、公知のパターン認識技術などの画像処理技術などを用いて、図７に示すプレイヤ基礎画像６０に基づいて、プレイヤ３４の特徴を示す特徴量を算出する。ここで、特徴量としては、具体的には、例えば、顔画像６４、肌の色（ＲＧＢ値やＨＳＶ値）、唇の位置や大きさや色（ＲＧＢ値やＨＳＶ値）、目の位置や大きさや間隔、鼻の位置や大きさや高さ、眉毛の位置や高さや幅や色（ＲＧＢ値やＨＳＶ値）、髪型、髪の色などが挙げられる。

なお、特徴量算出部４６は、後述する撮像対象オブジェクト画像からも特徴量を算出する。特徴量算出部４６が、撮像対象オブジェクト画像から特徴量を算出する点については後述する。

基礎画像記憶部４８は、記憶部１４を主として実現される。基礎画像記憶部４８は、基礎画像生成部４４によって生成された基礎画像（本実施形態においては、プレイヤ基礎画像６０）を記憶する。基礎画像記憶部４８は、基礎画像と、特徴量算出部４６がこの基礎画像から算出した特徴量とを関連付けて記憶してもよい。

また、基礎画像記憶部４８は、１枚の画像を記憶するのではなく、複数の画像を関連付けて記憶するようにしてもよい。また、基礎画像記憶部４８は、モーションポートレートのような合成画像を基礎画像として記憶するようにしてもよい。また、基礎画像記憶部４８は、喜怒哀楽などの複数の表情のプレイヤ基礎画像６０を記憶するようにしてもよい。具体的には、例えば、基礎画像記憶部４８は、プレイヤ３４が携帯型ゲーム装置１に対して正面を向いたときのプレイヤ基礎画像６０だけではなく、上下左右を向いたときのプレイヤ基礎画像６０を互いに関連付けて記憶するようにしてもよい。

また、基礎画像記憶部４８は、複数の種類の外部オブジェクトについて、その外部オブジェクトの基礎画像を、その外部オブジェクトを識別するオブジェクト識別子と関連付けて記憶するようにしても構わない。具体的には、例えば、基礎画像記憶部４８は、複数のプレイヤ３４について、そのプレイヤ３４のプレイヤ基礎画像６０を、そのプレイヤ３４のＩＤや名前などと関連付けて記憶するようにしても構わない。

また、基礎画像記憶部４８は、距離測定部２２によって測定した距離を示すデータを、基礎画像内の各画素と関連付けて記憶するようにしても構わない。

基礎画像通信部５０は、制御部１２と通信部２４とを主として実現される。基礎画像通信部５０は、基礎画像記憶部４８に記憶された基礎画像を、通信部２４を経由してインターネット上のサーバ（図示せず）に送信し、このサーバが備える記憶装置に記憶するようにしても構わない。また、基礎画像通信部５０が、サーバに送信される基礎画像を、公開するか否かを示す公開可否情報を、通信部２４を経由してサーバに送信するようにしても構わない。

また、サーバが、蓄積された基礎画像のそれぞれに関連付けられた特徴量を平均することなどによって、平均基礎画像（例えば、平均顔画像）を生成するようにしてもよい。また、公開されるよう設定された基礎画像や、平均基礎画像を、携帯型ゲーム装置１のプレイヤ３４が、通信部２４を介してダウンロードできるようにしても構わない。

撮像対象オブジェクト画像生成部５２は、撮像部２０を主として実現される。撮像対象オブジェクト画像生成部５２は、撮像される対象となる撮像対象オブジェクトを撮像して、撮像対象オブジェクト画像を生成する。本実施形態では、具体的には、例えば、撮像対象オブジェクト画像生成部５２は、図８に示すプレイヤ画像６６を生成する。なお、プレイヤ画像６６には、図８に示すように、複数のプレイヤ３４の顔画像６４（第１プレイヤ３４−１の第１顔画像６４−１、及び、第２プレイヤ３４−２の第２顔画像６４−２）が含まれていても構わない。もちろん、撮像対象オブジェクト画像生成部５２が生成する画像は、プレイヤ画像６６に限定されない。また、撮像対象オブジェクト画像生成部５２は、順次、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成しても構わない。

なお、携帯型ゲーム装置１が、フラッシュやライトを備えている場合に、撮像対象オブジェクト画像生成部５２は、画像を生成する際に、フラッシュやライトを照らすようにしてもよい。こうすることで、暗い状況下でも、撮像対象オブジェクト画像生成部５２は撮像対象オブジェクト画像を生成することができ、特徴量算出部４６は、特徴量を撮像対象オブジェクト画像から算出することができる。

そして、上述の特徴量算出部４６が、公知のパターン認識技術などの画像処理技術などを用いて、撮像対象オブジェクト画像生成部５２によって生成された撮像対象オブジェクト画像（例えば、プレイヤ画像６６）に基づいて、上述のような特徴量を算出する。

特徴量算出部４６は、このとき、基礎画像記憶部４８に記憶されている基礎画像（例えば、プレイヤ基礎画像６０）と撮像対象オブジェクト画像（例えば、プレイヤ画像６６）とを照合することによって、特徴量を算出するようにしてもよい。具体的には、例えば、図８に示すように、撮像対象オブジェクト画像生成部５２によって生成されたプレイヤ画像６６に、複数のプレイヤ３４の画像が含まれている場合において、特徴量算出部４６が、このプレイヤ画像６６と、特定のプレイヤ３４（ここでは、第１プレイヤ３４−１）のＩＤなどの識別子と関連付けられているプレイヤ基礎画像６０とを照合して、公知のパターン認識技術などを用いて、プレイヤ画像６６から、特定のプレイヤ３４の顔画像６４（ここでは、第１顔画像６４−１）を算出するようにしてもよい。

撮像対象オブジェクト距離測定部５４は、距離測定部２２を主として実現される。撮像対象オブジェクト距離測定部５４は、上述の撮像対象オブジェクトと携帯型ゲーム装置１との距離を測定する。本実施形態においては、具体的には、例えば、プレイヤ３４（より具体的には、例えば、プレイヤ３４の表面）と携帯型ゲーム装置１との距離（プレイヤ距離）を測定する。なお、撮像対象オブジェクト距離測定部５４が、撮像対象オブジェクトと携帯型ゲーム装置１との距離を順次測定するようにしても構わない。撮像対象オブジェクト距離測定部５４は、撮像対象オブジェクト画像（例えば、プレイヤ画像６６）に含まれる各画素に、その画素に対応する、撮像対象オブジェクト（例えば、プレイヤ３４）上の点についてのプレイヤ距離を対応付ける。

情報処理実行部５６は、制御部１２と表示部１６を主として実現される。情報処理実行部５６は、撮像対象オブジェクト画像（例えば、プレイヤ画像６６）、及び、撮像対象オブジェクト距離測定部５４により測定される距離に基づく情報処理を実行する。具体的には、例えば、情報処理実行部５６は、撮像対象オブジェクト距離測定部５４により測定される距離に基づく画像を表示部１６に表示する情報処理を実行する。そして、本実施形態においては、情報処理実行部５６は、撮像対象オブジェクト配置算出部５６ａ、視点データ変更部５６ｂ、及び、仮想空間表示部５６ｃを含んでいる。

撮像対象オブジェクト配置算出部５６ａは、撮像対象オブジェクト画像（例えば、プレイヤ画像６６）と、撮像対象オブジェクト距離測定部５４によって測定される距離（例えば、プレイヤ距離）とに基づいて、撮像対象オブジェクト（例えば、プレイヤ３４）の実空間における配置を算出する。ここで、撮像対象オブジェクト配置算出部５６ａは、特徴量算出部４６によって撮像対象オブジェクト画像（例えば、プレイヤ画像６６）に基づいて算出された特徴量を用いて、撮像対象オブジェクト（例えば、プレイヤ３４）の実空間における配置を算出してもよい。なお、撮像対象オブジェクト配置算出部５６ａは、撮像対象オブジェクトの実空間における配置を順次算出するようにしても構わない。撮像対象オブジェクト配置算出部５６ａは、具体的には、例えば、プレイヤ３４の顔の実空間における、携帯型ゲーム装置１に対する相対的な座標値（例えば、３次元座標値）及び、携帯型ゲーム装置１に対する向き（例えば、ｘ軸方向の回転量、ｙ軸方向の回転量、及び、ｚ軸方向の回転量）を算出する。

視点データ変更部５６ｂは、撮像対象オブジェクト距離測定部５４により測定された距離に基づいて、視点データ記憶部４２に記憶されている視点データを変更する。撮像対象オブジェクト距離測定部５４が、撮像対象オブジェクトと携帯型ゲーム装置１との距離を順次測定している場合に、視点データ変更部が、その距離の変化に応じて仮想空間２６における視点３０の位置を示す視点データを変更するようにしても構わない。

ここで、視点データ変更部５６ｂは、撮像対象オブジェクト画像（例えば、プレイヤ画像６６）の変化に応じて、仮想空間２６における視点３０の位置又は向き（視線方向３２）の少なくとも一方を変更するようにしても構わない。すなわち、視点データ変更部５６ｂは、撮像対象オブジェクト画像（例えば、プレイヤ画像６６）の変化に応じて、視点データ記憶部４２に記憶されている、視点位置データと視線方向データの少なくとも一方を変更するようにしても構わない。

本実施形態では、視点データ変更部５６ｂは、撮像対象オブジェクト配置算出部５６ａによって算出された、撮像対象オブジェクト（例えば、プレイヤ３４）の実空間における配置に基づいて、視点データ記憶部４２に記憶されている視点データを変更する。具体的には、例えば、視点データ変更部５６ｂは、プレイヤ３４の顔の実空間における、携帯型ゲーム装置１に対する相対的な座標値（例えば、３次元座標値）や、携帯型ゲーム装置１に対する向き（例えば、ｘ軸方向の回転量、ｙ軸方向の回転量、及び、ｚ軸方向の回転量）に基づいて、視点データ記憶部４２に記憶されている視点データを変更する。

また、撮像対象オブジェクト配置算出部５６ａによって、撮像対象オブジェクトが携帯型ゲーム装置１に対して近く（あるいは、遠く）に配置されていることが算出された際には、視点データ変更部５６ｂは、仮想空間２６内の視点３０を前側（あるいは、後側）に変更すればよい。また、撮像対象オブジェクト配置算出部５６ａによって、撮像対象オブジェクトが携帯型ゲーム装置１に対して近づいている（あるいは、遠ざかっている）ことが算出された際には、視点データ変更部５６ｂは、仮想空間２６内の視点３０を前進（あるいは、後退）させればよい。

また、撮像対象オブジェクト配置算出部５６ａによって、撮像対象オブジェクトが携帯型ゲーム装置１に対して相対的に右側（あるいは、左側）に配置されていることが算出された際には、視点データ変更部５６ｂは、仮想空間２６内の視点３０を右側（あるいは、左側）に変更すればよい。

また、撮像対象オブジェクト配置算出部５６ａによって、撮像対象オブジェクトが携帯型ゲーム装置１に対して相対的に右側（あるいは、左側）に移動していることが算出された際には、視点データ変更部５６ｂは、仮想空間２６内の視点３０を右側（あるいは、左側）に移動させればよい。

また、撮像対象オブジェクト配置算出部５６ａによって、撮像対象オブジェクトが携帯型ゲーム装置１に対して相対的に反時計回り（あるいは、時計回り）に回転していることが算出された際には、視点データ変更部５６ｂは、仮想空間２６内の視点３０の視線方向３２を反時計回り（あるいは、時計回り）に回転させればよい。

仮想空間表示部５６ｃは、図３に示す仮想空間２６の画像を、仮想空間２６に配置された視点３０の位置に従って生成して、生成された仮想空間２６の画像を表示する。具体的には、例えば、仮想空間２６について、視点データ変更部５６ｂにより変更された視点データに含まれる視点位置データが示す視点３０の位置から、視点データに含まれる視線方向データが示す視線方向３２を見た様子を示す画像を表示する。

なお、情報処理実行部５６で実行される情報処理は、撮像対象オブジェクト配置算出部５６ａ、視点データ変更部５６ｂ、及び、仮想空間表示部５６ｃによって実行される情報処理に限定されない。情報処理実行部５６は、例えば、距離測定部２２が撮像対象オブジェクトと携帯型ゲーム装置１の距離を順次測定し、この測定された距離の変化に応じて、制御部１２で実行する処理の内容を変更する処理を実行しても構わない。また、情報処理実行部５６が実行する情報処理は、表示部１６に情報を表示する情報処理にも限定されない。

次に、所定のプレイヤ３４のプレイヤ基礎画像６０と、そのプレイヤ基礎画像６０から抽出されたプレイヤ３４の顔画像６４とが関連付けられて、基礎画像記憶部４８に記憶されている場合において、このプレイヤ３４が携帯型ゲーム装置１の前に存在する際に、このプレイヤ３４の顔の位置及び向きに応じた仮想空間２６の画像を表示する処理の流れの一例を、図９に示すフロー図を参照しながら説明する。なお、このとき、記憶部１４には、図３に示す仮想空間２６における各仮想オブジェクト２８の位置（例えば、座標値）を示す仮想オブジェクト位置データが記憶されている。また、視点データ記憶部４２には、仮想空間２６における視点３０の位置（例えば、座標値）を示す視点位置データと、この視点３０の視線方向３２を示す視線方向データと、を含む視点データが記憶されている。なお、この処理例においては、撮像部２０は、可変フレームレートのハイフレームレートカメラである。

まず、撮像対象オブジェクト画像生成部５２が、このプレイヤ３４のプレイヤ画像６６を生成する（Ｓ１０１）。

そして、特徴量算出部４６が、プレイヤ画像６６と、このプレイヤ３４のプレイヤ基礎画像６０とを照合することで、このプレイヤ３４の顔、両目、鼻、及び、口の画像を算出する（Ｓ１０２）。

そして、特徴量算出部４６が、このプレイヤ３４の両目間、目と鼻、鼻と口のうちの少なくとも１つのプレイヤ画像６６における長さを算出する（Ｓ１０３）。

そして、撮像対象オブジェクト距離測定部５４が、プレイヤ３４の両目、鼻、及び、口と携帯型ゲーム装置１との距離（プレイヤ距離）を測定して、プレイヤ画像６６に含まれる各画素と対応付ける（Ｓ１０４）。

そして、撮像対象オブジェクト配置算出部５６ａが、プレイヤ画像６６とプレイヤ距離とに基づいて、このプレイヤ３４の実空間における配置を算出する（Ｓ１０５）。具体的には、プレイヤ３４の顔のｘ軸方向、ｙ軸方向、ｚ軸方向それぞれについての携帯型ゲーム装置１に対する相対的な回転量、及び、プレイヤ３４の顔の携帯型ゲーム装置１に対する相対的な座標値を算出する。

そして、視点データ変更部５６ｂが、Ｓ１０５に示す処理において算出される３次元座標値から定まる、このプレイヤ３４の顔の位置及び向きに基づいて、視点データ記憶部４２に記憶されている、仮想空間２６における視点３０の位置を示す視点位置データと、視線方向３２を示す視線方向データのうち少なくとも一方を変更する（Ｓ１０６）。

そして、仮想空間表示部５６ｃが、仮想空間２６において、Ｓ１０５に示す処理において変更される視点データに含まれる、視点位置データが示す視点３０の位置から、視線方向データが示す視線方向３２を見た様子を示す画像を表示する（Ｓ１０７）。なお、このとき、表示部１６は、制御部１２からの指示に基づく解像度やアスペクト比などの属性で画像を表示するようにしてもよい。

このようにして、各フレームについて、仮想空間２６を見た様子を示す画像が液晶ディスプレイなどの表示部１６に表示される。

上記の処理例の、Ｓ１０２及びＳ１０３に示す処理において、特徴量算出部４６がプレイヤ３４の顔、両目、鼻、及び、口の画像や、目と目、目と鼻、鼻と口のうちの少なくとも１つのプレイヤ画像６６における長さといった特徴量を算出できない場合には、仮想空間表示部５６ｃが、直前に液晶ディスプレイなどの表示部１６に表示された画像から類推される画像を、液晶ディスプレイなどの表示部１６に表示するようにしてもよい。

また、上記の場合に、Ｓ１０１〜Ｓ１０３に示す処理を、撮像部２０のフレームレートを上げて再度実行するようにしてもよい。この場合において、Ｓ１０１〜Ｓ１０３に示す処理を、所定の回数だけ実行しても、プレイヤ画像６６に基づいて特徴量を算出できない場合には、直前に液晶ディスプレイなどの表示部１６に表示された画像を液晶ディスプレイなどの表示部１６に表示するようにしてもよい。なお、このとき、記憶部１４にエラーカウントデータを記憶するようにしておき、Ｓ１０１〜Ｓ１０３に示す処理を、所定の回数だけ実行しても、プレイヤ３４に基づいて特徴量を算出できない場合に、制御部１２が、エラーカウントデータの値を１増やすようにしてもよい。そして、プレイヤ画像６６に基づいて特徴量を算出できない時間が所定の時間を超えたり、エラーカウントデータの値が所定値を超えたりした際に、制御部１２が、エラーメッセージを表示部１６に表示するようにしてもよい。なお、携帯型ゲーム装置１が内蔵振動子（バイブレータ）やスピーカやＬＥＤを備えている場合には、プレイヤ画像６６に基づいて特徴量を算出できない時間が所定の時間を超えたり、エラーカウントデータの値が所定値を超えたりした際に、制御部１２が、バイブレータを振動させたり、携帯型ゲーム装置１が備えるスピーカから警告音を発生させたり、携帯型ゲーム装置１が備えるＬＥＤを点滅させたりするようにしてもよい。

次に、上記実施形態を将棋ゲームに応用した例を以下に説明する。

図１０に示すように、携帯型ゲーム装置１に対して、第１プレイヤ３４−１と、第２プレイヤ３４−２が向かい合って存在している。そして、携帯型ゲーム装置１の表示部１６には、将棋盤画像６８が表示されている。この将棋盤画像６８は、上述の仮想空間２６内の仮想オブジェクト２８の一例である。

そして、第１プレイヤ３４−１の手番の際には、第１プレイヤ３４−１の顔の携帯型ゲーム装置１に対する相対的な位置及び向きに従って、制御部１２は、将棋盤画像６８を表示するよう表示部１６を制御する。このようにすると、第２プレイヤ３４−２からは、将棋盤画像６８が見にくくなる。一方、第２のプレイヤ３４−２の手番の際には、第２プレイヤ３４−２の顔の携帯型ゲーム装置１に対する相対的な位置及び向きに従って、制御部１２は、将棋盤画像６８を表示するよう表示部１６を制御する。このようにすると、第１プレイヤ３４−１からは、将棋盤画像６８が見にくくなる。

また、一人称視点シューティングゲーム（ＦＰＳ）に本実施形態を応用しても構わない。具体的には、例えば、特徴量算出部４６によって、プレイヤ３４の顔の画像を算出することができない場合に、制御部１２が、弾丸や攻撃をよけるようにしたり、弾丸を充填したりするゲーム処理を実行するようにしても構わない。

また、ゲームにおける認証処理において、本実施形態に係る携帯型ゲーム装置１を応用してもよい。具体的には、例えば、ゲームのタイトル画面が表示部１６に表示されている際に、プレイヤ３４が、携帯型ゲーム装置１の撮像部２０に顔を近づけると、制御部１２が、撮像対象オブジェクト画像生成部５２が生成するプレイヤ画像６６から特徴量算出部４６が算出した特徴量に基づいて、顔を近づけているプレイヤ３４を特定し、そのプレイヤ３４の認証をするようにしても構わない。このとき、プレイヤ３４の特定ができない場合には、制御部１２が、このプレイヤ３４を匿名プレイヤとして認証するようにしても構わない。このとき、携帯型ゲーム装置１において、プレイヤ基礎画像６０の更新ができるようにしても構わない。携帯型ゲーム装置１の制御部１２がさまざまな情報処理を開始する際に、このようなプレイヤ基礎画像６０の更新機能を利用できるようにしても構わない。

本実施形態によれば、実世界の感覚に近い３次元の映像表現が可能となり、撮像部２０から生成される画像の活用性を向上することができる。

次に、本発明の別の一実施形態について図面に基づき詳細に説明する。

本実施形態に係る携帯型ゲーム装置１のハードウェア構成は、図２に示すものと同様である。

図１１Ａは、本実施形態に係る携帯型ゲーム装置１の正面図である。図１１Ｂは、本実施形態に係る携帯型ゲーム装置１の上側面図である。図１１Ｃは、本実施形態に係る携帯型ゲーム装置１の背面図である。

図１２Ａ、図１２Ｂ、図１３Ａ、及び、図１３Ｂは、本実施形態に係る携帯型ゲーム装置１の撮像部２０の構成の概要の一例を示す概要図である。図１２Ａ、図１２Ｂ、図１３Ａ、及び、図１３Ｂに示すように、本実施形態に係る携帯型ゲーム装置１の撮像部２０は、光学系２０ａ（前方光学系２０ａ−１、後方光学系２０ａ−２、及び、上方光学系２０ａ−３）と、シャッター２０ｂ（前方シャッター２０ｂ−１、後方シャッター２０ｂ−２、及び、上方シャッター２０ｂ−３）と、反射部材２０ｃ（第１反射部材２０ｃ−１、及び、第２反射部材２０ｃ−２）と、撮像素子２０ｄとを含んで構成される。

本実施形態においては、前方光学系２０ａ−１は、携帯型ゲーム装置１の正面中央付近上側に設けられており、後方光学系２０ａ−２は、携帯型ゲーム装置１の背面中央付近上側に設けられており、上方光学系２０ａ−３は、携帯型ゲーム装置１の上側面中央より、やや左側に設けられている。それぞれの光学系２０ａは、１枚のレンズから構成されていても複数のレンズから構成されていても構わない。また、それぞれの光学系２０ａを構成するレンズの種類は問わず、例えば、標準レンズであっても、広角レンズであっても、望遠レンズであっても構わない。

本実施形態では、前方シャッター２０ｂ−１は前方光学系２０ａ−１の内側に、後方シャッター２０ｂ−２は後方光学系２０ａ−１の内側に、上方シャッター２０ｂ−３は上方光学系２０ａ−３の内側に設けられている。なお、これらのシャッター２０ｂが、光学系２０ａの外側に設けられていても構わない。

反射部材２０ｃは、光を反射する部材であり、例えば、ミラーである。本実施形態において、反射部材２０ｃは、板状であり、携帯型ゲーム装置１の内部に設けられている。

撮像素子２０ｄは、例えば、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサなどであり、反射部材２０ｃにより反射される光を受けて画像（画像データ）を生成する。具体的には、撮像素子２０ｄは、光を受けて光電変換により電気信号を生成し、この電気信号に基づいて画像（画像データ）を生成する。

そして、第１反射部材２０ｃ−１は、第１反射部材２０ｃ−１により形成される平面が鉛直方向となるように携帯型ゲーム装置１の内部の上方中央付近の内部に設けられている。第１反射部材２０ｃ−１は、前方光学系２０ａ−１や後方光学系２０ａ−２を透過する光を撮像素子２０ｄへ向けて反射する各反射部材位置の間を移動可能に支持されている。本実施形態においては、第１反射部材２０ｃ−１は、鉛直方向の軸を中心として回動可能に支持されている。具体的には、例えば、鉛直方向の支持部材（図示せず）が、第１反射部材２０ｃ−１を貫通しており、この支持部材が第１反射部材２０ｃ−１を回動可能に支持している。

本実施形態では、第１反射部材２０ｃ−１は、前方光学系２０ａ−１を透過する光を撮像素子２０ｄへ向けて反射する前方反射部材位置（図１２Ａにおいて、第１反射部材２０ｃ−１が配置されている位置）と、後方光学系２０ａ−２を透過する光を撮像素子２０ｄへ向けて反射する後方反射部材位置（図１２Ｂにおいて、第１反射部材２０ｃ−１が配置されている位置）との間を回動可能に支持されている。

そして、第１反射部材２０ｃ−１が、前方反射部材位置に移動されている際に、前方シャッター２０ｂ−１が開き、後方反射部材位置に移動されている際に、後方シャッター２０ｂ−２が開くようになっている。

また、携帯型ゲーム装置１が、例えば、アクチュエータなどの反射部材駆動部（図示せず）を備えており、この反射部材駆動部が、各反射部材位置の間を移動するよう第１反射部材２０ｃ−１を駆動するようにしてもよい。また、制御部１２が、反射部材駆動部を駆動するようにしてもよい。このとき、反射部材駆動部は、撮像素子２０ｄが光を受けて画像を生成するタイミングに、第１反射部材２０ｃ−１が、いずれかの反射部材位置に移動されているように、第１反射部材２０ｃ−１を駆動するようにしてもよい。

本実施形態においては、携帯型ゲーム装置１の制御部１２が、反射部材２０ｃとシャッター２０ｂを動作させることで、所定のフレームレートで、撮像部２０が撮像対象オブジェクトを撮像して、撮像対象オブジェクト画像を生成するようになっている。

図１３Ａは、上方シャッター２０ｂ−３が開いている状況で、撮像部２０を上方から見た構造の概略を示している。また、図１３Ｂは、上方シャッター２０ｂ−３が開いている状況で、撮像部２０を前方から見た構造の概略を示している。図１３Ａ及び図１３Ｂに示すように、第２反射部材２０ｃ−２は、上方光学系２０ａ−３を透過する光を撮像素子２０ｄへ向けて反射するよう、第２反射部材２０ｃ−２の反射面が、水平方向に対して斜めに設けられており、携帯型ゲーム装置１の上方中央よりやや左側に設けられている。

次に、本実施形態において動画像を生成する処理の流れの一例を、図１４に示すフロー図を参照しながら説明する。

まず、反射部材駆動部が第１反射部材２０ｃ−１を、前方反射部材位置に移動させる（Ｓ２０１）。

そして、制御部１２が前方シャッター２０ｂ−１を開閉する（Ｓ２０２）。

すると、第１反射部材２０ｃ−１が、前方光学系２０ａ−１及び前方シャッター２０ｂ−１を透過する光を撮像素子２０ｄへ向けて反射して、撮像素子２０ｄがこの光を受けて、画像を生成する（Ｓ２０３）（図１２Ａ参照）。

そして、反射部材駆動部が第１反射部材２０ｃ−１を、後方反射部材位置に移動させる（Ｓ２０４）。

そして、制御部１２が後方シャッター２０ｂ−２を開閉する（Ｓ２０５）。

すると、第１反射部材２０ｃ−１が、後方光学系２０ａ−２及び後方シャッター２０ｂ−２を透過する光を撮像素子２０ｄへ向けて反射して、撮像素子２０ｄがこの光を受けて、画像を生成する（Ｓ２０６）（図１２Ｂ参照）。

そして、反射部材駆動部が第１反射部材２０ｃ−１を、第１反射部材２０ｃ−１の反射面が携帯型ゲーム装置１の長手方向と略平行となるよう移動させる（Ｓ２０７）。

そして、制御部１２が上方シャッター２０ｂ−３を開閉する（Ｓ２０８）。

すると、第２反射部材２０ｃ−２が、上方光学系２０ａ−３及び上方シャッター２０ｂ−３を透過する光を撮像素子２０ｄへ向けて反射して、撮像素子２０ｄがこの光を受けて、画像を生成する（Ｓ２０９）（図１３Ａ、及び、図１３Ｂ参照）。

そして、Ｓ２０１〜Ｓ２０９の処理を繰り返した後で、制御部１２が、Ｓ２０３の処理において生成された一連の画像を組み合わせて動画像を生成する。また、制御部１２は、Ｓ２０６の処理において生成された一連の画像を組み合わせて別の動画像も生成する。また、制御部１２は、Ｓ２０９の処理において生成された一連の画像を組み合わせて、さらに別の動画像も生成する。このようにして、本実施形態に係る携帯型ゲーム装置１は、異なる方向の撮像対象オブジェクトを撮像して撮像対象オブジェクト画像をまとめて生成することができるので、撮像部２０から生成される画像の活用性を向上することができる。

そして、例えば、本実施形態に係る携帯型ゲーム装置１が備える撮像部２０のフレームレートが２４０ｆｐｓである場合、上記処理例に示す処理により、携帯型ゲーム装置１は、フレームレートが８０ｆｐｓの３つの動画像（前方動画像、後方動画像、及び、上方動画像）をまとめて生成する。

なお、上記の処理例は、動画像を生成する処理の一例にすぎず、例えば、反射部材駆動部が、上記の規則以外の予め定められた規則に従って、各反射部材位置の間を移動するよう第１反射部材２０ｃ−１を駆動するようにすることで、本実施形態に係る携帯型ゲーム装置１は、さまざまな動画像を生成することができる。

具体的には、例えば、上記の処理例でＳ２０１〜Ｓ２０６に示す処理を繰り返すことによって、本実施形態に係る携帯型ゲーム装置１が備える撮像部２０のフレームレートが２４０ｆｐｓである場合、携帯型ゲーム装置１はフレームレートが１２０ｆｐｓの２つの動画像（前方動画像、及び、後方動画像）をまとめて生成する。

また、Ｓ２０１〜Ｓ２０３に示す処理を２回繰り返し実行して、Ｓ２０４〜Ｓ２０６に示す処理を１回実行することを繰り返すことによって、本実施形態に係る携帯型ゲーム装置１が備える撮像部２０のフレームレートが２４０ｆｐｓである場合、携帯型ゲーム装置１は、フレームレートが１６０ｆｐｓの動画像（前方動画像）と、フレームレートが８０ｆｐｓの動画像（後方動画像）をまとめて生成する。

本発明はさまざまな応用例が考えられる。例えば、上述の実施形態に示した仮想空間表示処理と組み合わせて、拡張現実を表現した画像を表示することが考えられる。具体的には、例えば、まず、撮像部２０が、後方光学系２０ａ−２の方向に配置されたオブジェクト（例えば、図形や文字など）を撮像する。そして、制御部１２が、撮像されたオブジェクトに基づいて、仮想オブジェクト２８の位置を示す仮想オブジェクト位置データを生成する。そして、仮想空間データ記憶部４０がその仮想オブジェクト位置データを記憶する。そして、撮像部２０が、前方光学系２０ａ−１の方向の撮像対象オブジェクトを撮像する。そして、視点データ変更部５６ｂが、この撮像対象オブジェクトに基づいて、視点データ記憶部４２に記憶されている視点データを変更する。そして、仮想空間表示部５６ｃが、変更された視点３０の位置に従って生成される仮想空間２６の画像を液晶ディスプレイなどの表示部１６に表示する。このようにして、拡張現実を表現した画像を表示することが考えられる。

あるいは、公知のパターン認識技術と組み合わせることで、さまざまな方向に移動する撮像対象オブジェクトを追従する動画像を容易に生成することができる。

このように、本実施形態によれば、複数の画像（動画像）をまとめて生成することができ、撮像部２０から生成される画像の活用性を向上することができる。

なお、本発明の適用範囲は、上記実施形態に限定されるものではない。

具体的には、例えば、光学系２０ａ、シャッター２０ｂ、反射部材２０ｃ、撮像素子２０ｄの配置は上記実施形態に限定されず、撮像素子２０ｄが反射部材２０ｃにより反射される光を受けるようになっていればよい。

また、光学系２０ａやシャッター２０ｂの数は上記実施形態に限定されず、例えば、図１５に示すように、携帯型ゲーム装置１が４方向の光学系２０ａ及びシャッター２０ｂを備えていても構わない。こうすれば、携帯型ゲーム装置１は、４つの動画像をまとめて生成することができる。

また、携帯型ゲーム装置１が、物理的なシャッター２０ｂを備えている必要はない。

Claims (5)

1. 撮像対象オブジェクトを撮像して当該撮像対象オブジェクトが含まれる画像を生成する撮像手段と、
   前記撮像対象オブジェクトまでの距離を測定する距離測定手段と、
   前記撮像手段が生成する画像に含まれる画素のうち、所定の距離よりも短い測定距離に対応付けられる画素が表示部に表示されるよう制御する第１表示制御手段と、
   ユーザの操作に応じて、前記表示部に表示されている画像を基礎画像として基礎画像記憶部に記憶させる手段と、
   前記基礎画像の生成後に前記撮像手段が生成する、前記撮像対象オブジェクトが含まれる、前記基礎画像との照合の対象になる対象画像と、前記基礎画像と、の照合結果、及び、前記距離測定手段により測定される、前記対象画像が生成される際における前記撮像対象オブジェクトまでの距離、に基づいて、前記対象画像が生成される際における前記撮像対象オブジェクトの実空間における配置を算出する撮像対象オブジェクト配置算出手段と、
   前記撮像対象オブジェクト配置算出手段により算出される、撮像対象オブジェクトの実空間における配置に基づいて、仮想空間における視点の位置及び当該視点の視線方向を決定する決定手段と、
   前記仮想空間について、決定された視点の位置から、決定された視線方向を見た様子を示す画像が表示部に表示されるよう制御する第２表示制御手段と、
   を備えることを特徴とする携帯型ゲーム装置。
2. 前記撮像対象オブジェクト画像、及び、前記距離測定手段により測定される距離に基づく情報処理を実行する情報処理実行手段、をさらに含み、
   前記距離測定手段が、順次、前記距離を測定して、
   前記情報処理実行手段が、前記距離測定手段により測定される距離の変化に応じて、実行する情報処理の内容を変更する、
   ことを特徴とする請求項１に記載の携帯型ゲーム装置。
3. 前記撮像手段が、順次、撮像対象オブジェクトを撮像して撮像対象オブジェクト画像を生成して、
   前記第２表示制御手段が、前記撮像手段により撮像される前記撮像対象オブジェクト画像の変化に応じて、前記仮想空間における前記視点の位置又は向きの少なくとも一方を変更する、
   ことを特徴とする請求項１に記載の携帯型ゲーム装置。
4. 前記撮像手段と、前記距離測定手段とは、一体的に形成されている、
   ことを特徴とする請求項１に記載の携帯型ゲーム装置。
5. 撮像対象オブジェクトを撮像して当該撮像対象オブジェクトが含まれる画像を生成する撮像ステップと、
   前記撮像対象オブジェクトまでの距離を測定する距離測定ステップと、
   前記撮像ステップで生成される画像に含まれる画素のうち、所定の距離よりも短い測定距離に対応付けられる画素が表示部に表示されるよう制御する第１表示制御ステップと、
   ユーザの操作に応じて、前記表示部に表示されている画像を基礎画像として基礎画像記憶部に記憶させるステップと、
   前記基礎画像の生成後に前記撮像手段が生成する、前記撮像対象オブジェクトが含まれる、前記基礎画像との照合の対象になる対象画像と、前記基礎画像と、の照合結果、及び、前記距離測定手段により測定される、前記対象画像が生成される際における前記撮像対象オブジェクトまでの距離、に基づいて、前記対象画像が生成される際における前記撮像対象オブジェクトの実空間における配置を算出する撮像対象オブジェクト配置算出ステップと、
   前記撮像対象オブジェクト配置算出ステップで算出される、撮像対象オブジェクトの実空間における配置に基づいて、仮想空間における視点の位置及び当該視点の視線方向を決定する決定ステップと、
   前記仮想空間について、決定された視点の位置から、決定された視線方向を見た様子を示す画像が表示部に表示されるよう制御する第２表示制御ステップと、
   を含むことを特徴とする携帯型ゲーム装置の制御方法。

Images